Adaptive Loss Balancing for Noise-Robust GRPO in Generative Recommendation

Resumen Técnico: Balanceo de Pérdida Adaptativo para GRPO Robusto al Ruido en Recomendación Generativa

1. Planteamiento del Problema

La Recomendación Generativa (GR) reformula la recuperación de ítems como una tarea de decodificación autorregresiva sobre IDs Semánticos (SIDs) aprendidos. Si bien la GR ofrece una cobertura superior para los ítems de la cola larga y semánticamente relacionados en comparación con la recuperación tradicional basada en embeddings, a menudo carece de la discriminación fina de los modelos de ranking. Para cerrar esta brecha, se ha propuesto el Aprendizaje por Refuerzo (RL), específicamente la Optimización de Política Relativa de Grupo (GRPO), para ajustar las políticas de GR utilizando modelos de recompensa (RMs) de producción.

Sin embargo, el artículo identifica un fallo crítico al aplicar RL de manera uniforme a la recomendación generativa: el ruido del modelo de recompensa y el sesgo de exposición. Los rankers de producción están entrenados en registros con sesgo de exposición, lo que los hace poco fiables para ítems fuera de su distribución de entrenamiento (por ejemplo, ítems nuevos o de la cola larga). Los autores identifican dos modos de falla de la aplicación uniforme de recompensas:

1. Muestras Fáciles: Cuando la política ya clasifica el ítem de verdad fundamental (ground-truth) de forma alta, las puntuaciones de recompensa se agrupan estrechamente. La ventaja resultante de GRPO colapsa cerca de cero, dejando que el gradiente sea dominado por el ruido del RM, lo que conduce a la sobre-optimización (reward hacking).
2. Muestras Difíciles (RM-No Confiables): Cuando el ítem de verdad fundamental es un ítem de la cola larga, el RM puede estar localmente mal calibrado, puntuando distractores populares por encima del objetivo real. Aplicar RL aquí empuja a la política lejos de la respuesta correcta.

El análisis estratificado revela que, si bien la influencia agregada del RM en todas las muestras es cercana a cero, proporciona una guía positiva sustancial condicionalmente —específicamente en muestras donde la política tiene incertidumbre (dificultad) y el RM exhibe una alta discriminabilidad (fiabilidad).

2. Metodología: AdaGRPO

Para abordar estos problemas, los autores proponen AdaGRPO, un marco que trata la optimización guiada por recompensa como una admisión selectiva en lugar de una presión uniforme. La innovación central es un recorte binario a nivel de muestra que controla el término de pérdida de GRPO basándose en dos diagnósticos basados en el ranking computados desde el grupo de despliegue (rollout group).

La función objetivo para cada instancia $i$ es:
$$L_i(\theta) = L^{(i)}_{NLL}(\theta) + \lambda \alpha_i L^{(i)}_{GRPO}(\theta)$$
Donde:

• $L_{NLL}$ es la log-verosimilitud negativa supervisada, que ancla todas las instancias de entrenamiento para asegurar la estabilidad.
• $\lambda$ es un coeficiente de escala global.
• $\alpha_i \in \{0, 1\}$ es el coeficiente de recorte determinado por dos diagnósticos:

Diagnóstico 1: Dificultad del lado de la Política ($f_1$)
Esta condición verifica si el ítem de verdad fundamental ($y^*$) queda fuera del $\tau$-fracción superior del propio ranking de la política (basado en la log-verosimilitud).

• Lógica: Si $y^*$ ya está en los rangos superiores, la pérdida supervisada es suficiente y el término de GRPO es redundante (recortado). Si $y^*$ está en rangos bajos, la política tiene incertidumbre y la guía de RL es potencialmente necesaria.

Diagnóstico 2: Discriminabilidad del lado de la Recompensa ($f_2$)
Esta condición verifica si el RM puede separar de manera confiable el ítem de verdad fundamental de los negativos contextualmente irrelevantes.

• Lógica: El RM debe clasificar a $y^*$ en el $\tau$-fracción superior de un grupo de diagnóstico (incluyendo los rollouts y negativos muestreados) Y clasificar todos los negativos muestreados en el $(1-\rho)$-fracción inferior. Si el RM no logra separar lo relevante de lo irrelevante, la señal se considera no confiable (recortada).

El Recorte (Clip):
El coeficiente final es $\alpha_i = f_1 \cdot f_2$. La pérdida de GRPO se admite solo si la instancia es tanto difícil para la política actual como respaldada por una señal de recompensa localmente confiable. De lo contrario, la actualización revierte a la supervisión pura. Esto extiende el principio de recorte de PPO del dominio de la razón (limitar actualizaciones de tokens) al dominio de la muestra (excluir instancias enteras).

3. Contribuciones Clave

• Análisis Estratificado de la Fiabilidad de la Recompensa: El artículo demuestra empíricamente que la influencia agregada de los rankers de producción en la recomendación generativa es insignificante debido a modos de falla conflictivos (ruido en muestras fáciles, sesgo en muestras difíciles). Establece que la utilidad del RM es condicional, no global.
• Marco AdaGRPO: Un objetivo de entrenamiento novedoso que cambia dinámicamente entre aprendizaje supervisado y RL basado en diagnósticos por muestra. Evita la necesidad de una red de valor aprendida o un modelado de recompensa complejo, basándose en lugar en umbrales de ranking derivados de estadísticas de rollout existentes.
• Optimización Robusta al Ruido: Al recortar el término de GRPO en muestras donde la señal de recompensa es o bien redundante o bien engañosa, el método evita el "colapso" del rendimiento de recuperación y las alucinaciones que se observan frecuentemente en el entrenamiento estándar de GRPO.

4. Resultados Experimentales

El método fue validado en un conjunto de datos de comercio electrónico a gran escala (175K secuencias) y en pruebas A/B de producción.

Resultados Offline:

• Rendimiento: En el mejor punto intermedio, AdaGRPO mejoró el HR@10 del 11.01% (Base) al 12.18%, manteniendo la tasa de alucinación $\le 0.22\%$.
• Estabilidad: A diferencia del GRPO estándar, que sufrió un colapso severo en HR@10 (cayendo a 10.39%) y un pico en alucinaciones (0.89%) en el punto de control final, AdaGRPO mantuvo la robustez (HR@10: 11.63%, Alucinación: 0.27%).
• Comparación: AdaGRPO superó a las mezclas fijas de NLL-GRPO a través de la frontera de validez de recuperación. La adición de la condición de discriminabilidad de la recompensa ($f_2$) redujo aún más la alucinación y mejoró el HR en comparación con el uso de la dificultad ($f_1$) por sí sola.
• Análisis Estratificado: Las ganancias fueron más pronunciadas en los grupos de dificultad intermedia, confirmando que el método apunta al régimen específico donde el RL es beneficioso.

Pruebas Online A/B:

• En las pruebas de producción, AdaGRPO logró ganancias estadísticamente significativas en comparación con el control:
  • Vistas de Página de Ítem Efectivas (IPV): +0.43%
  • Tasa de Clics del Usuario (UCTR): +0.27%
  • Tiempo de Permanencia (Dwell Time): +0.23%
• En contraste, un modelo base que utiliza una mezcla fija de NLL-GRPO no mostró ganancias estadísticamente significativas en las métricas de interacción.

5. Significado y Reivindicaciones

El artículo concluye que el desafío central al aplicar RL a la recomendación generativa no es diseñar recompensas más fuertes, sino discernir cuándo se puede confiar en la señal de recompensa.

• Cambio de Paradigma: El trabajo desplaza el enfoque de la optimización global de la recompensa hacia la confianza local por instancia. Argumenta que la aplicación uniforme de señales de RL en recomendación es inherentemente riesgosa debido al desajuste entre la incertidumbre de la política y la calibración del modelo de recompensa.
• Utilidad Práctica: Los resultados sugieren que la admisión selectiva de actualizaciones de gradiente de política permite a los recomendadores generativos aprovechar eficazmente los RMs de producción ruidosos sin sacrificar el conocimiento estructural ganado durante el pre-entrenamiento supervisado.
• Modestia: Los autores reconocen las limitaciones, incluyendo la dependencia de los ítems de verdad fundamental durante el entrenamiento, la sensibilidad a los hiperparámetros ($\tau, \rho$) y la necesidad de una mayor validación en diversos segmentos de usuarios y regímenes de frescura de catálogo. Encuadran los resultados online como un sólido soporte de producción para la robustez del método, más que como una prueba causal definitiva de superioridad sobre todos los baselines posibles.