ReCo: Reweighting GRPO Against Distributional Concentration

Problema

La Optimización de Política Relativa de Grupo (GRPO, por sus siglas en inglés) ha emergido como un método estándar de aprendizaje por refuerzo para el post-entrenamiento de modelos de lenguaje, particularmente en dominios con recompensas verificables como las matemáticas y la programación. Si bien GRPO mejora la eficiencia de muestreo para presupuestos de muestreo pequeños (bajo $k$ en Pass@$k$), observaciones recientes indican que no logra superar, y a menudo rinde por debajo del modelo base cuando el presupuesto de muestreo es grande (alto $k$). Esto sugiere una reducción en la cobertura de las trayectorias de razonamiento. El artículo identifica que GRPO concentra la masa de probabilidad en respuestas que el modelo base ya genera con alta probabilidad, reduciendo así la diversidad de las trayectorias de resolución de problemas y limitando la capacidad del modelo para descubrir soluciones correctas que se encuentran en regiones de menor probabilidad de la distribución base.

Metodología

Los autores proponen ReCo (Reweighting GRPO Against Distributional Concentration), un método diseñado para mitigar esta concentración mediante la modificación de la actualización de GRPO en dos niveles:

1. Reponderación a nivel de respuesta:
   En el GRPO estándar, las respuestas de alta probabilidad se muestrean con mayor frecuencia dentro de un grupo de despliegue (rollout). Dado que la ventaja del grupo se promedia equitativamente entre las respuestas muestreadas, estas trayectorias frecuentes acumulan una masa de gradiente agregada mayor simplemente debido a su ocurrencia repetida. ReCo aborda esto normalizando la contribución del gradiente de cada respuesta por su conteo de ocurrencia esperado dentro del grupo.

   • El peso se define como el inverso del conteo esperado: $w_i = \frac{1}{G \cdot \bar{\pi}_{\theta_{old}}(o_i | q)}$, donde $\bar{\pi}$ es la verosimilitud normalizada por longitud.
   • Esto evita que las respuestas frecuentes dominen el gradiente a nivel de grupo, asegurando que la actualización no refuerce desproporcionadamente las trayectorias que ya son probables bajo la política antigua.

2. Reponderación a nivel de token:
   El GRPO estándar utiliza una relación de importancia ($\pi_\theta / \pi_{\theta_{old}}$) para escalar los gradientes a nivel de token. Esto crea un bucle de retroalimentación donde los tokens que se vuelven más probables bajo la política actual reciben actualizaciones más grandes, reforzando aún más los puntos de decisión saturados y reduciendo las rutas alternativas.

   • ReCo reemplaza la relación de importancia estándar con una relación basada en la varianza: $r_{var} = \frac{p_\theta(1 - p_\theta)}{p_{old}(1 - p_{old})}$.
   • El término $p(1-p)$ representa la varianza de Bernoulli. Esta relación asigna escalas de actualización mayores a los puntos de decisión no saturados (donde $p$ no está cerca de 0 ni de 1, lo que significa que las opciones de tokens alternativas siguen siendo plausibles) y reduce el peso de las elecciones saturadas (donde $p \approx 1$).
   • Este mecanismo fomenta las actualizaciones en los puntos de decisión donde la política aún no se ha colapsado hacia una única elección, preservando así la diversidad del razonamiento.

Contribuciones Clave

• Análisis de la concentración de GRPO: El artículo rastrea la reducción en Pass@$k$ para valores grandes de $k$ hasta dos mecanismos específicos en la actualización de GRPO: el dominio de las respuestas frecuentes a nivel de grupo y la amplificación de los tokens saturados a nivel de token.
• Algoritmo ReCo: La introducción de un esquema de reponderación de dos niveles que normaliza las contribuciones de las respuestas por la ocurrencia de la verosimilitud y reemplaza la relación de importancia de los tokens con una métrica basada en la varianza.
• Validación Empírica: Evaluación extensiva a través de diferentes familias de modelos (Qwen2.5-Math, Llama-3.1) y escalas (1.5B, 7B, 8B) en cinco entornos de referencia de razonamiento matemático (AIME 2024/2025, AMC 2023, OlympiadBench, MATH 500).

Resultados

• Rendimiento de Pass@$k$: ReCo supera consistentemente a GRPO en Pass@$k$ para valores grandes de $k$ (por ejemplo, Pass@64), lo que indica una mejor cobertura de las trayectorias de razonamiento correctas. Para valores pequeños de $k$, ReCo se mantiene comparable a GRPO, manteniendo la eficiencia de muestreo.
• Recuperación del Modelo Base: En el backbone Llama-3.1-8B-Instruct, donde se observó que el GRPO estándar caía por debajo del rendimiento del modelo base en Pass@$k$, ReCo reduce significativamente esta degradación e incluso supera al modelo base en ciertos entornos de referencia (AIME 2024/2025).
• Métricas de Diversidad: El análisis de la dinámica de entrenamiento muestra que, mientras GRPO pierde diversidad rápidamente (disminuyendo Distinct-2, aumentando Self-BLEU), ReCo mantiene la diversidad de los despliegues más cercana al modelo base durante todo el entrenamiento.
• Varianza de Token: ReCo mantiene una varianza de Bernoulli a nivel de token sustancialmente mayor en los segmentos iniciales y medios de las respuestas en comparación con GRPO, lo que indica que las trayectorias de razonamiento permanecen no saturadas por más tiempo.
• Generalizabilidad: El método también mejora el Pass@$k$ en entornos de referencia de razonamiento de código (HumanEval, HumanEval+, LiveCodeBench), sugiriendo que el problema de la concentración no se limita al razonamiento matemático.
• Compatibilidad: ReCo puede combinarse con otras variantes de GRPO (por ejemplo, DAPO, Regla 80/20) para obtener mejoras adicionales.

Significado

El artículo afirma que ReCo aborda los mecanismos internos de GRPO que conducen a la concentración de la distribución sin requerir objetivos de diversidad externos o regularizadores. Al reponderar la actualización misma basándose en la probabilidad de ocurrencia y la saturación de los puntos de decisión, ReCo preserva un conjunto más amplio de trayectorias de razonamiento correctas. Esto permite que el modelo retenga las ganancias de eficiencia de muestreo del aprendizaje por refuerzo mientras expande su cobertura del espacio de soluciones, mitigando eficazmente el "colapso de la diversidad" observado en el entrenamiento de GRPO estándar. El trabajo sugiere que las limitaciones de RLVR para expandir la capacidad de razonamiento se deben en parte a la dinámica de optimización de la actualización de la política misma, la cual puede corregirse mediante una reponderación dirigida.