Resumen Técnico: F-GRPO: No Dejes que Tu Política Aprenda lo Obvio y Olvide lo Raro

Declaración del Problema

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) se ha convertido en un paradigma estándar para el entrenamiento posterior de Modelos de Lenguaje Grandes (LLMs) en tareas de razonamiento. Sin embargo, un creciente cuerpo de evidencia sugiere que el RLVR a menudo afila la distribución de salida hacia soluciones ya accesibles para el modelo base, degradando potencialmente el rendimiento en métricas como pass@k (donde k es grande) al reducir la diversidad de soluciones.

La mayoría de los sistemas modernos de RLVR, como la Optimización de Política Relativa por Grupos (GRPO), dependen del muestreo por grupos (generando $N$ respuestas por prompt) para estimar ventajas. Aunque los grupos pequeños ($N=2$) son computacionalmente eficientes y los grupos grandes proporcionan una cobertura amplia, las restricciones prácticas a menudo limitan $N$ a tamaños intermedios (por ejemplo, $N=8$). El artículo identifica una brecha crítica en la comprensión de cómo estos tamaños de grupo finitos afectan la dinámica de optimización. Específicamente, postula que los tamaños de grupo intermedios pueden crear un régimen de "pérdida de cola" donde las actualizaciones están activas (recompensas mixtas) pero fallan al muestrear trayectorias correctas raras, lo que lleva a una concentración de masa de probabilidad en soluciones comunes muestreadas mientras se suprimen comportamientos correctos no muestreados.

Metodología

Análisis Teórico

Los autores derivan la probabilidad de un evento de pérdida de cola ($B_{E,N}(x)$), definido como una actualización activa (donde el grupo contiene tanto despliegues correctos como incorrectos) que falla al muestrear un subconjunto correcto específico de baja masa $E_x$.

• Comportamiento No Monótono: La probabilidad de este evento es no monótona con respecto al tamaño del grupo $N$. Un $N$ pequeño a menudo resulta en actualizaciones inactivas (todos correctos o todos incorrectos), preservando la diversidad mediante la inactividad. Un $N$ grande asegura la cobertura de modos raros. Sin embargo, un $N$ intermedio maximiza la probabilidad de actualizaciones activas que pasan por alto regiones correctas raras.
• Mecanismo de Redistribución: Utilizando un marco de política categórica, los autores analizan cómo se redistribuye la masa de probabilidad. Muestran que incluso cuando la masa correcta total ($Q_{pos}$) aumenta, la masa correcta no muestreada ($Q_{u,pos}$) puede disminuir. Esto ocurre porque los lotes con recompensa positiva empujan los logits no muestreados hacia abajo mediante la resta de la línea base y la normalización softmax, "olvidando" efectivamente soluciones correctas que no fueron muestreadas en el grupo actual.

Solución Propuesta: F-GRPO

Para mitigar esto sin aumentar el costo computacional (tamaño de despliegue), los autores proponen F-GRPO (Optimización de Política Relativa por Grupos Focal).

• Ponderación Focal: Inspirado en la Pérdida Focal, el método introduce un coeficiente de escala consciente de la dificultad $g(x)$ aplicado a la ventaja relativa del grupo.
• Mecanismo: El peso se define como $g(x) = (1 - \hat{\mu}_{pos}(x))^\gamma$, donde $\hat{\mu}_{pos}(x)$ es la tasa de éxito empírica del grupo muestreado (número de despliegues correctos $X$ dividido por $N$).
• Efecto: Esto reduce el peso de las actualizaciones de grupos con altas tasas de éxito empírico (donde el modelo ya ha "aprendido lo obvio" para ese prompt) y preserva la señal de grupos con éxito mixto donde los comportamientos correctos raros podrían estar subrepresentados. Es una modificación ligera que escala la señal de ventaja uniformemente para todos los despliegues en un prompt sin requerir redes adicionales ni cambiar los valores de recompensa.

Contribuciones Clave

1. Derivación de la Probabilidad de Pérdida de Cola: El artículo caracteriza explícitamente la probabilidad de que las actualizaciones activas pasen por alto subconjuntos correctos raros, demostrando su dependencia no monótona del tamaño del grupo. Esto ayuda a reconciliar hallazgos previos conflictivos sobre los tamaños de grupo óptimos.
2. Análisis de Masa Correcta No Muestreada: Los autores muestran teórica y empíricamente que la masa correcta total puede crecer mientras la masa correcta no muestreada se reduce, explicando el mecanismo detrás del afilado de la distribución en configuraciones de grupos finitos.
3. Validación de Solución Única: Utilizando un entorno de Laberinto donde cada prompt tiene exactamente una trayectoria correcta, el artículo demuestra que la degradación de pass@K puede ocurrir incluso sin múltiples soluciones correctas por prompt, aislando el efecto a la cobertura de la secuencia objetivo en lugar de la diversidad intra-prompt.
4. Algoritmo F-GRPO: Un esquema de reponderación simple y de tipo "plug-in" aplicable a GRPO, DAPO y CISPO que mejora pass@256 mientras mantiene o mejora pass@1, sin aumentar los costos de despliegue.

Resultados Experimentales

Los autores evaluaron F-GRPO en Qwen2.5-7B, Qwen3-4B-Base y Llama-3.2-3B-Instruct a través de varias pruebas (MATH500, AIME, AMC, GPQA, IFEval, SynLogic).

• Simulación Categórica: Confirmó que los tamaños de grupo intermedios conducen a la masa positiva retenida más baja ($M_{ret}$), mientras que la ponderación focal ($\gamma=1$) mejora significativamente la retención de masa en esta "zona de concentración".
• Experimentos de Laberinto: En un escenario de solución única, F-GRPO redujo la caída temprana en el tiempo de entrenamiento de pass@K y mejoró el pass@1 y pass@256 finales en todos los tamaños de grupo probados ($N \in \{4, \dots, 128\}$).
• Pruebas de LLM (N=8):
  • Rendimiento Matemático: En Qwen2.5-7B, F-GRPO mejoró el pass@256 matemático promedio de 64.1 (GRPO) a 70.3, y de 69.3 (DAPO) a 72.5.
  • Rendimiento OOD: El pass@256 fuera de dominio (OOD) también mejoró consistentemente en todos los métodos (por ejemplo, GRPO: 55.9 $\to$ 63.3; DAPO: 58.4 $\to$ 63.6).
  • Eficiencia: F-GRPO en $N=8$ logró un rendimiento comparable al GRPO estándar en $N=32$ en pass@256, recuperando efectivamente los beneficios de grupos más grandes con 4 veces menos cómputo.
  • Generalización: El método se transfirió efectivamente entre diferentes optimizadores (GRPO, DAPO, CISPO) y escalas de modelo.
• Ablación: Las ganancias no fueron replicadas por una simple reducción de la tasa de aprendizaje o regularización estándar (entropía/KL), lo que sugiere que la mejora proviene específicamente del mecanismo de reponderación basado en el éxito.

Significado y Afirmaciones

El artículo afirma proporcionar una resolución teórica y práctica al problema de "afilado" en el RLVR relativo a grupos. Al identificar que los tamaños de grupo intermedios maximizan el riesgo de perder trayectorias correctas raras, los autores argumentan que simplemente aumentar $N$ no siempre es viable debido a las restricciones computacionales.

F-GRPO ofrece una estrategia de mitigación de bajo costo que:

1. Recupera el rendimiento pass@256 típicamente perdido al usar tamaños de grupo intermedios.
2. Preserva o mejora pass@1 (precisión de muestra única).
3. Funciona en diferentes variantes de RLVR y arquitecturas de modelos.
4. No requiere aumentar el presupuesto de despliegue ni añadir redes auxiliares.

Los autores posicionan F-GRPO como un ajuste necesario para la tubería estándar de RLVR, asegurando que las actualizaciones de la política no refuercen inadvertidamente solo las soluciones "obvias" expuestas en una muestra finita mientras olvidan los comportamientos correctos "raros" necesarios para un razonamiento robusto.