Resumen Técnico: GRPO es Secretamente un Modelo de Recompensa de Proceso

Declaración del Problema

El Aprendizaje por Refuerzo (RL) para Modelos de Lenguaje Grandes (LLM) a menudo depende de Modelos de Recompensa de Resultado (ORM), que asignan una única recompensa escalar a toda una trayectoria. Aunque los Modelos de Recompensa de Proceso (PRM) ofrecen una asignación de crédito más detallada al recompensar pasos intermedios, entrenar PRMs neuronales explícitos requiere costosa anotación humana a nivel de paso y es susceptible a la manipulación de recompensas. En consecuencia, muchas aplicaciones exitosas de RL, particularmente en razonamiento matemático, utilizan la Optimización de Políticas Relativas de Grupo (GRPO), la cual elimina el modelo crítico y la Estimación de Ventaja Generalizada (GAE) utilizados en el PPO tradicional.

Sin embargo, existe una brecha crítica en la comprensión de cómo GRPO maneja las señales a nivel de paso. Aunque GRPO se considera típicamente un algoritmo a nivel de resultado, no está claro si realiza implícitamente una asignación de crédito a nivel de proceso. Además, si existe dicha asignación implícita, se desconoce si la función objetivo estándar de GRPO contiene defectos inherentes que impactan negativamente la exploración y la explotación cuando los pasos del proceso tienen frecuencias o recompensas desequilibradas.

Metodología

Equivalencia Teórica

Los autores proporcionan una demostración teórica de que GRPO estándar, cuando está equipado con un ORM, es matemáticamente equivalente a un objetivo de RL consciente de PRM equipado con un PRM no trivial basado en Monte-Carlo.

• Pasos de Proceso Implícitos: Los autores definen "conjuntos de proceso" ($\lambda$) como subconjuntos de trayectorias dentro de un grupo de entrenamiento $G$ que comparten prefijos idénticos. Estos prefijos compartidos definen naturalmente pasos de proceso (subtrayectorias).
• Construcción Implícita de PRM: Construyen una función $f$ que mapea cada trayectoria a una secuencia de pasos de proceso. La recompensa asignada a un paso de proceso específico es la recompensa de resultado media de todas las trayectorias en el grupo que comparten ese prefijo específico (una estimación de Monte-Carlo).
• Demostración de Equivalencia: Bajo suposiciones leves (específicamente utilizando el objetivo de gradiente de política a nivel de token y una sola iteración de actualización por lote), los autores demuestran que la función de pérdida estándar de GRPO ($L_{GRPO}$) es idéntica a una función de pérdida consciente de PRM ($L_{PRM}$) donde las ventajas se calculan en relación con estas recompensas a nivel de paso implícitas.

Identificación de un Defecto

El análisis revela un defecto en el objetivo estándar de GRPO relacionado con la frecuencia desequilibrada de los pasos de proceso.

• En la formulación estándar, la contribución de un paso de proceso a la pérdida total se escala por el número de trayectorias ($|\lambda|$) que comparten ese paso.
• Si un paso de proceso tiene una ventaja negativa (es decir, su recompensa media está por debajo del promedio del grupo) pero es compartido por muchas trayectorias, la penalización se complica por $|\lambda|$. Esto suprime desproporcionadamente la probabilidad de generar ese paso, obstaculizando potencialmente la exploración de trayectorias de alta recompensa que, por azar, comparten un prefijo de baja recompensa con otras trayectorias.
• Por el contrario, si un paso tiene una ventaja positiva, la señal de recompensa se amplifica, obstaculizando potencialmente la exploración de rutas alternativas.

Solución Propuesta: $\lambda$-GRPO

Para mitigar este defecto, los autores proponen $\lambda$-GRPO, una modificación simple a la función de pérdida de GRPO.

• Mecanismo: La pérdida a nivel de token para un token $y^{(i)}_t$ se escala por el inverso del tamaño de su conjunto de proceso, $|\lambda(i,t)|^{-1}$.
• Efecto: Esta normalización cancela el factor de escalado de frecuencia $|\lambda|$ encontrado en el objetivo estándar. En consecuencia, cada conjunto de proceso contribuye por igual a la pérdida en un índice dado, independientemente de cuántas trayectorias compartan ese prefijo. Esto evita que el algoritmo penalice o recompense en exceso los pasos simplemente debido a su frecuencia dentro del grupo.

Resultados Clave

Validación Empírica del PRM Implícito

Los autores verificaron empíricamente que la estructura de PRM "oculta" es no trivial en entornos del mundo real.

• Utilizando el conjunto de datos de razonamiento matemático OpenRS, analizaron las estructuras de árbol ($B(G)$) formadas por los prefijos de las trayectorias durante el entrenamiento.
• Los resultados mostraron que para tamaños de grupo de 6 y 36, más del 99% de los grupos generados indujeron recompensas de proceso no triviales (es decir, los prefijos se superpusieron significativamente).
• A medida que avanzaba el entrenamiento y los modelos convergían, la complejidad de estas estructuras de prefijos (profundidad de la ruta) y la proporción de tokens involucrados en pasos intermedios aumentaron drásticamente.

Rendimiento en Tareas Sintéticas

En un entorno de árbol binario sintético diseñado para probar la hipótesis de "anti-exploración":

• GRPO estándar tuvo dificultades para converger hacia la ruta objetivo de máxima recompensa cuando esa ruta compartía un prefijo con rutas de menor recompensa (debido a la ventaja negativa compuesta).
• $\lambda$-GRPO convergió consistentemente hacia la ruta objetivo con mayor frecuencia en diversas configuraciones de longitud de prefijo y valores de recompensa negativa.

Benchmarks de Razonamiento Downstream

Los autores ajustaron finamente los modelos DeepSeek-R1-Distill-Qwen-1.5B y Llama-3.2-1B-Instruct en el conjunto de datos OpenRS y los evaluaron en cinco benchmarks de razonamiento (AIME24, MATH-500, AMC23, Minerva, OlympiadBench).

• Precisión: Los modelos $\lambda$-GRPO superaron a los modelos GRPO estándar en 15 de 20 configuraciones específicas de tarea/modelo.
• Eficiencia: Los modelos $\lambda$-GRPO alcanzaron su máxima precisión de validación en menos de la mitad del número de pasos de entrenamiento requeridos por GRPO estándar.
• Aceleración: Los autores reportan una aceleración de entrenamiento aproximada de 2x en términos de pasos hasta el máximo rendimiento, con una sobrecarga computacional insignificante para el cálculo de normalización.

Significado y Afirmaciones

El artículo afirma que el algoritmo GRPO estándar ya posee una rica estructura de PRM integrada derivada de recompensas a nivel de resultado y superposiciones de trayectorias. El significado de este trabajo radica en tres áreas principales:

1. Perspectiva Teórica: Desmitifica GRPO, demostrando que no es meramente un algoritmo a nivel de resultado, sino uno que optimiza implícitamente recompensas estructuradas a nivel de paso mediante estimación de Monte-Carlo.
2. Mejora Algorítmica: Identifica un defecto matemático específico en el objetivo estándar relacionado con el desequilibrio de frecuencia y ofrece una solución computacionalmente económica ($\lambda$-GRPO) que mejora significativamente el rendimiento.
3. Impacto Práctico: Demuestra que se puede lograr una asignación de crédito de alta calidad a nivel de paso sin el costo de entrenar PRMs neuronales explícitos o recopilar anotaciones humanas a nivel de paso. Al aprovechar la estructura implícita, los practicantes pueden mejorar las capacidades de razonamiento y la eficiencia del entrenamiento con un costo adicional insignificante.

Los autores concluyen que el trabajo futuro debería explotar estas señales a nivel de paso implícitas en lugar de depender exclusivamente de PRMs explícitos y costosos.