Resumen Técnico: GRPO Predecible: Un Modelo de Forma Cerrada de la Dinámica de Entrenamiento

Declaración del Problema

Si bien la Optimización de Política Relativa de Grupo (GRPO, por sus siglas en inglés) se ha convertido en un mecanismo estándar para mejorar las capacidades de razonamiento de los Grandes Modelos de Lenguaje (LLM) mediante el aprendizaje por refuerzo con recompensas verificables (RLVR), la dinámica subyacente de su entrenamiento sigue siendo mayoritariamente empírica. La comprensión actual depende del ajuste de trayectorias de recompensa a formas funcionales de pocos parámetros (por ejemplo, saturación exponencial simple) donde las constantes carecen de significado mecánico. En consecuencia, la selección de hiperparámetros sigue siendo una cuestión de ensayo y error, y los distintos modos de fallo —como el hackeo de recompensas (reward hacking), la degeneración de la ventaja y la concentración de la política— suelen confundirse en el análisis estándar de las curvas de recompensa. Este artículo aborda la necesidad de un modelo mecánico basado en primeros principios que explique la dinámica de entrenamiento de GRPO y proporcione predicciones falsables vinculadas a cantidades mensurables.

Metodología

Los autores desarrollan un modelo de orden reducido de la dinámica de entrenamiento de GRPO mediante una combinación de derivación teórica y validación empírica en tres modelos (Nemotron-Mini-4B, DeepSeek-LLM-7B-Chat y DeepSeek-R1-Distill-Qwen-1.5B) y dos tamaños de grupo ($G \in \{4, 16\}$).

Marco Teórico

La contribución teórica central es la reducción de la regla de actualización discreta de GRPO a un oscilador amortiguado forzado estocásticamente en tiempo continuo. Esta derivación se basa en dos pasos principales:

1. Supuesto de Campo Medio (Mean-Field): La política se resume mediante un parámetro de orden escalar $p(\theta) = \mathbb{E}_{o \sim \pi_\theta}[R]$, la recompensa esperada. Esto asume que la dinámica está dominada por la evolución de esta expectativa, importando la existencia de un punto fijo estable $p^\star$ y propiedades de contracción de trabajos previos (Mroueh, 2025).
2. Expansión de Segundo Orden: La actualización discreta (que incorpora el impulso o momentum $\mu$ y el retraso fuera de la política $\tau = K_{ref}\delta$) se expande a segundo orden en el tamaño del paso $\delta$ y el retraso de actualización $\tau$.
   • El impulso (momentum) promueve que el flujo del gradiente sea un sistema de segundo orden, suministrando inercia.
   • El retraso fuera de la política (retraso en la actualización de la política) introduce inercia adicional pero erosiona el amortiguamiento.
   • El tamaño del grupo ($G$) entra en el sistema únicamente como una temperatura de ruido, escalando la intensidad del forzamiento estocástico.

La ecuación de movimiento resultante para el error $e = p - p^\star$ es:
$$M_{eff} \ddot{e} + C_{eff} \dot{e} + K_{eff} e = \sqrt{D/G} \xi(t)$$
donde la masa efectiva ($M_{eff}$), el amortiguamiento ($C_{eff}$) y la rigidez ($K_{eff}$) están dadas en forma cerrada por los hiperparámetros del optimizador ($\eta, \mu$), el intervalo de actualización ($K_{ref}$) y la escala de curvatura ($K$) del potencial efectivo.

Protocolo Experimental

Los autores validan el modelo utilizando:

• Entrenamiento: GRPO sobre el conjunto de datos GSM8K con recompensas binarias verificables.
• Diagnósticos: Registro de cantidades internas (varianza de la ventaja, entropía de la política, divergencia KL, normas de gradiente, razones de importancia) para distinguir entre la inestabilidad dinámica y la erosión del supuesto de campo medio.
• Evaluación: Evaluación en distribución (GSM8K) y transferencia fuera de distribución a ocho entornos de referencia matemáticos que van desde problemas de nivel escolar hasta matemáticas de nivel de olimpiada.
• Reducción Exacta: Un experimento controlado de banda de softmax donde el supuesto de campo medio se cumple exactamente, utilizado para probar los umbrales de estabilidad y las transiciones oscilatorias sin errores de aproximación de redes profundas.

Contribuciones Clave

1. Un Modelo de Orden Reducido de la Dinámica de GRPO

El artículo deriva una ecuación diferencial estocástica de forma cerrada (Teorema 7) que describe GRPO como un oscilador amortiguado. Los coeficientes están definidos explícitamente:

• Masa ($M_{eff}$): Determinada por el impulso y el retraso fuera de la política.
• Amortiguamiento ($C_{eff}$): Determinado por el impulso y la erosión causada por el retraso fuera de la política.
• Rigidez ($K_{eff}$): Determinada por el peso de anclaje KL y la curvatura local del paisaje de recompensa.

2. Reinterpretación Mecanicista de las Leyes Empíricas

El modelo subsume la ley de saturación exponencial simple observada empíricamente como el límite sobreamortiguado del oscilador derivado.

• El "plateau" empírico se identifica como el punto fijo $p^\star$.
• La "escala de tiempo" empírica se identifica como la inversa de la rigidez ($1/K_{eff}$).
• La fase de "inicio lento" observada en las curvas de entrenamiento, que los modelos de exponencial simple no pueden capturar, se explica mediante el término de inercia retenido (Proposición 14), prediciendo una trayectoria de tres fases: inicio lento, ascenso rápido y plateau.

3. Predicciones Falsables y Diagnósticos

El modelo genera predicciones vinculadas a cantidades mensurables de forma independiente, en lugar de constantes ajustadas:

• Invarianza del Tamaño del Grupo: La trayectoria determinista es independiente de $G$; $G$ solo afecta la magnitud de la fluctuación estacionaria ($\propto 1/G$).
• Umbral de Estabilidad: Una transición brusca hacia la inestabilidad ocurre cuando $K \eta K_{ref} > 1 - \mu$.
• Transición de Sobreamortiguado a Oscilatorio: El barrido del intervalo de actualización $K_{ref}$ debería inducir una transición de convergencia monotónica a oscilaciones amortiguadas.
• Separación de Modos de Fallo: Los autores operacionalizan cuatro diagnósticos para distinguir entre:
  • Desacoplamiento Entrenamiento-Evaluación (Hackeo de Recompensa): Divergencia entre las tasas de saturación de entrenamiento y evaluación.
  • Degeneración de la Ventaja: Colapso de la varianza de la recompensa dentro del grupo, lo que conduce a ventajas de tipo $0/0$.
  • Concentración de la Política: Caída rápida de la entropía de la política mientras la recompensa continúa aumentando.
  • Inestabilidad Dinámica: Crecimiento ilimitado en las normas de gradiente o en las razones de importancia.

Resultados

Validación Empírica

• Ajuste de Curvas: A través de tres modelos y dos tamaños de grupo, la ley de tres fases derivada se ajusta a las trayectorias de recompensa de entrenamiento con $R^2 \ge 0.91$. La inclusión del término de inercia mejora significativamente el ajuste sobre los modelos de exponencial simple, particularmente al capturar la fase inicial de inicio lento.
• Invarianza del Tamaño del Grupo: Aumentar $G$ de 4 a 16 dejó la trayectoria media y el plateau ajustado ($R_\infty$) esencialmente sin cambios, mientras que redujo la dispersión entre ejecuciones, confirmando la predicción de escalado de ruido $1/G$.
• Transferencia Fuera de Distribución: El entrenamiento de GRPO en GSM8K se transfirió positivamente a ocho entornos de referencia externos. Las ganancias fueron mayores en los entornos cercanos a la distribución de entrenamiento (por ejemplo, GSM-Plus) y disminuyeron para tareas de alta dificultad y mayor distancia (por ejemplo, AIME-2026), mostrando el modelo con destilación de razonamiento la transferencia más robusta.
• Estabilidad y Oscilaciones: En las ejecuciones estándar de GSM8K (tasa de aprendizaje pequeña), todos los modelos permanecieron en el régimen estable y sobreamortiguado. Sin embargo, en la reducción exacta de la banda de softmax, los autores lograron inducir con éxito la transición prevista de sobreamortiguado a oscilatorio mediante el barrido de $K_{ref}$. El umbral de estabilidad empírico se alineó con la predicción teórica $K \eta K_{ref} = 1 - \mu$ utilizando una rigidez $K$ medida de forma independiente.

Hallazgos de Diagnóstico

• Hackeo de Recompensa: Modelos como DeepSeek-LLM-7B-Chat con $G=4$ mostraron signos de hackeo de recompensa (desacoplamiento entrenamiento-evaluación), mientras que el modelo de razonamiento destilado Qwen-1.5B con $G=16$ mantuvo un acoplamiento saludable.
• Colapso de Modo: Los diagnósticos identificaron con éxito regímenes donde la construcción de la ventaja degeneró (prompts colapsados) o donde la concentración de la política erosionó el supuesto de campo medio, distinguiéndolos de una simple inestabilidad dinámica.

Significado y Reivindicaciones

El artículo afirma proporcionar un relato mecanicista del entrenamiento de GRPO que transforma el campo del "arte a la ciencia" respecto al ajuste de hiperparámetros. Al reducir la compleja dinámica de alta dimensión a un sistema de segundo orden de forma cerrada, los autores argumentan que:

1. Predictibilidad: Las trayectorias de entrenamiento pueden predecirse basándose en hiperparámetros y una única escala de curvatura medida, en lugar de ajustarse post-hoc.
2. Poder Diagnóstico: El modelo proporciona lecturas específicas para separar distintos modos de fallo que de otro modo serían indistinguibles en una curva de recompensa estándar.
3. Unificación Teórica: Unifica las leyes de escalado empíricas (Nimmaturi et al., 2025; Ghosh et al., 2026) como límites específicos de un modelo físico más general.

Los autores mantienen la modestia respecto al alcance, señalando que el modelo es una aproximación de orden reducido condicionada al supuesto de campo medio y a la expansión de pasos pequeños. Reconocen que la demostración en redes profundas del régimen oscilatorio (aumentar $\eta$ o $K_{ref}$ para inducir inestabilidad) queda para trabajos futuros, ya que sus ejecuciones actuales de GSM8K fueron configuradas deliberadamente para permanecer en el régimen estable y sobreamortiguado. Los experimentos de reducción exacta sirven como una prueba de concepto de que la física predicha (umbrales de estabilidad y oscilaciones) es una propiedad de la propia dinámica, no un artefacto de la aproximación de la red profunda.