GRPO, Dr. GRPO, and DAPO Are Three Operations on One Number: The Group-Standard-Deviation Identity

Resumen Técnico: La Identidad de la Desviación Estándar del Grupo en el Entrenamiento de RLVR

Planteamiento del Problema
En el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR, por sus siglas en inglés), el entrenamiento de modelos de lenguaje para razonar a menudo implica muestrear múltiples respuestas candidatas ($G$) para un solo prompt y utilizar un verificador automático para asignar recompensas binarias (1 para correcto, 0 para incorrecto). Tres métodos prominentes para procesar estas recompensas—Group Relative Policy Optimization (GRPO), GRPO Done Right (Dr. GRPO) y Decoupled Clip and Dynamic Sampling Policy Optimization (DAPO)—parecen emplear heurísticas distintas. GRPO normaliza las ventajas mediante la desviación estándar de la recompensa del grupo; Dr. GRPO elimina esta normalización; DAPO descarta los grupos donde todas las respuestas coinciden (desviación estándar cero). El artículo aborda la falta de una comprensión teórica unificada de estos métodos, cuestionando si son correcciones separadas o variaciones de un único mecanismo subyacente.

Metodología e Identidad Central
El artículo aísla la actualización de entrenamiento para un solo prompt con un tamaño de grupo finito $G$ y recompensas binarias. Deriva una identidad matemática exacta para la actualización del gradiente de la política por prompt, independiente de la línea base utilizada.

Sea $k$ el número de respuestas correctas en un grupo de tamaño $G$. La desviación estándar de la recompensa del grupo es $\sigma = \sqrt{k(G-k)/G}$. El artículo demuestra la Identidad de la Desviación Estándar del Grupo:
$$g = \sigma (\bar{s}_+ - \bar{s}_-)$$
donde $\bar{s}_+$ y $\bar{s}_-$ son las puntuaciones medias de los rollouts correctos e incorrectos, respectivamente.

Esta identidad revela que la magnitud de la actualización de entrenamiento es exactamente la desviación estándar de la recompensa del grupo. La actualización se anula cuando el grupo es unánime ($k=0$ o $k=G$, por lo tanto $\sigma=0$) y alcanza su máximo cuando el grupo está dividido equitativamente ($k=G/2$).

Unificación de Métodos
El artículo demuestra que GRPO, Dr. GRPO y DAPO no son algoritmos distintos, sino tres operaciones aplicadas a esta única cantidad escalar ($\sigma$):

1. GRPO: Divide la ventaja por $\sigma$. Esto escala la actualización por $\sigma$, optimizando efectivamente un objetivo de varianza estabilizada ($2\arcsin\sqrt{p}$).
2. Dr. GRPO: Elimina la división por $\sigma$. Esto resulta en una actualización proporcional a $\sigma^2$, optimizando la tasa de éxito bruta ($p$).
3. DAPO: Descarta los grupos donde $\sigma = 0$. Esto filtra los grupos "silenciosos" que no proporcionan contraste entre lo correcto y lo incorrecto.

Contribuciones Clave
El artículo proporciona cinco contribuciones teóricas y empíricas específicas:

1. La Identidad Exacta de Grupo Finito: El artículo establece que la actualización de GRPO es exactamente la dirección del puntaje contrastivo escalada por $\sigma$, válida para cualquier $G$ finito y cualquier dimensión de la política, sin depender de límites asintóticos.
2. La Ley del Tamaño del Grupo: Deriva una relación de forma cerrada que determina cuántas muestras ($G$) se requieren para lograr una fidelidad ($\phi$) objetivo del gradiente de grupo grande. El tamaño de grupo requerido escala con el cuadrado del peso de dificultad: $G \gtrsim 1/(8\epsilon p(1-p))$. Esto implica que los prompts difíciles (bajo $p$) requieren tamaños de grupo significativamente mayores para producir una señal de aprendizaje estable en comparación con los de dificultad media.
3. La Tasa de Grupos Silenciosos: El artículo cuantifica la probabilidad de que un grupo sea "silencioso" (que no proporcione gradiente) como $P = p^G + (1-p)^G$. Esto explica el mecanismo detrás del muestreo dinámico de DAPO, que sobremuestrea y descarta estos grupos específicos.
4. Caracterización Exacta del Sesgo de Dificultad: El artículo demuestra que el "sesgo de dificultad" observado en GRPO (donde los prompts fáciles y difíciles son sobreponderados) es una consecuencia directa de la división por $1/\sigma$. Esta división corresponde a la derivada de la transformación arcseno ($\partial_p 2\arcsin\sqrt{p} = 1/\sqrt{p(1-p)}$), que asigna un mayor peso marginal a las dificultades extremas. Eliminar la división (Dr. GRPO) revierte el objetivo a la tasa de éxito bruta con un peso de dificultad plano.
5. Validación Empírica:
   • Dataset Big-Math: En un conjunto de datos de 215,608 problemas, el artículo muestra que la estandarización de GRPO desplaza el presupuesto de gradiente, asignando casi el doble de participación a los prompts de dificultad extrema (13.9% $\to$ 24.7%) en comparación con Dr. GRPO. También confirma que, con un tamaño de grupo estándar ($G=8$), el 44% de los prompts generan grupos silenciosos, coincidiendo con la predicción teórica.
   • Ejecución de Entrenamiento Controlada: Un experimento reproducible con 6,000 prompts de Bernoulli-logit confirma que las predicciones de forma cerrada para las tasas de grupos silenciosos y la distribución de masa de gradiente siguen la dinámica de entrenamiento real con alta precisión ($R^2 = 0.999$ para grupos silenciosos).

Significancia y Reivindicaciones
El artículo sostiene que lo que a menudo se ve como un paso de normalización cosmético es en realidad el "dial" que determina dónde y con qué fuerza ocurre el aprendizaje.

• Señal vs. Ruido: La desviación estándar del grupo no es meramente un normalizador; es el tamaño de la propia señal de aprendizaje. Un prompt enseña solo cuando sus respuestas muestreadas discrepan.
• Visión Unificada: Los tres métodos se unifican como operaciones sobre un solo número. GRPO elige amplificar la señal mediante el nivel de desacuerdo; Dr. GRPO elige ignorar el nivel de desacuerdo; DAPO elige ignorar los casos donde no hay desacuerdo.
• Implicaciones Prácticas: Los hallazgos sugieren que usar un tamaño de grupo uniforme es subóptimo, ya que desatiende a los prompts difíciles (que necesitan un $G$ mayor para evitar el silencio) y sobreatiende a los de dificultad media. El artículo argumenta que comprender la contabilidad exacta del grupo finito permite a los profesionales tomar decisiones informadas sobre el tamaño del grupo y la formulación del objetivo basándose en la distribución de dificultad de sus datos, en lugar de depender de aproximaciones asintóticas o ajustes heurísticos.

El artículo concluye que estos resultados no requieren nuevos algoritmos, sino que se derivan de la contabilidad exacta de un solo grupo muestreado, proporcionando un marco de forma cerrada para analizar el modelado de recompensas en RLVR.