Resumen Técnico: Domando Tokens Extremos con GRPO Consciente de la Covarianza

Declaración del Problema

La Optimización de Política Relativa por Grupos (GRPO) se ha convertido en un enfoque estándar para mejorar las capacidades de razonamiento de los Modelos de Lenguaje de Gran Escala (LLM), particularmente en tareas matemáticas y de codificación. Sin embargo, GRPO enfrenta una limitación crítica al equilibrar la compensación entre exploración (búsqueda de nuevas estrategias de razonamiento) y explotación (refinamiento de soluciones conocidas y buenas).

El artículo identifica que este desequilibrio está fundamentalmente ligado a la dinámica de entropía de la política durante el entrenamiento. Basándose en conocimientos teóricos de Cui et al. (2025a), los autores señalan que los cambios en la entropía de la política están gobernados por la covarianza entre los log-probabilidades de los tokens y sus estimaciones de ventaja correspondientes. El análisis empírico revela que una pequeña fracción de tokens con valores de covarianza extremos dominan desproporcionadamente las actualizaciones de la política. Estos valores atípicos causan inestabilidad en la entropía, lo que lleva a una sobreconfianza en soluciones subóptimas (explotación excesiva) o a dinámicas de entrenamiento inestables (exploración excesiva), resultando finalmente en un rendimiento subóptimo en tareas posteriores.

Metodología

La solución propuesta es GRPO Consciente de la Covarianza (CW-GRPO), un método de optimización libre de hiperparámetros que repondera dinámicamente las señales de ventaja basándose en la covarianza a nivel de token.

1. Fundamento Teórico

El método se basa en la observación de que el cambio en la entropía de la política ($\Delta H$) bajo actualizaciones de gradiente de política natural es aproximadamente proporcional a la covarianza negativa entre los log-probabilidades de los tokens y las ventajas:
$$\Delta H \approx -\eta \cdot \text{Cov}_t(\log \pi_\theta(o_t|q, o_{<t}), \hat{A}_i)$$
Los valores extremos en esta covarianza impulsan la entropía lejos de un estado estable y equilibrado.

2. Reponderación de Ventajas con Núcleo Gaussiano

Para mitigar el efecto desestabilizador de los tokens extremos, los autores introducen un mecanismo de reponderación:

• Cálculo de Covarianza: Para cada token $t$ en la respuesta $i$, el método calcula la covarianza entre el log-probabilidad centrado y la ventaja centrada:
  $$c_{i,t} = (\log \pi_\theta(o_{i,t}|\dots) - \overline{\log \pi}) \cdot (\hat{A}_i - \overline{\hat{A}})$$
• Ponderación Gaussiana: Se aplica un núcleo gaussiano para suprimir tokens con covarianzas de alta magnitud. El ancho de banda se establece en la desviación estándar empírica ($\sigma$) de la distribución de covarianza:
  $$w_{i,t} = \exp\left(-\frac{c_{i,t}^2}{2\sigma^2}\right)$$
  Esta función filtra suavemente los tokens "atípicos" que de otro modo causarían colapso o explosión de la entropía, preservando al mismo tiempo las señales de aprendizaje de los tokens con covarianzas moderadas.
• Normalización: Los pesos se normalizan para mantener la magnitud de pérdida esperada en el lote.
• Objetivo Modificado: La pérdida a nivel de token se actualiza multiplicando la ventaja $\hat{A}_i$ por el factor de reponderación $\tilde{w}_{i,t}$ antes de aplicar el objetivo estándar de GRPO.

Contribuciones Clave

1. Identificación de Tokens Extremos: El artículo demuestra empíricamente que una pequeña fracción de tokens con valores de covarianza extremos impulsan desproporcionadamente las actualizaciones de la política y la inestabilidad de la entropía en GRPO estándar.
2. Optimización Libre de Hiperparámetros: El método propuesto CW-GRPO reduce automáticamente el peso de las actualizaciones extremas utilizando un núcleo gaussiano sin requerir hiperparámetros adicionales ajustables.
3. Dinámica de Entropía Estabilizada: Al suprimir las actualizaciones de covarianza extremas, el método mantiene la entropía de la política en un nivel razonable, equilibrando efectivamente la exploración y la explotación durante todo el entrenamiento.

Resultados Experimentales

Los autores evaluaron CW-GRPO en dos escalas de modelo (1.5B y 7B) utilizando el conjunto de datos de entrenamiento Open-RS y cinco benchmarks de razonamiento matemático (AIME24, MATH-500, AMC23, Minerva, OlympiadBench).

• Mejoras de Rendimiento:
  • Modelo 1.5B (DeepSeek-R1-Distill-Qwen): CW-GRPO logró una mejora promedio de +6.4% sobre el modelo base y +2.7% sobre GRPO estándar. Se observaron ganancias notables en AMC23 y Minerva.
  • Modelo 7B (Qwen2.5-Math): CW-GRPO logró una mejora promedio de +4.3% sobre el modelo base y +2.4% sobre GRPO estándar, con ganancias significativas en AMC23 y OlympiadBench.
• Estabilidad de Entropía:
  • GRPO estándar exhibió una inestabilidad significativa de la entropía, con un rendimiento que se degradaba a medida que avanzaba el entrenamiento (por ejemplo, las puntuaciones de MATH-500 cayeron del 85.0% al 79.8% a medida que fluctuaba la entropía).
  • CW-GRPO mantuvo un rendimiento consistente a través de los puntos de control de entrenamiento (86.2%–87.0% en MATH-500), validando que el control de los valores de covarianza extremos se correlaciona con un rendimiento de razonamiento estable y superior.

Significado y Afirmaciones

El artículo afirma que su enfoque proporciona un mecanismo principista para equilibrar la exploración y la explotación en GRPO sin necesidad de ajuste manual de hiperparámetros. Al abordar directamente la causa raíz de la inestabilidad de la entropía —las actualizaciones de covarianza extremas a nivel de token—, el método permite una optimización de política más robusta.

Los autores posicionan este trabajo como un paso hacia un aprendizaje por refuerzo más estable para el razonamiento, demostrando que moderar las actualizaciones extremas conduce a mejoras posteriores consistentes en diferentes arquitecturas de modelos y benchmarks matemáticos. Reconocen limitaciones, señalando que los experimentos se realizaron en modelos de hasta 7 mil millones de parámetros y se centraron principalmente en el razonamiento matemático, lo que sugiere que es necesaria una validación adicional en modelos de mayor escala y tareas diversas para confirmar su amplia aplicabilidad.