Resumen Técnico: Optimización de Política Relativa de Grupo Guiada por Nitidez mediante Moldeamiento de Probabilidad

Declaración del Problema

El Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) ha surgido como el principal motor para mejorar las capacidades de razonamiento de los Modelos de Lenguaje Grandes (LLMs) en dominios como matemáticas, lógica y respuesta a preguntas aumentada con herramientas. La Optimización de Política Relativa de Grupo (GRPO) es el optimizador dominante en este contexto debido a su simplicidad y a la falta de dependencia de una función de valor explícita. Sin embargo, las implementaciones actuales de RLVR a menudo carecen de un control robusto sobre la generalización. Los autores identifican que el entrenamiento puede conducir a actualizaciones "nítidas" (sharp)—pasos de gradiente grandes e inestables—lo cual teóricamente se correlaciona con un rendimiento de generalización más pobre. El problema central abordado es cómo estabilizar el entrenamiento de GRPO y mejorar la generalización sin sacrificar la señal de aprendizaje ni introducir cambios arquitectónicos complejos.

Metodología: GRPO-SG

El artículo propone GRPO Guiado por Nitidez (GRPO-SG), una variante ponderada por token de GRPO diseñada para reducir la nitidez de las actualizaciones de optimización. La metodología se fundamenta en una visión teórica de generalización y se implementa mediante un mecanismo de moldeamiento de probabilidad basado en la confianza.

Fundamento Teórico

Los autores revisan GRPO a través de una lente de generalización basada en la robustez. Establecen que la pérdida de generalización está acotada superiormente por la suma de la pérdida de entrenamiento empírica y un sustituto de nitidez medido por la norma del gradiente (Teorema 3.3).

• Insight Clave: Normas de gradiente más pequeñas corresponden a actualizaciones menos nítidas, lo que implica una mejor generalización.
• Derivación: Al analizar el gradiente de la pérdida empírica, los autores muestran que la norma del gradiente está influenciada por pesos a nivel de token. Específicamente, el producto de un peso de token ($w_{i,t}$) y el término $(1 - \pi_\theta(o_{i,t}))$ (que representa la incertidumbre) impacta directamente la magnitud del gradiente.

Implementación Algorítmica

GRPO-SG modifica el objetivo estándar de GRPO introduciendo un peso de token $w_{i,t}$ que actúa como una señal de confianza.

1. Señal de Confianza: El peso se deriva del logit del token seleccionado ($h_{i,t}$) producido por la política actual. Este logit sirve como un proxy para la confianza del modelo en el token que seleccionó.
2. Moldeamiento de Probabilidad: Se aplica una función de mapeo monótona y consciente de la confianza $\omega(\cdot)$ al logit para generar el peso. La formulación específica (Ecuación 20) es:
   $$w_{i,t} = \text{clip}\left(\alpha \cdot \left[\sigma\left(\frac{\text{sg}[h_{i,t}]}{\tau}\right) - \mu\right], L, U\right)$$
   • $\text{sg}[\cdot]$ es un operador de stop-gradient para evitar que el modelo manipule los pesos.
   • $\sigma$ es una función sigmoide, y $\tau, \mu, \alpha, L, U$ son hiperparámetros que controlan la suavidad y los límites.
3. Mecanismo:
   • Tokens de Alta Confianza: Los tokens con logits altos (alta confianza) reciben pesos más altos, preservando la señal de aprendizaje en pasos de razonamiento críticos.
   • Tokens de Baja Confianza: Los tokens con logits bajos reciben pesos más bajos. Dado que los tokens de baja confianza a menudo inducen gradientes más grandes (debido al término $(1-\pi)$), reducir su peso suprime las actualizaciones "nítidas" que podrían desestabilizar el entrenamiento.
4. Integración: Estos pesos se integran directamente en el objetivo sustituto de GRPO, reduciendo efectivamente el peso de los tokens propensos a causar gradientes excesivamente grandes, mientras se mantiene el recorte estilo PPO estándar y la normalización de la ventaja.

Contribuciones Clave

1. Visión de Generalización de GRPO: El artículo proporciona un vínculo teórico entre el entrenamiento de RLVR y un objetivo de generalización robusto, caracterizando la generalización mediante un sustituto de nitidez (norma del gradiente).
2. Algoritmo GRPO-SG: Introduce una modificación simple y efectiva a GRPO que utiliza la confianza del token (logits de tokens seleccionados) para moldear las magnitudes de actualización, reduciendo la nitidez sin requerir modelos auxiliares ni moldeamiento de recompensas complejo.
3. Validación Empírica: El método se valida en diversas pruebas de RLVR, demostrando mejoras consistentes sobre GRPO estándar y otras líneas base de control a nivel de token (por ejemplo, 80/20, AR, Lopti).

Resultados Experimentales

Se realizaron experimentos en tres configuraciones distintas de RLVR: Razonamiento Matemático, Respuesta a Preguntas Agente (aumentada con herramientas) y Puzzles Lógicos (Caballeros y Pícaros).

• Razonamiento Matemático: En pruebas que incluyen OlympiadBench, Minerva y MATH-500, GRPO-SG logró mejoras promedio de +2.7% a +6.0% sobre GRPO estándar. Por ejemplo, en la receta de entrenamiento DSR con Qwen2.5-7B, la ganancia promedio fue del 6.0%.
• Respuesta a Preguntas Agente: En tareas de respuesta a preguntas aumentadas con conocimiento (usando VT-Search), GRPO-SG casi duplicó la precisión de coincidencia exacta para el modelo Qwen2.5-3B (de 13.84 a 27.29) y proporcionó ganancias significativas en el modelo Qwen3-4B.
• Puzzles Lógicos: En la prueba K&K Logic Puzzles, GRPO-SG mejoró la precisión promedio de Qwen2.5-3B de 0.42 a 0.63 (una ganancia relativa del 50%) y de Qwen2.5-7B de 0.75 a 0.91.
• Dinámica de Entrenamiento: Más allá de la precisión, GRPO-SG exhibió trayectorias de norma de gradiente más suaves y menos picos atípicos en comparación con GRPO (Figura 1), consistente con el objetivo teórico de reducir la nitidez. Las recompensas de entrenamiento también fueron más altas y estables.

Significado y Afirmaciones

El artículo afirma que GRPO-SG es una actualización simple y efectiva orientada a la generalización para GRPO en RLVR.

• Simplicidad: El método no requiere modelos de valor adicionales, etiquetas humanas ni cambios arquitectónicos complejos; solo modifica la ponderación de tokens dentro del objetivo GRPO existente.
• Estabilidad: Al controlar explícitamente la nitidez de las actualizaciones mediante la confianza del token, el método estabiliza el proceso de entrenamiento, lo que conduce a capacidades de razonamiento más robustas.
• Generalidad: Las mejoras son consistentes a través de diferentes tamaños de modelo (de 3B a 7B+), diferentes familias de modelos (Qwen, Mistral, LLaMA) y diversos dominios de razonamiento (matemáticas, lógica, búsqueda agente).

Los autores concluyen que controlar explícitamente la nitidez de las actualizaciones mediante la ponderación de tokens basada en la confianza es una estrategia viable para mejorar la estabilidad y el rendimiento de los LLMs entrenados por refuerzo, ofreciendo un camino práctico hacia una mejor generalización en entornos de recompensas verificables.