Resumen Técnico: GTPO y GRPO-S

1. Planteamiento del Problema

Los algoritmos actuales de Aprendizaje por Refuerzo (RL) para Modelos de Lenguaje Grande (LLMs), particularmente el Optimización de Política Relativa de Grupo (GRPO) y sus variantes como DAPO, sufren de una asignación de crédito de grano grueso. En estos marcos, se asigna una recompensa uniforme (por ejemplo, +1 por una respuesta final correcta, 0 o -1 por una incorrecta) a cada token dentro de una secuencia generada. Este paradigma crea dos limitaciones críticas:

1. Penalización del Razonamiento Correcto: Una secuencia que contiene docenas de pasos lógicos correctos recibe cero recompensa si la respuesta final es incorrecta, descartando efectivamente un valioso razonamiento intermedio.
2. Recompensa de Caminos Defectuosos: Por el contrario, una secuencia que alcanza una respuesta correcta a través de pasos intermedios adivinados o defectuosos recibe el crédito total, reforzando patrones de razonamiento incorrectos.
3. Sesgo de Longitud: Los diseños estándar de GRPO favorecen implícitamente las secuencias más largas para las respuestas correctas debido a la agregación de ventajas uniformes, lo cual es estadísticamente suboptimal.

Aunque trabajos recientes han utilizado la entropía de la política como una restricción de regularización o una máscara binaria para filtrar tokens, no logran remodelar activamente la señal de recompensa para distinguir entre la exploración de alto valor en soluciones correctas y los errores confiados en soluciones incorrectas.

2. Metodología

Los autores proponen la Ponderación Dinámica de Entropía, un marco que reutiliza la entropía de la política como un ancla intrínseca para la asignación de crédito de grano fino. La hipótesis central es que una alta entropía de la política dentro de una secuencia de razonamiento se correlaciona con puntos de decisión pivotales (esfuerzo cognitivo). El marco redistribuye las recompensas basándose en esta entropía, operando a través de dos algoritmos complementarios:

A. Optimización de Política de Token de Grupo (GTPO)

GTPO opera a nivel de token, asignando una recompensa ponderada por entropía única a cada token.

• Secuencias Exitosas ($O^+$): Los tokens con alta entropía (que indican una exploración o incertidumbre valiosa) reciben un bono de recompensa. La recompensa se moldea como:
  $$\tilde{r}^+_{i,t} = \alpha_1 r_i + \alpha_2 \frac{H_{i,t}}{\sum_{k} H_{k,t}} \cdot d_t$$
  donde $H_{i,t}$ es la entropía de generación del token, y $d_t$ es el recuento de secuencias exitosas activas en el paso $t$. Esto refuerza los pasos inciertos pero correctos.
• Secuencias No Exitosas ($O^-$): Los tokens con baja entropía (que indican alta confianza) reciben penalizaciones más pesadas. La recompensa se moldea usando la entropía inversa:
  $$\tilde{r}^-_{j,t} = \alpha_1 (-1) + \alpha_2 \frac{1/H_{j,t}}{\sum_{k} (1/H_{k,t})} \cdot h_t \cdot (-1)$$
  Esto penaliza los errores confiados, alentando al modelo a salir de los modos de razonamiento incorrectos.
• Cálculo de Ventaja: Se calculan funciones de ventaja separadas para los conjuntos positivos y negativos, normalizadas sobre todos los tokens en el lote para asegurar una escala consistente.

B. GRPO a Nivel de Secuencia (GRPO-S)

GRPO-S es una variante ligera a nivel de secuencia, diseñada para la estabilidad en tareas de Cadena de Pensamiento (CoT) largas.

• En lugar de recompensas a nivel de token, modula la recompensa global para toda una secuencia basándose en su entropía promedio ($\hat{H}_k$).
• Las secuencias exitosas con mayor exploración reciben bonos, mientras que las sec sequences incorrectas con alta confianza (baja entropía promedio) reciben penalizaciones.
• Este enfoque ofrece un equilibrio entre la precisión a micro-nivel de GTPO y la estabilidad macro-nivel de la secuencia.

Garantías Teóricas

El artículo proporciona un análisis teórico que demuestra:

1. Conservación de la Masa de Recompensa: Bajo restricciones específicas de hiperparámetros ($\alpha_1 + \alpha_2 = 1$), la suma de las recompensas positivas moldeadas es igual a la suma de las recompensas binarias originales, asegurando que la señal de aprendizaje total permanezca sin sesgo respecto a la verdad de referencia.
2. Consistencia Asintótica: A medida que el entrenamiento progresa y la varianza de la entropía entre secuencias exitosas disminuye, el sesgo de gradiente introducido por la ponderación de la entropía desaparece, asegurando la convergencia al mismo óptimo global que GRPO/DAPO estándar.
3. Reducción de Varianza: La normalización a nivel de token utilizada en GTPO es estadísticamente superior al promedio de dos etapas en el GRPO estándar, reduciendo la varianza del gradiente.

3. Contribuciones Clave

1. Identificación de Limitaciones de Grano Grueso: El artículo optimiza fundamentalmente el marco GRPO al abordar su incapacidad para asignar crédito a pasos de razonamiento específicos.
2. Algoritmo GTPO: Introduce la primera asignación de crédito real y de grano fino, por token, dentro del eficiente marco GRSO utilizando la ponderación dinámica de la entropía.
3. Algoritmo GRPO-S: Propone una variante a nivel de secuencia que captura el valor exploratorio de secuencias completas, ofreciendo una estabilidad superior para el razonamiento CoT largo.
4. Análisis Teórico: Proporciona pruebas para la ausencia de sesgo y la convergencia de las funciones objetivo propuestas.
5. Validación Empírica: Demuestra mejoras significativas de rendimiento en benchmarks desafiantes de razonamiento matemático.

4. Resultados Experimentales

Los experimentos se realizaron en modelos Qwen2.5-7B y Qwen2.5-32B a través de los benchmarks AIME 2024, AIME 2025 y MATH 500.

• Rendimiento: Tanto GTPO como GRPO-S establecieron nuevos estados del arte, superando consistentemente a GRPO, DAPO y la línea base avanzada "DAPO w/ Forking Tokens".
  • En AIME 2024 (Qwen2.5-7B), GTPO logró un Pass@32 de 64.89%, una mejora masiva sobre el 35.51% de DAPO.
  • En AIME 2025, GRPO-S logró un Pass@32 de 23.33% (7B) y 34.33% (32B), superando a todas las líneas base.
• Exploración vs. Estabilidad: A diferencia de DAPO, que a menudo se estanca debido al colapso prematuro de la política (colapso de la entropía), GTPO y GRPO-S exhibieron un fenómeno de "rebote de entropía". Los modelos mantuvieron una mayor exploración, lo que llevó a cadenas de razonamiento más largas y diversas y techos de recompensa final más altos.
• Eficiencia de Muestreo: Los métodos convergieron en aproximadamente 210 pasos de entrenamiento, lo que indica que las ganancias de rendimiento no se debieron a un entrenamiento más largo, sino a señales de aprendizaje más eficientes.

5. Significado y Reivindicaciones

El artículo afirma que aprovechar y dirigir la incertidumbre del modelo es una frontera prometedora para desarrollar sistemas de IA fiables. Al tratar la entropía de la política no meramente como un término de regularización, sino como una señal dinámica para el moldeado activo de recompensas, los métodos propuestos permiten:

• Asignación de Crédito Precisa: Distinguir entre la exploración valiosa en caminos correctos y los errores confiados en caminos incorrectos sin requerir una red de valor explícita.
• Razonamiento Robusto: Llevar a los LLMs más allá de la imitación de patrones hacia un razonamiento verificable paso a paso.
• Escalabilidad: Proporcionar un equilibrio principista entre la precisión granular (GTPO) y la estabilidad de la secuencia (GRPO-S) que escala eficazmente a través de diferentes tamaños de modelo y dificultades de tarea.

Los autores concluyen que su marco resuelve el compromiso entre estabilidad y exploración inherente a los métodos actuales de RLHF, permitiendo que los modelos exploren espacios de razonamiento complejos de manera más efectiva mientras evitan las trampas del razonamiento incorrecto y excesivamente confiado.