💻 computer science

Selective-Advantage Entropy-Adaptive Horizon GRPO: Asymmetric Token-Level Discounting for Efficient Reinforcement Learning of Language Models

Este artículo presenta Selective-Advantage Entropy-Adaptive Horizon GRPO (SA-AH-GRPO), un algoritmo de aprendizaje por refuerzo que aplica asimétricamente el descuento basado en la entropía a las trayectorias de ventaja negativa mientras preserva las señales de gradiente completas para las trayectorias exitosas, estabilizando así significativamente el entrenamiento y mejorando el rendimiento en evaluaciones de razonamiento matemático en comparación con el GRPO estándar.

Autores originales: Chirag Chawla, Rohan Charudatt Salvi, Madhav S. Baidya

Publicado 2026-06-05

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Chirag Chawla, Rohan Charudatt Salvi, Madhav S. Baidya

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás enseñando a un estudiante (un modelo de lenguaje de IA) cómo resolver problemas matemáticos. El estudiante está intentando aprender mediante la práctica, recibiendo retroalimentación y ajustando sus hábitos de estudio. Este artículo presenta una forma más inteligente de dar esa retroalimentación, haciendo que el proceso de aprendizaje sea más rápido, estable y menos confuso.

Aquí está el desglose de las ideas del artículo utilizando analogías sencillas:

El Problema: El Tutor "Talla Única"

El método estándar actual para enseñar a estos modelos de IA se llama GRPO. Piensa en GRPO como un tutor estricto que trata cada palabra que escribe el estudiante de la misma manera.

El Problema: Si el estudiante tiene confianza y escribe una frase clara y correcta, el tutor le da un "choca esos cinco". Pero si el estudiante está confundido, tartamudeas o adivina salvajemente (alta "entropía" o incertidumbre), el tutor le presta exactamente la misma cantidad de atención—a veces incluso castigándolo con la misma dureza que si estuviera erróneamente seguro.
El Resultado: Esto confunde al estudiante. Cuando ya está adivinando, recibir una penalización severa puede hacer que entre en pánico y aprenda cosas incorrectas. Por el contrario, si el estudiante resuelve un problema correctamente, pero cometió algunas dudas o titubeos en el camino, el tutor podría castigar accidentalmente esos titubeos, debilitando la lección de que "este camino conduce a la respuesta correcta".

La Solución: Dos Nuevas Estrategias de Enseñanza

Los autores proponen dos mejoras para este sistema de tutoría, que llaman AH-GRPO y SA-AH-GRPO.

1. El "Descuento por Incertidumbre" (AH-GRPO)

Imagina que el tutor tiene una regla especial: "Si el estudiante está claramente confundido, bajamos el volumen de la retroalimentación".

Cómo funciona: El tutor comprueba qué tan inseguro está el estudiante en cada palabra. Si el estudiante está adivinando salvajemente (alta entropía), el tutor dice: "Está bien, esta parte es desordenada, así que no la contaré tan fuertemente en tu contra".
El Benefiente: Esto evita que el estudiante se sienta abrumado por el ruido cuando tiene dificultades. Acorta el "horizonte de la lección", enfocándose solo en las partes de la respuesta que son claras.

2. La Regla de "Ventaja Selectiva" (SA-AH-GRPO) — La Estrella del Espectáculo

Esta es la principal innovación del artículo. Añade un giro crucial a la regla anterior: "Solo baja el volumen si el estudiante se equivocó en la respuesta completa".

Escenario A: El Estudiante Acierta (Ventaja Positiva)
Incluso si el estudiante titubeó o adivinó algunas palabras en el camino, si finalmente resuelve el problema correctamente, el tutor dice: "¡Buen trabajo! Cada palabra que escribiste, incluso las dudosas, te ayudó a llegar allí. ¡Contaremos todas ellas!"
- ¿Por qué? Porque el resultado final fue un éxito. Queremos reforzar todo el camino que llevó a la victoria.
Escenario B: El Estudiante Falla (Ventaja Negativa)
Si el estudiante no logra resolver el problema, el tutor dice: "Te equivocaste. Ahora, veamos dónde estuviste confundido. Ignoraremos las partes donde solo estabas adivinando salvajemente, para que no enseñemos accidentalmente la lección incorrecta a partir de esas conjeturas. Solo nos enfocaremos en los errores claros".
- ¿Por qué? Cuando te equivocas y también estás confundido, tus conjeturas son solo ruido. Castigar el ruido con demasiada dureza crea una señal de aprendizaje caótica.

Los Resultados: Un Viaje Más Suave

Los autores probaron este nuevo método en problemas matemáticos utilizando dos tamaños diferentes de modelos de IA (un modelo pequeño de 1.5B y uno más grande de 3B).

Para el Modelo Más Grande (3B): El nuevo método no necesariamente hizo al modelo más inteligente que el anterior (ya era bastante inteligente), pero hizo que el entrenamiento fuera mucho más estable. Imagina conducir un coche: el método antiguo era como conducir en un camino accidentado donde el coche se zigzagueaba de izquierda a derecha. El nuevo método suavizó el camino. La "varianza" (el zigzagueo) se redujo 3.6 veces. El coche llegó al mismo destino, pero con un viaje mucho más suave.
Para el Modelo Más Pequeño (1.5B): El nuevo método realmente ayudó al modelo a aprender mejor. Mejoró la puntuación final en casi 5 puntos porcentuales en comparación con empezar desde cero. Parece que el modelo más pequeño necesitaba esa estabilidad adicional para aprender de manera efectiva.

La "Receta Secreta": Por Qué Funciona

El artículo argumenta que este enfoque respeta la diferencia entre exploración y explotación:

Cuando un modelo está explorando (adivinando), está bien tener incertidumbre.
Cuando un modelo tiene éxito, debemos recompensar todo el viaje, incluso las partes inciertas.
Cuando un modelo falla, debemos tener cuidado de no castigar demasiado el "ruido" de la incertidumbre, o confundiremos la señal de aprendizaje.

Resumen

Piensa en SA-AH-GRPO como un entrenador sabio que sabe cuándo ser estricto y cuándo ser permisivo.

Si ganas el juego, el entrenador celebra cada movimiento que hiciste, incluso los arriesgados.
Si pierdes el juego, el entrenador ignora los momentos en los que solo estabas adivinando y se enfoca solo en los errores claros, para que no te desanimes o te confundas.

Este simple cambio en cómo se pondera la retroalimentación hace que el proceso de entrenamiento de la IA sea más rápido, más estable y más efectivo, especialmente para los modelos más pequeños que necesitan ayuda adicional para encontrar su rumbo.

Resumen Técnico: Horizonte Adaptativo de Entropía con Ventaja Selectiva (SA-AH-GRPO)

Declaración del Problema

La Optimización de Política Relativa de Grupo (GRPO) ha emergido como un algoritmo dominante para el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) en modelos de lenguaje, particularmente para tareas de razonamiento. Sin embargo, el GRPO estándar sufre dos limitaciones primarias con respecto al pesaje de gradientes:

Pesaje de Tokens Simétrico: Trata cada posición de token de manera igualitaria, independientemente de la incertidumbre local (entropía) del modelo. En posiciones de alta entropía, donde el modelo está explorando múltiples continuaciones plausibles, la señal del gradiente es inherentemente ruidosa. Aplicar pesos uniformes a estas posiciones puede desestabilizar el entrenamiento al tratar las actualizaciones ruidosas con la misma magnitud que las actualizaciones de baja entropía y mayor confianza.
Tratamiento Simétrico de los Rollouts: Aplica un pesaje de gradiente idéntico tanto a las trayectorias exitosas (ventaja positiva) como a las fallidas (ventaja negativa). Penalizar las posiciones de tokens inciertos en una trayectoria exitosa es contraproducente, ya que esos tokens contribuyeron a una solución correcta y deberían recibir todo el crédito. Por el contrario, la penalización agresiva de las posiciones inciertas en trayectorias fallidas puede introducir señales de gradiente conflictivas.

Los enfoques existentes para el pesaje a nivel de token suelen depender de modelos de recompensa auxiliares o heurísticas fijas. Este artículo propone un método que deriva los pesos directamente de la propia incertidumbre predictiva del modelo sin supervisión adicional.

Metodología

Los autores introducen dos extensiones jerárquicas a GRPO: GRPO de Horizonte Adaptativo a la Entropía (AH-GRPO) y SA-AH-GRPO (Selección de Ventaja con AH-GRPO).

1. Descuento de Horizonte Adaptativo a la Entropía

El mecanismo central es un peso por token derivado de la entropía acumulada normalizada de la trayectoria hasta ese punto.

Entropía Normalizada: Para un token $t$ en el rollout $i$ , la entropía normalizada $\tilde{H}^{(i)}_t$ se calcula como la entropía de Shannon de la distribución de la política dividida por $\log V$ (tamaño del vocabulario), estimada utilizando los top- $K$ logits ( $K=500$ ) para mayor eficiencia.
Factor de Descuento: Se aplica un descuento por paso $\gamma^{(i)}_t = \exp(-\alpha \tilde{H}^{(i)}_t)$ .
Peso Acumulado: El peso para el token $t$ es el producto de todos los descuentos precedentes: $w^{(i)}_t = \prod_{s=1}^t \gamma^{(i)}_s = \exp(-\alpha \sum_{s=1}^t \tilde{H}^{(i)}_s)$ .
Efecto: Cuando $\alpha > 0$ , los prefijos de alta entropía resultan en un mayor descuento, acortando efectivamente el "horizonte efectivo" sobre el cual se propagan los gradientes a través de secuencias inciertas.

2. AH-GRPO (Aplicación Uniforme)

En AH-GRPO, el peso basado en la entropía $w^{(i)}_t$ se aplica uniformemente a todos los tokens en todos los rollouts, independientemente de si la trayectoria es exitosa o fallida. Esto reduce la influencia de los gradientes ruidosos en posiciones inciertas, pero corre el riesgo de atenuar la señal en soluciones correctas que casualmente contienen pasos inciertos.

3. SA-AH-GRPO (Aplicación Selectiva)

SA-AH-GRPO introduce una asimetría basada en la ventaja normalizada por grupo $\hat{A}_i$ :

Ventaja Positiva ( $\hat{A}_i \geq 0$ ): La trayectoria se considera exitosa. Todos los tokens, incluyendo aquellos en posiciones de alta entropía, reciben un peso de $1$ (sin descuento). Esto preserva la señal completa del gradiente para soluciones correctas.
Ventaja Negativa ( $\hat{A}_i < 0$ ): La trayectoria se considera fallida. Se aplica el peso adaptativo a la entropía $w^{(i)}_t$ . Esto suprime las actualizaciones de gradiente en posiciones estructuralmente ambiguas (alta entropía) dentro de trayectorias fallidas, evitando que el modelo sobre-corrija basándose en señales ruidosas.

La función de pérdida se modifica para normalizar por el conteo de tokens ponderados (efectivos) en lugar del conteo de tokens bruto.

Configuración Experimental

Modelos: Qwen 2.5-1.5B-Instruct y Qwen 2.5-3B-Instruct.
Dataset: GSM8K (razonamiento matemático), utilizando 800 ejemplos de entrenamiento y 500 de evaluación.
Ajuste Fino (Fine-tuning): Low-Rank Adaptation (LoRA) con rango $r=16$ .
Función de Recompensa: Una recompensa compuesta ( $r_{max}=7.5$ ) que combina corrección, adherencia al formato (etiquetas XML específicas), presencia de etiquetas de solución y densidad de pasos de razonamiento.
Líneas Base (Baselines): GRPO estándar ( $\alpha=0$ ) y AH-GRPO ( $\alpha=0.5$ ).
Ablación: Un barrido de $\alpha \in \{-0.25, 0.0, 0.10, 0.25, 0.50\}$ en el modelo de 1.5B.

Resultados Clave

1. Precisión y Estabilidad (Modelo 3B)

En el modelo Qwen 2.5-3B-Instruct, la línea base zero-shot es fuerte (Pass@1 $\approx$ 0.831).

Precisión Máxima: SA-AH-GRPO alcanzó un pico de Pass@1 de 0.858 (paso 30), igualando el rendimiento máximo de GRPO estándar (0.852) y AH-GRPO (0.862).
Varianza de Entrenamiento: SA-AH-GRPO redujo significativamente la varianza del entrenamiento a 0.0246, lo que representa una reducción de 3.6 $\times$ comparado con el GRPO estándar (0.0885) y una reducción de 2.6 $\times$ comparado con AH-GRPO (0.0630).
Conclusión: A la escala de 3B, el beneficio principal es la estabilización sustancial del entrenamiento sin sacrificar la precisión máxima.

2. Precisión y Estabilidad (Modelo 1.5B)

En el modelo Qwen 2.5-1.5B-Instruct, la línea base zero-shot es más baja (Pass@1 $\approx$ 0.637).

Precisión Máxima: SA-AH-GRPO alcanzó un pico y un valor final de Pass@1 de 0.686, una mejora de +4.9 puntos porcentuales sobre la línea base zero-shot. Esto superó al GRPO estándar (pico 0.668) y al AH-GRPO (pico 0.676).
Varianza: Curiosamente, el modelo de 1.5B mostró una mayor varianza de entrenamiento (0.1718) con SA-AH-GRPO en comparación con otros métodos. Los autores atribuyen esto a que el modelo tiene más "margen de mejora", lo que conduce a una mayor variación de la recompensa durante el proceso de aprendizaje, aunque sigue beneficiándose de la señal de gradiente sin restricciones en las trayectorias positivas.

3. Estudio de Ablación ( $\alpha$ )

El barrido en el modelo de 1.5B confirmó que los valores positivos de $\alpha$ (descuento de entropía) superan consistentemente a los valores negativos de $\alpha$ (amplificación de entropía).

$\alpha = -0.25$ degradó el rendimiento por debajo de la línea base.
Entre los valores positivos, $\alpha=0.10$ produjo el pico más alto pero una estabilidad final menor, mientras que $\alpha=0.50$ ofreció un mejor equilibrio.
Crucialmente, SA-AH-GRPO con $\alpha=0.50$ (0.686) superó significativamente al AH-GRPO simétrico con el mismo $\alpha$ (0.676), validando la estrategia de aplicación selectiva.

4. Dinámicas de Entrenamiento

Currículo Implícito: A medida que el entrenamiento progresa, la entropía normalizada media disminuye (de ~0.029 a ~0.09 en el modelo 3B). Consecuentamente, el factor de descuento se acerca naturalmente a 1, actuando como un esquema de atenuación (annealing) implícito donde el modelo depende menos del filtro de entropía a medida que gana confianza.
Longitud de Respuesta: La longitud media de generación disminuyó durante el entrenamiento (por ejemplo, de 243 a 171 tokens en el 3B), lo que sugiere que el método fomenta cadenas de razonamiento más concisas.

Significado y Reivindicaciones

El artículo afirma ser el primero en introducir el descuento adaptativo a la entropía por token y por trayectoria en un entorno de RLVR, y el primero en aplicarlo de forma asimétrica basándose en el signo de la ventaja.

Los autores argumentan que SA-AH-GRPO proporciona un sesgo inductivo principista para RLVR en tareas de generación estructurada al:

Preservar las Señales de Gradiente: Asegura que las soluciones correctas, incluso aquellas que contienen pasos inciertos, reciban todo el crédito, evitando la supresión de señales de aprendizaje válidas.
Estabilizar el Entrenamiento: Al atenuar selectivamente los gradientes solo en las trayectorias fallidas en posiciones inciertas, reduce las direcciones de gradiente conflictivas y la varianza del entrenamiento.
Eliminar Modelos Auxiliares: El mecanismo de pesaje depende únicamente de la propia incertidumbre predictiva de la política, requiriendo ningún modelo de recompensa adicional o heurísticas fijas.

Los resultados sugieren que el descuento de entropía asimétrico es una mejora práctica para el ajuste fino basado en GRPO, ofreciendo una estabilidad superior en modelos más grandes y ganancias de precisión consistentes en modelos más pequeños. Se propone trabajo futuro para evaluar estos métodos en escalas mayores (7B, 70B) y en diferentes dominios de tareas.