Resumen Técnico: Optimización de Política Histérica (HPO) para el Entrenamiento de LLM con Recompensas Escasas

1. Declaración del Problema

El artículo investiga un modo de fallo específico en la Optimización de Política Relativa por Grupos (GRPO) cuando se aplica a Modelos de Lenguaje Grande (LLM) bajo regímenes de recompensa verificable escasa (por ejemplo, tareas de razonamiento donde solo una pequeña fracción de las respuestas muestreadas son correctas). Los autores identifican dos sesgos interdependientes que desestabilizan el entrenamiento en este escenario:

1. Desequilibrio de Signo (Dominancia Negativa): En escenarios de recompensa escasa, la política inicial a menudo genera principalmente respuestas incorrectas. En consecuencia, la mayoría de las trayectorias muestreadas caen por debajo de la media del grupo, resultando en una alta frecuencia de ventajas negativas ($p_- > p_+$). El tratamiento simétrico de estas abundantes muestras negativas puede abrumar las raras señales positivas, suprimiendo trayectorias de razonamiento útiles pero ruidosas.
2. Sesgo de Longitud a Nivel de Respuesta: El GRPO estándar normaliza la pérdida por la longitud de cada respuesta individual ($1/|\tau_i|$). Esto crea una relación inversa entre la longitud de la respuesta y la magnitud de la actualización:
   • Las respuestas correctas cortas reciben gradientes positivos desproporcionadamente grandes, sesgando el modelo hacia la brevedad.
   • Las respuestas incorrectas largas reciben gradientes negativos desproporcionadamente pequeños, fallando en penalizar adecuadamente los fallos verbosos.
   • Esta interacción hace que la presión de optimización dependa tanto de la recompensa como de la longitud, lo cual es particularmente problemático para tareas de razonamiento donde la longitud se correlaciona con la profundidad de búsqueda o la explicación.

2. Metodología

Los autores proponen la Optimización de Política Histérica (HPO), una modificación mínima al objetivo de GRPO diseñada para abordar estos sesgos mediante dos mecanismos:

2.1 HPO Fija

HPO introduce dos cambios estructurales en el objetivo de GRPO:

• Normalización por Longitud Media: En lugar de normalizar cada respuesta por su propia longitud ($|\tau_i|$), HPO normaliza todo el lote por la longitud media de respuesta ($|\bar{\tau}|$). Esto elimina la escalación inversa de la magnitud de la actualización con la longitud de la respuesta, asegurando que las respuestas incorrectas largas sean penalizadas adecuadamente y que las respuestas correctas cortas no dominen el gradiente.
• Ponderación Histérica Asimétrica: Las actualizaciones del gradiente de la política se escalan de forma asimétrica basándose en el signo de la ventaja ($\hat{A}_i$):
  • Las ventajas positivas ($\hat{A}_i \geq 0$) retienen el peso completo (factor = 1).
  • Las ventajas negativas ($\hat{A}_i < 0$) se ponderan hacia abajo por un factor histérico $\alpha \in [0, 1]$.
  • La función objetivo se convierte en:
    $$J_{HPO}(\theta) = \mathbb{E}_X \left[ \frac{1}{N|\bar{\tau}|} \sum_{i=1}^N \sum_{j=1}^{|\tau_i|} w_i \ell_{i,j}(\theta) \right]$$
    donde $w_i = 1$ si $\hat{A}_i \geq 0$, y $w_i = \alpha$ en caso contrario.

2.2 HPO Adaptativa (A-HPO)

Reconociendo que el $\alpha$ óptimo depende del régimen de entrenamiento (requiriendo menos histéresis a medida que la política mejora), los autores introducen A-HPO. Esta variante ajusta dinámicamente $\alpha$ basándose en las estadísticas de signo del lote actual:

• Estima la relación entre las frecuencias de ventajas positivas y negativas ($\hat{p}_+ / \hat{p}_-$).
• El peso adaptativo se establece como:
  $$\alpha_{adaptive} = \text{clip}\left( \frac{\hat{p}_+}{\hat{p}_- + \epsilon}, \alpha_{min}, 1 \right)$$
• Mecanismo: Cuando dominan las muestras negativas (régimen escaso), $\hat{p}_+ / \hat{p}_-$ es pequeño, lo que hace que $\alpha$ disminuya y amortigüe las actualizaciones negativas. A medida que la política mejora y la distribución se equilibra, $\alpha$ se acerca a 1, recuperando una actualización simétrica. Esto evita el ajuste manual de un $\alpha$ fijo.

3. Contribuciones Clave

1. Identificación de Modos de Fallo: El artículo vincula explícitamente la inestabilidad de GRPO en regímenes de recompensa escasa con la combinación de la dominancia de ventajas negativas y la normalización de longitud a nivel de respuesta.
2. Algoritmo HPO: Una interpolación de un parámetro entre el aprendizaje "solo positivo" (que descarta la retroalimentación negativa) y las actualizaciones totalmente simétricas. Combina la normalización por longitud media con la ponderación asimétrica.
3. A-HPO: Una regla ligera y adaptativa que ajusta automáticamente el peso histérico basándose en las estadísticas de signo a nivel de lote, eliminando la necesidad de búsqueda manual de hiperparámetros.
4. Validación Empírica: Los estudios de ablación demuestran que el comportamiento óptimo se encuentra entre los extremos de actualizaciones solo positivas ($\alpha=0$) y simétricas ($\alpha=1$), validando la necesidad de una histéresis intermedia.

4. Resultados Experimentales

Los autores evaluaron HPO y A-HPO en dos tareas: TeleLogs (análisis de causa raíz de redes 5G) y Countdown (construcción aritmética), utilizando modelos que van desde 1.5B hasta 7B parámetros.

• TeleLogs (Qwen2.5-1.5B):
  • A-HPO logró una recompensa final de 0.84, superando a GRPO (0.73, +15%), GSPO (0.76, +11%) y SAPO (0.80, +5%).
  • A-HPO alcanzó niveles altos de recompensa significativamente más rápido (eficiencia de muestras) mientras mantenía una longitud de respuesta comparable a las líneas base, evitando el "colapso de longitud" observado en métodos solo positivos.
• Countdown (modelos de 1.5B–7B):
  • Las ganancias fueron más pronunciadas en el entrenamiento temprano y en configuraciones más difíciles (Countdown-4 con 4 números) donde las recompensas son escasas.
  • Por ejemplo, en Llama3.1-3B con Countdown-4, A-HPO mejoró la recompensa de 200 pasos de 0.40 (GRPO) a 0.54.
  • En regímenes saturados (por ejemplo, modelos de 7B en Countdown-3 más fácil), la brecha de rendimiento se estrechó, indicando que A-HPO es más crítico cuando la política aún está aprendiendo.
• Estudios de Ablación:
  • HPO fija con $\alpha=0$ (solo positivo) colapsó a salidas muy cortas (16 tokens) y recompensas más bajas (0.71).
  • HPO fija con $\alpha=1$ (simétrica) tuvo un rendimiento inferior (0.72) debido a la dominancia negativa.
  • El mejor rendimiento fijo fue en $\alpha \approx 0.6$, lo cual A-HPO igualó automáticamente sin ajuste.
  • El análisis del "equilibrio de contribución sustituta" confirmó que A-HPO equilibra exitosamente la magnitud de las contribuciones de actualización positiva y negativa, mientras que GRPO permanece ruidoso y dominado por lo negativo.

5. Significado y Afirmaciones

El artículo afirma que HPO y A-HPO ofrecen una modificación práctica y de bajo costo a GRPO que mejora significativamente la estabilidad y la eficiencia de muestras en RL con recompensas escasas para LLM.

• Principio Central: Los autores argumentan que en regímenes de recompensa escasa, las actualizaciones de ventaja negativa deben utilizarse pero no confiarse simétricamente cuando son abrumadoramente frecuentes.
• Equilibrio: El método previene exitosamente la supresión de trayectorias de razonamiento útiles por fallos abundantes, evitando al mismo tiempo el comportamiento degenerado de descartar la evidencia negativa por completo.
• Adaptabilidad: A-HPO se presenta como una solución robusta que rastrea automáticamente el régimen intermedio entre actualizaciones solo positivas y simétricas, adaptándose a medida que la distribución de entrenamiento se desplaza de recompensas escasas a densas.

El trabajo posiciona a HPO como un refinamiento necesario para el ajuste fino eficiente en cómputo de LLM cuando no están disponibles recompensas de proceso densas o retroalimentación de críticos.