Resumen Técnico: MDP-GRPO

Planteamiento del Problema

Los Modelos de Lenguaje Grande (LLMs) a menudo tienen dificultades con el seguimiento de instrucciones de múltiples restricciones, donde un único prompt requiere la adherencia a múltiples reglas explícitas y deterministas (por ejemplo, un formato específico, palabras prohibidas, finales exactos). Si bien el Aprendizaje por Refuerzo con Recompensas Verificables (RLVR) ofrece una solución prometedora mediante el uso de verificadores basados en reglas para proporcionar señales fiables y libres de sesgos, el Group Relative Policy Optimization (GRPO) estándar se vuelve inestable en este régimen.

El problema central surge porque las recompensas de múltiples restricciones son discretas y frecuentemente de baja varianza. En las etapas iniciales del entrenamiento o con restricciones estrictas, los grupos de completaciones muestreadas suelen generar recompensas homogéneas (todas las muestras satisfacen o violan las mismas restricciones). Bajo estas condiciones, la normalización de z-score de GRPO estándar sufre tres patologías específicas:

1. Amplificación de Baja Varianza: Las fluctuaciones menores de recompensa se inflan en ventajas desproporcionadamente grandes, causando actualizaciones frágiles.
2. Ceguera de Centrado de la Media: La normalización z-score descarta los niveles absolutos de recompensa, lo que hace imposible distinguir entre un grupo que falla consistentemente y uno que tiene éxito consistentemente si sus distribuciones relativas son similares.
3. Colapso de Varianza Cero: Cuando todas las muestras en un grupo reciben recompensas idénticas, la desviación estándar del grupo ($\sigma_{group}$) tiende a cero. Esto causa que la señal de ventaja colapse a cero o se vuelva indefinida, eliminando por completo la señal de aprendizaje.

Metodología: MDP-GRPO

Para abordar estas inestabilidades, los autores proponen MDP-GRPO, una variante estabilizada de GRPO que integra tres mecanismos complementarios:

1. Muestreo de Temperatura Múltiple (Prevención)

Para evitar la formación de grupos homogéneos, el método reemplaza el muestreo de temperatura fija con un programa de temperatura ($T = [\tau_1, \dots, \tau_G]$) para el grupo de $G$ completaciones.

• Mecanismo: Temperaturas más bajas fomentan la explotación (baselines de alta calidad), mientras que temperaturas más altas inducen la exploración.
• Objetivo: Esto mezcla completaciones de alta calidad y exploratorias dentro de un mismo grupo, asegurando una dispersión de recompensa suficiente ($\sigma_{group} > 0$) incluso con tamaños de lote pequeños, sin alterar el objetivo de RL subyacente.

2. Ventajas de Doble Anclaje (Restauración de la Señal)

Para abordar el colapso de varianza cero y la ceguera de centrado de la media, el método introduce un ancla consciente del objetivo junto con la ventaja relativa al grupo estándar.

• Mecanismo: Un baseline neutral se modela como un proceso binomial donde las restricciones se satisfacen con una probabilidad $p=0.5$. Esto genera una ventaja "consciente del objetivo" fija ($\delta_i$) que escala con el número de restricciones.
• Integración: La ventaja final ($A_i$) es una interpolación ponderada entre la ventaja relativa al grupo modelada ($\tilde{z}_i$) y la ventaja consciente del objetivo modelada ($\tilde{\delta}_i$):
  $$A_i = (1 - \alpha)\tilde{z}_i + \alpha\tilde{\delta}_i$$
• Beneficio: Incluso cuando la varianza del grupo es cero, el ancla consciente del objetivo proporciona una señal de aprendizaje válida, evitando el estancamiento del entrenamiento.

3. Modelado de Teoría de las Perspectivas (Estabilización)

Inspirado en la Teoría de las Perspectivas (Kahneman & Tversky, 1979), el método aplica una función de modelado acotada y asimétrica a las ventajas brutas antes de la mezcla.

• Mecanismo: Una transformación tanh escalada acota las ventajas e impone una aversión a la pérdida ($\lambda_- > \lambda_+$).
• Objetivo: Esto asegura que las violaciones de restricciones (resultados negativos) resulten en actualizaciones de gradiente mayores que los éxitos equivalentes, penalizando fuertemente la regresión. Simultáneamente, la función de acotamiento evita gradientes no acotados causados por la baja varianza, estabilizando el entrenamiento.

4. Regularización KL Asimétrica

El objetivo incluye una penalización KL asimétrica donde el coeficiente de penalización es mayor ($\beta_{high}$) cuando la ventaja es negativa (caída de rendimiento) y menor ($\beta_{low}$) cuando es positiva, restringiendo aún más al modelo durante la regresión.

Contribuciones Clave

1. Formalización de Patologías: El artículo identifica y formaliza tres modos de fallo de las actualizaciones de política relativas al grupo en regímenes de recompensa discretos y de baja dispersión: amplificación de baja varianza, ceguera de centrado de la media y colapso de varianza cero.
2. Prevención vía Muestreo: Introducción del muestreo de grupo de temperatura múltiple para aumentar artificialmente la diversidad de recompensa en configuraciones de lote pequeño sin cambiar la función de objetivo.
3. Recuperación de Señal: Propuesta de ventajas de doble anclaje para restaurar las señales de aprendizaje en grupos de varianza cero y recuperar la información de rendimiento absoluto perdida en la normalización estándar.
4. Modelado Robusto: Aplicación del modelado de teoría de las perspectivas para acotar la magnitud de las actualizaciones y priorizar la corrección de las violaciones de restricciones.
5. Validación Empírica: Demostración de que estos componentes mejoran colectivamente la estabilidad y el rendimiento en tareas de múltiples restricciones preservando las capacidades generales.

Resultados Experimentales

El método fue evaluado en IFEval, FollowBench y un dataset de múltiples restricciones curado utilizando los modelos Gemma-2-2B y Llama-3.2-3B.

• Ganancias de Rendimiento: MDP-GRPO superó consistentemente a GRPO estándar y al baseline de zero-shot. En Llama-3.2-3B, mejoró la satisfacción de restricciones estrictas (HSR) hasta en un 5.0% en el dataset personalizado.
• Eficiencia de Lote Pequeño: El método resultó particularmente efectivo con tamaños de grupo reducidos ($G=4$). El muestreo de temperatura múltiple permitió que MDP-GRPO se acercara al rendimiento de GRPO estándar entrenado con grupos más grandes ($G=8$), demostando su utilidad bajo presupuestos computacionales ajustados.
• Escalado de Dificultad: Las variantes estabilizadas (específicamente aquellas con Doble Anclaje) degradaron más lentamente que los baselines a medida que aumentaba el número de restricciones, manteniendo tasas de éxito más altas en prompts complejos (Dificultad 5-6).
• Capacidades Generales: Las evaluaciones en MMLU y ARC confirmaron que las ganancias en el seguimiento de instrucciones no se produjeron a expensas del razonamiento general o la retención de conocimiento.
• Dinámicas de Entrenamiento: Los diagnósticos mostraron que los métodos propuestos redujeron con éxito la frecuencia de grupos de varianza cero y controlaron la deriva de la divergencia KL en comparación con GRPO estándar.

Significado y Reivindicaciones

Los autores afirman que MDP-GRPO proporciona un marco estable y fiable para el RLVR en entornos de múltiples restricciones, un dominio donde los métodos de normalización de grupo estándar suelen fallar debido a la escasez de recompensas. Al abordar explícitamente las patologías matemáticas de la normalización z-score, el método permite:

• Convergencia estable incluso con tamaños de grupo pequeños.
• Aprendizaje efectivo de recompensas discretas y basadas en reglas sin necesidad de modelos de recompensa aprendidos o etiquetas de preferencia humana.
• Robustez contra la "fragilidad" de las actualizaciones de GRPO estándar cuando se enfrentan a distribuciones de recompensa homogéneas.

El artículo concluye que, si bien el enfoque está diseñado específicamente para restricciones deterministas y verificables, sus componentes principales (doble anclaje y modelado de perspectiva) son agnósticos a la fuente de la recompensa y podrían adaptarse a otros entornos de RL. Sin embargo, los autores señalan modestamente que el método depende de verificadores automáticos y puede no extenderse directamente a restricciones subjetivas o de estilo sin modelos de recompensa aprendidos.