A Unified Pair-GRPO Family: From Implicit to Explicit Preference Constraints for Stable and General RL Alignment

Resumen Técnico: Una Familia Unificada Pair-GRPO

Enunciado del Problema
El Aprendizaje por Refuerzo a partir de Preferencias Humanas (RLHF) es el estándar para alinear los Modelos de Lenguaje de Gran Escala (LLM) con los valores humanos, sin embargo, los paradigmas de aprendizaje de preferencias por pares predominantes sufren cuatro limitaciones críticas: actualizaciones de política inestables, direcciones de gradiente ambiguas, baja interpretabilidad y alta varianza del gradiente. Específicamente, los métodos existentes como la Optimización de Política Relativa por Grupos (GRPO) dependen de recompensas escalares continuas normalizadas por grupo. Este enfoque introduce información redundante (las magnitudes absolutas de las recompensas suelen ser arbitrarias), permite desplazamientos globales ilimitados de probabilidad que diluyen las señales de alineación y resulta en gradientes estocásticos ruidosos que carecen de determinismo direccional.

Metodología: La Familia Pair-GRPO
El artículo propone un marco teórico unificado centrado en la familia Pair-GRPO, que cierra la brecha entre la optimización implícita ponderada por recompensas y las restricciones explícitas de preferencia. La familia consta de dos variantes estrechamente acopladas:

1. Soft-Pair-GRPO (Restricciones Implícitas):

   • Mecanismo: Una modificación mínima del GRPO estándar que reemplaza las recompensas continuas normalizadas por grupo con recompensas binarias de preferencia por pares ($+1$ para la respuesta preferida $a_p$, $-1$ para la respuesta rechazada $a_r$).
   • Estructura: Mantiene la función objetivo sustituta recortada y la estructura regularizada por KL del GRPO.
   • Perspectiva Teórica: Los autores demuestran un Teorema de Equivalencia de Gradiente. Bajo una expansión de Taylor de primer orden alrededor de la política actual, se demuestra que el gradiente de Soft-Pair-GRPO es un múltiplo escalar positivo del gradiente del GRPO estándar. Esto explica por qué descartar las magnitudes de recompensa continuas no compromete la estabilidad; la señal de optimización permanece direccionalmente idéntica a la del GRPO pero con menor ruido.

2. Hard-Pair-GRPO (Restricciones Explícitas):

   • Mecanismo: Una variante avanzada que introduce restricciones locales de probabilidad explícitas. En lugar de depender únicamente de la señal de recompensa, construye una distribución objetivo $\pi_{tar}$ que transfiere masa de probabilidad estrictamente entre las respuestas preferida y rechazada ($a_p$ y $a_r$), congelando todas las demás respuestas.
   • Optimización: Formulado como un problema de ajuste KL con restricciones ($\min D_{KL}(\pi_\theta \parallel \pi_{tar})$) sujeto a una restricción de región de confianza ($D_{KL}(\pi_\theta \parallel \pi_{old}) \le \beta$).
   • Dinámica: Emplea un tamaño de paso de decaimiento dinámico ($\delta_t$) para garantizar una convergencia estable sin oscilaciones.

Contribuciones Clave

1. Teorema de Equivalencia de Gradiente: El artículo establece que el gradiente de Soft-Pair-GRPO es direccionalmente equivalente al del GRPO estándar bajo una aproximación de primer orden, proporcionando una base teórica para el uso de recompensas binarias sin perder los beneficios del marco GRPO.
2. Formulación de Restricciones Explícitas: Hard-Pair-GRPO introduce un enfoque novedoso de ajuste KL con restricciones que aísla las señales de optimización al par de preferencia crítico, eliminando la deriva global de la política.
3. Garantías Teóricas Integrales: Los autores proporcionan pruebas rigurosas para:
   • Mejora Monótona de la Política: Garantía de no disminución en el retorno esperado bajo restricciones de región de confianza.
   • Direccionalidad Determinista del Gradiente: El gradiente empuja consistentemente la probabilidad de la respuesta preferida hacia arriba y la de la respuesta rechazada hacia abajo, con señal cero para las respuestas irrelevantes en Hard-Pair-GRPO.
   • Reducción de la Varianza del Gradiente: Se demuestra una jerarquía estricta donde $V_{Hard-Pair-GRPO} < V_{Soft-Pair-GRPO} < V_{GRPO}$, demostrando que las restricciones explícitas y las comparaciones por pares reducen significativamente el ruido estocástico.
   • Convergencia con Tamaño de Paso Dinámico: Prueba de que el tamaño de paso de decaimiento asegura una convergencia estable a un óptimo local.

Resultados Experimentales
Se realizaron experimentos extensos en puntos de referencia de alineación de LLM (HH-RLHF, UltraFeedback) y en la tarea general de control continuo HalfCheetah-v4 (MuJoCo).

• Rendimiento de Alineación: Hard-Pair-GRPO superó consistentemente a las líneas base más avanzadas (GRPO Estándar, DPO, ORPO) en todas las métricas automáticas de alineación (Utilidad, Inocuidad) y puntuaciones de evaluación humana (Coherencia, Relevancia, General).
• Estabilidad del Entrenamiento: La familia Pair-GRPO demostró una varianza de gradiente y una desviación estándar de la divergencia KL estrictamente decrecientes en comparación con las líneas base. Hard-Pair-GRPO logró la varianza más baja (0.031 de varianza de norma de gradiente frente a 0.087 para GRPO Estándar).
• Generalización: La jerarquía de rendimiento ($PPO < GRPO < Soft\text{-}Pair\text{-}GRPO < Hard\text{-}Pair\text{-}GRPO$) se mantuvo en el entorno HalfCheetah-v4, confirmando la aplicabilidad del marco más allá de los LLM hacia el aprendizaje por refuerzo general.
• Estudios de Ablación: Validaron que el decaimiento dinámico del tamaño de paso, la regularización de región de confianza y las restricciones locales explícitas son componentes críticos para lograr alto rendimiento y estabilidad.

Significado y Afirmaciones
El artículo afirma establecer una base teórica unificada para la optimización de RL basada en preferencias. Al demostrar que la magnitud absoluta de las recompensas escalares es redundante para el aprendizaje de preferencias, el trabajo desafía el paradigma estándar de modelado de recompensas. Sugiere que el mecanismo central de RLHF puede simplificarse a un ordenamiento relativo por pares, potenciado por restricciones distribucionales explícitas. Los autores postulan que la familia Pair-GRPO ofrece un espectro de compensaciones de diseño: Soft-Pair-GRPO sirve como una línea base estable con modificación mínima, mientras que Hard-Pair-GRPO ofrece una estabilidad y rendimiento superiores mediante control explícito, unificando efectivamente las restricciones de preferencia implícitas y explícitas dentro de un único marco fundamentado teóricamente.