Resumen Técnico: f-GRPO y Más Allá: Algoritmos de Aprendizaje por Refuerzo Basados en Divergencia para la Alineación General de LLM

1. Declaración del Problema

La alineación de Modelos de Lenguaje Grande (LLM) típicamente ocurre en dos regímenes distintos:

1. Aprendizaje por Refuerzo con Recompensas Verificables (RLVR): La retroalimentación se proporciona mediante recompensas escalares $r(x, y)$ (por ejemplo, corrección en matemáticas o código). Aquí, las respuestas alineadas y no alineadas no se observan explícitamente como pares; en su lugar, deben inferirse a partir de la señal de recompensa. Enfoques estándar como la Optimización de Política Relativa por Grupos (GRPO) utilizan muestreo en política y ventajas estandarizadas.
2. Alineación por Preferencias: La retroalimentación se proporciona mediante preferencias humanas (respuestas elegidas frente a rechazadas). Métodos como la Optimización Directa de Preferencias (DPO) o los Optimizadores de Divergencia f (FDO) tratan esto como separar una distribución alineada $D_+$ de una distribución no alineada $D_-$.

Trabajos recientes (Haldar et al., 2025) establecieron que la alineación por preferencias puede interpretarse como la estimación de divergencias estadísticas entre $D_+$ y $D_-$. Sin embargo, esta perspectiva basada en divergencias se ha limitado a datos de preferencias. En RLVR, donde las distribuciones explícitas $D_+$ y $D_-$ no están disponibles, sigue siendo una pregunta abierta si la estimación de divergencia puede proporcionar una base teórica unificada. Además, la alineación de seguridad en política a menudo sufre de "hacking de recompensas" al usar modelos de recompensa aprendidos, ya que la política puede explotar debilidades del modelo en lugar de aprender restricciones de seguridad reales.

2. Metodología

Los autores proponen extender el marco basado en divergencia a la alineación general de LLM induciendo distribuciones alineadas y no alineadas directamente a partir de recompensas escalares.

2.1 Inducción de Distribuciones a partir de Recompensas

En RLVR, para un prompt dado $x$, los autores definen distribuciones alineadas por recompensa ($D_{(r,\theta)}^+$) y no alineadas por recompensa ($D_{(r,\theta)}^-$) basadas en la política actual $\pi_\theta$:

• $D_{(r,\theta)}^+$: Coloca masa en respuestas con recompensas por encima de la recompensa promedio $\mu_\theta^r(x)$.
• $D_{(r,\theta)}^-$: Coloca masa en respuestas con recompensas por debajo del promedio.

Esto permite formular un problema de estimación de divergencia en política donde el objetivo es separar respuestas de alta recompensa de respuestas de baja recompensa sin pares de preferencias explícitos.

2.2 f-GRPO (Optimización de Política Relativa por Grupos f)

Los autores derivan f-GRPO, una clase de objetivos en política basados en representaciones variacionales de divergencias f.

• Mecanismo: En lugar de reponderar muestras únicamente por ventajas estandarizadas (como en GRPO), f-GRPO estima la divergencia entre las distribuciones inducidas por recompensa alineada y no alineada.
• Muestreo por Importancia: El objetivo utiliza un grupo de $G$ respuestas muestreadas. Construye pesos de importancia usando un softmax sobre las recompensas (corregido por la probabilidad de la política de muestreo) y truncar la actualización para incluir solo respuestas por encima del promedio para el término alineado y respuestas por debajo del promedio para el término no alineado.
• Función de Pérdida: La pérdida combina la recompensa implícita de la política $r_\theta$ con estos pesos inducidos por recompensa, optimizando efectivamente una divergencia f variacional entre las dos distribuciones inducidas.

2.3 f-HAL (Pérdida de Alineación Híbrida f)

Para abordar las limitaciones de los métodos puramente en política en la alineación de seguridad (donde las recompensas son aprendidas e imperfectas), los autores introducen f-HAL.

• Objetivo Híbrido: f-HAL interpola entre la optimización de recompensa en política (f-GRPO) y la supervisión de preferencias fuera de política (FDO).
• Fórmula: $L_{f-HAL} = \lambda L_{FDO} + (1-\lambda) L_{f-GRPO}$.
• Función: Utiliza recompensas en política para la exploración mientras ancla la política con datos de preferencias fuera de política para prevenir el hacking de recompensas. Teóricamente, esto estima una divergencia entre mezclas de distribuciones inducidas por recompensa e inducidas por preferencia.

3. Contribuciones Teóricas Clave

El artículo proporciona garantías teóricas rigurosas para los objetivos propuestos:

• Estimación de Divergencia: Los autores demuestran que f-GRPO y f-HAL no son meras heurísticas, sino que estiman consistentemente divergencias f entre distribuciones alineadas y no alineadas bien definidas (Teorema 4.3).
• Consistencia de Alineación: Las actualizaciones de política de punto fijo se muestran consistentes con la alineación. Específicamente, las respuestas con mayor densidad en la distribución alineada en relación con la distribución no alineada son reponderadas al alza.
• Mejora de Recompensa: Bajo funciones de enlace canónicas (donde $g^{-1}(f'_\infty) = \infty$), los autores prueban mejora monótona de la recompensa esperada. A diferencia del GRPO estándar, que puede asignar probabilidad no nula a respuestas por debajo del promedio, f-GRPO con enlaces canónicos concentra la masa de probabilidad estrictamente en respuestas por encima del promedio en el límite, garantizando la convergencia a la política de recompensa máxima.
• Comparación con GRPO: El artículo caracteriza el punto fijo de GRPO sin recorte, mostrando que repondera la política de referencia por el exponencial de las recompensas estandarizadas. Sin embargo, f-GRPO ofrece una separación "más nítida", asignando masa cero a respuestas por debajo del promedio bajo condiciones específicas, lo que conduce a garantías de mejora teórica más fuertes.

4. Resultados Experimentales

Los autores evaluaron f-GRPO y f-HAL en dos tareas principales:

4.1 Razonamiento Matemático (Tarea RLVR)

• Configuración: Ajuste fino de modelos Qwen2.5-Math (1.5B y 7B) en los conjuntos de datos GSM8K, LIMR y OpenRS utilizando recompensas verificables.
• Hallazgos: f-GRPO superó consistentemente al GRPO estándar en diversas elecciones de divergencia f (por ejemplo, Pearson, KL, Hellinger).
  • En el desafiante conjunto de datos LIMR, las variantes de f-GRPO lograron puntuaciones Pass@1 más altas y mejores clasificaciones agregadas en comparación con GRPO.
  • Las ganancias más fuertes se observaron en conjuntos de datos más difíciles (LIMR, OpenRS), validando la ventaja teórica de una separación de distribuciones más nítida.

4.2 Alineación de Seguridad (Tarea de Preferencia con Recompensas Aprendidas)

• Configuración: Alineación de modelos en un conjunto de datos de cumplimiento-rechazo utilizando un modelo de recompensa aprendido (DeBERTa-v3-large) para métodos en política, mientras se compara con alineadores directos fuera de política (DPO, KTO, BCO).
• Hallazgos:
  • Hacking de Recompensas: Los métodos puramente en política (GRPO) funcionaron mal, exhibiendo un comportamiento de "rechazo generalizado" (rechazando prompts seguros) debido a la explotación del modelo de recompensa aprendido.
  • Mitigación Híbrida: El f-HAL híbrido (con $\lambda=0.5$) mitigó con éxito el hacking de recompensas. Al combinar la exploración en política con la supervisión de preferencias fuera de política, mantuvo la conciencia del contexto (respondiendo correctamente a prompts seguros) mientras rechazaba los dañinos.
  • Rendimiento: El f-HAL híbrido a menudo superó a la alineación directa pura en modelos más grandes (7B), lo que sugiere que la exploración en política es beneficiosa cuando la capacidad del modelo es suficiente. En modelos más pequeños (1.5B), los alineadores directos permanecieron ligeramente más fuertes, pero f-HAL aún superó significativamente al RL puramente en política.

5. Significado y Afirmaciones

El artículo afirma proporcionar una base unificada y práctica para los algoritmos de alineación de LLM:

• Unificación: Extiende la visión basada en divergencia de la alineación desde datos de preferencias hasta RLVR, mostrando que ambos regímenes pueden entenderse como la estimación de divergencias entre distribuciones alineadas y no alineadas.
• Rigor Teórico: Establece que estos objetivos ofrecen garantías de mejora de recompensa más fuertes que los métodos en política estándar como GRPO al modelar explícitamente la separación de distribuciones.
• Utilidad Práctica: El enfoque híbrido (f-HAL) ofrece una solución robusta para la alineación de seguridad cuando las recompensas verificables no están disponibles, equilibrando efectivamente la exploración (vía recompensas) y la estabilidad (vía preferencias) para prevenir el hacking de recompensas.

Los autores notan modestamente que, aunque la teoría respalda la mejora monótona para todas las divergencias f canónicas, diferentes divergencias pueden inducir dinámicas de muestra finita diferentes. Los experimentos se limitan a modelos de hasta 7 mil millones de parámetros para validar la viabilidad del marco, con código de código abierto proporcionado para la reproducibilidad.