Resumen Técnico: Más allá de RLHF: Un Marco Teórico Unificado de Alineación

Declaración del Problema

El Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF) se ha convertido en el paradigma dominante para alinear los Modelos de Lenguaje Grandes (LLM) con las preferencias humanas. Sin embargo, el artículo identifica brechas teóricas significativas en la comprensión actual de RLHF y los métodos de alineación relacionados:

1. Falta de Justificación: Las teorías existentes a menudo tratan el objetivo de RLHF como una tautología (convergencia a la versión poblacional del propio objetivo) en lugar de proporcionar una justificación teórica del aprendizaje sobre por qué converge al modelo de lenguaje objetivo.
2. Marcos Incompatibles: Diferentes métodos (por ejemplo, DPO, RLHF, REBEL) se analizan bajo marcos teóricos dispares, lo que impide la comparación directa de sus garantías de convergencia.
3. El Dilema de RLHF: El objetivo estándar de RLHF enfrenta un dilema asintótico respecto a la fuerza de regularización $\beta$. Si $\beta$ permanece fijo, el modelo se queda corto (permanece demasiado cerca de la política de referencia); si $\beta$ decae a cero a medida que aumentan los datos, la solución puede degenerar.
4. Brecha Empírica vs. Teórica: Empíricamente, los objetivos en política (on-policy) como RLHF suelen superar a los métodos basados en verosimilitud como la Optimización Directa de Preferencias (DPO), pero las teorías existentes no pueden explicar esta superioridad porque ofrecen garantías ad-hoc para cada método individualmente.

Los autores proponen replantear la alineación no como maximización de recompensas, sino como aprendizaje de distribuciones a partir de preferencias pareadas. La pregunta central es: ¿Bajo qué supuestos podemos derivar objetivos de entrenamiento que converjan demostrablemente a un modelo de lenguaje objetivo ($\pi^*$)?

Metodología

El artículo postula la existencia de un modelo de lenguaje objetivo (oráculo) $\pi^*$ y modela explícitamente cómo la retroalimentación de preferencias revela información sobre $\pi^*$.

1. El Modelo de Preferencias

Los autores asumen un modelo Bradley-Terry (BT) donde la probabilidad de preferir la respuesta $a$ sobre $b$ dada la indicación $x$ está determinada directamente por las probabilidades del modelo objetivo, en lugar de una función de recompensa externa:
$$P(a \succ b | x) = \frac{\pi^*(a | x)^\gamma}{\pi^*(a | x)^\gamma + \pi^*(b | x)^\gamma}$$
Aquí, $\gamma > 0$ es un hiperparámetro. Esta suposición implica que el modelo de preferencias es explícitamente un modelo de lenguaje, en contraste con DPO, que se basa en la suposición de "todas las políticas" para derivar una relación entre recompensas y el LM.

2. Objetivos Propuestos

Basándose en esta perspectiva de aprendizaje de distribuciones, los autores derivan tres objetivos de alineación fundamentados:

• Estimación de Máxima Verosimilitud de Preferencias (PMLE):
  Este objetivo maximiza la verosimilitud de las preferencias pareadas observadas bajo la suposición BT, regularizada por una divergencia KL hacia una política de referencia $\pi_0$.
  $$L_{PMLE, \beta}(\pi) = \frac{1}{n} \sum -\ln \sigma\left(\gamma \ln \frac{\pi(a^+|x)}{\pi(a^-|x)}\right) + \beta KL(\pi \| \pi_0)$$
  A diferencia de DPO, que minimiza una relación de verosimilitud sin un regularizador explícito (lo que podría llevar a distribuciones degeneradas), PMLE incluye un término KL explícito para garantizar la estabilidad.

• Destilación de Preferencias:
  Este enfoque primero aprende un modelo de recompensas $\hat{R}$ (equivalente a aprender un simulador de preferencias) y luego destila esta distribución de preferencias en el modelo de lenguaje. En lugar de usar la pérdida cuadrática (como en REBEL), minimiza la divergencia KL entre las distribuciones de preferencias binarias del simulador aprendido y la política objetivo:
  $$L_{Distill}(\pi) = \frac{1}{n} \sum KL(\text{Bern}(P_{\hat{\pi}}(a^+ \succ a^-|x)) \| \text{Bern}(P_{\pi}(a^+ \succ a^-|x))) + \beta KL(\pi \| \pi_0)$$
  Esta formulación se deriva explícitamente del modelo BT y evita los problemas de justificación estadística de la pérdida cuadrática.

• Minimización de KL Inverso (RKL):
  Reconociendo que el objetivo es el aprendizaje de distribuciones, los autores proponen minimizar la divergencia KL inversa $E_x[KL(\hat{\pi}(x) \| \pi^*(x))]$. Dado que $\pi^*$ es desconocido, sustituyen un estimador $\hat{\pi}$ derivado del modelo de recompensas.
  $$L_{RKL, \beta}(\pi) = \frac{1}{n} \sum \left( -E_{a \sim \pi(x)}[\hat{R}(x, a)] - \gamma H(\pi(x)) + \beta KL(\pi(x) \| \pi_0(x)) \right)$$
  Este objetivo se asemeja a RLHF pero incluye un término de entropía adicional ($-\gamma H(\pi(x))$). Los autores argumentan que esto actúa como una corrección a RLHF, resolviendo el dilema asintótico donde RLHF estándar falla en converger al verdadero $\pi^*$ a medida que $n \to \infty$.

3. Garantías Teóricas

El artículo proporciona garantías de convergencia no asintóticas de $O(1/n)$ para los tres métodos. Específicamente, demuestran que el error de KL directo $E_x[KL(\pi^*(x) \| \hat{\pi}(x))]$ converge a cero a una tasa de $O(1/n)$, donde $n$ es el tamaño del conjunto de datos.

• PMLE y Destilación de Preferencias: Logran cotas dependientes del coeficiente de cobertura de la clase de políticas $\Pi$.
• KL Inverso: Logra una cota más ajustada que depende del coeficiente de cobertura de la clase de modelos inducida por la recompensa $\mathcal{P}_\gamma(\mathcal{R})$, que a menudo es más pequeña que la de $\Pi$. Esto explica teóricamente por qué los métodos en política (como RKL/RLHF) suelen superar empíricamente a los métodos basados en verosimilitud (como PMLE/DPO).

Resultados Clave

Hallazgos Teóricos

• Justificación para RLHF: El objetivo RKL proporciona una fuerte justificación teórica para el objetivo de RLHF, mostrando que es un caso especial (con $\gamma \to 0$) de un objetivo consistente de aprendizaje de distribuciones, siempre que se aplique una corrección de entropía.
• Resolución del Dilema: El análisis teórico y los experimentos de juguete (Figura 1) demuestran que, mientras que RLHF estándar sufre de inconsistencia (saturación en un error no nulo) a medida que $n \to \infty$ debido al dilema de regularización, el método RKL propuesto converge al modelo objetivo verdadero.
• Superioridad de los Métodos en Política: La teoría confirma que el KL Inverso (similar a RLHF) goza de una garantía de convergencia superior en comparación con PMLE (similar a DPO) porque aprovecha la menor complejidad de la clase del modelo de recompensas en lugar de la clase completa de políticas.

Hallazgos Empíricos

Se realizaron experimentos en dos tareas:

1. Resumen de TL;DR: Utilizando los modelos Pythia-2.8B y Pythia-6.9B.
   • Tasas de Victoria: Los métodos propuestos (PMLE, Destilación de Preferencias, KL Inverso) lograron consistentemente tasas de victoria de GPT-4 más altas en comparación con sus líneas base (DPO, REBEL, RLHF).
   • Divergencia KL: PMLE logró una divergencia KL significativamente menor hacia el modelo de referencia en comparación con DPO, validando el beneficio del regularizador explícito.
2. Chat General (UltraFeedback): Utilizando LLaMA-3-8B-Instruct.
   • Evaluado en MT-Bench, AlpacaEval 2.0 y Arena Hard.
   • PMLE y Destilación de Preferencias superaron a DPO y REBEL en la mayoría de los puntos de referencia, mostrando ganancias particularmente fuertes en AlpacaEval 2.0 y Arena Hard.

Significado y Afirmaciones

El artículo afirma proporcionar el primer marco teórico unificado para la alineación que trata el problema como aprendizaje de distribuciones a partir de preferencias pareadas. Sus contribuciones principales son:

1. Perspectiva Unificada: Unifica los métodos existentes (DPO, RLHF, REBEL) bajo una única suposición probabilística, haciendo explícitas sus suposiciones ocultas.
2. Fundamentación Teórica: Ofrece garantías rigurosas, no asintóticas de convergencia $O(1/n)$ para aprender una distribución objetivo a partir de retroalimentación pareada, un resultado previamente no disponible para este escenario.
3. Explicación de Tendencias Empíricas: Proporciona la primera confirmación teórica para la observación empírica de que los objetivos en política (RLHF) suelen superar a los objetivos basados en verosimilitud (DPO), atribuyendo esto a las propiedades de cobertura de la clase del modelo de recompensas frente a la clase de políticas.
4. Corrección a RLHF: Identifica una deficiencia específica en el objetivo estándar de RLHF (la falta de un término de entropía que conduce a inconsistencia) y propone un objetivo corregido (RKL) que conserva los beneficios prácticos de RLHF mientras garantiza la consistencia teórica.

Los autores concluyen que, aunque sus métodos son competitivos con líneas base sólidas, el valor principal reside en el marco teórico que explica por qué funcionan estos métodos y cómo pueden mejorarse. El trabajo futuro sugerido incluye explorar objetivos de búsqueda de modos frente a objetivos de cobertura de modos y extender el marco a divergencias alternativas.