Resumen Técnico: Recompensas Normalizadas para la Optimización de Preferencias

Planteamiento del Problema

Los Algoritmos de Alineación Directa (DAAs, por sus siglas en inglés), como Direct Preference Optimization (DPO) y SimPO, se han convertido en el estándar para alinear Grandes Modelos de Lenguaje (LLMs) con las preferencias humanas debido a su eficiencia computacional en comparación con el Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF). Sin embargo, trabajos recientes han identificado una limitación crítica: los DAAs a menudo sufren de sobreoptimización de sus modelos de recompensa implícitos.

Una manifestación primaria de esto es el desplazamiento de la verosimilitud (likelihood displacement), un fenómeno donde las verosimilitudes tanto de las respuestas preferidas como de las no preferidas caen simultáneamente durante el entrenamiento. Esto ocurre porque los objetivos estándar de los DAAs (DPO, SimPO) optimizan la diferencia de recompensas entre pares de respuestas, lo que provoca que la función de partición $Z(x)$ se cancele matemáticamente. En consecuencia, el modelo no tiene el incentivo para mantener una estimación calibrada de la masa de probabilidad total sobre el espacio de respuestas. Esta falta de normalización conduce a cambios espurios de probabilidad, particularmente para respuestas "no vistas" (aquellas que no están en el par de entrenamiento), lo que potencialmente resulta en comportamientos indeseables o perjudiciales.

Las hipótesis existentes para la sobreoptimización —como la alta similitud de embeddings entre pares o la regulación insuficiente— no logran generalizarse tanto en los métodos basados en referencia (ej. DPO) como en los que carecen de referencia (ej. SimPO). Además, los análisis previos suelen centrarse en instancias individuales de los DAAs en lugar de en el mecanismo compartido de la normalización.

Metodología

Los autores proponen que la sobreoptimización de la recompensa proviene de una falta de normalización en la recompensa implícita. Para contrarrestar esto, introducen un término de regularización diseñado para conservar la masa de probabilidad normalizada por longitud del par de respuestas elegida ($y_w$) y rechazada ($y_l$).

El Término de Regularización

La idea central es que, para un modelo de lenguaje parametrizado que aplica una función softmax, la distribución de salida debe permanecer normalizada (función de partición = 1) durante todo el entrenamiento. Dado que estimar la función de partición completa sobre todas las respuestas posibles es inviable, los autores imponen la normalización sobre las respuestas vistas.

Definen un penalizador de regularización $R(\pi_\theta, \pi_{ref}, x, y_w, y_l)$:
$$R = \lambda \left( \log \frac{\bar{\pi}_\theta(y_w|x) + \bar{\pi}_\theta(y_l|x)}{\bar{\pi}_{ref}(y_w|x) + \bar{\pi}_{ref}(y_l|x)} \right)^2$$
Donde:

• $\bar{\pi}$ denota probabilidades normalizadas por longitud (para mitigar el sesgo de longitud).
• $\lambda$ es un hiperparámetro.
• El término minimiza el logaritmo cuadrado de la razón de la masa de probabilidad total asignada al par por el modelo actual frente al modelo de referencia.

Este penalizador se añade a los objetivos estándar:

1. N-DPO: $L_{N-DPO} = L_{DPO} + R$
2. N-SimPO: $L_{N-SimPO} = L_{SimPO} + R$

Análisis Mecanístico

El artículo proporciona un análisis de gradiente teórico de este término de regularización. El gradiente de $R$ con respecto a los parámetros del modelo $\theta$ es inversamente proporcional a la verosimilitud de los tokens individuales.

• Tokens Atípicos (Outliers): El análisis revela que el desplazamiento de la verosimilitud es impulsado por un pequeño conjunto de tokens atípicos con verosimilitudes muy bajas. Estos tokens dominan las actualizaciones de gradiente.
• Mitigación: Cuando la verosimilitud total de la respuesta disminuye, el término de regularización genera gradientes que aumentan principalmente la verosimilitud de estos tokens atípicos de baja verosimilitud. Esto reconfigura la distribución de la recompensa, evitando las caídas masivas y espurias de probabilidad asociadas con el desplazamiento, mientras realiza cambios mínimos en los tokens de alta verosimilitud relevantes para la generación.

Principales Contribuciones

1. Identificación del Déficit de Normalización: Los autores ilustran cómo la incapacidad de contabilizar la distribución de las respuestas no vistas (debido a la cancelación de la función de partición en los objetivos estándar) conduce al desplazamiento de la verosimilitud.
2. Explicación Mecanística: Conectan el desplazamiento de la verosimilitud con la concentración de los cambios de probabilidad en los tokens atípicos y demuestran, mediante un análisis de gradiente, que su regularizador mitiga estos cambios utilizando los tokens de baja verosimilitud.
3. Nuevos Objetivos: Proponen N-DPO y N-SimPO, que incorporan el término de regularización propuesto, aplicables tanto a los métodos de alineación basados en referencia como a los que carecen de ella.
4. Validación Empírica: Demuestran que estos objetivos modificados mejoran el equilibrio entre la calidad de la generación y las capacidades de los benchmarks generales.

Resultados Experimentales

Los autores evaluaron N-DPO y N-SimPO en Mistral-7B-Instruct, Llama-3.1-8B-Instruct y OLMo-7B-SFT utilizando el conjunto de datos UltraFeedback.

• Calidad de Generación (AlpacaEval):

  • En Llama-3.1-8B-Instruct, N-DPO logró un incremento relativo de >20% en las puntuaciones de AlpacaEval2 (Control de Longitud) en comparación con el DPO estándar.
  • En OLMo-7B-SFT, N-SimPO mostró un incremento relativo de >75% en AlpacaEval2 (Tasa de Victoria Bruta) en comparación con SimPO.
  • Los métodos propuestos generalmente superaron a otras líneas base de regularización como DPO+SFT y DPOP.

• Rendimiento en Benchmarks Generales:

  • Contrario al compromiso típico donde la mejora en la generación degrada las capacidades generales, N-DPO y N-SimPO mantuvieron o mejoraron las puntuaciones en benchmarks de sentido común y razonamiento (MMLU, ARC, HellaSwag, etc.).
  • Para Llama-3.1-8B-Instruct, N-DPO mejoró las puntuaciones promedio de los benchmarks en más de un 3% mientras simultáneamente mejoraba la calidad de la generación.

• Modelado de Recompensa:

  • Los modelos entrenados con el término de regularización mostraron una precisión de modelado de recompensa mejorada o comparable en conjuntos de datos no vistos (HH-RLHF, HelpSteer2) en comparación con el DPO/SimPO estándar, mientras que DPO+SFT y DPOP mostraron caídas significativas en la precisión.

• Dinámica de Verosimilitud:

  • Las curvas de entrenamiento confirmaron que la regularización mitiga el desplazamiento de la verosimilitud. En N-DPO, las verosimilitudes de las respuestas elegidas se mantuvieron estables, mientras que en el DPO estándar, cayeron significativamente.
  • El análisis a nivel de token confirmó que la regularización apunta y corrige específicamente la distribución de los mínimos de recompensa de los tokens (atípicos).

Significado y Reivindicaciones

El artículo afirma que la normalización de la recompensa es un factor crítico y previamente pasado por alto para el éxito de los Algoritmos de Alineación Directa. Al imponer explícitamente la conservación de la masa de probabilidad para las respuestas observadas, el método propuesto:

1. Mitiga el Desplazamiento de la Verosimilitud: Previene los cambios espurios de probabilidad que pueden conducir a comportamientos perjudiciales, particularmente corrigiendo el comportamiento de los tokens atípicos.
2. Mejora los Compromisos (Trade-offs): Permite que los modelos aprendan preferencias de manera más efectiva sin sacrificar las capacidades generales, abordando el problema de la "sobreoptimización" que ha limitado la fiabilidad de los DAAs.
3. Generaliza: El enfoque es efectivo en ambos marcos, tanto en los basados en referencia como en los que carecen de ellos (SimPO), lo que sugiere un mecanismo unificado para la sobreoptimización.

Los autores concluyen que su análisis arroja luz sobre por qué los DAAs mejoran la calidad de la generación a pesar de la disminución de las verosimilitudes (debido a los desplazamientos de los tokens atípicos) y demuestra que utilizar los tokens de baja verosimilitud para la regularización es una estrategia efectiva para remodelar las distribuciones de recompensa. Señalan que, aunque su análisis actual se centra en entornos offline, los hallazgos motivan una mayor investigación sobre el comportamiento granular de los modelos de recompensa en la optimización de preferencias.