Resumen Técnico: Optimización de Preferencias Directa Autoregresiva (ADPO)

Planteamiento del Problema

La Optimización de Preferencias Directa (DPO) se ha convertido en un método estándar para alinear Grandes Modelos de Lenguaje (LLMs) con las preferencias humanas mediante la derivación analítica de la política óptima a partir del modelo de Bradley-Terry (BT), eliminando la necesidad de un modelado de recompensa explícito. Sin embargo, los autores identifican una limitación teórica en la formulación estándar de DPO: aunque los LLMs son inherentemente autoregresivos (generando tokens secuencialmente), el objetivo de DPO estándar aplica el modelo BT al nivel de las respuestas completas después de asumir la naturaleza autoregresiva de la política.

Específicamente, el DPO estándar deriva la función de pérdida utilizando el modelo BT sobre el espacio de salida $\mathcal{Y}$, y solo posteriormente expande las log-probabilidades en una suma de términos a nivel de token. Esto resulta en una función de pérdida donde la sumatoria de los log-ratios a nivel de token ocurre dentro de la función log-sigmoide. Los autores argumentan que este ordenamiento no logra aprovechar plenamente la suposición autoregresiva durante la derivación del modelo de preferencia, lo que potencialmente limita la granularidad y la consistencia teórica de la optimización.

Metodología: Optimización de Preferencias Directa Autoregresiva (ADPO)

El artículo propone la Optimización de Preferencias Directa Autoregresiva (ADPO), una nueva variante que incorpora explícitamente la suposición autoregresiva antes de aplicar el modelo de Bradley-Terry.

Formulación Teórica

1. Cierre de Prefijo y Funciones de Energía: ADPO extiende el dominio de la función de recompensa desde el espacio de salida completa $\mathcal{Y}$ hacia su cierre de prefijo $\mathcal{Y}^*$ (el conjunto de todas las respuestas incompletas). Define funciones de energía "por prefijo" $E^*_1$ y $E^*_2$ sobre estos prefijos.
2. Modelo de Bradley-Terry por Prefijo: En lugar de modelar preferencias sobre secuencias completas, ADPO define un modelo BT por prefijo. La probabilidad de una secuencia preferida $y_w$ sobre una secuencia despreferida $y_l$ se formula como el producto de las probabilidades de preferencia en cada paso de prefijo $i$.
3. Derivación de la Pérdida: Al aplicar la suposición autoregresiva al modelo de referencia $\pi_{ref}$ y al modelo aprendible $\pi_\theta$ dentro del marco de BT por prefijo, los autores derivan una nueva función de pérdida.
   • Diferencia Estructural Clave: En DPO estándar, la pérdida es $-\log \sigma(\sum_i \Delta_i)$. En ADPO, la sumatoria se desplaza fuera de la función log-sigmoide:
     $$\mathcal{L}_{ADPO} = -\mathbb{E} \left[ \sum_{i=1}^{T'} \log \sigma \left( \beta \log \frac{\pi_\theta(y_{w,i}|y_{w,<i}, x)}{\pi_{ref}(y_{w,i}|y_{w,<i}, x)} - \beta \log \frac{\pi_\theta(y_{l,i}|y_{l,<i}, x)}{\pi_{ref}(y_{l,i}|y_{l,<i}, x)} \right) \right]$$
   • Esta formulación trata la optimización de preferencias como una secuencia de decisiones a nivel de token (o nivel de sub-secuencia) en lugar de una única decisión a nivel de secuencia.

Análisis Teórico: Medidas de Longitud

El artículo introduce una distinción teórica entre dos medidas de longitud, lo que clarifica la relación entre DPO y ADPO:

• Longitud de Token ($\mu$): El número de tokens en una secuencia, inherente a la naturaleza autoregresiva del LLM.
• Longitud de Feedback ($\mu'$): La granularidad a la cual se aplica el feedback humano.
  • DPO estándar corresponde al caso especial donde $\mu'(y) = 1$ para todas las secuencias (el feedback se da solo sobre la respuesta completa).
  • ADPO permite que $\mu'$ sea independiente de $\mu$, permitiendo el entrenamiento en granularidades arbitrarias (por ejemplo, a nivel de token, nivel de oración o niveles de ventana fija).

Los autores demuestran que cualquier función de recompensa consistente con el modelo BT por prefijo puede ser reparametrizada por un modelo autoregresivo, asegurando que ADPO sea teóricamente consistente con el problema de maximización de recompensa con restricción KL.

Contribuciones Clave

1. Formulación de ADPO: La introducción de ADPO, que deriva el objetivo de optimización de preferencias extendiendo el dominio de la energía al cierre de prefijo $\mathcal{Y}^*$, integrando así explícitamente la suposición autoregresiva en el modelo BT.
2. Innovación en la Función de Pérdida: La derivación de una función de pérdida donde la sumatoria de los log-ratios a nivel de token se desplaza fuera de la función log-sigmoide, proporcionando una forma teóricamente consistente para facilitar el entrenamiento de mayor granularidad.
3. Perspectiva Teórica sobre la Granularidad: Identificación y distinción entre la medida de longitud de token ($\mu$) y la medida de longitud de feedback ($\mu'$). El artículo demuestra que DPO es un caso especial de ADPO donde $\mu' \equiv 1$, y que variar $\mu'$ permite una familia de algoritmos que van desde la optimización de respuesta completa hasta la de nivel de token.
4. Completitud de la Reparametrización: Demostración de que, bajo supuestos leves, cualquier función de recompensa puede ser reparametrizada por un modelo autoregresivo dentro del marco por prefijo.

Resultados Experimentales

Los autores evaluaron ADPO en tareas de razonamiento matemático y conversacionales a través de múltiples arquitecturas de LLM (Llama-3, Qwen, Gemma, DeepSeek-Math).

• Razonamiento Matemático (GSM8K, MATH500):
  • Las variantes de ADPO superaron consistentemente a DPO estándar y al método contrastivo a nivel de token cDPO en todos los modelos.
  • Los mejores resultados se lograron con cADPO (ADPO combinado con identificación de tokens críticos), con Qwen-3-8B alcanzando un 91.74% de precisión en GSM8K.
  • Análisis de Granularidad: Los experimentos con las familias "Estática" (tamaño de ventana fija $k$) y "Adaptativa" (número fijo de segmentos $m$) mostraron que una mayor granularidad generalmente mejoraba el rendimiento. Específicamente, el nivel de token ($k=1$) y los entornos adaptativos de alta segmentación ($m \ge 128$) arrojaron resultados superiores en comparación con el DPO de respuesta completa.
• Tareas Conversacionales (AlpacaEval 2, Arena-Hard, MT-Bench):
  • ADPO superó a DPO y se desempeñó de manera comparable o mejor que SimPO en todos los benchmarks.
  • La familia adaptativa con $m=256$ alcanzó la mayor Tasa de Victoria Controlada por Longitud (45.8%) en AlpacaEval 2.
• Dinámicas de Entrenamiento: El análisis de las log-probabilidades mostró que ADPO amplifica más eficazmente la distinción entre secuencias preferidas y despreferidas, particularmente a medida que aumenta la granularidad.
• Eficiencia: Los cálculos adicionales por prefijo introducidos por ADPO resultaron en una sobrecarga de entrenamiento insignificante (un aumento de aproximadamente 5.7% en el tiempo de ejecución real).

Significancia y Reivindicaciones

El artículo afirma que ADPO proporciona una extensión teóricamente consistente de DPO que se alinea mejor con la naturaleza autoregresiva de los LLMs. Al desplazar la sumatoria fuera de la función log-sigmoide, ADPO permite la optimización a granularidades arbitrarias sin violar los principios fundacionales de la optimización de preferencias.

Los autores enfatizan que su trabajo es el primero en distinguir explícitamente entre la medida de longitud de token y la medida de longitud de feedback, ofreciendo un marco unificado que abarca tanto la respuesta completa (DPO) como los enfoques a nivel de token. Los resultados empíricos sugieren que aprovechar esta mayor granularidad conduce a un alineamiento más robusto, particularmente en tareas de razonamiento complejo, sin un costo computacional significativo. El artículo concluye señalando que, si bien ADPO depende del marco original de restricción KL, el trabajo futuro podría explorar la generalización de las métricas de divergencia o la adaptación de las definiciones de energía para modelos no autoregresivos.