Resumen Técnico: Margen Adaptativo mediante RLHF vía Preferencia sobre Preferencias

Declaración del Problema

En el Aprendizaje por Refuerzo a partir de la Retroalimentación Humana (RLHF), alinear los Modelos de Lenguaje de Gran Escala (LLMs) con las preferencias humanas depende típicamente de datos de preferencia por pares. Los enfoques estándar, como el modelo de Bradley-Terry (BT) y la Optimización de Preferencia Directa (DPO), a menudo tratan todos los pares de preferencias por igual o dependen de márgenes fijos. Si bien la optimización basada en márgenes es conocida por mejorar la generalización y la robustez en tareas de clasificación, los métodos existentes de RLHF enfrentan limitaciones significativas:

1. Sin Márgenes o con Márgenes Fijos: Muchos métodos aplican sin margen o un margen constante, fallando al no considerar la fuerza variable de las diferentes preferencias (es decir, algunas preferencias representan una distinción clara entre respuestas, mientras que otras son ambiguas).
2. Calificaciones Escalares Ruidosas: Los enfoques de margen adaptativo que existen a menudo derivan los márgenes de puntuaciones de preferencia escalares (por ejemplo, escalas de Likert) proporcionadas por humanos o LLMs. Estas puntuaciones son frecuentemente mal calibradas, inconsistentes entre anotadores y ruidosas, lo que conduce a información de margen poco fiable.
3. Dependencia de Puntuaciones Precisas: Los métodos que asumen el acceso a puntuaciones de preferencia precisas tienen dificultades en la práctica porque a los humanos les resulta difícil proporcionar calificaciones numéricas fiables sobre la fuerza de la preferencia.

El problema central es cómo inferir márgenes adaptativos —márgenes que varían por cada punto de datos según la fuerza de la preferencia— sin depender de anotaciones escalares ruidosas.

Metodología

Los autores proponen un marco llamado RLHF de Margen Adaptativo mediante Supervisión de Preferencia sobre Preferencia (PoP). En lugar de pedir a los anotadores que asignen una puntuación numérica a una única preferencia, el método les pide que comparen dos pares de preferencias y determinen cuál refleja una distinción más fuerte.

Concepto Central: Preferencia sobre Preferencia (PoP)

Dadas dos instancias de preferencia, $A \succ B$ y $C \succ D$, se le pide al anotador (humano o LLM) que etiquete cuál preferencia es más fuerte. Si $(A \succ B)$ es juzgada como más fuerte que $(C \succ D)$, esto implica que la diferencia de recompensa $r(A) - r(B)$ es mayor que $r(C) - r(D)$.

• Inferencia: La diferencia de recompensa de la preferencia más débil sirve como un límite inferior (margen) para la preferencia más fuerte.
• Ventaja: Esta formulación reduce la tarea de anotación a un juicio binario sobre magnitudes relativas, lo cual es cognitivamente natural y está fundamentado en los principios del análisis de decisiones (MACBETH). Evita los problemas de calibración de las escalas de calificación discretas y proporciona información más rica que las calificaciones discretas, permitiendo la inferencia de márgenes continuos de valor real.

Algoritmo: DPO-PoP

El artículo instancia este marco dentro del algoritmo de Optimización de Preferencia Directa (DPO), resultando en DPO-PoP.

1. Función de Pérdida: La pérdida estándar de DPO se modifica para incorporar un margen adaptativo derivado de un par de preferencia más débil. Para un par de preferencia fuerte $(x_s, y^+_s, y^-_s)$ y un par débil $(x_w, y^+_w, y^-_w)$, la pérdida exige que la diferencia de recompensa implícita del par fuerte exceda la del par débil.
   $$\min_{\theta} \mathbb{E}_{D_{PoP}} \left[ -\log \sigma \left( m_\theta(x_s, y^+_s, y^-_s) - \text{sg}[m_{\hat{\theta}}(x_w, y^+_w, y^-_w)] \right) \right]$$
   Donde $m_\theta$ es el margen implícito, y $\text{sg}$ denota el operador de parada de gradiente (stop-gradient) para evitar que el término del margen influya directamente en la actualización de los parámetros de la política.
2. Estabilización: Para abordar los gradientes inestables causados por márgenes no acotados, los autores:
   • Recortan los valores del margen a un intervalo fijo $[0, M_{max}]$.
   • Utilizan una política objetivo $\hat{\theta}$ actualizada lentamente (vía promedio de Polyak) para calcular el margen de referencia, evitando fluctuaciones rápidas durante el entrenamiento.
3. Estrategias de Muestreo: El artículo explora dos estrategias para construir el conjunto de datos PoP ($D_{PoP}$):
   • Muestreo Iterativo: Cada preferencia se compara contra $k$ preferencias más débiles. Esto asegura una representación equitativa de todas las preferencias, pero puede sobre-representar comparaciones débiles (ruidosas).
   • Muestreo Aleatorio: Los pares de preferencia se seleccionan aleatoriamente y se comparan. Esto resulta en un conjunto de datos donde las preferencias más fuertes aparecen con mayor frecuencia.

Principales Contribuciones

1. Marco de Supervisión PoP: Un método novedoso para derivar márgenes adaptativos a partir de comparaciones ordinales entre preferencias en lugar de calificaciones escalares, mejorando la calibración y la robustez.
2. Algoritmo DPO-PoP: Una extensión concreta de DPO que integra la supervisión PoP, permitiendo un alineamiento consciente del margen utilizando únicamente aprendizaje supervisado sin una fase de entrenamiento de un modelo de recompensa separado.
3. Descubrimiento de un Compromiso (Trade-off): Los autores identifican un compromiso fundamental entre el rendimiento discriminativo (precisión de clasificación en etiquetas de preferencia) y el rendimiento generativo (calidad del texto generado).
   • DPO-PoP-Iter (muestreo iterativo) destaca en tareas discriminativas, clasificando correctamente las preferencias débiles, pero sufre en la calidad generativa, probablemente debido al sobreajuste a señales débiles ruidosas.
   • DPO-PoP-Random (muestreo aleatorio) logra un rendimiento generativo superior y una precisión discriminativa robusta en benchmarks fuera de la distribución, ya que se enfoca más en preferencias fuertes y claras.
4. Perspectiva Teórica: El artículo proporciona un límite de generalización para clasificadores de margen adaptativo, mostrando que el error de generalización depende de la suma de los inversos de los cuadrados de los márgenes ($\sum 1/m_i^2$). Esto explica por qué el muestreo Aleatorio (con menos márgenes débiles) produce mejores límites de generalización que el muestreo Iterativo.

Resultados

Los experimentos se realizaron en el conjunto de datos UltraFeedback utilizando modelos Llama-3.2-3b y Llama-3.1-8b, con evaluaciones en RewardBench, AlpacaEval-2 y tasas de victoria de UltraRM.

• Rendimiento Discriminativo: DPO-PoP-Iter alcanzó la mayor precisión de clasificación de prueba (aprox. 80% en UltraFeedback), superando a las líneas base por ~8 puntos porcentuales, incluso aquellas con acceso a los márgenes de verdad de terreno (ground-truth). Sin embargo, mostró una menor correlación con los márgenes de verdad de terreno en las preferencias fuertes.
• Rendimiento Generativo: DPO-PoP-Random superó consistentemente a todas las líneas base, incluyendo aquellas con márgenes de verdad de terreno, en métricas generativas.
  • En AlpacaEval 2.0, DPO-PoP-Random logró una tasa de victoria del 14.2%, significativamente mayor que el competidor más cercano (12.4%).
  • En RewardBench, DPO-PoP-Random obtuvo la puntuación General más alta, demostrando estabilidad en las categorías de Chat, Seguridad y Razonamiento.
• Régimen de Datos Pequeños: En entornos de pocos datos, DPO-PoP-Random mejoró las tasas de victoria en 17 puntos porcentuales sobre DPO-margin-gt, lo que sugiere que la anotación PoP es efectiva incluso con datos limitados.
• Anotación por LLM: Cuando las etiquetas PoP fueron generadas por un LLM (GPT-4.1-mini) en lugar de usar puntuaciones de verdad de terreno, DPO-PoP-Random mantuvo un rendimiento robusto, validando la viabilidad práctica del enfoque.

Significancia y Reivindicaciones

El artículo afirma que DPO-PoP ofrece una alternativa práctica y efectiva a las anotaciones de escala de calificación numérica para RLHF. Al aprovechar los juicios comparativos entre preferencias, el método infiere información de margen fina que está más sólidamente calibrada entre los anotadores.

La significancia reside en la capacidad de navegar el compromiso discriminativo-generativo:

• Los profesionales que buscan una alta precisión de clasificación in-domain pueden utilizar el Muestreo Iterativo.
• Los profesionales que priorizan la generación de texto de alta calidad y la robustez ante cambios en la distribución pueden utilizar el Muestreo Aleatorio.

Los autores enfatizan que este enfoque no requiere modelos de recompensa complejos ni bucles de aprendizaje por refuerzo, integrándose sin problemas en los flujos de trabajo de DPO existentes con un sobrecosto computacional mínimo (una pasada hacia adelante adicional). El trabajo sugiere que las "preferencias sobre las preferencias" es una señal cognitivamente natural y de información rica para mejorar el alineamiento de los LLMs.