Resumen Técnico: De Vuelta a Blackwell: Cerrando el Círculo sobre la Intransitividad en el Ajuste Fino de Preferencias Multi-Objetivo

1. Declaración del Problema

El artículo aborda un desafío fundamental en el Ajuste Fino de Preferencias (PFT) para Modelos de Lenguaje Grandes (LLMs): las preferencias intransitivas (cíclicas). La intransitividad ocurre cuando un juez LLM clasifica la opción $A \succ B$ y $B \succ C$, pero falla al clasificar $A \succ C$. Este fenómeno surge de dos fuentes principales:

1. Clasificaciones inconsistentes a lo largo de un único objetivo.
2. Escalarización de múltiples objetivos en una sola métrica, lo cual puede introducir inconsistencias incluso si los objetivos individuales son consistentes.

Las tuberías estándar de PFT dependen de aprender un orden total mediante un modelo de recompensa. Sin embargo, bajo preferencias intransitivas, no existe una política óptima bien definida (Ganador de Condorcet), rompiendo las suposiciones centrales del PFT estándar. Si bien trabajos anteriores han intentado mitigar esto ya sea (a) dividiendo los juicios agregados en múltiples objetivos o (b) enmarcando el PFT como un juego de suma cero para encontrar una política robusta frente a comparadores del peor caso, combinar estos enfoques es técnicamente difícil. Específicamente, dividir los objetivos en un entorno multi-objetivo invalida el Teorema Minimax, haciendo que la maquinaria estándar de resolución de juegos (como el auto-juego) falle.

2. Metodología

2.1 Concepto de Solución: Ganador Blackwell de Máxima Entropía (MaxEntBW)

Los autores proponen un nuevo concepto de solución basado en la teoría de juegos llamado Ganador Blackwell de Máxima Entropía (MaxEntBW). A diferencia del Ganador Minimax (que está mal definido en entornos multi-objetivo sin el Teorema Minimax), el MaxEntBW está bien definido incluso bajo múltiples preferencias globalmente inconsistentes.

Formalmente, un MaxEntBW es una política $\pi^*$ que maximiza el valor del juego $V(\pi)$, definido como:
$$V(\pi) \triangleq \min_{w: \mathcal{X} \to \Delta^{m(x)}} \min_{\pi' \in \Pi} \mathbb{E}_x \left[ \langle w(x), P(\pi \succ \pi' \mid x) \rangle + \beta D_{KL}(\pi'(x) \parallel \pi_{ref}(x)) \right]$$
Donde:

• $P(\pi \succ \pi' \mid x)$ es el vector de probabilidades de victoria par a par a través de $m(x)$ objetivos.
• $w(x)$ representa la ponderación de objetivos del adversario.
• $\pi'$ es la política comparadora del adversario.
• $\beta D_{KL}(\pi' \parallel \pi_{ref})$ es un término de regularización KL que restringe al adversario a mantenerse cerca de una política de referencia $\pi_{ref}$.

Esta formulación asegura que la política sea robusta frente a la ponderación de objetivos del peor caso y la política comparadora dentro de su vecindario local, sin requerir que se cumpla el Teorema Minimax.

2.2 Algoritmo: PROSPER

Para calcular MaxEntBWs a escala, los autores derivan PROSPER (Optimización de Preferencias con un Solo Jugador sobre Rúbricas Completas). El algoritmo reduce el complejo juego de tres jugadores (Aprendiz, Pesos de Objetivo Adversarios, Política Adversaria) en un problema de optimización de un solo jugador tratable a través de tres pasos clave:

1. Política Adversaria de Forma Cerrada: Al fijar el aprendiz $\pi$ y los pesos $w$, la minimización interna sobre la política adversaria $\pi'$ admite una solución de forma cerrada mediante regularización de entropía (inspirada en Ziebart et al., 2008). Esto elimina la necesidad de bucles de entrenamiento adversario.
2. Minimización por Prompt: Se demuestra que la optimización sobre los pesos de objetivo $w$ es cóncava. En consecuencia, la $w$ óptima para cualquier prompt es un vértice del simplex (es decir, selecciona un único objetivo del peor caso). Esto permite que el algoritmo simplemente minimice sobre objetivos por prompt, eliminando la necesidad de optimizar $w$.
3. Optimización Basada en Regresión: El objetivo restante es cóncavo en $\pi$. En lugar de realizar descenso de espejo en línea directamente (lo cual es inviable para modelos grandes), PROSPER utiliza una reformulación basada en regresión. Estima gradientes mediante muestreo y actualiza los parámetros de la política $\theta$ resolviendo un problema de regresión de pérdida cuadrática:
   $$\theta_{t+1} = \arg \min_{\theta} \mathbb{E}_{x, z, z'} \left[ \left( \frac{1}{\eta} \left( \ln \frac{\pi_\theta(z|x)}{\pi_{\theta_t}(z|x)} - \ln \frac{\pi_\theta(z'|x)}{\pi_{\theta_t}(z'|x)} \right) - (g(z) - g(z')) \right)^2 \right]$$
   donde $g(z)$ es el gradiente estimado derivado del objetivo del peor caso y la política de referencia.

3. Contribuciones Clave

1. Definición de MaxEntBW: El artículo introduce el Ganador Blackwell de Máxima Entropía, un concepto de solución que generaliza a los Ganadores Blackwell a entornos multi-objetivo y permanece bien definido bajo preferencias intransitivas sin depender del Teorema Minimax.
2. Algoritmo PROSPER: Los autores derivan un algoritmo basado en regresión, probadamente eficiente, para calcular MaxEntBWs. El método fusiona conocimientos de aprendizaje por refuerzo inverso y técnicas recientes de optimización de preferencias para eliminar optimizaciones de bucle interno, reduciendo el problema a una simple regresión.
3. Validación Empírica: El artículo demuestra que la retroalimentación de jueces LLM multi-objetivo es sustancialmente intransitiva en la práctica. Muestra que PROSPER supera a las líneas base en el ajuste fino de LLMs (escalas de 3B y 7B) a partir de retroalimentación multi-objetivo, específicamente en seguimiento de instrucciones y benchmarks de chat general.

4. Resultados Experimentales

Los autores evaluaron PROSPER utilizando el conjunto de datos WILDCHECKLISTS, donde jueces LLM evalúan respuestas frente a rúbricas específicas del prompt.

• Análisis de Intransitividad: Los experimentos confirmaron que dividir las rúbricas en elementos individuales (multi-objetivo) reduce pero no elimina la intransitividad. Una fracción significativa de prompts aún exhibe ciclos y carece de un Ganador de Condorcet.
• Rendimiento en Benchmarks:
  • Seguimiento de Instrucciones y Chat: En AlpacaEval 2.0 y Arena-Hard, PROSPER (7B) logró las puntuaciones más altas entre todas las líneas base, incluida la línea base RLCF (Aprendizaje por Refuerzo a partir de Retroalimentación de Lista de Verificación) y variantes de ablación (PROSPER-JC y PROSPER-VB).
  • Capacidades Generales: En benchmarks fuera de dominio (IFEval, MMLU, ARC, HellaSwag, TruthfulQA), PROSPER mantuvo un rendimiento comparable al modelo base y a RLCF, indicando que la naturaleza adversaria del entrenamiento no degradó las capacidades generales de razonamiento o conocimiento.
• Estudios de Ablación:
  • PROSPER-JC (Objetivo Único/Puntuación Agregada): Rindió peor que PROSPER completo, destacando la necesidad de manejar explícitamente múltiples objetivos.
  • PROSPER-VB (Competidor Fijo): Rindió peor que PROSPER completo, demostrando el valor de la política competidora seleccionada adversariamente.

5. Significado y Afirmaciones

El artículo afirma que PROSPER proporciona un marco robusto para alinear LLMs con preferencias humanas (o de IA) complejas y multi-criterio que son inherentemente inconsistentes. Al alejarse de la escalarización y de las suposiciones estándar de la teoría de juegos que fallan en entornos multi-objetivo, los autores ofrecen una solución de "primeros principios" que:

• Maneja la Intransitividad: Aborda directamente la naturaleza cíclica de las preferencias sin forzar un orden total que podría no existir.
• Escalabilidad: Logra eficiencia al reducir el problema a una regresión de un solo jugador, evitando el costo computacional del entrenamiento adversario.
• Utilidad Práctica: Demuestra que aprovechar la retroalimentación detallada de rúbricas multi-objetivo (en lugar de puntuaciones agregadas) conduce a políticas cualitativamente más fuertes en escenarios reales de chat y seguimiento de instrucciones.

Los autores ponen a disposición puntos de control de modelos entrenados en escalas de 3B y 7B para facilitar investigaciones futuras en este dominio.