Resumen Técnico: Más Allá de los Pares: Tu Modelo de Lenguaje Está Secretamente Optimizando un Grafo de Preferencias

1. Declaración del Problema

Los métodos actuales de alineación para Modelos de Lenguaje de Gran Escala (LLM), particularmente la Optimización Directa de Preferencias (DPO), dependen predominantemente de comparaciones de preferencia por pares. Aunque DPO ofrece una alternativa estable al Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF) al eliminar la modelización explícita de recompensas, enfrenta un cuello de botella fundamental cuando se aplica a regímenes prácticos de recopilación de datos.

En muchos escenarios del mundo real (por ejemplo, razonamiento, síntesis de programas), los datos de entrenamiento consisten en múltiples ejecuciones por prompt que se clasifican mediante juicio humano, verificación basada en ejecución o heurísticas. El DPO estándar maneja esto descomponiendo estas clasificaciones de múltiples muestras en comparaciones por pares independientes (instancias $O(K^2)$). Este enfoque reduccionista introduce tres limitaciones críticas:

1. Pérdida de Transitividad: Descarta la estructura transitiva global inherente a las listas clasificadas (por ejemplo, si $A \succ B$ y $B \succ C$, el DPO estándar no hace cumplir explícitamente $A \succ C$).
2. Supervisión Redundante/Conflictiva: Trata a los pares aislados como restricciones separadas, introduciendo potencialmente ruido cuando las muestras están empatadas o cuando la clasificación es parcial.
3. Incompatibilidad con Ordenes Parciales: Muchas señales de evaluación (por ejemplo, corrección en matemáticas o código) producen clases de equivalencia u órdenes parciales que no pueden representarse fielmente como listas de orden total estricto requeridas por los métodos listwise existentes (por ejemplo, PRO, LiPO).

2. Metodología: Optimización Directa de Preferencias en Grafo (GraphDPO)

Los autores proponen GraphDPO, una generalización fundamentada de DPO que desplaza la modelización de preferencias de pares aislados o listas estrictas a grafos de preferencia acíclicos dirigidos (DAG).

2.1 Representación del Grafo de Preferencias

Para un prompt dado $x$ y un conjunto de $K$ respuestas candidatas $\{y_1, \dots, y_K\}$, GraphDPO construye un DAG $G_x = (V, E)$:

• Nodos: Representan las respuestas muestreadas.
• Aristas: Codifican relaciones de dominancia. Existe una arista $i \to j$ si la respuesta $y_i$ es preferida sobre $y_j$ ($y_i \succ_x y_j$).
• Clases de Equivalencia: Para manejar señales discretas (por ejemplo, correcto/incorrecto) donde múltiples respuestas comparten el mismo nivel de preferencia, el método agrupa las respuestas en clases de equivalencia $C_1 \succ C_2 \succ \dots \succ C_G$. Las aristas solo se permiten entre clases diferentes; las aristas intra-clase se enmascaran. Esto previene gradientes espurios de ordenar arbitrariamente muestras empatadas.

2.2 Función Objetivo Estructurada en Grafo

GraphDPO optimiza una verosimilitud definida sobre vecindades dominadas. Para cada respuesta $y_i$, el modelo se entrena para asignar una puntuación más alta que todas las respuestas que domina ($N^-(i)$).

• Pérdida Local: Utilizando una formulación inspirada en Plackett–Luce (PL), la pérdida para el nodo $i$ es:
  $$\ell_i = -\tilde{s}_i + \log \sum_{k \in \{i\} \cup N^-(i)} \exp(\tilde{s}_k)$$
  donde $\tilde{s}_i$ es la puntuación de razón logarítmica centrada relativa a una política de referencia.
• Agregación Global: La pérdida total agrega estos términos locales. Esta formulación hace cumplir la transitividad global: si $y_i$ domina a $y_j$, el objetivo fomenta $s_i > s_j$, y las relaciones transitivas se propagan naturalmente a través de vecindades compartidas.
• Complejidad: A pesar de aprovechar el grafo completo, el método mantiene complejidad lineal $O(K)$ por prompt bajo la construcción de clases de equivalencia (DAG en capas), evitando la enumeración $O(K^2)$ de comparaciones por pares o la normalización de permutaciones de los métodos listwise.

2.3 Anclaje a la Verdad Terrenal

Cuando están disponibles soluciones verificadas (respuestas oráculo), GraphDPO las integra como nodos dominantes en el grafo.

• Pérdida de Anclaje: Un término separado fomenta que la respuesta oráculo domine todas las respuestas generadas.
• Programa Recocido: Para estabilizar el entrenamiento temprano mientras se preserva la flexibilidad posterior, el peso del término de anclaje $\lambda_{gt}(t)$ se inicializa alto y decae gradualmente hasta 1.0. Esto evita que la política se sobreajuste al oráculo demasiado pronto, asegurando al mismo tiempo una propagación de preferencias consistente.

2.4 Función Objetivo de Entrenamiento

El objetivo final combina la pérdida del grafo, el anclaje opcional a la verdad terrenal y un término de regularización KL a nivel de token para evitar desviaciones de la política de referencia:
$$L(x) = L_{graph}(x) + \lambda_{gt}(t) L_{anchor}(x) + \lambda_{KL}(t) L_{KL}(x)$$
El DPO estándar por pares se recupera como un caso especial cuando $K=2$ con una preferencia estricta.

3. Contribuciones Clave

1. Optimización de Preferencias Estructurada en Grafo: GraphDPO reformula el aprendizaje de preferencias para construir un DAG de preferencias globalmente consistente sobre múltiples ejecuciones, haciendo cumplir la transitividad y recuperando el DPO estándar como un caso especial.
2. Clasificación por Grupos con Manejo de Preferencias Empatadas: Soporta naturalmente clases de equivalencia, realizando comparaciones solo a través de grupos de preferencia para evitar gradientes espurios provenientes de muestras casi idénticas.
3. Aprendizaje de Grafo Completo en Tiempo Lineal: El método captura información de clasificación global mediante una agregación eficiente de log-sum-exp sobre conjuntos dominados, evitando la sobrecarga computacional de la enumeración por pares o la normalización de permutaciones listwise.
4. Anclaje a la Verdad Terrenal Estabilizador: Introduce un mecanismo de anclaje recocido que estabiliza la optimización temprana utilizando soluciones verificadas sin sacrificar la diversidad de la política en etapas posteriores.

4. Resultados Experimentales

Los autores evaluaron GraphDPO en benchmarks de razonamiento matemático (GSM8K, MATH-500) y síntesis de programas (APPS) utilizando modelos base Qwen3.

• Rendimiento: GraphDPO superó consistentemente a las líneas base, incluyendo Ajuste Fino Supervisado (SFT), GRPO, SPIN y métodos listwise (PRO, LiPO).
  • GSM8K: Logró 92.42% (sin anclaje) y 92.75% (con anclaje), superando la mejor línea base listwise (LiPO: 89.23%).
  • MATH-500: Logró 87.40% (sin GT) y 88.87% (con GT), mostrando una brecha mayor sobre los métodos listwise en comparación con GSM8K, lo que sugiere que los beneficios escalan con la complejidad de la tarea.
  • APPS: Logró 72.93% (sin GT) y 73.76% (con GT), superando a los métodos basados en grupos (GRPO) y listwise.
• Hallazgos de Ablación:
  • Grafo vs. Listwise: La brecha de rendimiento entre GraphDPO y PRO (que elimina la codificación de aristas del grafo) confirma que modelar órdenes parciales y estructura transitiva es superior a las suposiciones de orden total estricto.
  • Número de Ejecuciones ($K$): Aumentar $K$ mejoró generalmente el rendimiento al inducir grafos de preferencia más ricos, permitiendo que el modelo aproveche relaciones de dominancia transitiva no observables en el muestreo por pares.
  • Anclaje: El anclaje a la verdad terrenal proporcionó ganancias consistentes, particularmente para presupuestos de ejecución más pequeños y tareas más difíciles (MATH-500), donde estabilizó la propagación de preferencias.

5. Significado y Afirmaciones

El artículo afirma que modelar la estructura de preferencias como grafos proporciona una alternativa escalable y robusta tanto a los objetivos de alineación por pares como a los listwise.

• Escalabilidad: Al mantener la complejidad lineal mientras captura la estructura global, GraphDPO es adecuado para configuraciones de alineación con muchas ejecuciones, comunes en tareas de razonamiento y codificación.
• Robustez: El método maneja órdenes parciales, clases de equivalencia y relaciones de comparabilidad dispersas que rompen las suposiciones estrictas de los métodos listwise.
• Sesgo Inductivo: Los resultados sugieren que modelar explícitamente las relaciones estructuradas entre ejecuciones (transitividad y dominancia) es crítico para escalar la alineación a dominios de problemas complejos donde las suposiciones de ordenamiento simple fallan.

Los autores concluyen que GraphDPO ofrece un sesgo inductivo simple y efectivo para la alineación de LLM, cerrando la brecha entre la simplicidad de DPO y la riqueza estructural de las clasificaciones de múltiples muestras.