Resumen Técnico: Hacia la Alineación General de Preferencias: Modelos de Difusión en Equilibrio de Nash

Enunciado del Problema

El Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF) y su variante computacionalmente eficiente, la Optimización Directa de Preferencias (DPO), se han convertido en el estándar para alinear los modelos de difusión de texto a imagen (T2I) con las preferencias humanas. Sin embargo, los métodos existentes basados en preferencias para la alineación de difusión heredan en gran medida el paradigma de RLHF, dependiendo de señales de recompensa implícitas inducidas por el modelo de Bradley-Terry (BT). Los autores argumentan que la suposición de transitividad del modelo BT (si A > B y B > C, entonces A > C) falla en capturar la complejidad total de las preferencias humanas, las cuales pueden ser intransitivas (por ejemplo, ciclos de piedra-papel-tijera). Además, los métodos actuales a menudo convierten las preferencias humanas en una función inducida por recompensa antes de la optimización, en lugar de modelar la relación de preferencia directamente. Este artículo postula que una perspectiva de teoría de juegos, específicamente el Aprendizaje de Nash a partir de Retroalimentación Humana (NLHF), ofrece un marco más robusto para la alineación de difusión que evita las suposiciones restrictivas de transitividad del modelo BT.

Metodología: Optimización de Preferencias de Nash para Difusión (Diff.-NPO)

Los autores proponen Diff.-NPO, un marco general de optimización de preferencias derivado de una perspectiva de equilibrio de Nash. En lugar de maximizar una verosimilitud inducida por BT, Diff.-NPO formula la alineación como un juego de suma cero de dos jugadores entre la política actual ($\pi$) y una política anterior ($\pi_{prev}$), regularizada por una política de referencia ($\pi_{ref}$).

Marco Central

1. Formulación de Teoría de Juegos: El objetivo se define como un juego minimax donde el "jugador max" (política actual) intenta generar muestras preferidas sobre las del "jugador min" (política anterior), mientras que ambos se regularizan para mantenerse cerca de una política de referencia ($\pi_{ref}$) para evitar la deriva distribucional.
2. Descenso de Espejo Online (OMD): Para garantizar dinámicas de aprendizaje estables y evitar la inestabilidad de las actualizaciones de mejor respuesta codiciosas, el método emplea Descenso de Espejo Optimista con regularización de entropía (Hedge). Esto conduce a un objetivo de auto-juego donde la actualización de la política es una mejor respuesta a la política anterior, restringida por la política de referencia.
3. Derivación de la Función de Pérdida:
   • El método eleva las preferencias a nivel de imagen al espacio de trayectorias inversas.
   • Deriva una pérdida logística par a par basada en los log-ratios de las probabilidades de trayectoria.
   • El objetivo final, $L_{Diff.-NPO}$, contrasta la política actual ($p_\theta$) contra tanto la política de referencia ($p_{ref}$) como la política anterior ($p_{prev}$).
   • La pérdida se formula como:
     $$L_{Diff.-NPO} = -\mathbb{E} \left[ \log \sigma \left( \beta \left[ \delta_\theta - \frac{\tau}{\eta}\delta_{ref} - \frac{\eta-\tau}{\eta}\delta_{prev} \right] \right) \right]$$
     Donde los términos $\delta$ representan la diferencia en recompensas implícitas (errores de predicción de ruido) entre las muestras preferidas ($x^+$) y rechazadas ($x^-$).
   • El hiperparámetro $\gamma = \tau/\eta$ controla la interpolación entre la política de referencia (estilo DPO, $\gamma=1$) y la política anterior (auto-juego puro, $\gamma=0$).

Distinciones Clave con Métodos Existentes

• vs. Diffusion-DPO: Mientras que Diffusion-DPO es offline y contrasta la política actual únicamente contra una referencia fija, Diff.-NPO es inherentemente online y orientado al auto-juego, evaluando las actualizaciones contra muestras generadas por la política actual/anterior.
• vs. INPO (Optimización de Política de Nash Iterativa): A diferencia de INPO, que utiliza una pérdida cuadrática justificada por suposiciones específicas de población que pueden no sostenerse en la clasificación basada en oráculos prácticos, Diff.-NPO utiliza una pérdida logística par a par. Se argumenta que esto es más estable cuando los pares de preferencias están ordenados determinísticamente por un oráculo (clasificación de muestras generadas) en lugar de muestrearse de una distribución de preferencia probabilística.

Contribuciones Clave

1. Fundamento Teórico: El artículo cierra la brecha entre el Aprendizaje de Nash a partir de Retroalimentación Humana (NLHF) y la alineación de modelos de difusión, formulando la alineación de difusión como un juego general de preferencias que evita la suposición de Bradley-Terry.
2. Propuesta de Algoritmo: La introducción de Diff.-NPO, un algoritmo novedoso de optimización general de preferencias on-policy. Unifica los paradigmas estándar de DPO y auto-juego dentro de una única formulación, donde el coeficiente de regularización interpola entre estos regímenes.
3. Suposiciones de Modelado Explícitas: El marco hace explícitas las suposiciones detrás de la optimización de preferencias, interpretando el objetivo como el ajuste de una distribución objetivo construida a partir de la política de referencia, la política anterior y la señal de preferencia.
4. Validación Empírica: Experimentos extensos en Stable Diffusion 1.5 (SD1.5) y SDXL utilizando los conjuntos de datos Pick-a-Pic, Parti-Prompts y HPSV2 demuestran la efectividad del método.

Resultados Experimentales

Los autores evaluaron Diff.-NPO frente a líneas base que incluyen Online-SFT, Online-DPO, SPIN y Seppo.

• Tasas de Victoria: Diff.-NPO logró consistentemente las tasas de victoria promedio más altas en todos los conjuntos de datos de evaluación (Pick-a-Pic, Parti-Prompts, HPSV2) tanto para SD1.5 como para SDXL.
  • En SDXL con Parti-Prompts, Diff.-NPO mejoró la tasa de victoria de ImageReward en un 8.6% y la tasa de victoria de Puntuación Estética en un 10.8% en relación con Online-Diff-DPO.
  • También superó a Online-DPO en Pick-a-Pic y HPSV2.
• Métricas Automáticas: El método mostró un rendimiento superior en métricas automáticas (PickScore, HPSV2, CLIP, ImageReward, Puntuación Estética) en comparación con las líneas base.
• Estudios de Ablación:
  • Relación $\tau/\eta$: El estudio confirmó que un valor intermedio (específicamente $\tau/\eta = 1/2$) produce el mejor rendimiento, validando la hipótesis de que depender únicamente de la política de referencia (DPO) o únicamente de la política anterior (auto-juego puro) es subóptimo.
  • Función de Pérdida: Reemplazar el objetivo logístico par a par con un objetivo de distancia cuadrática (como se usa en INPO) resultó en una caída sustancial del rendimiento, apoyando la elección de diseño de la pérdida logística para clasificaciones de oráculos deterministas.
• Análisis Cualitativo: Las comparaciones visuales indicaron que Diff.-NPO produce imágenes con mejor alineación semántica, corrección anatómica (por ejemplo, retratos de cuerpo completo) y coherencia visual en comparación con las líneas base.

Significado y Afirmaciones

El artículo afirma que Diff.-NPO proporciona un enfoque simple y estable para la alineación online de difusión optimizando directamente las probabilidades de preferencia relativa a través de un objetivo estilo auto-juego con regularización de política de referencia.

Los autores afirman que el aprendizaje online estilo Nash es una alternativa prometedora a las formulaciones centradas en recompensas para la alineación de modelos de difusión. Al alejarse de las suposiciones transitivas del modelo de Bradley-Terry, el método ofrece una perspectiva más general sobre la alineación de preferencias. El trabajo establece una base para futuras investigaciones sobre el aprendizaje estilo Nash para modelos de difusión, demostrando que unificar DPO y auto-juego a través de una lente de teoría de juegos puede producir una calidad de alineación superior.

El artículo nota modestamente una limitación: la construcción de preferencias actual se basa en un rango promedio de cinco modelos de puntuación, y la incorporación de un conjunto más amplio de modelos de puntuación podría proporcionar una señal más completa. Se planea trabajo futuro para extender el marco a estrategias más fuertes de recolección de datos online y tareas más amplias de generación y edición de difusión.