Resumen Técnico: Optimización de Preferencia de Puntuación de Difusión Directa (DDSPO)

Planteamiento del Problema

Los modelos de difusión han alcanzado un éxito significativo en tareas generativas, particularmente en la síntesis de texto a imagen. Sin embargo, frecuentemente luchan por alinearse con la intención matizada del usuario y para mantener consistentemente una alta calidad estética. Los métodos de entrenamiento basados en preferencias existentes, como la Optimización de Preferencia Directa de Difusión (Diffusion DPO), intentan abordar estos problemas aprendiendo de preferencias pareadas sobre muestras finales.

Una limitación crítica de los enfoques actuales como Diffusion DPO es su dependencia de la aproximación de las transiciones de eliminación de ruido hacia atrás mediante el proceso hacia adelante $q(x_{t-1} | x_t, x_0)$ derivado de muestras terminales ($x_0$). Esta aproximación no refleja el proceso de eliminación de ruido inverso real del modelo durante la inferencia. En consecuencia, la señal de supervisión proporcionada está desalineada con las trayectorias de eliminación de ruido reales del modelo, fallando en ofrecer una supervisión paso a paso efectiva.

Metodología

Los autores proponen la Optimización de Preferencia de Puntuación de Difusión Directa (DDSPO), un marco que formula la supervisión de preferencia directamente en el espacio de puntuación (score space) en cada paso de tiempo de la difusión, en lugar de en el espacio de la muestra final.

Concepto Central: Supervisión de Par de Políticas Contrastivas Paso a Paso

A diferencia de los métodos anteriores que definen preferencias sobre salidas finales $(x_0^w, x_0^l)$, DDSPO introduce la supervisión paso a paso comparando las puntuaciones de eliminación de ruido de un par de políticas contrastivas en cada paso de tiempo $t$. Las etiquetas de preferencia se extienden a tuplas de transiciones de eliminación de ruido $((x_t^w, x_{t-1}^w), (x_t^l, x_{t-1}^l))$, derivadas de políticas de eliminación de ruido preferidas y no preferidas.

La función objetivo optimiza las predicciones de eliminación de ruido del modelo hacia los objetivos $\boldsymbol{\epsilon}_\star^w$ y $\boldsymbol{\epsilon}_\star^l$, que corresponden a comportamientos preferidos y no preferidos en cada paso. La función de pérdida se define como:
$$\mathcal{L}_{\text{DDSPO}}(\theta) = - \mathbb{E} \left[ \log \sigma \left( - \beta \cdot \left[ \| \boldsymbol{\epsilon}_\star^w - \boldsymbol{\epsilon}_\theta(x_t^w, t, c) \|_2^2 - \| \boldsymbol{\epsilon}_\star^w - \boldsymbol{\epsilon}_{\text{ref}}(x_t^w, t, c) \|_2^2 - (\| \boldsymbol{\epsilon}_\star^l - \boldsymbol{\epsilon}_\theta(x_t^l, t, c) \|_2^2 - \| \boldsymbol{\epsilon}_\star^l - \boldsymbol{\epsilon}_{\text{ref}}(x_t^l, t, c) \|_2^2) \right) \right) \right]$$
Aquí, $\boldsymbol{\epsilon}_\star^w$ y $\boldsymbol{\epsilon}_\star^l$ son objetivos de puntuación de eliminación de ruido obtenidos de la pareja de políticas contrastivas, conservando las transiciones de eliminación de ruido hacia atrás reales en lugar de aproximaciones del proceso hacia adelante.

Instanciaciones del Par de Políticas Contrastivas

El artículo propone dos formas prácticas de instanciar el par de políticas contrastivas:

1. Par de Políticas Contrastivas Basado en Datos (DD-CPP):

   • Requiere un conjunto de datos etiquetado de preferencias de pares de imágenes $(x_0^w, x_0^l, c)$.
   • Se ajustan dos modelos separados desde una inicialización preentrenada: un modelo "ganador" $\phi^w$ sobre muestras preferidas y un modelo "perdedor" $\phi^l$ sobre muestras no preferidas.
   • Los objetivos de supervisión son las puntuaciones de eliminación de ruido predichas por estos modelos especializados: $\boldsymbol{\epsilon}_\star^w \leftarrow \boldsymbol{\epsilon}_{\phi^w}(x_t, t, c)$ y $\boldsymbol{\epsilon}_\star^l \leftarrow \boldsymbol{\epsilon}_{\phi^l}(x_t, t, c)$.

2. Par de Políticas Contrastivas Libre de Entrenamiento (TF-CPP):

   • No requiere entrenamiento adicional ni datos etiquetados de preferencias.
   • Utiliza un único modelo de referencia preentrenado.
   • Construye un par contrastivo utilizando el prompt original $c$ (preferido) y una variante semánticamente degradada $c^-$ (no preferida).
   • El objetivo preferido es $\boldsymbol{\epsilon}_{\text{ref}}(x_t, t, c)$, y el objetivo no preferido es $\boldsymbol{\epsilon}_{\text{ref}}(x_t, t, c^-)$.
   • Este enfoque aprovecha la observación de que, en pasos de tiempo más grandes, la actualización inversa es impulsada en gran medida por la señal de condicionamiento, lo que permite que $c^-$ proporcione un objetivo de puntuación negativo significativo incluso sin generar una imagen no preferida específica $x_0^l$.

Contribuciones Clave

1. Marco DDSPO: Un marco de optimización de preferencias que permite la supervisión directa sobre los pasos intermedios de eliminación de ruido en el espacio de puntuación mediante un par de políticas contrastivas, evitando la dependencia de aproximaciones del proceso hacia adelante.
2. Instanciaciones Prácticas: La introducción de DD-CPP (aprendizaje de políticas a partir de datos etiquetados) y TF-CPP (construcción de direcciones contrastivas a partir de un modelo de referencia mediante la degradación de prompts), este último sin requerir modelos de recompensa ni anotaciones manuales.
3. Validación Empírica: Experimentos extensos que demuestran que la supervisión paso a paso derivada de pares de políticas contrastivas es más efectiva que la supervisión basada en procesos hacia adelante tanto para tareas de alineación de texto-imagen como de calidad estética.

Resultados Experimentales

Los autores evaluaron DDSPO en tareas de alineación de texto a imagen y mejora de la calidad estética utilizando variantes de Stable Diffusion (SD-1.4, SD-1.5, SDXL) y modelos basados en DiT (SANA, SD3-M).

• Alineación de Texto a Imagen:

  • Usando TF-CPP (sin datos anotados por humanos), DDSPO logró resultados de vanguardia en los benchmarks GenEval y T2I-CompBench en comparación con Diffusion DPO, DSPO y otros baselines.
  • DDSPO superó a métodos SOTA como Itercomp y CaPO en CompBench sin requerir datos de preferencia anotados por humanos o modelos de recompensa.
  • Los resultados cualitativos mostraron una separación más clara entre las distribuciones condicionales y una mejor adherencia a prompts complejos en comparación con Diffusion DPO y DSPO.

• Calidad Estética:

  • Usando DD-CPP en el conjunto de datos Pick-a-Pic, DDSPO mejoró las métricas HPSv2 y PickScore sobre SD-1.5 y SDXL, superando a Diffusion DPO y Diffusion KTO.
  • La variante TF-CPP (sin datos humanos) se mantuvo competitiva con los métodos supervisados.

• Estudios de Ablación:

  • Se probaron diferentes estrategias de degradación de prompts (por ejemplo, eliminación aleatoria de tokens frente a reescritura basada en LLM). La eliminación aleatoria funcionó mejor para la alineación, mientras que la degradación basada en LLM adaptada a la estética funcionó mejor para la calidad estética.
  • Una variante eficiente de TF-CPP que reutiliza las imágenes preferidas para los objetivos negativos (evitando la generación explícita de imágenes no preferidas) mostró un rendimiento comparable a la configuración completa, destacando la flexibilidad del marco.

Significado y Reivindicaciones

El artículo afirma que la principal significancia de DDSPO radica en su capacidad para proporcionar supervisión paso a paso alineada con el proceso real de eliminación de ruido hacia atrás del modelo. Al definir las preferencias directamente sobre las transiciones locales hacia atrás ($x_t \to x_{t-1}$) en lugar de depender de sustitutos del proceso hacia adelante, DDSPO ofrece una supervisión de nivel de transición más rica.

Los autores sostienen que este enfoque conduce a señales de aprendizaje más robustas a lo largo de la trayectoria de eliminación de ruido, lo que resulta en mejoras consistentes tanto en la alineación semántica como en la calidad estética. Además, el Par de Políticas Contrastivas Libre de Entrenamiento (TF-CPP) demuestra que se puede lograr una optimización de preferencias de alta calidad sin el costo de recolectar anotaciones de preferencia humana o entrenar modelos de recompensa, lo que hace que el método sea altamente escalable y eficiente en términos de datos. El trabajo posiciona a DDSPO como un marco generalizable aplicable tanto a modelos generativos de difusión como de flujo.