Resumen Técnico: SIPO (Optimización de Preferencias Estabilizada y Mejorada)

1. Planteamiento del Problema

Aunque los modelos de difusión han revolucionado la generación de imágenes y videos, alinearlos con las preferencias humanas sigue siendo un desafío. Las técnicas de alineación existentes, en particular Diffusion-DPO (Optimización Directa de Preferencias), adolecen de dos problemas fundamentales que obstaculizan un entrenamiento estable y efectivo:

1. Inestabilidad del Entrenamiento: El proceso de eliminación de ruido en los modelos de difusión implica trayectorias de largo horizonte con pasos de tiempo variados. El documento identifica que la inestabilidad del entrenamiento surge principalmente de los pasos de tiempo tempranos, los cuales poseen pesos de importancia bajos y varianzas de gradiente altas. Esto conduce a dinámicas de pérdida no monótonas, sensibilidad a los parámetros (específicamente al hiperparámetro de temperatura $\beta$) y un posible colapso del entrenamiento donde el rendimiento se degrada con el tiempo.
2. Sesgo Fuera de Política: Los datos de optimización de preferencias se construyen típicamente a partir de un modelo de referencia fijo o fuentes fuera de distribución, en lugar del modelo de política actual. Esto crea una brecha distribucional donde los datos de entrenamiento capturan un subconjunto estrecho del espacio de estado-acción, mientras que el modelo debe generalizar en un espacio más amplio. Esta discrepancia conduce a estimaciones inexactas de puntuación fuera de política, manipulación de recompensas (reward hacking) y generalización degradada, particularmente en la generación de video donde la coherencia temporal es crítica.

2. Metodología: Marco SIPO

Los autores proponen SIPO (Optimización de Preferencias Estabilizada y Mejorada), un marco diseñado para abordar la inestabilidad y el sesgo mencionados mediante un análisis sistemático de las trayectorias de difusión y la introducción de mecanismos de muestreo por importancia.

2.1. Análisis de Trayectorias de Difusión

Mediante un análisis sistemático en Stable Diffusion 1.5, los autores observaron que:

• Los pasos de tiempo tempranos (específicamente $t \in [0, 63]$) corresponden a pesos de importancia bajos e introducen gradientes ruidosos que desestabilizan el entrenamiento.
• Los pasos de tiempo medios a tardíos proporcionan las señales más informativas para la alineación de preferencias.
• El muestreo uniforme de pasos de tiempo tiene un rendimiento inferior en comparación con centrarse en pasos intermedios.

2.2. DPO-C&M (Recorte y Enmascaramiento)

Para abordar la inestabilidad, los autores introducen DPO-C&M, que modifica el objetivo estándar de Diffusion-DPO:

• Ponderación por Importancia: Se calcula un peso de importancia $w(t)$ comparando la transición inversa aprendida $p_\theta(x_{t-1}|x_t)$ con la posterior hacia adelante $q(x_{t-1}|x_t, x_0)$.
• Recorte y Enmascaramiento: Los pasos de tiempo con pesos de importancia bajos (que indican gradientes poco fiables o ruidosos) se enmascaran o recortan. Específicamente, los pesos se recortan a un rango $[1-\epsilon, 1+\epsilon]$ para prevenir una alta varianza. Esto actúa como una máscara suave para suprimir gradientes de regiones donde las trayectorias hacia adelante y hacia atrás divergen significativamente.

2.3. Reponderación por Importancia Consciente del Paso de Tiempo

Para mitigar el sesgo fuera de política, SIPO incorpora un esquema de reponderación por importancia recortado por paso de tiempo:

• Corrección Fuera de Política: El marco reinterpreta el objetivo de optimización de preferencias utilizando muestreo por importancia. Repondera las actualizaciones basándose en la razón de verosimilitud entre la política actual $p_\theta$ y la distribución de muestreo fuera de política $q$.
• Objetivo Regularizado por KL: El método formula la optimización como la minimización de la divergencia KL entre el modelo actual y una distribución objetivo "modelada" $p^*$, que equilibra la retroalimentación de recompensa con las preferencias previas.
• Tamaños de Paso Adaptativos: El término de log-ratio reponderado escala las actualizaciones de forma adaptativa. Refuerza las muestras preferidas subestimadas y reduce el peso de las sobreconfiadas. Esto introduce un límite superior suave alrededor de la distribución de referencia, previniendo la manipulación de recompensas y reduciendo la sensibilidad al hiperparámetro $\beta$.

La función de pérdida final de SIPO integra estos pesos de importancia recortados en la señal de preferencia par a par en cada paso de eliminación de ruido, asegurando actualizaciones estables incluso al entrenar con conjuntos de datos fijos y fuera de política.

3. Contribuciones Clave

El documento describe tres contribuciones principales:

1. Análisis Sistemático: Una investigación detallada sobre las dinámicas de optimización de preferencias basadas en difusión, revelando que los pasos de tiempo tempranos desestabilizan el entrenamiento de DPO, mientras que los pasos de tiempo medios a tardíos impulsan las ganancias de rendimiento.
2. Marco SIPO: La propuesta de un marco de optimización ponderado por importancia, basado en principios, que estabiliza el entrenamiento y mitiga la discrepancia fuera de política al reponderar los gradientes según la verosimilitud de la muestra y la calidad del paso de tiempo.
3. Validación Empírica: Experimentos extensos que demuestran que SIPO estabiliza consistentemente el proceso de optimización de preferencias y supera a las alternativas existentes (por ejemplo, Diffusion-DPO, DPO-C&M) en tareas de generación tanto de imágenes como de video.

4. Resultados Experimentales

Los autores evaluaron SIPO en varios modelos base, incluyendo Stable Diffusion 1.5, SDXL, CogVideoX-2B/5B y Wan2.1-1.3B.

• Texto a Video: En CogVideoX-2B, Diffusion-DPO mostró una degradación severa después de 1000 pasos (la puntuación total de VBench bajó de 80.91 a 67.28), mientras que SIPO se mantuvo estable y mejoró (81.68). SIPO superó consistentemente a Diffusion-DPO y DPO-C&M en las puntuaciones totales, de calidad y semánticas en todos los modelos de video probados.
• Texto a Imagen: En SD1.5 y SDXL utilizando el conjunto de datos Pick-a-Pic, SIPO obtuvo las puntuaciones más altas en tres de cuatro métricas (PickScore, HPSv2, Estética) en comparación con Diffusion-DPO y otros modelos base como Diffusion-KTO y SPO.
• Sensibilidad a Parámetros: SIPO demostró una robustez significativamente mayor frente al parámetro de temperatura $\beta$. Mientras que el rendimiento de Diffusion-DPO fluctuaba salvajemente con diferentes valores de $\beta$, SIPO mantuvo un rendimiento consistente en un amplio rango.
• Evaluación Humana: En un estudio con 200 prompts y 12 anotadores, SIPO logró una tasa de victoria del 67% (clasificaciones en primer lugar), superando significativamente a Diffusion-DPO y a los modelos base.
• Aprendizaje en Línea/Iterativo: En escenarios de entrenamiento iterativo, SIPO mantuvo un rendimiento estable, mientras que Diffusion-DPO exhibió degradación debido a la manipulación de recompensas y la deriva distribucional.

5. Significado y Afirmaciones

El documento afirma que SIPO proporciona directrices valiosas para una optimización de preferencias mejorada al enfatizar la importancia de la alineación consciente del paso de tiempo. Los autores afirman que su método:

• Estabiliza el Entrenamiento: Al identificar y enmascarar los pasos de tiempo tempranos poco informativos, SIPO previene el colapso del entrenamiento a menudo observado en Diffusion-DPO.
• Mitiga el Sesgo Fuera de Política: El esquema de reponderación por importancia permite un entrenamiento efectivo en conjuntos de datos fijos y fuera de línea sin necesidad de exploración compleja en política.
• Generaliza Bien: El enfoque es efectivo en diferentes arquitecturas de modelos (incluyendo modelos basados en flujo como WanX) y modalidades (imagen y video).

Los autores concluyen que SIPO ofrece un enfoque escalable y basado en principios para alinear la generación basada en difusión con las preferencias humanas, haciendo que los resultados sean más consistentes y controlables sin requerir nuevas capacidades generativas más allá de los modelos subyacentes. Recomiendan combinar esta optimización con una curaduría cuidadosa de conjuntos de datos y filtrado de seguridad.