Resumen Técnico: DeDPO: Optimización de Preferencia Directa Desesgada para Modelos de Difusión

1. Planteamiento del Problema

La Optimización de Preferencia Directa (DPO) se ha convertido en un método estándar para alinear modelos de difusión con las preferencias humanas, ofreciendo una alternativa eficiente al Aprendizaje por Refuerzo con Retroalimentación Humana (RLHF) al eliminar la necesidad de un modelo de recompensa separado. Sin embargo, DPO enfrenta un cuello de botella crítico de escalabilidad: depende de etiquetas de preferencia humana de gran escala y alta calidad, las cuales son prohibitivamente costosas y lentas de adquirir.

Los intentos recientes para abordar esto mediante el uso de preferencias sintéticas (generadas por modelos de IA) suelen fallar porque estas etiquetas sintéticas pueden ser ruidosas, inconsistentes con el juicio humano real o introducir un sesgo sistemático. Entrenar directamente con este feedback imperfecto conduce a un alineamiento inestable y a la degradación del rendimiento. El desafío central es aprovechar grandes volúmenes de datos sintéticos económicos mientras se corrige su ruido e inherente sesgo, utilizando únicamente un pequeño conjunto de etiquetas humanas de alta calidad.

2. Metodología: DeDPO (DPO Desesgado)

Los autores proponen DeDPO, un marco semi-supervisado que integra una técnica de estimación desesgada de la inferencia causal en el objetivo de DPO. El método opera bajo un escenario donde un pequeño conjunto de datos está etiquetado con preferencias humanas reales (ground-truth), y un conjunto más grande está etiquetado con preferencias sintéticas generadas por retroalimentación de IA de bajo costo (por ejemplo, Modelos de Lenguaje-Visión o auto-entrenamiento).

2.1. Reformulación de DPO como Clasificación Binaria

Los autores primero reinterpretan la pérdida estándar de Diffusion-DPO como un problema de clasificación binaria. Para un par de imágenes $(x_0, x_1)$ y un prompt $c$, una etiqueta de preferencia $z$ indica qué imagen es la preferida. La pérdida DPO se reescribe como una pérdida de entropía cruzada binaria $L(G_\theta(y), z)$, donde $G_\theta$ es el predictor de margen implícito del modelo.

2.2. La Función de Pérdida Desesgada

En un enfoque semi-supervisado ingenuo, uno podría simplemente imputar las etiquetas humanas faltantes con etiquetas sintéticas $\hat{G}(y)$, lo que conduciría a un estimador de Regresión de Resultados (OR) sesgado. En su lugar, DeDPO propone una pérdida desesgada (Ec. 8) que combina los datos etiquetados y no etiquetados:

$$L_{DeDPO}(\theta) = \mathbb{E}_{n_l+n_u} [L(G_\theta(y), \hat{G}(y))] + \mathbb{E}_{n_l} [L(G_\theta(y_l), z_l) - L(G_\theta(y_l), \hat{G}(y_l))]$$

Donde:

• $n_l$ y $n_u$ son el número de muestras etiquetadas y no etiquetadas.
• $z_l$ es la etiqueta humana real.
• $\hat{G}(y)$ es la etiqueta sintética.

Mecanismo de Corrección:

• Datos No Etiquetados: La pérdida utiliza las pseudo-etiquetas sintéticas $\hat{G}(y)$ directamente como la señal de supervisión.
• Datos Etiquetados: La pérdida introduce un término de corrección $(z_l - \hat{G}(y_l))$ que desplaza la pseudo-etiqueta hacia la verdadera etiqueta humana. Esta corrección es amplificada por un peso de importancia $\frac{n_l + n_u}{n_l}$, que refleja la escasez de datos etiquetados.
• Propiedades Teóricas:
  1. Ausencia de Sesgo (Unbiasedness): La esperanza de la pérdida DeDPO es igual a la pérdida DPO a nivel poblacional, independientemente de si las etiquetas sintéticas son correctas. Si las etiquetas sintéticas son perfectas, utiliza todos los datos; si son completamente erróneas, revierte asintóticamente al uso exclusivo de los datos etiquetados.
  2. Robustez a la Convergencia del Modelo Sintético: Los autores demuestran que el modelo de difusión objetivo $\theta$ puede lograr tasas de convergencia óptimas incluso si el modelo de preferencia sintética $\hat{G}$ converge a un ritmo mucho más lento (específicamente, el término de error depende de la cuarta potencia del error del modelo sintético). Esto permite que el sistema sea robusto incluso cuando el anotador sintético es imperfecto.

2.3. Fuentes de Preferencia Sintética

El marco soporta dos fuentes primarias para las etiquetas sintéticas:

1. Auto-entrenamiento (Self-Training): Utilizar el margen de recompensa implícito de la política actual $\theta$ (de iteraciones previas) para generar etiquetas. Los autores señalan que, para evitar el sobreajuste, el modelo sintético debería idealmente entrenarse con datos independientes del conjunto de entrenamiento de DPO.
2. Modelos de Lenguaje-Visión Preentrenados (VLMs): Utilizar modelos como Qwen o CLIP para anotar pares de imágenes. Esto es preferible en el escenario del artículo, ya que evita la violación de independencia inherente al auto-entrenamiento sobre los mismos datos etiquetados.

3. Contribuciones Clave

• Estimación Desesgada para Difusión: El artículo introduce la primera aplicación de técnicas de estimación desesgada de la inferencia causal al problema de la optimización de preferencias en modelos de difusión.
• Alineamiento Semi-supervisado: Establece un marco robusto para alinear modelos de difusión utilizando una pequeña fracción de etiquetas humanas (ej. 25%) aumentada por un gran corpus de etiquetas sintéticas, sin requerir un modelo de recompensa separado.
• Garantías Teóricas: Los autores proporcionan pruebas teóricas que demuestran que la pérdida propuesta es desesgada y que el proceso de aprendizaje es robusto a los errores en el modelo de preferencia sintética, siempre que el modelo sintético sea entrenado con datos independientes.

4. Resultados Experimentales

Los autores evaluaron DeDPO en los conjuntos de datos FiFA-5K y HPDv2 utilizando backbones SD1.5 y SDXL.

• Rendimiento vs. DPO Totalmente Supervisado: DeDPO, entrenado con 25% de etiquetas humanas y 75% de sintéticas, igualó consistentemente o superó ligeramente el rendimiento de DPO entrenado con el 100% de etiquetas humanas.
  • En FiFA-5K con SD1.5, DeDPO alcanzó un PickScore de 21.91 y un HPSv2 de 27.80, superando la línea base de DPO totalmente supervisado (21.88 PS, 27.79 HPSv2).
  • En SDXL, DeDPO igualó el rendimiento totalmente supervisado (22.83 PS vs. 22.84 PS).
• Robustez al Ruido: En contraste, un enfoque ingenuo de mezclar etiquetas sintéticas con DPO (sin desesgar) fue consistentemente inferior, demostiendo que simplemente añadir datos sintéticos puede degradar el alineamiento si no se corrige.
• Escalabilidad: A medida que el tamaño del conjunto de datos sintéticos no etiquetados aumentó (hasta 98K pares), DeDPO mantuvo un rendimiento estable, mientras que el rendimiento de DPO vanilla se degradó significativamente debido a la acumulación de etiquetas ruidosas.
• Mejoras Cualitativas: Las comparaciones visuales mostraron que DeDPO captura mejor los detalles finos y las restricciones compositivas (ej. objetos específicos en prompts complejos) en comparación con modelos entrenados con menos etiquetas humanas o una mezcla sintética ingenua.
• IA como Juez (AI-as-a-Judge): Jueces de IA alineados con humanos (Gemini 2.5 Flash) prefirieron DeDPO sobre el DPO totalmente supervisado en aproximadamente el 57% de los casos para Preferencia General y Atractivo Visual, y sobre el DPO semi-supervisado en aproximadamente el 76% de los casos.

5. Significado y Reivindicaciones

El artículo afirma que DeDPO proporciona una solución escalable y rentable para el alineamiento humano-IA en modelos de difusión. Al integrar la estimación desesgada, el método transforma con éxito la retroalimentación sintética económica y ruidosa en una señal de entrenamiento confiable.

Los autores aseguran que DeDPO:

1. Supera el cuello de botella de los datos: Permite un alineamiento de alta calidad utilizando una pequeña fracción de etiquetas humanas, haciendo que la optimización de preferencias a gran escala sea factible sin costos prohibitivos.
2. Garantiza la robustez: Es resiliente a las variaciones y al ruido inherente a los anotadores sintéticos (incluyendo el auto-entrenamiento y los VLMs), evitando la inestabilidad que se observa frecuentemente al entrenar con preferencias generadas por IA.
3. Logra una eficiencia de vanguardia: Alcanza un rendimiento comparable, y en ocasiones superior, al de los modelos entrenados con conjuntos de datos íntegramente etiquetados por humanos, estableciendo un nuevo estándar para la optimización de preferencias eficiente.

El trabajo concluye que la retroalimentación sintética adecuadamente desesgada es un sustituto viable y confiable para el extenso etiquetado humano, ofreciendo un camino práctico para alinear los modelos generativos con los valores humanos.