Resumen Técnico: Divide-and-Denoise

Planteamiento del Problema

La proliferación de modelos de difusión preentrenados ofrece oportunidades significativas para la composición, permitiendo a los usuarios combinar la pericia de múltiples modelos especializados (por ejemplo, un modelo entrenado en perros y otro en gatos) para generar datos complejos que ningún modelo individual podría producir por sí solo. Sin embargo, la combinación ingenua de estos modelos presenta dos desafíos primarios:

1. Dominancia: Un modelo puede dominar a los otros, lo que lleva al descuido de conceptos específicos.
2. Desacuerdo: Los modelos pueden entrar en conflicto, resultando en salidas incoherentes, objetos superpuestos o atributos desajustados (por ejemplo, un "perro" y un "gato" fusionándose en una única masa incoherente).

Los enfoques existentes, como la definición de distribuciones compuestas mediante densidades de producto o particiones espaciales definidas por el usuario (por ejemplo, MultiDiffusion), a menudo fallan en preservar las características distintivas de cada modelo cuando surgen conflictos. Las particiones definidas por el usuario son complicadas, a menudo inviables para dominios complejos (como estructuras de proteínas) y no se adaptan a las fortalezas y debilidades específicas de los modelos en diferentes etapas de la generación.

Metodología: Divide-and-Denoise

Los autores proponen Divide-and-Denoise, un marco de teoría de juegos que coordina múltiples modelos de difusión preentrenados durante el proceso de muestreo. El método opera a través de dos procesos acoplados que evolucionan en paralelo en cada paso de tiempo $t$:

1. El Proceso de División (Asignación Justa)

En lugar de particiones fijas, el método infiere una "división del trabajo" óptima en línea. El latente de la imagen se trata como un conjunto de $m$ características (bienes) para ser asignadas entre $n$ modelos (jugadores).

• Utilidades: A cada modelo $i$ se le asigna una utilidad $u_{ij}(x, t)$ para cada característica $j$ del latente $x$. El artículo define dos tipos de utilidades:
  • Basada en el score: Derivada de la magnitud de la diferencia de score entre la guía condicional e incondicional (aplicable a cualquier modelo de difusión condicional).
  • Basada en la atención: Derivada de los mapas de atención cruzada (específica para modelos con condicionamiento de atención cruzada).
• Juego de División Justa: En cada paso, el método resuelve un juego de división justa para determinar una matriz de asignación $Q$. El objetivo es maximizar la utilidad total esperada (eficiencia) sujeta a restricciones de equidad (por ejemplo, proporcionalidad, ausencia de envidia).
• Optimización: La asignación $Q_t$ se actualiza resolviendo un problema de optimización restringida, regularizado por la divergencia de Kullback-Leibler respecto a la asignación del paso de tiempo anterior para asegurar la suavidad temporal. La solución se deriva mediante un problema dual, produciendo una asignación decomponible donde cada característica se asigna un peso fraccionario a cada modelo.

2. El Proceso de Denoising Compuesto

Una vez determinada la asignación $Q_t$, el método construye un núcleo de denoising compuesto $p^c_t$ que se alinea con esta división.

• Alineación: La actualización compuesta se formula para mantener el paso de denoising para las características asignadas al modelo $i$ cerca de la propuesta del modelo $i$, mientras se maximiza la utilidad total.
• Regla de Actualización: Bajo supuestos simplificadores (distribuciones factorizadas y utilidad lineal), la media compuesta óptima $\mu^c_t$ se deriva como una suma ponderada de las medias individuales de los modelos más un término de guía:
  $$\mu^c_t = \sum_{i=1}^n \mu^i_t(x_t) \odot Q^i_t + \frac{\sigma^2_t}{\alpha_t} \nabla_{x_t} U_t(x_t, Q)$$
  Aquí, $\odot$ denota el producto elemento a elemento, y el segundo término actúa como una actualización de guía basada en el gradiente de la utilidad total.
• Jugador Ficticio: Para manejar regiones de baja utilidad donde los modelos podrían entrar en conflicto o carecer de preferencia, se introduce un "jugador ficticio" con una utilidad uniforme. La propuesta de este jugador es el promedio de todos los modelos, fomentando la colaboración en regiones ambiguas sin imponer restricciones de equidad sobre él.

Contribuciones Clave

1. Algoritmo de Coordinación en Tiempo de Inferencia: Un método para coordinar múltiples modelos de difusión preentrenados con diferentes pericias sin requerir pesos, arquitecturas o datos de entrenamiento compartidos.
2. Procesos Acoplados: La integración de un proceso de división dinámica (resolución de un juego de división justa) con un proceso de denoising compuesto (alineando los modelos a sus regiones asignadas).
3. Formulaciones de Utilidad: Definiciones generales para las utilidades de los modelos aplicables a cualquier modelo de difusión condicional (basada en score) y una instanciación específica para modelos de atención cruzada (basada en atención).
4. Validación Empírica: Demostración de que un equipo de modelos de concepto único, coordinados mediante este método, supera a las técnicas de composición existentes e incluso a los modelos de múltiples conceptos en benchmarks estándar.

Resultados Experimentales

El método fue evaluado en la generación de imágenes condicionales utilizando modelos Stable Diffusion 2.0 y Diffusion Transformer (DiT).

• Benchmarks: La evaluación se realizó utilizando el benchmark GenEval (enfocado en la presencia de objetos y la vinculación de atributos), CLIP-Score, VQAScore e ImageReward.
• Desempeño:
  • Generación de Objetos: En la configuración "Conceptos como Objetos" (por ejemplo, generar una imagen con un bolso de mano y una pelota de deportes), Divide-and-Denoise superó significativamente a los baselines como Averaging, Composable Diffusion y MultiDiffusion. Para la generación de 3 objetos, alcanzó un 59.5% en la métrica GenEval "%images" frente al 14.75% de Multi-Concept Diffusion y el 14.00% de MultiDiffusion.
  • Vinculación de Atributos: Al generar objetos con colores específicos (por ejemplo, "caballo naranja"), el método logró vincular los atributos a los objetos correctos, superando a los baselines que a menudo sufrían de fuga de atributos o falta de objetos.
  • Resolución de Conflictos: En escenarios con conceptos conflictivos (por ejemplo, "desierto" vs. "montaña nevada"), el método produjo diseños espaciales diversos y de mayor calidad que los baselines, evitando la mezcla de conceptos incompatibles.
  • Equidad: La inclusión de restricciones de equidad (proporcionalidad) mejoró aún más las métricas, particularmente a medida que aumentaba el número de modelos, evitando que un solo modelo dominara la generación.

Significado y Reivindicaciones

El artículo afirma que Divide-and-Denoise proporciona una receta general para el modelado generativo controlable y reutilizable. Su importancia radica en:

• Resolución de Conflictos: Resuelve eficazmente los conflictos entre modelos sin requerir intervención manual o particiones de verdad fundamental (ground-truth).
• Agnosticismo de Modelo: La formulación no está ligada a arquitecturas de modelos o mecanismos de condicionamiento específicos, funcionando tanto con modelos de difusión latente (Stable Diffusion) como con modelos basados en transformadores (DiT).
• Interacción Cooperativa: Destaca que la interacción cooperativa entre modelos preentrenados, mediada por la equidad de la teoría de juegos, puede producir resultados superiores al entrenar un único modelo de gran escala de múltiples conceptos.
• Escalabilidad: El método escala a múltiples modelos (probado hasta 4) y dominios, con extensiones potenciales a la generación de texto-a-grafo, texto-a-audio y audio-a-imagen.

Los autores señalan que, si bien el método introduce una carga computacional adicional (principalmente en la etapa de división), las optimizaciones en tiempo de ejecución (como restringir los pasos de división y guía a los primeros pasos de tiempo) pueden reducir significativamente los costos manteniendo las mejoras de rendimiento.