ContrastiveCFG: Guiding Diffusion Sampling by Contrasting Positive and Negative Concepts

Resumen Técnico: ContrastiveCFG

Planteamiento del Problema
El Classifier-Free Guidance (CFG) se ha convertido en el estándar para mejorar la alineación de la condición en el muestreo de modelos de difusión mediante el afilado de la distribución posterior. Sin embargo, una aplicación común de CFG es el "Negative Prompting" (NP), donde los usuarios intentan filtrar características no deseadas simplemente negando el vector de guía de CFG (es decir, $p(x)/p(c|x)^\gamma$). El artículo identifica un fallo crítico en este enfoque ingenuo: la negación de la guía crea una distribución de probabilidad invertida. A medida que la escala de guía $\gamma$ aumenta, esta distribución invertida domina la distribución de datos marginal, causando que las muestras se desvíen hacia regiones de baja densidad o incluso fuera del soporte de datos original. Esto resulta en una degradación significativa de la calidad de la muestra y en la aparición de artefactos. Aunque métodos recientes como el Dynamic Negative Guidance (DNG) intentan mitigar esto utilizando condiciones complementarias, tienen dificultades cuando las condiciones positivas y negativas no son mutuamente excluyentes (por ejemplo, prompts de texto superpuestos), fallando a menudo en la eliminación total de los conceptos no deseados sin comprometer los deseados.

Metodología
Los autores proponen ContrastiveCFG (CCFG), una novedosa estrategia de guía que reformula el muestreo condicional como un problema de optimización utilizando una pérdida contrastiva, derivada específicamente de la Estimación de Contraste de Ruido (NCE).

1. Concepto Central: En lugar de invertir la distribución de probabilidad, CCFG trata la guía como un objetivo para atraer la dirección de eliminación hacia una condición positiva ($c_+$) o repelerla de una condición negativa ($c_-$) utilizando una función de pérdida contrastiva.
2. Derivación:
   • El método parametriza la distribución de datos $p_\theta(x)$ utilizando un modelo de difusión pre-entrenado y define una distribución de ruido $q(x)$ basada en la predicción incondicional (o alternativa).
   • Para la guía positiva, el modelo minimiza una pérdida que fomenta que el ruido predicho $\epsilon$ se alinee con el ruido condicional $\hat{\epsilon}_{c}$ mientras se distingue del ruido incondicional $\hat{\epsilon}_{\emptyset}$.
   • Para la guía negativa, los roles se invierten: el modelo minimiza una pérdida que empuja la predicción lejos de la condición no deseada $\hat{\epsilon}_{c_-}$ mientras la mantiene cerca de la línea base incondicional.
3. Estrategia de Muestreo:
   • Los autores derivan una regla de actualización de forma cerrada para la dirección de eliminación $\hat{\epsilon}$ basada en el gradiente de la pérdida contrastiva.
   • El término de guía resultante incluye un coeficiente de ponderación dinámica (dependiente de la distancia entre las predicciones condicional y incondicional).
   • Crucialmente, a medida que la muestra actual se vuelve cada vez menos relacionada con la condición negativa, la fuerza de la guía negativa se atenúa automáticamente a cero. Esto evita el "sobre-repulsión" y los desplazamientos de distribución observados en el NP estándar.
   • El método se integra perfectamente en el muestreo determinista DDIM existente con una sobrecarga computacional mínima, requiriendo solo pasadas adicionales para los modelos condicional y sin condición.

Contribuciones Clave

• Nueva Formulación de Guía: El artículo introduce un marco basado en la pérdida contrastiva para la guía de difusión que evita los problemas matemáticos de la inversión de distribuciones de probabilidad inherentes al Negative Prompting estándar.
• Atenuación Dinámica: A diferencia de los métodos de negación estática, CCFG controla automáticamente la fuerza de la repulsión. La fuerza de guía disminuye a medida que la muestra se aleja del concepto no deseado, asegurando que el proceso de muestreo permanezca dentro del manifold de datos válidos.
• Marco Unificado: El enfoque maneja tanto las condiciones positivas como las negativas dentro de una formulación matemática única y consistente, permitiendo la atracción simultánea hacia conceptos deseados y la repulsión de conceptos no deseados sin requerir ajustes empíricos complejos o el ajuste de hiperparámetros para la resolución de conflictos.

Resultados Experimentales
Los autores evaluaron CCFG en diversos escenarios, incluyendo la generación condicional por clase (MNIST, CIFAR10, ImageNet-1k) y la generación de texto a imagen (T2I) (StableDiffusion 1.5, SDXL).

• Generación Condicional por Clase: En ImageNet-1k, CCFG logró la mayor "Precisión General" (alineación positiva y exclusión negativa simultáneas) en comparación con los baselines como CFG++, NP, DNG, Perp-Neg y SLD. Logró eliminar con éxito clases no deseadas (por ejemplo, distinguiendo razas similares como Maltese vs. Siberian Husky) manteniendo altas puntuaciones estéticas y calidad de imagen, mientras que el NP degradó la calidad de la imagen y el DNG falló en excluir completamente las clases superpuestas.
• Generación de Texto a Imagen: En tareas de T2I, CCFG demostró un rendimiento superior al eliminar conceptos no deseados de prompts de texto complejos y superpuestos sin distorsionar el prompt positivo ni introducir artefactos. Los ejemplos visuales mostraron que, mientras que el NP a menudo eliminaba categorías enteras (por ejemplo, eliminar todas las frutas rojas al pedir que se eliminaran las "fresas") o degradaba la coherencia de la imagen, CCFG apuntaba con precisión a las características no deseadas.
• Benchmarks Cuantitativos: En el dataset propuesto PIE-Bench-Neg, CCFG alcanzó el estado del arte en la alineación con el prompt positivo (medido por CLIP, ImageReward, HPS-v2) y en la supresión del prompt negativo, superando a otros métodos avanzados de guía negativa.

Significancia y Reivindicaciones
El artículo afirma que ContrastiveCFG ofrece una solución teóricamente sólida y prácticamente efectiva a las limitaciones de los métodos de guía negativa existentes. Al reemplazar la inversión ingenua de probabilidades con un objetivo de optimización contrastiva, CCFG logra un efecto de guía similar al CFG tradicional para condiciones positivas, superando al mismo tiempo la degradación de la calidad de la muestra y los desplazamientos de distribución asociados con el Negative Prompting. Los autores enfatizan que su método elimina fielmente los conceptos no deseados sin sacrificar la calidad de la muestra, incluso en escenarios donde las condiciones positivas y negativas se superponen, lo que lo convierte en una herramienta robusta para el control fino en modelos de difusión.