ContrastiveCFG: Guiding Diffusion Sampling by Contrasting Positive and Negative Concepts

Résumé Technique : ContrastiveCFG

Énoncé du Problème
Le Classifier-Free Guidance (CFG) est devenu la norme pour améliorer l'alignement de la condition lors de l'échantillonnage des modèles de diffusion en affinant la distribution postérieure. Cependant, une application courante du CFG est le « Negative Prompting » (NP), où les utilisateurs tentent de filtrer les caractéristiques indésirables en négeant simplement le vecteur de guidage CFG (c'est-à-dire $p(x)/p(c|x)^\gamma$). L'article identifie une faille critique dans cette approche naïve : la négation du guidage crée une distribution de probabilité inversée. À mesure que l'échelle de guidage $\gamma$ augmente, cette distribution inversée domine la distribution de données marginale, provoquant une dérive des échantillons vers des régions de faible densité ou complètement en dehors du support des données originales. Cela entraîne une dégradation significative de la qualité des échantillons et des artefacts. Bien que des méthodes récentes comme le Dynamic Negative Guidance (DNG) tentent d'atténuer cela en utilisant des conditions complémentaires, elles peinent lorsque les conditions positives et négatives ne sont pas mutuellement exclusives (par exemple, des prompts textuels qui se chevauchent), échouant souvent à supprimer totalement les concepts indésirables sans compromettre les concepts souhaités.

Méthodologie
Les auteurs proposent le ContrastiveCFG (CCFG), une nouvelle stratégie de guidage qui reformule l'échantillonnage conditionnel comme un problème d'optimisation utilisant la perte contrastive, spécifiquement dérivée de l'Estimation de Contraste de Bruit (Noise Contrastive Estimation - NCE).

1. Concept Central : Au lieu d'inverser la distribution de probabilité, le CCFG traite le guidage comme un objectif visant soit à attirer la direction de débruitage vers une condition positive ($c_+$), soit à la repousser d'une condition négative ($c_-$) en utilisant une fonction de perte contrastive.
2. Dérivation :
   • La méthode paramètre la distribution de données $p_\theta(x)$ à l'aide d'un modèle de diffusion pré-entraîné et définit une distribution de bruit $q(x)$ basée sur la prédiction non conditionnelle (ou alternative).
   • Pour le guidage positif, le modèle minimise une perte qui encourage le bruit prédit $\epsilon$ à s'aligner avec le bruit conditionnel $\hat{\epsilon}_{c}$ tout en se distinguant du bruit non conditionnel $\hat{\epsilon}_{\emptyset}$.
   • Pour le guidage négatif, les rôles sont inversés : le modèle minimise une perte qui pousse le bruit prédit loin de la condition indésirable $\hat{\epsilon}_{c_-}$ tout en restant proche de la ligne de base non conditionnelle.
3. Stratégie d'Échantillonnage :
   • Les auteurs dérivent une règle de mise à jour en forme close pour la direction de débruitage $\hat{\epsilon}$ basée sur le gradient de la perte contrastive.
   • Le terme de guidage résultant inclut un coefficient de pondération dynamique (dépendant de la distance entre les prédictions conditionnelles et non conditionnelles).
   • Crucialement, à mesure que l'échantillon actuel devient de moins en moins lié à la condition négative, la force du guidage négatif s'atténue automatiquement vers zéro. Cela empêche le « sur-repoussement » et les dérives de distribution observés dans le NP standard.
   • La méthode s'intègre de manière transparente dans l'échantillonnage DDIM déterministe existant avec un surcoût computationnel minimal, ne nécessitant que des passages supplémentaires (forward passes) pour les modèles conditionnels et non conditionnels.

Principales Contributions

• Nouvelle Formulation de Guidage : L'article introduit un cadre basé sur la perte contrastive pour le guidage de la diffusion qui évite les pièges mathématiques de l'inversion des distributions de probabilité inhérents au Negative Prompting standard.
• Atténuation Dynamique : Contrairement aux méthodes de négation statiques, le CCFG contrôle automatiquement la force de la répulsion. La force de guidage diminue à mesure que l'échantillon s'éloigne du concept indésirable, garantissant que le processus d'échantillonnage reste dans un manifold de données valide.
• Cadre Unifié : L'approche gère à la fois les conditions positives et négatives au sein d'une formulation mathématique unique et cohérente, permettant l'attraction simultanée vers les concepts souhaités et la répulsion des concepts indésirables sans nécessiter d'ajustements empiriques complexes ou de réglage d'hyperparamètres pour la résolution de conflits.

Résultats Expérimentaux
Les auteurs ont évalué le CCFG à travers divers scénarios, incluant la génération conditionnelle par classe (MNIST, CIFAR10, ImageNet-1k) et la génération texte-vers-image (T2I) (StableDiffusion 1.5, SDXL).

• Génération Conditionnelle par Classe : Sur ImageNet-1k, le CCFG a atteint la plus haute « Précision Globale » (alignement positif et exclusion négative simultanés) par rapport aux bases de référence comme CFG++, NP, DNG, Perp-Neg et SLD. Il a réussi à supprimer les classes indésirables (par exemple, distinguer des races similaires comme Maltese vs. Siberian Husky) tout en maintenant des scores esthétiques et une qualité d'image élevés, là où le NP dégradait la qualité d'image et le DNG échouait à exclure totalement les classes qui se chevauchent.
• Génération Texte-vers-Image : Dans les tâches T2I, le CCFG a démontré une performance supérieure pour supprimer les concepts indésirables de prompts textuels complexes et chevauchants sans distordre le prompt positif ni introduire d'artefacts. Les exemples visuels ont montré que si le NP supprimait souvent des catégories entières (par exemple, supprimer tous les fruits rouges lorsqu'on demande de supprimer les « fraises ») ou dégradait la cohérence de l'image, le CCFG ciblait précisément les caractéristiques indésirables.
• Benchmarks Quantitatifs : Sur le dataset proposé PIE-Bench-Neg, le CCFG a atteint des performances de pointe (state-of-the-art) tant pour l'alignement du prompt positif (mesuré par CLIP, ImageReward, HPS-v2) que pour la suppression du prompt négatif, surpassant les autres méthodes avancées de guidage négatif.

Signification et Revendications
L'article affirme que le ContrastiveCFG offre une solution théoriquement solide et pratiquement efficace aux limites des méthodes de guidage négatif existantes. En remplaçant l'inversion naïve des probabilités par un objectif d'optimisation contrastive, le CCFG atteint un effet de guidage similaire au CFG traditionnel pour les conditions positives tout en surmontant la dégradation de la qualité des échantillons et les dérives de distribution associées au Negative Prompting. Les auteurs soulignent que leur méthode élimine fidèlement les concepts indésirables sans sacrifier la qualité de l'échantillon, même dans les scénarios où les conditions positives et négatives se chevauchent, ce qui en fait un outil robuste pour le contrôle fin dans les modèles de diffusion.