ContrastiveCFG: Guiding Diffusion Sampling by Contrasting Positive and Negative Concepts

Technische Samenvatting: ContrastiveCFG

Probleemstelling
Classifier-Free Guidance (CFG) is de standaard geworden voor het verbeteren van de conditie-afstemming bij het samplen van diffusiemodellen door de posterieure verdeling te verscherpen. Echter, een veelvoorkomende toepassing van CFG is "Negative Prompting" (NP), waarbij gebruikers proberen ongewenste kenmerken te filteren door simpelweg de CFG-guidance-vector te negeren (d.w.z. $p(x)/p(c|x)^\gamma$). Het artikel identificeert een kritiek gebrek in deze naïeve benadering: het negeren van de guidance creëert een geïnverteerde waarschijnlijkheidsverdeling. Naarmate de guidance-schaal $\gamma$ toeneemt, domineert deze geïnverteerde verdeling de marginale dataverdeling, waardoor samples naar gebieden met een lage dichtheid driften of volledig buiten de oorspronkelijke datastructuur vallen. Dit resulteert in een significante degradatie van de kwaliteit van de samples en artefacten. Hoewel recente methoden zoals Dynamic Negative Guidance (DNG) proberen dit te mitigeren door complementaire condities te gebruiken, worstelen zij wanneer positieve en negatieve condities niet wederzijds uitsluitend zijn (bijv. overlappende tekstprompts), en falen ze vaak om ongewenste concepten volledig te verwijderen zonder de gewenste concepten aan te tasten.

Methodologie
De auteurs stellen ContrastiveCFG (CCFG) voor, een nieuwe guidance-strategie die conditioneel samplen herformuleert als een optimalisatieprobleem met behulp van contrastieve loss, specif gezien afgeleid van Noise Contrastive Estimation (NCE).

1. Kernconcept: In plaats van de waarschijnlijkheidsverdeling te inverteren, behandelt CCFG guidance als een doelstelling om de denoising-richting ofwel aan te trekken naar een positieve conditie ($c_+$), ofwel af te stoten van een negatieve conditie ($c_-$) met behulp van een contrastieve loss-functie.
2. Afleiding:
   • De methode parametriseert de dataverdeling $p_\theta(x)$ met behulp van een getraind diffusiemodel en definieert een ruisverdeling $q(x)$ op basis van de onconditionele (of alternatieve) voorspelling.
   • Voor positieve guidance minimaliseert het model een loss die de voorspelde ruis $\epsilon$ aanmoedigt om uit te lijnen met de conditionele ruis $\hat{\epsilon}_{c}$, terwijl het onderscheid maakt met de onconditionele ruis $\hat{\epsilon}_{\emptyset}$.
   • Voor negatieve guidance worden de rollen omgedraaid: het model minimaliseert een loss die de voorspelde ruis wegduwt van de ongewenste conditie $\hat{\epsilon}_{c_-}$, terwijl het dicht bij de onconditionele baseline blijft.
3. Sampling Strategie:
   • De auteurs leiden een closed-form update-regel af voor de denoising-richting $\hat{\epsilon}$ op basis van de gradiënt van de contrastieve loss.
   • De resulterende guidance-term bevat een dynamische weegcoëfficiënt (afhankelijk van de afstand tussen de conditionele en onconditionele voorspellingen).
   • Cruciaal is dat naarmate de huidige sample steeds minder gerelateerd is aan de negatieve conditie, de kracht van de negatieve guidance automatisch naar nul afneemt. Dit voorkomt de "overmatige afstoting" en de verschuivingen in de verdeling die bij standaard NP worden gezien.
   • De methode integreert naadloos in bestaande deterministische DDIM-sampling met minimale computationele overhead, waarbij slechts extra forward passes voor de conditionele en onconditionele modellen nodig zijn.

Belangrijkste Bijdragen

• Nieuwe Guidance Formulering: Het artikel introduceert een op contrastieve loss gebaseerd framework voor diffusie-guidance dat de wiskundige valkuilen vermijdt van het inverteren van waarschijnlijkheidsverdelingen die inherent zijn aan standaard Negative Prompting.
• Dynamische Attenuatie: In tegen tegenstelling tot statische negatiemethoden, controleert CCFG automatisch de sterkte van de afstoting. De guidance-kracht neemt af naarmate de sample zich verder van het ongewenste concept beweegt, waardoor het samplingproces binnen de geldige datamanifold blijft.
• Verenigd Framework: De aanpak behandelt zowel positieve als negatieve condities binnen één consistente wiskundige formulering, waardoor simultane aantrekking naar gewenste concepten en afstoting van ongewenste concepten mogelijk is zonder dat complexe empirische aanpassingen of hyperparameter-tuning voor conflictresolutie vereist zijn.

Experimentele Resultaten
De auteurs evalueerden CCFG in diverse scenario's, inclusief class-conditional generatie (MNIST, CIFAR10, ImageNet-1k) en text-to-image (T2I) generatie (StableDiffusion 1.5, SDXL).

• Class-Conditional Generatie: Op ImageNet-1k behaalde CCFG de hoogste "Overall Accuracy" (simultane positieve afstemming en negatieve exclusie) vergeleken met baselines zoals CFG++, NP, DNG, Perp-Neg en SLD. Het slaagde erin ongewenste klassen succesvol te verwijderen (bijv. het onderscheiden van vergelijkbare rassen zoals Maltese versus Siberische Husky) terwijl een hoge esthetische score en beeldkwaliteit behouden bleven, terwijl NP de beeldkwaliteit degradeerde en DNG er niet in slaagde overlappende klassen volledig uit te sluiten.
• Text-to-Image Generatie: In T2I-taken demonstreerde CCFG superieure prestaties bij het verwijderen van ongewenste concepten uit complexe, overlappende tekstprompts zonder de positieve prompt te verstoren of artefacten te introduceren. Visuele voorbeelden toonden aan dat waar NP vaak hele categorieën verwijderde (bijv. alle rode vruchten verwijderen wanneer gevraagd werd om "aardbeien" te verwijderen) of de beeldcoherentie degradeerde, CCFG nauwkeurig de ongewenste kenmerken targette.
• Kwantitatieve Benchmarks: Op de voorgestelde PIE-Bench-Neg dataset behaalde CCFG state-of-the-art prestaties in zowel positieve prompt-afstemming (gemeten via CLIP, ImageReward, HPS-v2) als negatieve prompt-onderdrukking, waarbij het andere geavanceerde negatieve guidance-methoden overtrof.

Betekenis en Claims
Het artikel claimt dat ContrastiveCFG een theoretisch onderbouwde en praktisch effectieve oplossing biedt voor de beperkingen van bestaande negatieve guidance-methoden. Door de naïeve inversie van waarschijnlijkheden te vervangen door een contrastieve optimalisatie-doelstelling, bereikt CCFG een vergelijkbaar guiding-effect als traditionele CFG voor positieve condities, terwijl het de degradatie van de samplekwaliteit en de verschuivingen in de verdeling die geassocieerd worden met Negative Prompting overwint. De auteurs benadrukken dat hun methode ongewenste concepten getrouw verwijdert zonder de samplekwaliteit op te offeren, zelfs in scenario's waar positieve en negatieve condities overlappen, wat het een robuust hulpmiddel maakt voor fijnmazige controle in diffusiemodellen.