ContrastiveCFG: Guiding Diffusion Sampling by Contrasting Positive and Negative Concepts

Riepilogo Tecnico: ContrastiveCFG

Problematica
Il Classifier-Free Guidance (CFG) è diventato lo standard per migliorare l'allineamento delle condizioni nel campionamento dei modelli di diffusione, affinando la distribuzione a posteriori. Tuttavia, un'applicazione comune del CFG è il "Negative Prompting" (NP), in cui gli utenti tentano di filtrare caratteristiche indesiderate negando semplicemente il vettore di guida CFG (ovvero $p(x)/p(c|x)^\gamma$). Il paper identifica un difetto critico in questo approccio ingenuo: la negazione della guida crea una distribuzione di probabilità invertita. Man mano che la scala di guida $\gamma$ aumenta, questa distribuzione invertita domina la distribuzione marginale dei dati, causando lo spostamento dei campioni verso regioni a bassa densità o completamente al di fuori del supporto originale dei dati. Ciò provoca una significativa degradazione della qualità del campione e la comparsa di artefatti. Sebbene metodi recenti come il Dynamic Negative Guidance (DNG) tentino di mitigare il problema utilizzando condizioni complementari, essi faticano quando le condizioni positive e negative non sono mutuamente esclusive (ad esempio, prompt testuali sovrapposti), spesso fallendo nel rimuovere completamente i concetti indesiderati senza compromettere quelli desiderati.

Metodologia
Gli autori propongono ContrastiveCFG (CCFG), una nuova strategia di guida che riformula il campionamento condizionale come un problema di ottimizzazione utilizzando la perdita contrastiva (contrastive loss), derivata specificamente dalla Noise Contrastive Estimation (NCE).

1. Concetto Centrale: Invece di invertire la distribuzione di probabilità, CCFG tratta la guida come un obiettivo volto ad attrarre la direzione di denoising verso una condizione positiva ($c_+$) o a respingerla da una condizione negativa ($c_-$) utilizzando una funzione di perdita contrastiva.
2. Derivazione:
   • Il metodo parametrizza la distribuzione dei dati $p_\theta(x)$ utilizzando un modello di diffusione pre-addestrato e definisce una distribuzione del rumore $q(x)$ basata sulla previsione incondizionata (o alternativa).
   • Per la guida positiva, il modello minimizza una perdita che incoraggia il rumore predetto $\epsilon$ ad allinearsi con il rumore condizionale $\hat{\epsilon}_{c}$, distinguendolo al contempo dal rumore incondizionato $\hat{\epsilon}_{\emptyset}$.
   • Per la guida negativa, i ruoli si invertono: il modello minimizza una perdita che spinge il rumore predetto lontano dalla condizione indesiderata $\hat{\epsilon}_{c_-}$ mantenendolo vicino alla baseline incondizionata.
3. Strategia di Campionamento:
   • Gli autori derivano una regola di aggiornamento in forma chiusa per la direzione di denoising $\hat{\epsilon}$ basata sul gradiente della perdita contrastiva.
   • Il termine di guida risultante include un coefficiente di ponderazione dinamica (dipendente dalla distanza tra le previsioni condizionali e incondizionali).
   • Fondamentalmente, man mano che il campione attuale diventa sempre meno correlato alla condizione negativa, la forza della guida negativa si attenua automaticamente a zero. Ciò evita l'effetto di "sovra-repulsione" e gli spostamenti distribuzionali visti nel NP standard.
   • Il metodo si integra perfettamente nei campionamenti deterministici DDIM esistenti con un overhead computazionale minimo, richiedendo solo passaggi forward aggiuntivi per i modelli condizionali e incondizionali.

Contributi Chiave

• Nuova Formulazione di Guida: Il paper introduce un framework basato sulla perdita contrastiva per la guida di diffusione che evita i problemi matematici dell'inversione delle distribuzioni di probabilità inerenti al classico Negative Prompting.
• Attenuazione Dinamica: A differenza dei metodi di negazione statica, CCFG controlla automaticamente la forza della repulsione. La forza di guida diminuisce man mano che il campione si allontana dal concetto indesiderato, garantendo che il processo di campionamento rimanga all'interno del manifold dei dati validi.
• Framework Unificato: L'approccio gestisce sia le condizioni positive che quelle negative all'interno di una singola formulazione matematica coerente, consentendo l'attrazione simultanea verso i concetti desiderati e la repulsione da quelli indesiderati senza richiedere complessi aggiustamenti empirici o la sintonizzazione degli iperparametri per la risoluzione dei conflitti.

Risultati Sperimentali
Gli autori hanno valutato CCFG in diversi scenari, inclusa la generazione condizionata per classe (MNIST, CIFAR10, ImageNet-1k) e la generazione text-to-image (T2I) (StableDiffusion 1.5, SDXL).

• Generazione Condizionata per Classe: Su ImageNet-1k, CCFG ha raggiunto la più alta "Accuratezza Complessiva" (allineamento positivo simultaneo ed esclusione negativa) rispetto ai baseline come CFG++, NP, DNG, Perp-Neg e SLD. Ha rimosso con successo classi indesiderate (ad esempio, distinguendo razze simili come Maltese vs. Siberian Husky) mantenendo al contempo alti punteggi estetici e qualità dell'immagine, laddove NP degradava la qualità dell'immagine e DNG falliva nell'escludere completamente classi sovrapposte.
• Generazione Text-to-Image: Nei compiti T2I, CCFG ha dimostrato prestazioni superiori nella rimozione di concetti indesiderati da prompt testuali complessi e sovrapposti, senza distorcere il prompt positivo o introdurre artefatti. Gli esempi visivi hanno mostrato che mentre NP spesso rimuoveva intere categorie (ad esempio, rimuovendo tutti i frutti rossi quando veniva chiesto di rimuovere "fragole") o degradava la coerenza dell'immagine, CCFG mirava con precisione alle caratteristiche indesiderate.
• Benchmark Quantitativi: Sul dataset proposto PIE-Bench-Neg, CCFA ha raggiunto prestazioni allo stato dell'arte sia nell'allineamento del prompt positivo (misurato tramite CLIP, ImageReward, HPS-v2) che nella soppressione del prompt negativo, superando altri metodi avanzati di guida negativa.

Significatività e Rivendicazioni
Il paper afferma che ContrastiveCFG offre una soluzione teoricamente solida e praticamente efficace ai limiti degli esistenti metodi di guida negativa. Sostituendo la naif inversione delle probabilità con un obiettivo di ottimizzazione contrastiva, CCFG ottiene un effetto di guida simile al CFG tradizionale per le condizioni positive, superando al contempo la degradazione della qualità del campione e gli spostamenti distribuzionali associati al Negative Prompting. Gli autori sottolineano che il loro metodo rimuove fedelmente i concetti indesiderati senza sacrificare la qualità del campione, anche in scenari in cui le condizioni positive e negative si sovrappongono, rendendolo uno strumento robusto per il controllo fine nei modelli di diffusione.