🤖 AI

ContrastiveCFG: Guiding Diffusion Sampling by Contrasting Positive and Negative Concepts

ContrastiveCFG führt eine neuartige Guidance-Methode für Diffusionsmodelle ein, die einen kontrastiven Verlust nutzt, um Denoising-Richtungen basierend auf positiven und negativen Konzepten auszurichten oder abzustoßen, wodurch die Einhaltung von Bedingungen effektiv verbessert und unerwünschte Merkmale entfernt werden, während die durch traditionelle negierte CFG-Ansätze verursachte Abtastverzerrung vermieden wird.

Ursprüngliche Autoren: Jinho Chang, Changsun Lee, Hyungjin Chung, Jong Chul Ye

Veröffentlicht 2026-07-09

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jinho Chang, Changsun Lee, Hyungjin Chung, Jong Chul Ye

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Künstler, der versucht, ein Bild basierend auf einer Beschreibung zu malen. Sie haben einen sehr hilfreichen Assistenten (die KI), der weiß, wie man malt, aber manchmal wird der Assistent ein wenig zu eifrig oder verwirrt.

Dieses Papier stellt eine neue Art vor, mit diesem KI-Assistenten zu kommunizieren, die ContrastiveCFG (oder CCFG) genannt wird. Um zu verstehen, warum sie so besonders ist, schauen wir uns an, wie die aktuellen Methoden funktionieren und wo sie scheitern.

Das Problem: Der „zu laute“ Assistent

Derzeit nutzen Sie die Technik CFG, wenn Sie möchten, dass die KI etwas Bestimmtes malt (wie einen „Golden Retriever“). Stellen Sie sich das so vor, als würde sich der Assistent näher zu Ihnen herüberbeugen, um Ihren Anweisungen zuzuhören, wodurch die Idee des „Golden Retrievers“ in seinem Geist lauter wird. Das funktioniert großartig.

Aber was, wenn Sie etwas vermeiden wollen? Vielleicht möchten Sie einen „Golden Retriever“, aber keine „Katzen“.

Der alte Weg (Negative Prompting): Die aktuelle Methode versucht, die Katze zu entfernen, indem sie einfach so laut wie möglich „KEINE KATZE!“ schreit.
Der Fehler: Weil die KI so laut „KEINE KATZE!“ schreit, beginnt sie das gesamte Bild zu verzerren. Sie könnte versehentlich das Fell des Hundes löschen, den Hintergrund in statisches Rauschen verwandeln oder den Hund seltsam aussehen lassen, weil sie so sehr darauf konzentriert ist, keine Katze zu sein, dass sie vergisst, wie man ein Hund ist. Es ist, als würde man versuchen, einer Spinne auszuweichen, indem man so schnell rennt, dass man über die eigenen Füße stolpert.

Die Lösung: Die Methode des „Smart Contrast“

Die Autoren dieses Papiers schlagen ContrastiveCFG vor. Anstatt nur „NEIN“ zu schreien, bringen sie der KI bei, die beiden Ideen zu vergleichen.

Hier ist die Analogie:
Stellen Sie sich vor, Sie versuchen, einen bestimmten Schlüssel in einem unordentlichen Raum zu finden.

Der alte Weg: Sie schreien: „SCHAU NICHT NACH DEN ROTEN SCHLÜSSELN!“ Das bringt Sie in Panik und lässt Sie versehentlich den Tisch umstoßen, wodurch Sie alle Schlüssel verlieren.
Der neue Weg (CCFG): Sie halten den „Goldenen Schlüssel“, den Sie wollen, und den „Roten Schlüssel“, den Sie nicht wollen, hoch. Sie sagen der KI: „Schau dir den Unterschied zwischen diesen beiden an. Ziehe das Bild in Richtung des Goldenen Schlüssels und drücke es sanft weg vom Roten Schlüssel.“

Wie es funktioniert (Der Zaubertrick)

Das Papier erklärt, dass diese Methode einen mathematischen „Kontrast“ (einen Vergleich) verwendet, um die KI zu leiten.

Für Dinge, die Sie wollen (Positiv): Es zieht das Bild näher an Ihre Beschreibung heran, genau wie die alte Methode, aber es tut dies reibungslos.
Für Dinge, die Sie nicht wollen (Negativ): Das ist der clevere Teil.
- Wenn das Bild bereits weit weg von dem ist, was Sie hassen (z. B. das Bild sieht überhaupt nicht wie eine Katze aus), hört die KI auf zu drücken. Sie erkennt: „Oh, das ist keine Katze, ich muss nicht mehr schreien.“ Sie lässt das Bild natürlich zur Ruhe kommen.
- Wenn das Bild beginnt, wie das zu ähneln, was Sie hassen, drückt die KI es sanft zurück in Richtung dessen, was Sie wollen.

Dies verhindert die „Panik“ der alten Methode. Es verzerrt das Bild nicht, nur um ein Konzept zu vermeiden; es wendet nur dann Kraft an, wenn es notwendig ist.

Was das Papier herausgefunden hat

Die Forscher haben dies bei verschiedenen Zeichenaufgaben getestet, von einfachen Formen bis hin zur komplexen Text-zu-Bild-Generierung (wie Stable Diffusion).

Bessere Ergebnisse: Als sie die KI baten, einen Hund ohne eine Katze zu zeichnen, behielt die neue Methode das Aussehen eines echten Hundes bei, während die alte Methode den Hund kaputt oder verschwommen aussehen ließ.
Präzision: Sie war besser darin, unerwünschte Details zu entfernen (wie einen „Stock“ in einem Bild eines Reisenden), ohne versehentlich den Hut des Reisenden oder den Hintergrund zu entfernen.
Qualität: Die mit dieser neuen Methode erzeugten Bilder waren im Allgemeinen höherwertiger und sahen natürlicher aus als jene, die mit der alten „Schrei“-Methode erstellt wurden.

Zusammenfassend

ContrastiveCFG ist wie ein Upgrade vom Vorschlaghammer zum Skalpell.

Alter Weg: Schlagen Sie die unerwünschten Dinge aus dem Bild heraus, wobei oft auch die guten Teile zerstört werden.
Neuer Weg: Drücken Sie das Bild sanft von dem weg, was Sie nicht wollen, und hin zu dem, was Sie wollen, und wenden Sie nur dann Druck an, wenn er tatsächlich benötigt wird. Dies führt zu saubereren, präziseren und qualitativ hochwertigeren Bildern.

Technisches Resümee: ContrastiveCFG

Problemstellung
Classifier-Free Guidance (CFG) ist zum Standard für die Verbesserung der Konditions-Ausrichtung beim Sampling von Diffusionsmodellen geworden, indem sie die posteriore Verteilung schärft. Eine häufige Anwendung von CFG ist jedoch das „Negative Prompting“ (NP), bei dem Nutzer versuchen, unerwünschte Merkmale zu filtern, indem sie den CFG-Guidance-Vektor einfach negieren (d. h. $p(x)/p(c|x)^\gamma$ ). Die Arbeit identifiziert einen kritischen Fehler in diesem naiven Ansatz: Die Negierung der Guidance erzeugt eine invertierte Wahrscheinlichkeitsverteilung. Wenn der Guidance-Skalierungsfaktor $\gamma$ steigt, dominiert diese invertierte Verteilung die marginale Datenverteilung, was dazu führt, dass die Samples in Regionen mit geringer Dichte oder vollständig außerhalb des ursprünglichen Daten-Supports driften. Dies führt zu einer signifikanten Verschlechterung der Probenqualität und zu Artefakten. Während jüngere Methoden wie Dynamic Negative Guidance (DNG) versuchen, dies durch komplementäre Bedingungen zu mildern, haben sie Schwierigkeiten, wenn positive und negative Bedingungen nicht gegenseitig ausschließend sind (z. B. überlappende Text-Prompts), und scheitern oft daran, unerwünschte Konzepte vollständig zu entfernen, ohne die gewünschten zu beeinträchtigen.

Methodik
Die Autoren schlagen ContrastiveCFG (CCFG) vor, eine neuartige Guidance-Strategie, die die bedingte Sampling-Aufgabe als Optimierungsproblem unter Verwendung eines kontrastiven Verlusts formuliert, der spezifisch aus der Noise Contrastive Estimation (NCE) abgeleitet ist.

Kernkonzept: Anstatt die Wahrscheinlichkeitsverteilung zu invertieren, behandelt CCFG die Guidance als ein Ziel, um die Denoising-Richtung entweder durch einen kontrastiven Verlust auf eine positive Bedingung ( $c_+$ ) hin zu ziehen oder von einer negativen Bedingung ( $c_-$ ) abzustoßen.
Ableitung:
- Die Methode parametrisiert die Datenverteilung $p_\theta(x)$ mittels eines vortrainierten Diffusionsmodells und definiert eine Rauschverteilung $q(x)$ basierend auf der unbedingten (oder alternativen) Vorhersage.
- Für positive Guidance minimiert das Modell einen Verlust, der das vorhergesagte Rauschen $\epsilon$ dazu ermutigt, mit dem konditionellen Rauschen $\hat{\epsilon}_{c}$ zu korrelieren und sich gleichzeitig vom unbedingten Rauschen $\hat{\epsilon}_{\emptyset}$ zu unterscheiden.
- Für negative Guidance werden die Rollen vertauscht: Das Modell minimiert einen Verlust, der das vorhergesagte Rauschen vom unerwünschten Zustand $\hat{\epsilon}_{c_-}$ wegdrängt, während es nahe an der unbedingten Baseline bleibt.
Sampling-Strategie:
- Die Autoren leiten eine geschlossene Update-Regel für die Denoising-Richtung $\hat{\epsilon}$ basierend auf dem Gradienten des kontrastiven Verlusts ab.
- Der resultierende Guidance-Term enthält einen dynamischen Gewichtungskoeffizienten (abhängig vom Abstand zwischen der konditionellen und der unbedingten Vorhersage).
- Entscheidend ist, dass sich die Stärke der negativen Guidance automatisch gegen Null abschwächt, sobald das aktuelle Sample immer weniger mit der negativen Bedingung verwandt ist. Dies verhindert das „Über-Abstoßen“ und die damit verbundenen Verschiebungen in der Verteilung, wie sie bei Standard-NP auftreten.
- Die Methode lässt sich nahtlos in das bestehende deterministische DDIM-Sampling integrieren, mit minimalem Rechenaufwand, da lediglich zusätzliche Forward-Passes für die konditionellen und unbedingten Modelle erforderlich sind.

Wesentliche Beiträge

Neuartige Guidance-Formulierung: Die Arbeit führt einen auf kontrastivem Verlust basierenden Rahmen für die Diffusions-Guidance ein, der die mathematischen Fallstricke der Invertierung von Wahrscheinlichkeitsverteilungen vermeidet, die im Standard-Negative-Prompting inhärent sind.
Dynamische Abschwächung: Im Gegensatz zu statischen Negationsmethoden steuert CCFG die Abstoßungskraft automatisch. Die Guidance-Kraft nimmt ab, wenn sich das Sample von dem unerwünschten Konzept entfernt, wodurch sichergestellt wird, dass der Sampling-Prozess innerhalb des gültigen Daten-Manifolds bleibt.
Einheitlicher Rahmen: Der Ansatz behandelt sowohl positive als auch negative Bedingungen innerhalb einer einzigen, konsistenten mathematischen Formulierung, was eine gleichzeitige Anziehung zu gewünschten Konzepten und Abstoßung von unerwünschten Konzepten ermöglicht, ohne dass komplexe empirische Anpassungen oder Hyperparameter-Tuning zur Konfliktlösung erforderlich sind.

Experimentelle Ergebnisse
Die Autoren evaluierten CCFG in verschiedenen Szenarien, einschließlich der klassenbedingten Generierung (MNIST, CIFAR10, ImageNet-1k) und der Text-zu-Bild-Generierung (T2I) (StableDiffusion 1.5, SDXL).

Klassenbedingte Generierung: Auf ImageNet-1k erreichte CCFG die höchste „Overall Accuracy“ (gleichzeitige positive Ausrichtung und negative Exklusion) im Vergleich zu Baselines wie CFG++, NP, DNG, Perp-Neg und SLD. Es entfernte erfolgreich unerwünschte Klassen (z. B. die Unterscheidung ähnlicher Rassen wie Maltese vs. Siberian Husky), während es gleichzeitig hohe Ästhetik-Scores und Bildqualität beibehielt, wohingegen NP die Bildqualität verschlechterte und DNG daran scheiterte, überlappende Klassen vollständig auszuschließen.
Text-zu-Bild-Generierung: In T2I-Aufgaben demonstrierte CCFG eine überlegene Leistung bei der Entfernung unerwünschter Konzepte aus komplexen, überlappenden Text-Prompts, ohne den positiven Prompt zu verzerren oder Artefakte einzuführen. Visuelle Beispiele zeigten, dass während NP oft ganze Kategorien entfernte (z. B. alle roten Früchte entfernte, wenn nach dem Entfernen von „Erdbeeren“ gefragt wurde) oder die Kohärenz des Bildes verschlechterte, CCFT präzise auf die unerwünschten Merkmale abzielte.
Quantitative Benchmarks: Auf dem vorgeschlagenen PIE-Bench-Neg-Datensatz erreichte CCFG eine State-of-the-Art-Leistung sowohl in der positiven Prompt-Ausrichtung (gemessen durch CLIP, ImageReward, HPS-v2) als auch in der negativen Prompt-Unterdrückung und übertraf damit andere fortgeschrittene Negative-Guidance-Methoden.

Bedeutung und Ansprüche
Die Arbeit behauptet, dass ContrastiveCFG eine theoretisch fundierte und praktisch effektive Lösung für die Einschränkungen bestehender negativer Guidance-Methoden bietet. Durch den Ersatz der naiven Invertierung von Wahrscheinlichkeiten durch ein kontrastives Optimierungsziel erreicht CCFG einen ähnlichen Guidance-Effekt wie das traditionelle CFG für positive Bedingungen, überwindet jedoch die Verschlechterung der Probenqualität und die Verschiebungen in der Verteilung, die mit Negative Prompting verbunden sind. Die Autoren betonen, dass ihre Methode unerwünschte Konzepte getreu entfernt, ohne die Probenqualität zu opfern, selbst in Szenarien, in denen sich positive und negative Bedingungen überschneiden, was sie zu einem robusten Werkzeug für die feingranulare Kontrolle in Diffusionsmodellen macht.