🤖 machine learning

Mitigating Diffusion Model Hallucinations with Dynamic Guidance

Dieses Paper führt Dynamic Guidance ein, einen neuartigen Ansatz während der Generierungszeit, der Halluzinationen in Diffusionsmodellen mildert, indem die Score-Funktion selektiv entlang artefaktanfälliger Richtungen schärft und gleichzeitig valide semantische Variationen bewahrt, wodurch bestehende Baselines sowohl auf kontrollierten als auch auf natürlichen Bilddatensätzen übertrifft.

Ursprüngliche Autoren: Kostas Triaridis, Alexandros Graikos, Aggelina Chatziagapi, Grigorios G. Chrysos, Dimitris Samaras

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Kostas Triaridis, Alexandros Graikos, Aggelina Chatziagapi, Grigorios G. Chrysos, Dimitris Samaras

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem sehr talentierten, aber etwas verwirrten Künstler das Malen beizubringen. Dieser Künstler, ein „Diffusionsmodell“, ist großartig darin, wunderschöne Bilder zu erschaffen, aber manchmal wird er in der falschen Richtung zu kreativ. Er zeichnet vielleicht eine Hand mit sechs Fingern, eine Katze ohne Schwanz oder ein Pferd mit drei Beinen. In der Welt der KI nennen wir diese Fehler „Halluzinationen“.

Laut diesem Paper ist der Grund, warum der Künstler diese Fehler macht, dass er versucht, zu glatt zu sein. Wenn der Künstler lernt, sieht er ein Bild eines „Hundes“ und ein Bild einer „Katze“. Anstatt sie als zwei getrennte, scharfe Ideen beizubehalten, versucht er, sie zu einem verschwommenen Mittelweg zu verschmelzen. Manchmal wird dieser verschwommene Mittelweg zu einem seltsamen Wesen, das es in der Natur gar nicht gibt.

Die Autoren dieses Papers, von der Stony Brook University und der University of Wisconsin-Madison, schlagen eine neue Technik namens Dynamic Guidance vor, um dies zu beheben. So funktioniert es, unter Verwendung einiger einfacher Analogien:

Das Problem: Der „Verschwommene Mittelweg“

Stellen Sie sich das Gehirn des Künstlers wie eine Landschaft mit zwei hohen Bergen vor: Der eine ist „Hund“ und der andere ist „Katze“. Der Pfad zwischen ihnen ist ein glattes, flaches Tal.

Der alte Weg: Wenn der Künstler versucht, etwas zu zeichnen, bleibt er manchmal in diesem flachen Tal stecken. Weil der Pfad so glatt ist, weiß der Künstler nicht, in welche Richtung er gehen soll, und zeichnet deshalb einfach eine seltsame Mischung aus einem Hund und einer Katze. Das ist die „Halluzination“.
Die Standardlösung: Normalerweise versuchen die Leute, dem Künstler zu sagen: „Zeichne einen Hund!“ (das nennt man Classifier Guidance). Aber wenn der Künstler mit einer zufälligen Skizze beginnt, die eher wie eine Katze aussieht, und man ihn zwingt, ein Hund zu sein, wird der Künstler vielleicht verwirrt und macht trotzdem einen Fehler, wie zum Beispiel einen Hund mit einem Katzenschwanz zu zeichnen.

Die Lösung: Dynamic Guidance (Der „Smarte Navigator“)

Die Autoren schlagen einen klügeren Ansatz vor. Anstatt sich ganz zu Beginn auf ein Ziel festzulegen (wie „Hund“) und dabei zu bleiben, bekommt der Künstler einen Smarten Navigator, der die Karte bei jedem einzelnen Schritt des Zeichenprozesses überprüft.

Den aktuellen Zustand prüfen: In jedem winzigen Moment, während das Bild geformt wird, fragt der Navigator: „Basierend auf dem, was wir gerade jetzt gezeichnet haben, sieht das eher nach einem Hund oder einer Katze aus?“
Den Pfad anpassen: Wenn die aktuelle Skizze eher in Richtung „Hund“ tendiert, schärft der Navigator den Pfad in Richtung des „Hund-Berges“. Wenn sie eher zu „Katze“ tendiert, schärft er den Pfad in Richtung „Katze“.
Den verschwommenen Tal vermeiden: Durch das ständige Anpassen des Ziels gerät der Künstler niemals in dieses glatte, verwirrende Tal zwischen den beiden. Er wird gezwungen, einen entscheidenden Schritt in Richtung einer echten, gültigen Form zu machen.

Warum dies besonders ist

Das Paper hebt drei Kernpunkte dieser Methode hervor:

Es ist selektiv: Stellen Sie sich vor, der Künstler zeichnet eine Hand. Der Navigator weiß, dass die Änderung der Hautfarbe eine gute, gültige Änderung ist (Diversität). Aber die Änderung der Anzahl der Finger ist eine schlechte Änderung (Halluzination). Dynamic Guidance ist klug genug, den Pfad nur für die Richtung „Fingeranzahl“ zu schärfen, während die Richtung „Hautfarbe“ glatt und vielfältig bleiben darf. Es korrigiert die schlechten Dinge, ohne die guten Dinge zu ruinieren.
Es geschieht während des Zeichnens: Die meisten anderen Methoden versuchen, das Bild nach der Fertigstellung zu korrigieren (wie ein Filter, der schlechte Bilder löscht). Diese Methode korrigiert das Bild, während es gezeichnet wird. Es ist wie ein Trainer, der die Lauftechnik eines Läufers während des Rennens korrigiert, anstatt ihm erst nach dem Rennen zu sagen, dass er falsch gelaufen ist.
Es funktioniert mit Worten: Die Autoren haben dies an Text-zu-Bild-Modellen getestet (wo man „ein Pferd auf einer Wiese“ eingibt). Manchmal wird sich der Computer unsicher darüber, wie das Pferd steht. Das Dynamic-Guidance-System kann das halbfertige Pferd betrachten, erkennen, dass die Pose mehrdeutig ist, und die Anweisungen subtil zu „ein galoppierendes Pferd“ oder „ein liegendes Pferd“ anpassen, um sicherzustellen, dass die Anatomie Sinn ergibt.

Die Ergebnisse

Das Paper hat dies in mehreren Bereichen getestet:

Einfache Formen: Als man darum gebeten wurde, Dreiecke oder Quadrate zu zeichnen, verhinderte die Methode, dass die KI seltsame Mischungen aus beiden zeichnete.
Reale Bilder: Bei einem massiven Datensatz von 1,2 Millionen Bildern (ImageNet) erzeugte die Methode Bilder, die realistischer aussah und weniger „unmögliche“ Merkmale aufwies.
Menschliches Feedback: Als Menschen die mit dieser neuen Methode erzeugten Bilder betrachteten, stimmten sie zu, dass es weniger Fehler gab (wie zusätzliche Beine bei Tieren) und bevorzugten die neuen Bilder gegenüber den alten.

Kurz gesagt: Dynamic Guidance ist wie ein GPS für den KI-Künstler, das ständig die Route neu berechnet, um sicherzustellen, dass er auf der Straße der Realität bleibt und die Offroad-Fallen vermeidet, in denen Halluzinationen leben.

Technisches Resümee: Minderung von Halluzinationen in Diffusionsmodellen durch Dynamische Führung

Problemdefinition

Diffusionsmodelle sind zwar führend in der hochpräzisen Bildgenerierung, leiden jedoch unter „Halluzinationen“ – Stichproben, die strukturelle Inkonsistenzen aufweisen (z. B. falsche Anatomie wie zusätzliche Finger oder fehlende Körperteile), welche außerhalb des Supports der wahren Datenverteilung liegen. Die Autoren führen diese Halluzinationen auf Modus-Interpolation zurück.

Jüngste Erkenntnisse zeigen, dass die gelernte Score-Funktion in Denoising Diffusion Probabilistic Models (DDPMs) in den Regionen mit geringer Dichte zwischen den Datenmodi übermäßig glatt ist. Während die wahre Score-Funktion in diesen Zwischenregionen scharf sein müsste, um den Sampler zu größeren, korrigierenden Schritten zu zwingen, verursacht die gelernte Glattheit, dass der Entrauschungsprozess Proben „einfängt“, was zu semantisch ungültigen Interpolationen zwischen inkompatiblen Modi führt.

Bestehende Guidance-Methoden (z. B. Classifier Guidance, Classifier-Free Guidance) steuern Proben typischerweise in Bereiche hoher Wahrscheinlichkeit basierend auf einer festen Bedingung (fixed condition), die zu Beginn der Stichprobenziehung bereitgestellt wird. Die Autoren argumentieren, dass, wenn diese feste Bedingung nicht mit dem initialen Rauschen oder der sich entwickelnden Trajektorie übereinstimmt, die Führung die Probe in Regionen drängen kann, die große Korrekturschritte erfordern, was zu Überschießen oder Unterschießen des Zielmodus und somit zur Generierung von Halluzinationen führt. Darüber hinaus behandeln aktuelle Ansätze Halluzinationen oft als ein Post-hoc-Filterproblem oder ein Problem der Text-Bild-Ausrichtung, statt als einen grundlegenden Fehler in der selbst Trajektorie der Stichprobenziehung.

Methodik: Dynamische Führung (Dynamic Guidance, DG)

Das Paper schlägt Dynamische Führung (DG) vor, eine Methode, die Halluzinationen mildert, indem sie die Score-Funktion während des Stichprobenprozesses adaptiv verschärft, anstatt sich auf statische Bedingungen oder eine Filterung nach der Generierung zu verlassen.

Kernmechanismus

Anstatt sich von Beginn an auf ein einziges Führungsziel (Klasse $c$ ) festzulegen, identifiziert DG bei jeder Entrauschungs-Zeitschritt $t$ den wahrscheinlichsten Modus $c^*$ für die aktuelle verrauschte Probe $x_t$ . Die Führung wird dann in Richtung dieses dynamisch ausgewählten Modus angewendet.

Der Algorithmus approximiert eine schärfere Score-Funktion $\hat{s}_\theta(x_t)$ wie folgt:
$\hat{s}_\theta(x_t) := \sum_{c} \mathbb{1}_{c^*}(c) \nabla_{x_t} \log p_\theta(x_t | c)$
wobei $c^* = \arg \max_{c \in C} \log p(c | x_t)$ .

Durch die Neuberechnung der wahrscheinlichsten Klasse bei jedem Schritt bleibt das Führungsignal mit der lokalen Score-Richtung ausgerichtet, was verhindert, dass die Trajektorie in Pfade gesperrt wird, die große, halluzinationsinduzierende Interpolationsschritte erfordern.

Implementierungsvarianten

Diskrete Konditionierung (Classifier Guidance): Für Datensätze mit diskreten Labels (z. B. ImageNet-Klassen, Formtypen) verwendet DG einen Klassifikator, um $p(c|x_t)$ vorherzusagen, und wendet Gradienten in Richtung der wahrscheinlichsten Klasse $c^*$ an.
Pseudo-Klassen (Clustering): Die Methode erfordert keine vordefinierten semantischen Klassen. Die Autoren zeigen, dass das Clustering semantisch kohärenter Nachbarschaften in der Datenverteilung (z. B. unter Verwendung von DINOv2-Features), um „Pseudo-Klassen“ zu erstellen, ausreicht. Dies ermöglicht es DG, halluzinationsanfällige Richtungen zu isolieren, ohne sie auf interpretierbare Konzepte abbilden zu müssen.
Text-zu-Bild (Classifier-Free Guidance): Für textkonditionierte Modelle wird DG durch die dynamische Anpassung des Text-Prompts erweitert. Ein Vision-Language-Modell (VLM) beobachtet die intermediären entrauschten Vorhersagen, und falls das Bild mit einem spezifischen „Zweig“ eines Prompts übereinstimmt (der von einem LLM generiert wurde, um Mehrdeutigkeiten aufzulösen), wird der Prompt zu diesem spezifischen Zweig aktualisiert. Dies verschärft effektiv die Score-Funktion entlang der Richtung der aufgelösten Mehrdeutigkeit.

Selektive Verschärfung

Eine zentrale theoretische Erkenntung ist, dass DG die Score-Funktion selektiv verschärft. Sie erhöht die Gradientenmagnitude nur entlang der Richtungen, die mit dem ausgewählten Führungsmodus assoziiert sind (wo Halluzinationen auftreten), während andere Richtungen (z. B. valide semantische Variationen wie Hauttöne) unbeeinflusst bleiben. Dies bewahrt die Diversität der Proben, während es ungültige Generationen unterdrückt.

Wichtigste Beiträge

Dynamischer Guidance-Algorithmus: Eine neuartige Sampling-Strategie, die die Führungsziele bei jedem Zeitschritt adaptiv auswählt, um Bereiche mit geringer Wahrscheinlichkeit der Modus-Interpolation zu vermeiden.
Selektive Score-Verschärfung: Demonstration, dass DG Halluzinationen mildert, indem sie die Score-Funktion gezielt entlang halluzinationsinduzierender Richtungen verschärft und dabei die Diversität an anderer Stelle bewahrt.
Minderung während der Generierung: Der erste Ansatz, der Halluzinationen direkt während des Sampling-Prozesses adressiert, anstatt durch Post-hoc-Detektion/Ablehnung oder Post-Training.
Erweiterung auf Pseudo-Klassen: Eine prinzipielle Methode, DG auf Szenarien ohne explizite Klassenlabels zu erweitern, indem datengesteuertes Clustering genutzt wird.
Text-zu-Bild-Adaption: Eine Erweiterung von DG auf Latent Diffusion Models durch dynamische Prompt-Anpassung mittels VLMs und LLMs.

Experimentelle Ergebnisse

Kontrollierte Datensätze

Die Autoren evaluierten DG auf synthetischen Datensätzen, in denen Halluzinationen streng definiert sind:

Einzelne Formen (Single Shapes): Bilder mit 1–3 Instanzen derselben Form. Halluzinationen sind gemischte Formen.
- Ergebnis: DG erreichte eine Reduktion der Halluzinationsrate (HR) um 74,21 %, was Variance Filtering (11,58 %) und Classifier Guidance (11,05 %) signifikant übertrifft.
Gemischte Formen (Mixed Shapes): Bilder mit bis zu einer Instanz jeder Form. Halluzinationen sind mehrere Instanzen derselben Form.
- Ergebnis: DG erreichte eine Reduktion der HR um 72,97 %, während Classifier Guidance die Halluzinationen sogar erhöhte (-1,92 %).
Hands-11k: Bilder menschlicher Hände. Halluzinationen sind anatomische Fehler.
- Ergebnis: DG erreichte eine Reduktion der HR um 45,12 % und übertraf damit Variance Filtering und Classifier Guidance.

Groß angelegte Benchmarks (ImageNet-1k)

Da Halluzinationen in ImageNet schwer zu definieren sind, verwendeten die Autoren Proxy-Metriken: Precision (Anteil der Proben im Support der echten Daten) und Inception Score (IS).

Leistung: DG übertraf Classifier Guidance konsistent über verschiedene Guidance-Skalen hinweg.
Metriken: In der besten Konfiguration verbesserte DG die Precision um 8 Punkte und den Inception Score um 5 Punkte im Vergleich zum Baseline-Modell, während die Diversität (Recall wurde nicht signifikant reduziert) beibehalten wurde.
Ablation: Die Autoren fanden heraus, dass die Anwendung von DG nur während der intermediären Zeitschritte $[T_1, T_2]$ (speziell 800 bis 400 in ihrem Setup) die besten Ergebnisse lieferte, wodurch die Starrheit einer vollen Trajektorie-Guidance vermieden wurde.

Text-zu-Bild-Generierung

Angewandt auf Stable Diffusion 2.1 in einer Nutzerstudie mit 18 Teilnehmern:

Reduktion von Halluzinationen: DG reduzierte die wahrgenommene Halluzinationsrate für 100 % der Teilnehmer, mit einer durchschnittlichen Reduktion von 14,1 % (von 52,7 % auf 45,3 %).
Präferenz: Teilnehmer bevorzugten die mit DG generierten Bilder gegenüber der Baseline (Präferenzrate von 38,7 % gegenüber 27,3 %).

Bedeutung und Ansprüche

Das Paper behauptet, dass die Dynamische Führung eine fundamentale Verschiebung bei der Adressierung von Halluzinationen in Diffusionsmodellen darstellt. Durch das Eingreifen direkt in den generativen Prozess verhindert DG Halluzinationen bereits im Keim und vermeidet so die Rechenverschwendung durch das Generieren und anschließende Verwerfen fehlerhafter Proben.

Die Autoren betonen, dass ihr Ansatz prinzipienbasiert ist: Er beruht auf der mathematischen Notwendigkeit, die Score-Funktion in Bereichen geringer Dichte zu verschärfen, um Modus-Interpolation zu verhindern. Entscheidend ist, dass sie zeigen, dass dies erreicht werden kann, ohne die „validen“ Interpolationen zu opfern, die zur Proben-Diversität und Generalisierung beitragen. Die Fähigkeit, Pseudo-Klassen und dynamische Prompt-Anpassungen zu nutzen, deutet darauf hin, dass DG eine skalierbare Lösung für komplexe, reale Generierungsaufgaben ist, bei denen starre Klassendefinitionen unzureichend sind.

Das Werk kommt zu dem Schluss, dass DG einen Schritt in Richtung zuverlässigerer Diffusionsmodelle darstellt, indem es einen Mechanismus bietet, um den Trade-off zwischen Treue (Fidelity) und Diversität zu kontrollieren, indem es gezielt die geometrischen Eigenschaften der gelernten Score-Funktion anspricht, die zu strukturellen Inkonsistenzen führen.