🤖 machine learning

Mitigating Diffusion Model Hallucinations with Dynamic Guidance

Dit artikel introduceert Dynamic Guidance, een nieuwe benadering tijdens de generatietijd die hallucinaties in diffusiemodellen vermindert door de scorefunctie selectief te verscherpen langs artefactgevoelige richtingen terwijl geldige semantische variaties behouden blijven, waardoor het bestaande baselines overtreft op zowel gecontroleerde als natuurlijke beelddatasets.

Oorspronkelijke auteurs: Kostas Triaridis, Alexandros Graikos, Aggelina Chatziagapi, Grigorios G. Chrysos, Dimitris Samaras

Gepubliceerd 2026-06-09

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Kostas Triaridis, Alexandros Graikos, Aggelina Chatziagapi, Grigorios G. Chrysos, Dimitris Samaras

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer getalenteerde maar licht verwarde kunstenaar probeert te leren schilderen. Deze kunstenaar, een "Diffusiemodel", is geweldig in het maken van prachtige plaatjes, maar soms wordt hij té creatief op de verkeerde manier. Hij tekent bijvoorbeeld een hand met zes vingers, een kat zonder staart, of een paard met drie poten. In de wereld van AI noemen we deze fouten "hallucinaties."

Volgens dit artikel komt de reden dat de kunstenaar deze fouten maakt doordat hij probeert te vloeiend te zijn. Wanneer de kunstenaar leert, ziet hij een plaatje van een "hond" en een plaatje van een "kat". In plaats van ze als twee afzonderlijke, scherpe ideeën te behouden, probeert hij ze te mengen tot een wazig middengebied. Soms verandert dat wazige middengebied in een vreemd wezen dat in de natuur niet echt bestaat.

De auteurs van dit artikel, van de Stony Brook University en de University of Wisconsin-Madison, stellen een nieuwe techniek voor genaamd Dynamic Guidance om dit op te lossen. Zo werkt het, met behulp van enkele eenvoudige analogieën:

Het Probleem: Het "Wazige Midden"

Denk aan de geest van de kunstenaar als een landschap met twee hoge bergen: de ene is "Hond" en de andere is "Kat". Het pad tussen hen is een gladde, vlakke vallei.

De Oude Manier: Wanneer de kunstenaar iets probeert te tekenen, raakt hij soms vast in die vlakke vallei. Omdat het pad zo glad is, weet de kunstenaar niet welke kant hij op moet, en tekent hij daarom een vreemde mix van een hond en een kat. Dit is de "hallucinatie."
De Standaard Oplossing: Meestal proberen mensen de kunstenaar te vertellen: "Teken een Hond!" (dit heet Classifier Guidance). Maar als de kunstenaar begint met een willekeurige schets die meer op een kat lijkt, en je dwingt hem om een hond te zijn, kan de kunstenaar in de war raken en toch een fout maken, zoals het tekenen van een hond met een kattenstaart.

De Oplossing: Dynamic Guidance (De "Slimme Navigator")

De auteurs suggereren een slimmere aanpak. In plaats van een bestemming te kiezen (zoals "Hond") aan het begin en zich daar aan vast te houden, krijgt de kunstenaar een Slimme Navigator die de kaart bij elke stap van het tekenproces controleert.

Controleer de Huidige Staat: Op elk klein moment terwijl de afbeelding wordt gevormd, vraagt de Navigator: "Op basis van wat we op dit moment getekend hebben, lijkt dit meer op een Hond of op een Kat?"
Pas het Pad Aan: Als de huidige schets meer naar "Hond" neigt, maakt de Navigator het pad naar de "Hond"-berg scherper. Als het naar "Kat" neigt, maakt de Navigator het pad naar "Kat" scherper.
Vermijd de Wazige Vallei: Door het doel constant aan te passen, komt de kunstenaar nooit vast te zitten in die gladde, verwarrende vallei tussen de twee. Hij wordt gedwongen om een besluitvaardige stap te zetten richting een echte, geldige vorm.

Waarom Dit Speciaal Is

Het artikel benadrukt drie belangrijke zaken over deze methode:

Het is Selectief: Stel je voor dat de kunstenaar een hand tekent. De Navigator weet dat het veranderen van de huidskleur een goede, geldige verandering is (diversiteit). Maar het veranderen van het aantal vingers is een slechte verandering (hallucinatie). Dynamic Guidance is slim genoeg om het pad alleen te verscherpen voor de "vinger-aantal" richting, terwijl de "huidskleur" richting vloeiend en divers blijft. Het herstelt de slechte dingen zonder de goede dingen te verpesten.
Het Gebeurt Tijdens het Tekenen: De meeste andere methoden proberen de afbeelding te corrigeren nadat deze klaar is (zoals een filter dat slechte plaatjes verwijdert). Deze methode corrigeert de afbeelding terwijl deze wordt getekend. Het is als een coach die de vorm van een hardloper corrigeert tijdens de race, in plaats van pas te zeggen dat hij fout heeft gelopen nadat de race voorbij is.
Het Werkt met Woorden: De auteurs hebben dit getest op tekst-naar-beeldmodellen (waar je typt "een paard in een veld"). Soms raakt de computer in de war over hoe het paard staat. Het Dynamic Guidance-systeem kan naar het half afgewerkte paard kijken, beseffen dat de houding ambigu is, en de instructies subtiel aanpassen naar "een galoppend paard" of "een liggend paard" om ervoor te zorgen dat de anatomie logisch is.

De Resultaten

Het paper heeft deze methode getest op verschillende zaken:

Eenvoudige Vormen: Wanneer er om driehoeken of vierkanten werd gevraagd, zorgde de methode ervoor dat de AI niet een vreemde mix van beide tekende.
Echte Afbeeldingen: Op een enorme dataset van 1,2 miljoen afbeeldingen (ImageNet) produceerde de methode afbeeldingen die er realistischer uitzagen en minder "onmogelijke" kenmerken hadden.
Menselijke Feedback: Toen mensen naar de afbeeldingen keken die met deze nieuwe methode waren gegenereerd, stemden zij ermee in dat er minder fouten waren (zoals extra poten bij dieren) en gaven zij de voorkeur aan de nieuwe afbeeldingen boven de oude.

Kortom, Dynamic Guidance is als het geven van een GPS aan de AI-kunstenaar die constant de route herberekent om ervoor te zorgen dat hij op de weg van de realiteit blijft, en de off-road vallen vermijdt waar hallucinaties leven.

Technische Samenvatting: Mitigeren van Hallucinaties in Diffusiemodellen met Dynamische Guidance

Probleemdefinitie

Diffusiemodellen zijn weliswaar dominant in hoogwaardige beeldgeneratie, maar lijden aan "hallucinaties"—samples die structurele inconsistenties bevatten (bijv. incorrecte anatomie zoals extra vingers of ontbrekende lichaamsdelen) die buiten de ondersteuning van de ware datadistributie liggen. De auteurs schrijven deze hallucinaties toe aan mode-interpolatie.

Recente bevindingen wijzen erop dat de geleerde scorefunctie in Denoising Diffusion Probabilistic Models (DDPM's) excessief glad is in de gebieden met een lage dichtheid tussen datamodes. Terwijl de ware scorefunctie in deze intermediaire regio's scherp zou moeten zijn om de sampler te dwingen grotere, corrigerende stappen te nemen, zorgt de geleerde gladheid ervoor dat het denoising-proces samples "vangt", wat resulteert in semantisch ongeldige interpolaties tussen incompatibele modes.

Bestaande guidance-methoden (bijv. Classifier Guidance, Classifier-Free Guidance) sturen samples doorgaans naar regio's met een hoge waarschijnlijkheid op basis van een vaste conditie die aan het begin van de sampling wordt verstrekt. De auteurs stellen dat als deze vaste conditie niet overeenkomt met de initiële ruis of de evoluerende trajectorie, de guidance de sample naar regio's kan duwen die grote corrigerende stappen vereisen, wat leidt tot overshooting of undershooting van de doelmode en het genereren van hallucinaties. Bovendien beschouwen huidige benaderingen hallucinaties vaak als een post-hoc filterprobleem of een kwestie van tekst-beeld-alignement, in plaats van een fundamenteel defect in het sampling-traject zelf.

Methodologie: Dynamische Guidance (DG)

Het paper stelt Dynamic Guidance (DG) voor, een methode die hallucinaties mitigeert door de scorefunctie adaptief te verscherpen tijdens het samplingproces, in plaats van te vertrouwen op statische condities of post-generatie filtering.

Kernmechanisme

In plaats van zich vanaf het begin vast te leggen op één enkele guidance-target (klasse $c$ ), identificeert DG de meest waarschijnlijke mode $c^*$ voor de huidige ruisige sample $x_t$ bij elke denoising-timestep. De guidance wordt vervolgens toegepast richting deze dynamisch geselecteerde mode.

Het algoritme benadert een scherpere scorefunctie $\hat{s}_\theta(x_t)$ als volgt:
$\hat{s}_\theta(x_t) := \sum_{c} \mathbb{1}_{c^*}(c) \nabla_{x_t} \log p_\theta(x_t | c)$
waarbij $c^* = \arg \max_{c \in C} \log p(c | x_t)$ .

Door bij elke stap de meest waarschijnlijke klasse opnieuw te berekenen, blijft het guidance-signaal uitgelijnd met de lokale score-richting, waardoor voorkomt dat het traject vast komt te zitten in paden die grote, hallucinatie-inducerende interpolatiestappen vereisen.

Implementatievarianten

Discrete Conditionering (Classifier Guidance): Voor datasets met discrete labels (bijv. ImageNet-klassen, vormtypen), gebruikt DG een classifier om $p(c|x_t)$ te voorspellen en past gradiënten toe richting de meest waarschijnlijke klasse $c^*$ .
Pseudo-Klassen (Clustering): De methode vereist geen vooraf gedefinieerde semantische klassen. De auteurs demonstreren dat het clusteren van semantisch coherente buurten in de datadistributie (bijv. met behulp van DINOv2-features) om "pseudo-klassen" te creëren, voldoende is. Dit stelt DG in staat om hallucinatiegevoelige richtingen te isoleren zonder te mappen naar interpreteerbare concepten.
Tekst-naar-Beeld (Classifier-Free Guidance): Voor tekst-geconditioneerde modellen wordt DG uitgebreid door de tekstprompt dynamisch aan te passen. Een Vision-Language Model (VLM) observeert intermediaire gedenoised voorspellingen en, indien de afbeelding overeenkomt met een specifieke "tak" van een prompt (gegenereerd door een LLM om ambiguïteiten op te lossen), wordt de prompt bijgewerkt naar die specifieke tak. Dit verscherpt effectief de scorefunctie langs de richting van de opgeloste ambiguïteit.

Selectieve Verscherping

Een belangrijk theoretisch inzicht is dat DG de scorefunctie selectief verscherpt. Het verhoogt de gradiëntmagnitude alleen langs de richtingen geassocieerd met de geselecteerde guidance-mode (waar hallucinaties optreden), terwijl andere richtingen (bijv. geldige semantische variaties zoals huidskleur) onveranderd blijven. Dit behoudt de diversiteit van de samples terwijl het ongeldige generaties onderdrukt.

Belangrijkste Bijdragen

Dynamische Guidance Algoritme: Een nieuwe samplingstrategie die adaptief guidance-targets selecteert bij elke timestep om regio's met lage waarschijnlijkheid en interpolatie te vermijden.
Selectieve Score-verscherping: Demonstratie dat DG hallucinaties mitigeert door de scorefunctie specifiek langs hallucinatie-inducerende richtingen te verscherpen, terwijl diversiteit elders behouden blijft.
Eerste Mitigatie tijdens Generatie: De eerste benadering die hallucinaties aanpakt tijdens het samplingproces, in plaats van via post-hoc detectie/verwerping of post-training.
Pseudo-Klasse Extensie: Een geprincipeerde methode om DG uit te breiden naar scenario's zonder expliciete klasselabels door gebruik te maken van datagedreven clustering.
Tekst-naar-Beeld Adaptatie: Een extensie van DG naar latent diffusion-modellen met behulp van dynamische prompt-aanpassing via VLM's en LLM's.

Experimentele Resultaten

Gecontroleerde Datasets

De auteurs evalueerden DG op synthetische datasets waar hallucinaties strikt gedefinieerd zijn:

Enkele Vormen (Single Shapes): Afbeeldingen met 1-3 instanties van dezelfde vorm. Hallucinaties zijn gemengde vormen.
- Resultaat: DG bereikte een reductie in de hallucinatie-rate (HR) van 74,21%, wat significant beter is dan Variance Filtering (11,58%) en Classifier Guidance (11,05%).
Gemengde Vormen (Mixed Shapes): Afbeeldingen met maximaal één instantie van elke vorm. Hallucinaties zijn meerdere instanties van dezelfde vorm.
- Resultaat: DG bereikte een HR-reductie van 72,97%, terwijl Classifier Guidance de hallucinaties zelfs verhoogde (-1,92%).
Hands-11k: Menselijke handafbeeldingen. Hallucinaties zijn anatomische fouten.
- Resultaat: DG bereikte een HR-reductie van 45,12%, waarmee het Variance Filtering en Classifier Guidance overtrof.

Grootschalige Benchmarks (ImageNet-1k)

Omdat hallucinaties moeilijk te definiëren zijn in ImageNet, gebruikten de auteurs proxy-metrieken: Precision (fractie van samples in de werkelijke datastructuur) en Inception Score (IS).

Prestaties: DG presteerde consistent beter dan Classifier Guidance over verschillende guidance-schalen.
Metrieken: In de beste configuratie verbeterde DG de Precision met 8 punten en de Inception Score met 5 punten vergeleken met de baseline, terwijl de diversiteit (Recall) niet significant werd verminderd.
Ablatie: De auteurs vonden dat het toepassen van DG alleen tijdens intermediaire timesteps $[T_1, T_2]$ (specifiek 800 tot 400 in hun setup) de beste resultaten opleverde, waardoor de rigiditeit van volledige-trajecto-guidance werd vermeden.

Tekst-naar-Beeld Generatie

Toegepast op Stable Diffusion 2.1 met een gebruikersstudie van 18 deelnemers:

Reductie van Hallucinaties: DG verminderde de waargenomen hallucinatie-rate voor 100% van de deelnemers, met een gemiddelde reductie van 14,1% (van 52,7% naar 45,3%).
Voorkeur: Deelnemers gaven de voorkeur aan DG-gegenereerde afbeeldingen boven de baseline (38,7% versus 27,3% voorkeurspercentage).

Betekenis en Claims

Het paper claimt dat Dynamic Guidance een fundamentele verschuiving vertegenwoordigt in het aanpakken van hallucinaties in diffusiemodellen. Door direct in te grijpen in het generatieve proces, voorkomt DG dat hallucinaties überhaupt ontstaan, waardoor de computationele verspilling van het genereren en vervolgens weggooien van gebrekkige samples wordt vermeden.

De auteurs benadrukken dat hun benadering geprincieerd is: het steunt op de wiskundige noodzaak om de scorefunctie te verscherpen in regio's met een lage dichtheid om mode-interpolatie te voorkomen. Cruciaal is dat zij aantonen dat dit kan worden bereikt zonder de "geldige" interpolaties op te offeren die bijdragen aan de diversiteit en generalisatie van samples. Het vermogen om pseudo-klassen en dynamische prompt-aanpassing te gebruiken, suggereert dat DG een schaalbare oplossing is voor complexe, real-world generatietaken waarbij rigide klassendefinities ontoereikend zijn.

Het werk concludeert dat DG een stap zet naar betrouwbaardere diffusiemodellen, door een mechanisme te bieden om de trade-off tussen getrouwheid (fidelity) en diversiteit te controleren door te richten op de specifieke geometrische eigenschappen van de geleerde scorefunctie die leiden tot structurele inconsistenties.