🤖 machine learning

Why DDIM Hallucinates More than DDPM: A Theoretical Analysis of Reverse Dynamics

Dit artikel toont theoretisch aan dat het deterministische karakter van DDIM ertoe leidt dat het vastloopt tussen modi en hallucineert in Gaussische mengsel-doelen, terwijl de stochasticiteit van DDPM het in staat stelt om uit deze gebieden te ontsnappen, een bevinding die suggereert dat het opnemen van stochastische stappen de steekproefkwaliteit van DDIM kan verbeteren.

Oorspronkelijke auteurs: Muhammad H. Ashiq, Samanyu Arora, Abhinav N. Harish, Ishaan Kharbanda, Hung Yun Tseng, Grigorios G. Chrysos

Gepubliceerd 2026-05-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Muhammad H. Ashiq, Samanyu Arora, Abhinav N. Harish, Ishaan Kharbanda, Hung Yun Tseng, Grigorios G. Chrysos

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Plaatje: Twee Manieren om een Foto te Ontvagen

Stel je hebt een zeer wazige, ruisende foto van een kat en een hond. Je doel is om de wazigheid "terug te draaien" om een duidelijk beeld van óf een kat óf een hond te krijgen.

In de wereld van AI-afbeeldingsgeneratie zijn er twee populaire methoden (samplers) om dit te doen:

DDPM: Een methode die op elke stap van het ontvaggingsproces een klein beetje "toeval" (ruis) toevoegt. Het is alsof je een stap zet en je hand vervolgens lichtjes schudt om je evenwicht te bewaren.
DDIM: Een methode die strikt deterministisch is. Het volgt een perfecte, rechte wiskundige weg zonder enige schudding. Het is alsof je met gesloten ogen een slakkenbaan loopt en een vooraf berekende lijn perfect volgt.

Het Probleem: Het artikel stelt vast dat het strikte, perfecte pad (DDIM) vaak leidt tot "hallucinaties". In plaats van een duidelijke kat of een duidelijke hond te genereren, produceert de AI een vreemd, wazig hybride wezen dat de helft kat en de helft hond is. Dit gebeurt omdat de AI vast komt te zitten in het "middengebied" tussen de twee opties.

De Kernontdekking: De "Middengebied"-Val

De onderzoekers bestudeerden wat er gebeurt wanneer de AI moet kiezen tussen twee verschillende opties (zoals twee verschillende modi in een data-verdeling). Ze modelleerden dit met behulp van een Gaussian Mixture, wat gewoon een chique manier is om te zeggen "een landschap met twee duidelijke heuvels (modi) en een vallei ertussen".

Hier is hoe de twee methoden zich gedragen wanneer ze dicht bij het einde van het proces komen:

1. De DDIM-val (De Slakkenbaanwandelaar)

Stel je voor dat de AI een lange, smalle brug afloopt die de "Katheuvel" en de "Hondheuvel" met elkaar verbindt.

De Reis: Terwijl de AI van het ruisende begin naar het duidelijke einde beweegt, vindt het snel deze brug en begint het eroverheen te lopen.
Het Vastzittende Punt: Wanneer de AI precies het midden van de brug bereikt, komt het vast te zitten. Omdat DDIM deterministisch is (geen toeval), als het precies in het midden landt, zegt de wiskunde dat het geen reden heeft om naar links of rechts te bewegen. Het blijft daar zitten.
Het Resultaat: Het uiteindelijke beeld is een "mode-interpolatie" – een gehallucineerd wezen dat noch een kat noch een hond is, maar een vreemde mix van beide. Het artikel bewijst dat DDIM, eenmaal het "middenbuurtje" betreden, vaak niet genoeg energie heeft om te ontsnappen naar de echte heuvels.

2. De DDPM-ontsnapping (De Drunkene Wandelaar)

Nu stel je je de DDPM-wandelaar op dezelfde brug voor.

De Reis: Ook deze vindt de brug en loopt eroverheen.
De Ontsnapping: Wanneer het het midden bereikt, blijft het niet zomaar zitten. Omdat DDPM op elke stap een klein beetje toevallige ruis toevoegt, krijgt het een kleine "kick" of "schok".
Het Resultaat: Deze toevallige schok is voldoende om de wandelaar van het exacte middelpunt te duwen. Zodra het een beetje naar links of rechts is gestuitst, neemt de natuurlijke trekkracht van de "Katheuvel" of "Hondheuvel" het over, en rolt het helemaal door naar een duidelijk, correct beeld. De toeval helpt het eigenlijk om de hallucinatie te vermijden.

De Belangrijkste Bevindingen

Het artikel maakt drie hoofdpunten, ontdaan van de complexe wiskunde:

Het gaat niet om Snelheid of Fouten: Mensen dachten dat DDIM meer hallucineerde omdat het stappen overslaat om sneller te gaan (wat numerieke fouten veroorzaakt). De auteurs bewezen dat dit onjuist is. Zelfs als je DDIM elke enkele stap perfect laat zetten, blijft het vaker in het midden vastzitten dan DDPM. Het probleem is het ontbreken van ruis, niet de snelheid.
Het "Zadel"-punt: Wiskundig gezien is het midden van de brug een "zadelpunt". Het is een onstabiel evenwicht. Voor een deterministisch systeem (DDIM) is het een valstrik. Voor een stochastisch systeem (DDPM) werkt de ruis als een veiligheidsnet dat je uit de valstrik duwt en naar een echte oplossing brengt.
Een Eenvoudige Oplossing: De auteurs testten een hybride aanpak. Ze lieten DDIM het snelle, schone werk doen voor het grootste deel van de reis, maar schakelden vlak voor het einde (wanneer de AI dicht bij het midden is) over op DDPM voor een paar stappen om die cruciale "toevallige kick" toe te voegen. Deze simpele truc verminderde het aantal hallucinaties aanzienlijk.

De Conclusie

Stel je het genereren van een afbeelding voor als het navigeren door een doolhof met twee uitgangen (Kat en Hond).

DDIM is als een robot die een kaart perfect volgt. Als de kaart het naar een doodlopende weg in het midden van het doolhof leidt, stopt het daar en creëert het een nepuitgang (een hallucinatie).
DDPM is als een mens die het doolhof verkent. Zelfs als ze in het midden afdwalen, kunnen ze struikelen of een toevallige stap zetten die ze per ongeluk uit de doodlopende weg en naar een echte uitgang leidt.

Het artikel concludeert dat een beetje chaos (ruis) noodzakelijk is om te voorkomen dat AI vast komt te zitten in "nep"-oplossingen in het middengebied. Door dit te begrijpen, kunnen we betere AI-samplers ontwerpen die de snelheid van DDIM behouden, maar net genoeg toeval aan het einde toevoegen om te garanderen dat het resultaat echt is en geen hallucinatie.

Titel: Waarom DDIM meer hallucineert dan DDPM: Een theoretische analyse van omgekeerde dynamica

Probleemstelling
Ondanks aanzienlijke vooruitgang vertonen geavanceerde diffusiemodellen vaak hallucinaties—generaties die de structurele of semantische beperkingen van de trainingsverdeling schenden, zoals vervormde objecten of temporele inconsistenties. Een specifieke vorm van hallucinatie, genaamd "mode-interpolatie", treedt op wanneer een bemonsterde diffusietrajectorie eindigt op het lijnsegment dat twee modi van de doelverdeling met elkaar verbindt, in plaats van te convergeren naar een echte modus. Hoewel eerdere werken strategieën hebben voorgesteld om deze fouten te detecteren of te mitigeren, hebben ze niet systematisch onderzocht de onderliggende mechanische redenen waarom deterministische bemonsteraars (DDIM) vaker hallucineren dan hun stochastische tegenhangers (DDPM). Dit artikel adresseert de vraag: Kunnen we formeel karakteriseren waarom DDIM meer hallucineert dan DDPM?

Methodologie
De auteurs voeren een rigoureuze theoretische analyse uit van de omgekeerde dynamica van twee canonieke diffusiebemonsteraars: het stochastische Denoising Diffusion Probabilistic Model (DDPM) en het deterministische Denoising Diffusion Implicit Model (DDIM).

Doelverdeling: De analyse gaat uit van een doelverdeling $p_{data}$ bestaande uit een $N$ -modale Gaussische mengeling met goed gescheiden modi.
Dynamica: Het onderzoek vergelijkt de omgekeerde Probability Flow (PF) gewone differentiaalvergelijking (ODE) die DDIM regelt, met de omgekeerde Variance Preserving (VP) stochastische differentiaalvergelijking (SDE) die DDPM regelt.
Aannames: De theoretische afleidingen gaan uit van toegang tot de exacte scorefunctie (de verwachte score met oneindige steekproeven), hoewel empirische validatie wordt uitgevoerd met geleerde neurale netwerkscores. De analyse richt zich op het regime van "twee-modus dominantie", waarbij een trajectorie voldoende dicht bij een paar modi staat zodat andere modi een verwaarloosbare invloed hebben.
Fasen van convergentie: De auteurs ontleden het omgekeerde proces in twee fasen: (1) een vroege fase waarin de trajectorie convergeert naar het lijnsegment dat de twee dichtstbijzijnde modi met elkaar verbindt, en (2) een late fase waarin beweging plaatsvindt langs dit lijnsegment.

Belangrijkste bijdragen en theoretische resultaten

DDIM-vangmechanisme: De auteurs bewijzen dat onder de DDIM-ODE, zodra een trajectorie de $\epsilon$ -buis rondom het lijnsegment dat twee modi verbindt binnenkomt, de orthogonale afstand tot het segment exponentieel afneemt. Binnen deze buis worden de dynamica beheerst door parallelle beweging langs het segment. De auteurs demonstreren dat het middelpunt tussen de twee modi fungeert als een hyperbolisch instabiel evenwicht. Echter, vanwege het deterministische karakter van de ODE, mist een trajectorie dat een specifieke $\vartheta$ -omgeving van dit middelpunt binnenkomt, het mechanisme om te ontsnappen. Bijgevolg blijft de trajectorie "vastzitten" in de buurt van het middelpunt, wat resulteert in mode-interpolatie (hallucinatie).
DDPM-ontsnappingsmechanisme: Daarentegen tonen de auteurs aan dat de stochastische ruisterm in de DDPM-SDE het mogelijk maakt voor de trajectorie om te ontsnappen uit de omgeving van het middelpunt. Door de beweging langs het bisectorhypervlak te modelleren als een één-dimensionale SDE, bewijzen ze dat de waarschijnlijkheid dat de DDPM-trajectorie in de buurt van het middelpunt eindigt, exponentieel klein is. De ruis duwt de trajectorie effectief weg van het instabiele evenwicht naar een van de echte modi.
Onafhankelijkheid van stapoverslaan: Het artikel weerlegt de hypothese dat de hogere hallucinatiegraad van DDIM uitsluitend het gevolg is van numerieke fouten geïntroduceerd door het overslaan van stappen (grove discretisatie). Theoretische resultaten worden afgeleid onder nul numerieke fout, en empirische validatie toont aan dat de hallucinatiekloof blijft bestaan zelfs wanneer DDIM en DDPM identieke discretisatieschema's gebruiken.
Hybride bemonsteringsstrategie: Gebaseerd op het theoretische inzicht dat ruis helpt bij het ontsnappen uit het vanggebied, stellen de auteurs een hybride aanpak voor en valideren deze: het uitvoeren van DDIM totdat de trajectorie convergeert in de buurt van de omgeving van het middelpunt, gevolgd door het injecteren van enkele stochastische DDPM-stappen. Deze strategie vermindert de hallucinatiegraad aanzienlijk in vergelijking met puur DDIM.

Experimentele resultaten
De auteurs valideren hun theoretische bevindingen door middel van uitgebreide experimenten op Gaussische mengelingen (25 modi in 2D en hogere dimensies) en afbeeldingsdatasets (driehoeken).

Hallucinatiepercentages: Empirische resultaten bevestigen dat DDIM aanzienlijk meer mode-interpolaties produceert dan DDPM.
Convergentiedynamica: Trajectorieën voor beide bemonsteraars worden waargenomen om snel te convergeren naar het dichtstbijzijnde lijnsegment tussen modi, wat de aanname van "twee-modus dominantie" valideert.
Middelpunt-vastzitten: Experimenten tonen aan dat DDIM-trajectorieën die starten binnen een specifieke straal van het middelpunt falen om echte modi te bereiken, terwijl DDPM-trajectorieën uit dit gebied ontsnappen.
Hybride effectiviteit: Het toevoegen van een klein aantal DDPM-stappen (bijvoorbeeld 2 tot 8) aan het einde van een DDIM-trajectorie verlaagt effectief de hallucinatiegraad, wat bevestigt dat ruisinjectie helpt bij het ontsnappen uit het vanggebied.

Betekenis en claims
Het artikel claimt de eerste wiskundige karakterisering te bieden van het structurele artefact dat ervoor zorgt dat DDIM meer hallucineert dan DDPM. De kernbevinding is dat het verwijderen van ruis in het omgekeerde proces (DDIM) een kwetsbaarheid creëert waar trajectieën kunnen vast komen te zitten in de "omgeving van het middelpunt" tussen modi, wat leidt tot mode-interpolatie. Omgekeerd werkt de stochastiek in DDPM als een noodzakelijk mechanisme om uit deze instabiele gebieden te ontsnappen.

De auteurs benadrukken dat deze analyse geldt zelfs met de exacte scorefunctie, waardoor het fenomeen wordt geïsoleerd als een fundamentele eigenschap van de omgekeerde dynamica in plaats van een artefact van scorebenadering of numerieke discretisatie. Ze concluderen dat de ruisterm gunstig is voor het verminderen van hallucinaties door mode-interpolatie en suggereren dat toekomstige bemonsteraarsontwerpen mechanismen moeten overwegen om te detecteren wanneer trajectieën vastzitten en dienovereenkomstig stochastiek te injecteren, in plaats van puur te vertrouwen op deterministische stroming voor efficiëntie. Het werk beoogt practitioners te leiden naar veiligere generatieve modellering door de valkuilen te benadrukken van het prefereren van DDIM boven DDPM in contexten waar structurele fideliteit kritiek is.