Denoising Diffusion Probabilistic Models

Dit paper introduceert hoogwaardige beeldsynthese met behulp van Diffusie Probabilistische Modellen, die een state-of-the-art FID-score van 3,17 op CIFAR10 bereiken en een progressief verliesgevoelig decompressieschema bieden dat is geïnspireerd op niet-evenwichtsthermodynamica.

De kern

Denoising Diffusion Probabilistic Models: Een Simpele Uitleg

Stel je voor dat je een schilderij wilt maken, maar je begint niet met een leeg canvas en een penseel. In plaats daarvan begin je met een emmer vol modderige, onherkenbare troep. Je doel is om die troep stap voor stap schoon te maken totdat er een prachtig, helder schilderij uit komt.

Dat is precies wat deze paper beschrijft: een nieuwe manier voor computers om prachtige afbeeldingen te maken, genaamd Diffusion Models.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Verhaal van de Modderige Foto (Het Leerproces)

Stel je voor dat je een foto van een hond hebt.

• Stap 1: Je gooit een beetje modder op de foto. Je ziet de hond nog net.
• Stap 2: Je gooit nog wat meer modder eroverheen. De hond wordt wazig.
• Stap 3 tot 1000: Je blijft modder toevoegen tot de foto eruitziet als een willekeurige, grijze ruis. Je kunt de hond niet meer zien.

Dit proces heet de voorwaartse diffusie. De computer leert dit proces na te bootsen: "Hoe ziet het eruit als ik steeds meer ruis toevoeg?"

Maar het echte wonder gebeurt in de omgekeerde richting. De computer moet leren hoe je die modder terug verwijdert.

• De computer kijkt naar een modderige foto en vraagt zich af: "Als ik hier een beetje modder afhaal, wat zou er dan onder zitten?"
• Het doet dit duizenden keren. Eerst haalt het de grootste klonten modder weg (zoals de vorm van de hond), en aan het einde haalt het de kleine vlekjes weg (zoals de details in de vacht).

Uiteindelijk, na 1000 stappen van "modder verwijderen", is er een perfecte foto van een hond ontstaan, puur uit het niets.

2. De "Denoising" Truc (De Slimme Manier)

In het verleden waren computers heel traag en onnauwkeurig in dit proces. Ze probeerden vaak direct de hele foto te voorspellen, wat erg moeilijk is.

De auteurs van deze paper (Jonathan Ho, Ajay Jain en Pieter Abbeel) hebben een slimme truc bedacht. In plaats van te vragen: "Wat is de hele foto?", vragen ze de computer: "Wat is de ruis die ik zojuist heb toegevoegd?"

• Vergelijking: Stel je voor dat je een brief leest die door iemand is beschreven met een viltstift. In plaats van te proberen de hele tekst te raden, vraagt de computer: "Waar staat de viltstift?" Zodra je weet waar de viltstift zit, kun je die wegvegen en de tekst eronder lezen.
• Door te leren de ruis te voorspellen, wordt de taak voor de computer veel makkelijker. Het is alsof je een puzzel oplost door eerst te kijken welke stukjes niet horen, in plaats van te proberen de hele afbeelding in één keer te tekenen.

3. Waarom is dit zo goed? (De Resultaten)

Deze methode werkt verrassend goed.

• Kwaliteit: De afbeeldingen die ze maken zijn zo scherp en realistisch, dat ze beter zijn dan veel andere bekende methoden (zoals GANs, die vaak bekend staan om het maken van surrealistische gezichten met zes vingers).
• Snelheid vs. Kwaliteit: Het kost wel tijd om de "modder" stap voor stap weg te halen (het duurt even om een foto te genereren), maar de kwaliteit is top.
• Recordbrekend: Op de bekende CIFAR10 dataset (kleine, simpele afbeeldingen) hebben ze een score behaald die de beste tot nu toe is. Op grotere, complexere afbeeldingen (zoals kerkinterieurs) zijn ze net zo goed als de beste concurrenten.

4. De "Progressieve" Ontpakking (Hoe het voelt om te kijken)

Een van de coolste dingen aan deze methode is hoe het beeld ontstaat.
Stel je voor dat je een cadeau uitpakt, maar dan in omgekeerde richting.

• Je begint met een wazige, grijze vlek.
• Na een paar seconden zie je vaag de contouren van een gebouw of een gezicht.
• Daarna verschijnen de grote kleuren en vormen.
• Uiteindelijk, op het allerlaatste moment, komen de fijne details: de textuur van de huid, de glans in de ogen, de bladeren op een boom.

Het is alsof je een beeld uit de mist ziet opduiken. Dit noemen ze een "progressieve decompressie". Het voelt heel natuurlijk, omdat het net zo werkt als hoe wij de wereld waarnemen: eerst de grote lijnen, dan de details.

5. Wat betekent dit voor de toekomst?

Deze paper laat zien dat we niet alleen betere afbeeldingen kunnen maken, maar dat we ook een dieper inzicht hebben gekregen in hoe data werkt.

• Compressie: Het idee dat je een foto kunt "oplossen" uit ruis, suggereert dat we misschien heel slimme manieren kunnen vinden om bestanden kleiner te maken (compressie), omdat we weten welke details echt belangrijk zijn en welke "ruis" zijn.
• Creativiteit: Omdat het zo goed werkt, kunnen kunstenaars en ontwerpers in de toekomst gebruikmaken van deze technologie om nieuwe ideeën te genereren, van nieuwe kledingstijlen tot unieke landschappen.

Kortom:
De auteurs hebben een manier gevonden om computers te leren om een schilderij te maken door eerst een rommelige modderbrij te maken en die vervolgens stap voor stap schoon te poetsen. Door slim te kijken naar waar de modder zit, kunnen ze uiteindelijk foto's maken die zo realistisch zijn, dat je ze nauwelijks van de echte wereld kunt onderscheiden. Het is een grote stap voorwaarts in de wereld van kunstmatige intelligentie.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Denoising Diffusion Probabilistic Models" (DDPM) van Jonathan Ho, Ajay Jain en Pieter Abbeel, geschreven in het Nederlands.

Probleemstelling

Diepe generatieve modellen (zoals GANs, autoregressieve modellen, flows en VAEs) hebben recentelijk indrukwekkende resultaten geboekt in het genereren van hoge kwaliteit afbeeldingen. Echter, bestaande methoden hebben vaak specifieke beperkingen:

• GANs zijn moeilijk te trainen (instabiliteit, mode collapse) en bieden geen directe schatting van de waarschijnlijkheidsdichtheid (likelihood).
• Autoregressieve modellen en Flows kunnen wel likelihoods berekenen, maar zijn vaak computatief zwaar of hebben moeite met het genereren van zeer hoge kwaliteit samples die concurreren met GANs.
• Diffusiemodellen (geïntroduceerd door Sohl-Dickstein et al.) zijn theoretisch interessant en makkelijk te trainen, maar er was tot dit paper geen bewijs dat ze in staat waren om samples van vergelijkbare kwaliteit te genereren als de state-of-the-art GANs.

Het doel van dit paper is om te bewijzen dat diffusieprobabilistische modellen wel degelijk hoge kwaliteit afbeeldingen kunnen genereren en om de theoretische basis te leggen voor een efficiëntere training en sampling.

Methodologie

Het paper introduceert een verfijning van diffusieprobabilistische modellen, gebaseerd op een Markov-keten die een "forward" en een "reverse" proces omvat.

1. Het Forward Proces (Diffusie):
Dit is een vast proces waarbij er geleidelijk aan ruis wordt toegevoegd aan de data $x_0$ totdat het een standaard normale verdeling $N(0, I)$ wordt. Dit gebeurt in $T$ stappen met een vooraf bepaald variance-schema $\beta_t$.

• Het proces is zodanig ontworpen dat $x_t$ op elk tijdstip $t$ direct kan worden berekend uit $x_0$ zonder de tussenstappen te hoeven simuleren:
  $$q(x_t|x_0) = \mathcal{N}(x_t; \sqrt{\bar{\alpha}_t}x_0, (1-\bar{\alpha}_t)I)$$
  waarbij $\bar{\alpha}_t = \prod_{s=1}^t (1-\beta_s)$.

2. Het Reverse Proces (Generatie):
Het doel is om de omgekeerde keten te leren, die ruis omzet in data. Dit wordt gemodelleerd als een parameteriserde Markov-keten $p_\theta(x_{t-1}|x_t)$, waarbij de overgangen Gaussisch zijn.

• Parameterisatie: In plaats van de mean $\mu_\theta$ direct te voorspellen, stellen de auteurs voor om de ruis $\epsilon$ te voorspellen die aan de data is toegevoegd. Gezien $x_t = \sqrt{\bar{\alpha}_t}x_0 + \sqrt{1-\bar{\alpha}_t}\epsilon$, kan het netwerk $\epsilon_\theta(x_t, t)$ leren.
• Verbinding met Score Matching: De auteurs tonen aan dat het voorspellen van $\epsilon$ equivalent is aan Denoising Score Matching over meerdere ruisschalen. Dit verbindt diffusiemodellen met de theorie van Langevin-dynamica.

3. Vereenvoudigde Trainingsdoelstelling:
De oorspronkelijke variational bound (ELBO) is complex. De auteurs leiden een vereenvoudigde, gewogen doelstelling af:
$$L_{simple} = \mathbb{E}_{t, x_0, \epsilon} [\| \epsilon - \epsilon_\theta(\sqrt{\bar{\alpha}_t}x_0 + \sqrt{1-\bar{\alpha}_t}\epsilon, t) \|^2]$$

• Dit is in feite een standaard Mean Squared Error (MSE) loss tussen de echte ruis en de voorspelde ruis.
• Een cruciale observatie is dat het weglaten van de gewichten in de ELBO (die normaal gesproken de bijdrage van verschillende tijdstippen wegen) leidt tot betere samplekwaliteit. Door de loss voor kleine $t$ (weinig ruis) minder zwaar te wegen, kan het netwerk zich meer focussen op het moeilijker denoisen bij grote $t$.

4. Architectuur:
Het model gebruikt een U-Net backbone met self-attention mechanismen op lagere resoluties. De tijd $t$ wordt ingevoerd via sinusvormige posities-embeddings (vergelijkbaar met Transformers).

Belangrijkste Bijdragen

1. State-of-the-art Samplekwaliteit: Het paper demonstreert voor het eerst dat diffusiemodellen samples kunnen genereren die concurreren met, en in sommige gevallen beter zijn dan, GANs (zoals StyleGAN2) op zowel CIFAR-10 als LSUN-datasets.
2. Theoretische Connectie: Er wordt een expliciete link gelegd tussen diffusiemodellen, denoising score matching en geannealde Langevin-dynamica. Dit rechtvaardigt de keuze voor de $\epsilon$-voorspellende parameterisatie.
3. Vereenvoudigde Training: De introductie van $L_{simple}$ maakt training eenvoudiger en effectiever dan het optimaliseren van de volledige ELBO.
4. Progressieve Lossy Decompressie: Het paper introduceert het concept dat het sampling-proces van diffusiemodellen kan worden gezien als een vorm van progressieve lossy decompressie. Dit is een generalisatie van autoregressieve decoding, waarbij het model eerst globale structuren genereert en vervolgens details toevoegt.
5. Interpretatie van Likelihood: Hoewel de modellen geen concurrentie kunnen bieden op het gebied van log-likelihood (ze zijn geen perfecte lossless compressoren), blijkt dat de "bits" die nodig zijn voor de likelihood voornamelijk worden besteed aan onwaarneembare details van de afbeelding.

Resultaten

De resultaten worden gepresenteerd op standaard benchmarks:

• CIFAR-10 (Unconditional):
  • FID Score: 3.17 (State-of-the-art, beter dan StyleGAN2 + ADA).
  • Inception Score: 9.46.
  • NLL (Negative Log Likelihood): ~3.75 bits/dim (beter dan veel EBM-methoden, maar lager dan autoregressieve modellen).
• LSUN (256x256):
  • LSUN Bedroom: FID van 4.90 (met een groter model).
  • LSUN Church: FID van 7.89.
  • Deze scores zijn vergelijkbaar met ProgressiveGAN en StyleGAN2.
• Progressieve Generatie: Visualisaties tonen aan dat bij het sampling-proces eerst grove structuren (pose, achtergrond) verschijnen en pas later fijne details, wat bevestigt dat het model werkt als een progressieve decoder.

Betekenis en Impact

Dit paper is een mijlpaal in het veld van generatieve AI:

• Validatie van Diffusiemodellen: Het bewijst dat diffusiemodellen een krachtig alternatief zijn voor GANs, met het voordeel van stabielere training en geen last van mode collapse.
• Brug tussen theorie en praktijk: Door de connectie met score matching te benutten, biedt het een solide theoretisch fundament voor een methode die praktisch zeer goed werkt.
• Toekomstige richting: De resultaten hebben de weg vrijgemaakt voor de explosie van diffusiemodellen in de jaren daarna (zoals DALL-E 2, Stable Diffusion, Midjourney), die allemaal gebaseerd zijn op de principes uit dit paper. Het paper legt de basis voor het begrijpen van hoe generatieve modellen kunnen leren om data te reconstrueren door geleidelijk ruis te verwijderen.

Kortom, Ho et al. hebben bewezen dat diffusiemodellen niet alleen theoretisch interessant zijn, maar ook de praktijk van hoge kwaliteit beeldgeneratie kunnen domineren door een slimme combinatie van thermodynamische principes, variational inference en denoising score matching.