Technische Samenvatting: Een Tutorial over Diffusietheorie: Van Differentiaalvergelijkingen tot Diffusiemodellen

Probleemstelling

Diffusiemodellen zijn opgekomen als een dominant paradigma in generatieve modellering, maar het vakgebied wordt gekenmerkt door een proliferatie van formuleringen: discrete Markov-ketens (DDPM), continue stochastische differentiaalvergelijkingen (SDE's), waarschijnlijkheidsstroom-ordinale differentiaalvergelijkingen (ODE's), score-matching en flow-matching. Hoewel bekend is dat deze benaderingen met elkaar verbonden zijn, worden de precieze wiskundige correspondenties ertussen – met name wat betreft hun trainingsdoelen, dynamica in omgekeerde tijd en steekproefprocedures – vaak verduisterd door verschillende notaties en perspectieven van discrete versus continue. Deze tutorial beoogt deze perspectieven te verenigen door diffusiemodellen strikt af te leiden vanuit het oogpunt van differentiaalvergelijkingen, en zo een rigoureuze brug te slaan tussen conditionele Gaussische processen, gemarginaliseerde voorwaartse dynamica en hun overeenkomstige formuleringen in omgekeerde tijd.

Methodologie

Het artikel hanteert een rigoureus wiskundig raamwerk geworteld in stochastische calculus en partiële differentiaalvergelijkingen om de theorie van diffusiemodellen te reconstrueren. De methodologie verloopt via de volgende logische fasen:

1. Conditioneel Voorwaarts Proces: De auteurs beginnen met het definiëren van een conditioneel Gaussisch voorwaarts proces $X_t | X_0 = x_0$ dat wordt bestuurd door parameters $\alpha_t$ en $\sigma_t$. Zij tonen aan dat dit specifieke pad twee equivalente representaties toelaat:

   • Een Conditionele ODE aangedreven door een snelheidsveld afgeleid van de conditionele score.
   • Een Conditionele SDE aangedreven door een driftterm en een Brownse beweging.
     Het artikel bewijst dat de conditionele dichtheid voldoet aan zowel de continuïteitsvergelijking (voor de ODE) als de Fokker-Planck-vergelijking (voor de SDE).

2. Marginalisatie: Door het conditionele proces te middelen over de data-verdeling $p_0, leiden de auteurs het **gemarginaliseerde voorwaartse proces** af. Zij tonen aan dat de marginale dichtheid$p_t(x)$ eveneens voldoet aan een continuïteitsvergelijking en een Fokker-Planck-vergelijking. Cruciaal maken zij gebruik van Fishers Identiteit om de marginale score $\nabla \log p_t(x)$ te relateren aan de verwachting van de conditionele score, en stellen vast dat het marginale snelheidsveld de verwachting is van het conditionele snelheidsveld.

3. Omgekeerde Dynamica: Het artikel introduceert de tijdsomgekeerde variabele $\tau = 1-t$ en leidt de dynamica in omgekeerde tijd af.

   • Omgekeerde SDE: Met behulp van de tijdsomkering van de voorwaartse SDE leiden de auteurs de omgekeerde SDE af, die wordt bestuurd door de marginale score $\nabla \log p_t(x)$.
   • Omgekeerde ODE (Waarschijnlijkheidsstroom): Zij leiden een deterministische ODE af die hetzelfde pad van marginale dichtheid deelt als de omgekeerde SDE. Deze "waarschijnlijkheidsstroom-ODE" blijkt een snelheidsveld te hebben dat een affiene transformatie is van de score.

4. Trainingsdoelen: De tutorial verbindt het standaarddoel van ruisvoorspelling dat in de praktijk wordt gebruikt, met het theoretische doel van score-matching. Met behulp van een orthogonaliteitsidentiteit bewijzen de auteurs dat het minimaliseren van de verwachte kwadratische fout tussen de ruisvoorspelling van een neurale netwerk en de werkelijke ruis equivalent is (op een constante na) aan het minimaliseren van de score-matching-verliesfunctie. Dit vestigt dat het standaard trainingsdoel de marginale score leert die nodig is voor zowel de omgekeerde SDE als de omgekeerde ODE.

5. Steekproeven en Unificatie: Het artikel beschrijft steekproefalgoritmen voor zowel de geleerde omgekeerde SDE (Euler-Maruyama) als de omgekeerde ODE (Euler, Heun en DPM-Solver). Tot slot wordt expliciet de discrete DDPM- en DDIM-algoritmen op dit continue raamwerk gemapt:

   • DDPM blijkt te corresponderen met een discrete benadering van de omgekeerde SDE, waarbij de stochastische term gebruikmaakt van de exacte posterior-variatie van de discrete keten.
   • DDIM blijkt te corresponderen met een discrete benadering van de omgekeerde ODE (deterministisch), met een stochasticiteitsparameter $\eta$ die interpolatie tussen de twee mogelijk maakt.

6. Gidsing en Flow Matching: Het raamwerk wordt uitgebreid om classifier-gidsing en classifier-vrije gidsing te omvatten, en wordt aangetoond hoe deze de omgekeerde drift modificeren. Bovendien verenigt het artikel Score Matching en Flow Matching, en wordt aangetoond dat het standaard diffusieverlies kan worden geïnterpreteerd als een gewogen flow-matching-doel voor de geïnduceerde waarschijnlijkheidsstroom-ODE.

Belangrijkste Bijdragen

• Gefuseerde Afleiding: Het artikel biedt een enkele, coherente afleiding die aantoont dat het conditionele Gaussische voorwaartse pad zowel ODE- als SDE-representaties toelaat, en dat het marginaliseren van dit pad leidt tot consistente marginale ODE- en SDE-formuleringen.
• Equivalentie van Doelen: Het bewijst rigoureus dat het standaard verlies voor ruisvoorspelling equivalent is aan score-matching, en toont verder aan dat ditzelfde verlies een flow-matching-doel induceert voor de deterministische omgekeerde ODE.
• Unificatie van DDPM/DDIM: Het werk verbindt expliciet de discrete DDPM- en DDIM-algoritmen met respectievelijk de continue omgekeerde SDE- en omgekeerde ODE-raamwerken. Het verduidelijkt dat DDPM-steekproeven een discretisatie van de eerste orde zijn van de omgekeerde SDE (met specifieke variatiehantering), terwijl DDIM een discretisatie is van de omgekeerde ODE.
• Verduidelijking van Ruistermen: De appendix biedt een gedetailleerde verduidelijking van de drie verschillende ruisymbolen ($W_t$, $W^{rev}_\tau$, $\bar{W}_t$) die worden gebruikt in voorwaartse en omgekeerde tijd, en lost veelvoorkomende notatieve verwarring op rond Brownse beweging in tijdsomgekeerde settings.
• Generalisatie van Gidsing: De tutorial formaliseert zowel classifier- als classifier-vrije gidsing binnen het omgekeerde SDE/ODE-raamwerk, en toont aan hoe deze de driftterm modificeren via de conditionele score.

Resultaten

Het artikel presenteert geen nieuwe empirische resultaten of experimentele benchmarks. In plaats daarvan zijn de "resultaten" theoretische afleidingen en bewijzen:

• Stelling 1.2 & 1.4: Bewijs dat het conditionele Gaussische pad wordt gegenereerd door zowel een specifieke ODE als een SDE.
• Stelling 2.1 & 2.2: Bewijs dat het gemarginaliseerde proces wordt gegenereerd door marginale ODE- en SDE-formuleringen.
• Stelling 3.3 & 3.5: Afleiding van de omgekeerde SDE en de omgekeerde waarschijnlijkheidsstroom-ODE, met bewijs dat ze hetzelfde pad van dichtheid delen.
• Stelling 4.2: Bewijs van de equivalentie tussen het verlies voor ruisvoorspelling en het verlies voor score-matching.
• Stelling 7.6 & 7.7: Aantonen dat DDPM-training en -inferentie corresponderen met het omgekeerde SDE-raamwerk op een discrete rooster.
• Stelling 7.8: Aantonen dat deterministische DDIM correspondeert met het omgekeerde ODE-raamwerk.
• Propositie 8.1: Bewijs dat het diffusieverlies een gewogen flow-matching-doel is voor de snelheid van de omgekeerde ODE.

Betekenis en Claims

Het artikel positioneert zichzelf als een tutorial die bedoeld is om de theoretische onderbouwing van moderne diffusiemodellen te verduidelijken. De betekenis ervan ligt in:

1. Brug slaan tussen Discreet en Continue: Het lost de ogenschijnlijke disconnectie op tussen de formuleringen van discrete Markov-ketens (DDPM) en de continue SDE/ODE-formuleringen (Song et al., 2020; Lipman et al., 2023), en toont aan dat ze verschillende discretisaties zijn van dezelfde onderliggende continue dynamica.
2. Verenigen van Perspectieven: Het verenigt het "score-gebaseerde" perspectief (het leren van $\nabla \log p_t$) met het "flow-gebaseerde" perspectief (het leren van een snelheidsveld $v_t$), en toont aan dat in de diffusie-instelling deze gekoppeld zijn door een eenvoudige affiene transformatie.
3. Pedagogische Rigor: Door elke stap af te leiden uit eerste principes (conditionele Gaussische kernen, Fokker-Planck-vergelijkingen, Itô-calculus), biedt het artikel een zelfstandige referentie die de notatieve inconsistenties vermijdt die vaak worden aangetroffen in verschillende subdomeinen van generatieve modellering.

De auteurs beweren dat dit raamwerk een "enkele taal" biedt voor het begrijpen van diffusiemodellen, flow-matching en score-matching, waardoor onderzoekers kunnen zien dat de omgekeerde SDE het stochastische generatieve model is, terwijl de omgekeerde ODE het deterministische flow-model is, beide aangedreven door dezelfde geleerde scorefunctie.