Reverse-Time Diffusion Processes for Discrete Time Linear and Nonlinear Systems with non-Gaussian Noise

Technische Samenvatting: Omgekeerde Diffusieprocessen voor Discrete Tijd Lineaire en Niet-Lineaire Systemen met Niet-Gaussische Ruis

Probleemstelling
Generatieve AI, in het bijzonder diffusiemodellen, vertrouwt op het omkeren van een voorwaarts stochastisch proces om data uit ruis te genereren. Hoewel continu-tijd diffusiemodellen goed begrepen worden via Stochastische Differentiaalvergelijkingen (SDE's), ontbreekt voor hun discrete-tijd tegenhangers—die essentieel zijn voor praktische implementatie—een directe theoretische basis voor omkering. Huidige benaderingen benaderen discrete processen doorels de limiet te nemen naar continue SDE's, de SDE om te keren, en vervolgens de resultaten te discretiseren. Deze indirecte "benadering van een benadering" introduceert fouten, computationele lasten en potentiële instabiliteit (bijv. begrensde continue oplossingen die leiden tot onbegrensde discrete oplossingen).

Bovendien zijn bestaande theorieën voor discrete-tijd omkering, zoals die voor Lineaire Tijd-Variërende (LTV) systemen met Gaussische inputs en toestanden, onvoldoende voor moderne Generatieve AI-toepassingen, die vaak niet-Gaussische initiële toestanden en niet-lineaire dynamica bevatten. Het kernprobleem dat wordt geadresseerd, is de ontwikkeling van een directe theorie voor het vinden van reverse-time discrete-tijd diffusieprocessen voor algemene niet-lineaire systemen met niet-Gaussische ruis en toestanden, zonder terug te vallen op continu-tijd benaderingen.

Methodologie
Het artikel vestigt een rigoureus kader voor het direct omkeren van een voorwaarts discrete-tijd diffusieproces gedefinieerd door:
$$x_{k+1} = f_k(x_k, u_k)$$
waarbij $x_k \in \mathbb{R}^n$ de toestand is, $u_k \in \mathbb{R}^m$ een witte, niet-Gaussische procesruis-sequentie is, en $f_k$ een continu differentieerbare niet-lineaire functie is. Het doel is om een reverse-time proces te construeren:
$$x_k = a_{k+1}(x_{k+1}, v_{k+1})$$
en een achterwaartse ruis-sequentie $v_k = h_k(x_k, u_{k-1})$ zodanig dat:

1. De mapping tussen voorwaartse variabelen $(x_k, u_k)$ en achterwaartse variabelen $(x_{k+1}, v_{k+1})$ een bijectie is.
2. De achterwaartse ruis $v_k$ wit is (gezamenlijk onafhankelijk over de tijd).
3. De achterwaartse ruis $v_k$ onafhankelijk is van de toestand $x_i$ voor alle $i \geq k$.

De methodologie verloopt via verschillende cruciale theoretische stappen:

• Onafhankelijkheidscondities: De auteurs leiden een noodzakelijke en voldoende voorwaarde af voor de onafhankelijkheid van de achterwaartse ruis $v_{k+1}$ en de toestand $x_{k+1}$. Deze conditie wordt uitgedrukt via de voorwaardelijke karakteristieke functie van de ruis-transformatiefunctie $h$. Specifiek: $v_{k+1}$ en $x_{k+1}$ zijn onafhankelijk indien en slechts indien de voorwaardelijke verwachting $E[e^{j\omega^T h(x, u)} | x]$ functioneel onafhankelijk is van $x$.
• Bijectie en Constructie: Om te garanderen dat het achterwaartse proces dezelfde steekproefpaden genereert als het voorwaartse proces, maakt het artikel gebruik van de impliciete functiestelling. Er wordt een familie van geldige ruis-transformatiefuncties $h_k$ geconstrueerd met behulp van voorwaardelijke Cumulatieve Verdelingsfuncties (CDF's). Specifiek wordt een Rosenblatt-transformatie toegepast, waarbij de componenten van $v_{k+1}$ worden gedefinieerd als de voorwaardelijke CDF's van de voorwaartse ruiscomponenten gegeven de toestand. Dit garandeert dat $v_{k+1}$ uniform verdeeld is op $[0, 1]^m$ en onafhankelijk is van $x_{k+1}$.
• Input-Affine Analyse: Het artikel onderzoekt het specifieke geval waar het voorwaartse proces lineair is ($x_{k+1} = F_k x_k + G_k u_k$) en de ruis Gaussisch is. Het stelt noodzakelijke en voldoende voorwaarden vast waaronder het achterwaartse model "input-affien" is (d.w.z. lineair in de achterwaartse ruis). Dit vereist dat de ruis-transformatiefunctie affien is in de voorwaartse ruis.

Belangrijkste Resultaten

1. Bestaan van Algemene Reverse Diffusies: Het artikel bewijst dat een directe reverse-time discrete diffusie bestaat voor een brede klasse van niet-lineaire, niet-Gaussische systemen. Het biedt expliciete constructiemethoden voor de reverse dynamica en de reverse ruis-sequentie met behulp van voorwaardelijke verdelingen, waarbij de vereiste onafhankelijkheids- en witheidseigenschappen worden gewaarborgd zonder continu-tijd benadering.
2. Niet-bestaan van Input-Affine Omkeringen voor Niet-Gaussische Toestanden: Een belangrijke theoretische bevinding is dat voor lineaire voorwaartse processen met Gaussische ruis, een input-affien reverse model (waarbij de reverse toestand een affine functie is van de reverse ruis) over het algemeen niet bestaat als de initiële toestandverdeling niet-Gaussisch is.
   • In het scalaire geval bewijst het artikel dat als een input-affien reverse model bestaat, de initiële toestand Gaussisch moet zijn.
   • In het vectorgeval, voor een brede klasse van niet-Gaussische initiële toestand-densiteiten (inclusief Gaussische mengverdelingen), kan het reverse model niet input-affien zijn. Dit contrasteert scherp met de continu-tijd SDE-theorie, waar dergelijke omkeringen vaak als lineair of affien worden aangenomen.
3. Herstel van Bekende Resultaten: Wanneer zowel de initiële toestand als de ruis Gaussisch zijn, herstelt de afgeleide theorie de bekende resultaten voor lineaire Gaussische systemen (bijv. die in [13]), wat de geldigheid van het nieuwe kader bevestigt.
4. Gaussische Mengverdelingen: Het artikel benadrukt dat voor toestand-densiteiten die gemodelleerd worden als Gaussische mengverdelingen (die veel distributies benaderen), de reverse diffusie inherent niet-lineair en niet-affien is, zelfs als het voorwaartse proces lineair is en de ruis Gaussisch is.

Betekenis en Claims
Het artikel claimt de eerste directe theorie te bieden voor het omkeren van discrete-tijd stochastische verschilvergelijkingen met niet-Gaussische toestanden en ruis, waarbij de beperkingen van continu-tijd benaderingen worden omzeild. De primaire bijdragen zijn:

• Theoretisch Fundament: Het vult een gat in de literatuur door een directe wiskundige basis te bieden voor discrete-tijd omkering, waarmee de problemen van de "indirecte benadering" (zoals foutaccumulatie en computationele kosten) worden aangepakt.
• Generaliteit: De theorie is toepasbaar op niet-lineaire tijdvariërende systemen en niet-Gaussische verdelingen, die cruciaal zijn voor praktische Generatieve AI-toepassingen waar initiële datadistributies zelden Gaussisch zijn.
• Fundamentele Beperkingen: Het demonstreert rigoureus een fundamenteel verschil tussen discrete-tijd en continu-tijd omkering: de aanname dat reverse modellen input-affien zijn, is ongeldig voor een breed scala aan niet-Gaussische initiële toestanden. Dit suggereert dat generatieve modellen gebaseerd op discrete-tijd omkeringen inherent niet-lineaire architecturen kunnen vereisen, zelfs voor lineaire voorwaartse processen.
• Constructieve Benadering: Door expliciete formules te bieden voor het construeren van de reverse ruis en dynamica met behulp van voorwaardelijke CDF's, biedt het artikel een pad voor het ontwerpen van generatieve modellen die theoretisch geworteld zijn in discrete tijd.

De auteurs concluderen dat hoewel het reverse model bestaat voor algemene gevallen, de specifieke structuur van het reverse proces (bijv. of het input-affien is) sterk wordt beperkt door de initiële toestandverdeling, een nuance die vaak over het hoofd wordt gezien in de huidige praktijken van Generatieve AI die vertrouwen op continu-tijd benaderingen.