Score Approximation for Diffusion Models on Arbitrary Low-Dimensional Structures

Probleemstelling
De theoretische fundamenten van score-gebaseerde diffusiemodellen hebben grotendeels geleund op restrictieve aannames met betrekking tot de onderliggende datadistributie, specifiek het vereisen van Lipschitz-continue dichtheden of gladde manifold-supports. Echter, realistische perceptuele data (zoals afbeeldingen) vertonen vaak singulariteiten, scherpe grenzen en disjuncte clusters waar dichtheden discontinu zijn of gradiënten slecht gedefinieerd zijn. Bestaande complexiteitsgrenzen voor het benaderen van de scorefunctie $\nabla \log p_t(x)$ lijden doorgaans aan een exponentiële afhankelijkheid van de omgevingdimensie $n$, of ze zijn niet van toepassing op distributies die geen gladheid bezitten. Deze kloof roept een fundamentele theoretische vraag op: kunnen diffusiemodellen theoretisch succesvol zijn op willekeurige compacte datadistributies zonder aannames te doen over regulariteit of gladheid?

Methodologie
De auteurs stellen een universeel score-benaderingskader voor dat alle continuiteits- en gladheidsaannames wegneemt. De kern van hun aanpak is een nieuwe discrete-mengformule en een analytisch zware strategie die zich richt op de verzachtende effecten van Gaussische kernels.

1. Discrete-Mengformule: De auteurs deconstrueren de initiële distributie $p_0$ in een eindige mengeling van sub-distributies $p_i$, die elk worden ondersteund op een kleine bal $B(y_i, r)$. De ware scorefunctie wordt benaderd door de integraal over elke sub-distributie te vervangen door een puntmassa-evaluatie bij de lokale gemiddelde $\tilde{y}_i$. Dit transformeert het score-benaderingsprobleem in het benaderen van een gewogen som van Gaussische kernels.
2. Verdeel-en-heers Foutanalyse: Om de discretisatiefout te begrenzen, verdelen de auteurs de ruimte in "nabije" en "verre" groepen ten opzichte van een querypunt $x$.
   • Nabije Groep: Voor punten dicht bij de support laat de Taylor-expansie van de Gaussische kernel rond het lokale gemiddelde zien dat de benaderingsfout klein is.
   • Verre Groep: Voor punten ver van de support vervalt het Gaussische gewicht exponentieel. De auteurs bewijzen dat zelfs als de lokale benaderingsfout in deze regio's groot is, de bijdrage aan de totale fout verwaarloosbaar is vanwege het snelle verval van de kernel.
3. Universele Regulariteit: Een cruciale theoretische hindernis is het waarborgen dat de "slechte" punten (waar de benadering zou kunnen falen) een verwaarloosbare maat hebben. De auteurs introduceren een $C_1, C_2, r$-regulariteitsconditie en bewijzen een "Universele Regulariteit"-stelling: voor elke compact ondersteunde distributie is de verzameling punten die niet regulier zijn, willekeurig klein in maat. Dit zorgt ervoor dat de benadering bijna overal standhoudt.
4. Neuraal Netwerk Implementatie: De discrete mengformule wordt getoond als implementeerbaar door een ReLU-netwerk. De auteurs construeren een netwerk dat de noodzakelijke operaties (kwadrateren, exponentiëren, delen en Softmax) benadert met gecontroleerde fout, waarbij wordt gewaarborgd dat de output binnen de convexe huls van de support blijft.

Belangrijkste Bijdragen

• Universele Score Benadering Stelling: Het artikel stelt de eerste stelling vast die bewijst dat de scorefunctie voor elke distributie met compacte support (gekarakteriseerd door een bovenste Minkowski-dimensie $d$) kan worden benaderd door een ReLU-netwerk. Dit heft de noodzaak voor Lipschitz-, Hölder- of Sobolev-gladheid aan.
• Complexiteitsgrenzen: De auteurs bewijzen dat de netwerkcomplexiteit (parametergrootte) polynomiaal groeit met de omgevingdimensie $n$ en slechts exponentieel met de intrinsieke dimensie $d$. Specifiek schaalt de grootte ongeveer als $O(n^3 d/4 (1/\epsilon)^{d/2})$. Dit doorbreekt de "vloek van de omgevingdimensie" die bestaande theorieën teistert.
• Verzwakte Regulariteitscondities: Door het concept van universele regulariteit te introduceren, toont het werk aan dat de "slechte verzamelingen" waar de benadering faalt, een verwaarloosbare maat hebben voor elke compacte distributie, inclusioneel fractal-achtige maten (bijv. Cantor-maten) die geen kansdichtheidsfuncties bezitten.

Resultaten
De belangrijkste resultaat (Theorema 1) stelt dat voor een distributie $p_0$ met compacte support van diameter $R$, de ware scorefunctie $\nabla \log p_t(x)$ benaderd kan worden door een data-voorspellingsformule $\nabla \log p_{t,appr}(x) = s_\theta(x, t) - x/t$ zodanig dat de gemiddelde kwadratische fout begrensd is door $7\epsilon^2$ voor alle $t \in [t_0, T]$.

• Het benaderende netwerk $s_\theta$ heeft een diepte van $O(\log \omega \log \log \omega)$ en een breedte van $O(C_K r^{-d} (n \log \omega + \log^2 \omega))$, waarbij $\omega$ polynomiaal afhangt van $n$ en $1/\epsilon$.
• De foutgrens geldt globaal, waarbij de benaderingsfout begrensd is door $R/t$ voor punten buiten de distributie (out-of-distribution), wat integreerbaar is over de kleine waarschijnlijkheidsregio.

Betekenis
Het artikel claimt een rigoureuze theoretische rechtvaardiging te bieden voor het empirische succes van diffusiemodellen op onregelmatige, niet-gladde datastructuren. Door te bewijzen dat nauwkeurige score-schatting mogelijk is voor willekeurige compacte distributies zonder gladheidsaannames, overbrugt het werk de kloof tussen theoretische garanties en real-world datakenmerken (zoals pixel clipping en singulariteiten). De auteurs merken op dat hun verdeel-en-heers tactieken en regulariteitsresultaten kunnen worden aangepast om hogere-orde afgeleiden (zoals de Hessiaan) te begrenzen, wat potentieel kan bijdragen aan toekomstig theoretisch werk over diffusiemodellen dat momenteel steunt op aannames van begrensdheid voor deze termen. Het werk positioneert zichzelf als een fundamentele stap, die de reikwijdte van score-benaderingstheorie uitbreidt van gladde manifolds naar de algemene klasse van compact ondersteunde distributies.