Breaking the Curse of Dimensionality: Diffusion Models Efficiently Learn Low-Dimensional Distributions

Technische Samenvatting: Het doorbreken van de vloek van dimensionaliteit in diffusiemodellen

Probleemstelling
Ondanks het empirische succes van diffusiemodellen bij generatieve taken, blijft het theoretische mechanisme dat hen in staat stelt complexe datadistributies te leren, slecht begrepen. Bestaande theoretische grenzen suggereren dat het leren van willekeurige waarschijnlijkheidsverdelingen met behulp van diffusiemodellen lijdt onder de "vloek van dimensionaliteit", waarbij een aantal trainingsvoorbeelden vereist is dat exponentieel schaalt met de omgevingdimensie van de data ($O(\epsilon^{-n})$). Echter, empirisch bewijs wijst uit dat diffusiemodellen effectief distributies van afbeeldingen kunnen leren en kunnen generaliseren naar nieuwe monsters met veel minder voorbeelden dan deze grenzen voorspellen. Dit artikel adresseert de fundamentele vraag: Wanneer en waarom kunnen diffusiemodellen datadistributies leren zonder te lijden onder de vloek van dimensionaliteit?

Methodologie en Theoretisch Kader
Om de kloof tussen theorie en praktijk te overbruggen, stellen de auteurs een nieuw wiskundig kader voor op basis van de observatie dat real-world beelddata vaak ligt op een vereniging van laagdimensionale manifolds.

1. Datamodel (MoLRG): De auteurs modelleren de datadistributie als een Mixture of Low-Rank Gaussians (MoLRG). In dit model worden datapunten getrokken uit een vereniging van laagdimensionale lineaire subruimten, waarbij elke component een Gaussische verdeling is met een low-rank covariantie-matrix. Dit vangt de intrinsieke laagdimensionale structuur van afbeeldingen op terwijl de analytische hanteerbaarheid behouden blijft.
2. Netwerkparameterisatie: Om theoretische analyse mogelijk te maken, introduceren de auteurs een specifieke parameterisatie voor de Denoising Autoencoder (DAE) die wordt gebruikt in diffusiemodellen. In plaats van een standaard diepe U-Net, gebruiken zij een "mixture-of-experts"-architectuur bestaande uit meerdere éénlaagse lineaire encoders en decoders, gewogen door een softmax-achtige functie. Deze structuur is geïnspireerd op de analytische vorm van de posterieure gemiddelde van de MoLRG-distributie.
3. Equivalentie met Subspace Clustering: De kern van de theoretische bijdrage is het vaststellen van een equivalentie tussen het trainingsdoel van diffusiemodellen (het minimaliseren van de denoising loss) en het canonieke subspace clustering-probleem. Onder de MoLRG-aanname en de voorgestelde netwerkparameterisatie wordt aangetoond dat het optimaliseren van de diffusie-trainingsverlies wiskundig equivalent is aan het identificeren van de laagdimensionale subruimten die de data beslaan.

Belangrijkste Resultaten
Het artikel leidt rigoureuze steekproefcomplexiteitsgrenzen af en identificeert een faseovergang in het leervermogen van diffusiemodellen:

• Lineaire Steekproefcomplexiteit: De auteurs bewijzen dat het minimale aantal trainingsvoorbeelden ($N$) dat vereist is voor diffusiemodellen om de onderliggende MoLRG-distributie te leren, lineair schaalt met de intrinsieke dimensie ($d$) van de data, in plaats van de omgevingdimensie ($n$). Specifiek vindt succesvol leren plaats wanneer $N \geq d$ (voor een enkele component) of $N_k \geq d$ voor elke component in een mengeling.
• Faseovergang: Theoretische analyse (Theorema 2 en 4) demonstreert een scherpe faseovergang. Wanneer het aantal trainingsvoorbeelden onder de intrinsieke dimensie ligt, faalt het model in het herstellen van de onderliggende subruimten (het faalt in het leren van de distributie). Zodra het aantal monsters de intrinsieke dimensie overschrijdt, herstelt het model succesvol de subspace-bases met een fout die begrensd wordt door het ruisniveau.
• Empirische Validatie: Experimenten op zowel synthetische MoLRG-data als real-world beelddatasets (MNIST, FashionMNIST, CIFAR-10, FFHQ, CelebA, AFHQ) bevestigen de theoretische bevindingen. De auteurs observeren een sigmoïde vormige faseovergang in de generalisatieprestaties naarmate de ratio van trainingsvoorbeelden tot de intrinsieke dimensie ($N/ID$) toeneemt. Een "Generalization (GL) score" wordt gebruikt om het vermogen te meten om monsters te genereren die verschillend zijn van de trainingsset, wat aantoont dat generalisatie slaagt zodra $N$ lineair schaalt met $ID$.

Significantie en Claims
Het artikel claimt de eerste theoretische verklaring te bieden voor hoe diffusiemodellen in de praktijk de vloek van dimensionaliteit overwinnen door gebruik te maken van de intrinsieke laagdimensionale structuur van data.

• Overbrugging van Theorie en Praktijk: Door de training van diffusiemodellen te koppelen aan subspace clustering, verklaart dit werk waarom diffusiemodellen slagen bij beelddata waar generieke distributieleer-theorieën falen voorspellen.
• Generalisatiemechanisme: De studie biedt een geprincipeerd begrip van de overgang van "memorizatie" (het leren van de empirische distributie) naar "generalisatie" (het leren van de onderliggende distributie). Het stelt dat generalisatie wordt bereikt wanneer de steekproefomvang voldoende is om de intrinsieke dimensionaliteit van de data te resolveren.
• Semantische Correspondentie: De auteurs vestigen verder een correspondentie tussen de geleerde subspace-bases en semantische "task vectors" in vooraf getrainde diffusiemodellen. Zij demonstreren dat de basisvectoren die via hun theoretische analyse zijn geïdentificeerd, overeenkomen met richtingen in de latente ruimte die semantische attributen controleren (bijv. geslacht, kapsel), wat een fundament biedt voor controleerbare beeldgeneratie.

Samenvattend betoogt het werk dat diffusiemodellen geen willekeurige hoogdimensionale distributies leren; in plaats daarvan leren ze effectief de laagdimensionale subruimten die ten grondslag liggen aan de data, mits de trainingsset groot genoeg is om de intrinsieke dimensionaliteit te dekken. Dit inzicht herkadert de steekproefcomplexiteit van diffusiemodellen van exponentieel in de omgevingdimensie naar lineair in de intrinsieke dimensie.