Fractals made Practical: Denoising Diffusion as Partitioned Iterated Function Systems

Probleemstelling

Moderne score-based diffusiemodellen genereren hoogwaardige afbeeldingen via een sequentieel proces van ruisreductie. Hoewel de theoretische basis ligt in continue tijd-stochastische differentiaalvergelijkingen (SDE's) of kansstromen (ODE's), biedt deze continue perspectief weinig inzicht in de discrete structuur van het bemonsteringsproces. Specifiek blijft onduidelijk:

1. Hoe assembleert het model in de vroege stappen (hoge ruis) een globaal ruimtelijk context?
2. Hoe synthetiseert het in de latere stappen (lage ruis) gelokaliseerde fijne details?
3. Waarom is self-attention zo effectief als een generatieve primitief in deze processen?

Bestaande theorie behandelt het geleerde score-netwerk vaak als een "black box", zonder de onderliggende geometrische dynamiek van de discrete keten te verklaren.

Methodologie

De auteur stelt dat de deterministische DDIM-reverse keten (een specifieke manier om ruis om te zetten in een afbeelding) functioneert als een Partitioned Iterated Function System (PIFS). Dit concept, oorspronkelijk ontwikkeld voor fractale beeldcompressie door Jacquin (1992), wordt hier toegepast op generatieve AI.

De kern van de methode is het analyseren van de DDIM-operator $\Phi_t$ als een samenstelling van contracties en expansies op patch-niveau (kleine blokken van de afbeelding). De auteur leidt drie meetbare geometrische grootheden af die de dynamiek volledig karakteriseren, zonder dat het model daadwerkelijk uitgevoerd hoeft te worden:

1. Contractiedrempel ($L^*_t$): Een per-stap drempel die bepaalt wanneer de operator contractief is in de Euclidische norm.
2. Diagonale expansiefunctie ($f_t(\lambda)$): Een functie die bepaalt of een specifiek patch (gebaseerd op zijn variantie $\lambda$) expansief of contractief is.
3. Globale expansiedrempel ($\lambda^{**}$): Een unieke oplossing voor een discrete Moran-vergelijking die bepaalt welke patches bijdragen aan de fractale dimensie van de attractor.

De analyse combineert lineaire algebra (Jacobiaan-analyse), dynamische systemen (Lyapunov-exponenten, Kaplan-Yorke-dimensie) en statistiek (Wasserstein-afstand) om de leerprocessen van het model te verklaren.

Belangrijkste Bijdragen

1. PIFS-Structuur en Twee-Regime Dynamiek

Het artikel bewijst dat diffusiemodellen een twee-regime structuur vertonen die direct voortvloeit uit de PIFS-eigenschappen:

• Regime I (Hoge ruis / Globale context): De operator is globaal contractief. Diffuse attention zorgt voor sterke koppeling tussen verschillende patches (cross-patch coupling), terwijl een geleerde "onderdrukkingsveld" (suppression field) $S_{k,t}$ zorgt dat de diagonale blokken (individuele patches) onder de expansiedrempel blijven. Hier wordt de globale compositie samengesteld.
• Regime II (Lage ruis / Fijne details): De onderdrukking wordt patch-voor-patch losgelaten in een strikte volgorde gebaseerd op variantie (laagvariatie patches eerst, hoogvariatie later). Attention wordt gelokaliseerd. Dit zorgt voor de synthese van details.

2. De Rol van Self-Attention

Self-attention wordt geïdentificeerd als de natuurlijke primitief voor deze PIFS-structuur. De auteur toont aan dat de cross-patch koppeling ($\delta^{cross}_t$) direct wordt begrensd door de attention-weights.

• In Regime I is attention diffuus (hoge entropie), wat zorgt voor globale coherentie.
• In Regime II localiseert attention (lage entropie), wat toelaat dat individuele patches vrij kunnen expanderen zonder de globale structuur te verstoren.

3. Training als Collage-Minimalisatie

Het artikel trekt een directe link tussen Score Matching (de trainingsdoelstelling) en Barnsley's Collage Theorem uit de fractale theorie.

• Het minimaliseren van de reconstructiefout tijdens training is wiskundig equivalent aan het minimaliseren van de "collage error" van een PIFS.
• Dit verklaart waarom het model convergeert naar een vaste punt (attractor) dat de data-manifold nabootst.
• Er wordt een nieuwe PIFS-regularisator voorgesteld die de contractievoorwaarden direct tijdens het trainen afdwingt.

4. Fractale Dimensie en Attractor Geometrie

De Kaplan-Yorke-dimensie van de attractor (een maat voor de complexiteit en diversiteit van de gegenereerde data) wordt analytisch afgeleid via de Lyapunov-spectrum.

• De dimensie is positief dan en slechts dan als er patches zijn met een variantie die de globale drempel $\lambda^{**}$ overschrijdt.
• Het onderdrukkingsveld $S_{k,t}$ verlaagt de effectieve expansie, waardoor de attractor-dimensie kleiner wordt dan wat een puur Gaussisch model zou voorspellen. Dit verklaart hoe modellen zowel diverse als hoge kwaliteit afbeeldingen kunnen genereren.

5. Praktische Implicaties en Design Criteria

De PIFS-framework biedt een unificerende taal om bestaande empirische keuzes in diffusiemodellen te verklaren als oplossingen voor expliciete geometrische optimalisatieproblemen:

• Cosine Schedule Offset (Nichol & Dhariwal): Verhoogt de contractiedrempel in de laatste stappen om fijne details te stabiliseren.
• Resolutie-afhankelijke LogSNR Shift: Compenseert voor de verandering in patch-variantie bij verschillende resoluties om de Moran-vergelijking geldig te houden.
• Min-SNR Loss Weighting: Corrigeert de trainingsgewichten om de bijdrage aan de KY-dimensie (manifold-assemblage) te egaliseren over de tijd.
• Align Your Steps (AYS): Optimaliseert de plaatsing van bemonsteringsstappen waar de contractiedrempel het kleinst is (d.w.z. waar de geometrische moeilijkheid het grootst is).

Resultaten en Validatie

De theorie werd empirisch gevalideerd op voorgeprogrammeerde modellen voor CIFAR-10 en CelebA-HQ:

• Twee-Regime Bevestiging: Metingen van de Jacobiaan bevestigden dat de diagonale blokken in Regime I onderdrukt blijven door $S_{k,t}$, terwijl ze in Regime II expansief worden.
• Stratified Release: Er werd waargenomen dat patches met lagere variantie eerder "losgelaten" worden dan die met hogere variantie, wat de voorspelde volgorde bevestigt.
• Spearman Rank Correlation: De correlatie tussen patch-variantie en expansie keerde om tijdens de overgangsfase (Regime I naar II), wat de theorie van "geleerde onderdrukking" bevestigt.
• Kaplan-Yorke Dimensie: Voor CelebA-HQ voorspelde de theorie dat de onderdrukkingsvelden sterk genoeg zijn om de attractor-dimensie naar nul te brengen (wat overeenkomt met de hoge kwaliteit maar lagere diversiteit van dit specifieke model), terwijl het voor CIFAR-10 een niet-triviale dimensie voorspelde.

Significantie

Dit artikel is een doorbraak omdat het de "black box" van diffusiemodellen openbreekt door ze te koppelen aan de wiskundig goed begrepen theorie van Iterated Function Systems.

1. Theoretisch Inzicht: Het biedt een fundamentele verklaring voor waarom self-attention werkt en hoe globale en lokale eigenschappen in generatieve modellen worden gecoördineerd.
2. Design Framework: Het transformeert heuristische keuzes (zoals schedules en loss weighting) van empirische observaties naar wiskundig onderbouwde optimalisatieproblemen.
3. Toekomstige Richting: Het opent de deur voor het ontwerpen van nieuwe architecturen en trainingsdoelen die expliciet de fractale geometrie van de data-manifold benutten, en biedt een nieuwe manier om de diversiteit en stabiliteit van generatieve modellen te analyseren via de Kaplan-Yorke-dimensie.

Kortom, het paper toont aan dat de kracht van self-similair patch-structuur in natuurlijke afbeeldingen (zoals Barnsley in 1988 al zag) de drijvende kracht is achter het succes van moderne denoising diffusion modellen.