📊 statistics

A Random Matrix Theory Perspective on the Consistency of Diffusion Models

Dit artikel maakt gebruik van een raamwerk van de random matrix theory om aan te tonen dat de consistentie van diffusiemodellen over niet-overlappende datasetschillen voortkomt uit gedeelde Gaussische statistiek, waarbij wordt onthuld hoe de eindige omvang van de dataset en spectrale eigenschappen systematisch de verwachting en variantie van gegenereerde monsters vormgeven.

Oorspronkelijke auteurs: Binxu Wang, Jacob Zavatone-Veth, Cengiz Pehlevan

Gepubliceerd 2026-07-07

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Binxu Wang, Jacob Zavatone-Veth, Cengiz Pehlevan

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Mysterie: Waarom zijn AI-kunstenaars het eens?

Stel je voor dat je twee verschillende chefs inhuurt om een taart te bakken met exact hetzelfde receptenboek, maar ze krijgen twee verschillende, niet-overlappende stapels bloem en suiker uit dezelfde enorme opslagplaats. Je zou verwachten dat hun taarten een klein beetje van smaak zouden verschillen omdat hun ingrediënten uit verschillende plekken in de opslagplaats kwamen.

Echter, bij moderne AI-beeldgeneratoren (genaamd Diffusion Models), gebeurt er iets vreemds. Als je twee verschillende AI-modellen precies dezelfde "seed" geeft (een willekeurig beginpatroon van ruis), produceren ze afbeeldingen die bijna identiek zijn—zelfs als ze getraind zijn op twee volledig verschillende helften van de data.

De paper vraagt zich af: Waarom zijn deze onafhankelijke modellen zo perfect met elkaar eens?

De Kernontdekking: Het Draait Om de "Gemiddelde"

De auteurs ontdekten dat de reden voor deze overeenstemming verrassend eenvoudig is. Hoewel de AI complex is, is het deel van de data dat het belangrijkst is voor deze consistentie simpelweg de basisstatistieken: de gemiddelde kleur, de gemiddelde vorm, en hoe dingen gewoon samen variëren (zoals hoe ogen en neuzen meestal op een gezicht zitten).

Denk er zo over na: Als je twee mensen vraagt om een "typisch gezicht" te beschrijven op basis van een fotoalbum, zullen ze allebei een gezicht beschrijven met ogen in het midden en een neus eronder. Ze missen misschien de kleine sproetjes of de specifieke haarlijn van een specifiek persoon, maar ze zullen het eens zijn over de "gemiddelde" structuur. De paper stelt dat diffusiemodellen vooral deze "gemiddelde" structuur leren, wat de reden is dat ze het eens zijn.

Het Instrument: Random Matrix Theory (De "Wiskundige Telescoop")

Om dit te bewijzen, gebruikten de auteurs een tak van de wiskunde genaamd Random Matrix Theory (RMT).

De Analogie: Stel je voor dat je het weer probeert te voorspellen door naar een enkele regendruppel te kijken. Dat is onmogelijk. Maar als je naar een miljard regendruppels tegelijk kij bent vallen, ontstaan er patronen. RMT is een wiskundige telescoop die het ons mogelijk maakt om naar de "miljard regendruppels" aan data (de enorme matrices binnenin de AI) te kijken om de onderliggende patronn te zien zonder verloren te raken in de ruis.

Met behulp van deze telescoop hebben de auteurs een theorie gebouwd die uitlegt hoe de AI zich gedraagt wanneer deze niet over oneindige hoeveelheden data beschikt.

Drie Belangrijke Bevindingen (De "Regels van het Spel")

De paper verdeelt het gedrag van deze modellen in drie hoofdconcepten:

1. Het "Ruisfilter"-effect (Renormalisatie)

Wanneer een AI probeert te leren van een beperkte dataset, wordt hij een beetje nerveus. Hij begint te denken: "Is dit kleine detail echt, of is het gewoon willekeurige ruis?"

De Metafoor: Stel je voor dat je probeert een fluistering te horen in een drukke kamer. Als je het niet zeker weet, draai je misschien het volume van de hoge geluiden (de details) omlaag en focus je alleen op de diepe, brommende bas (de hoofdstructuur).
Het Resultaat: De AI "oversinkt" de details. Het trekt de gegenereerde afbeelding dichter naar het gemiddelde gezicht, waardoor de texturen gladder en minder gedetailleerd zijn dan ze zouden moeten zijn. De wiskunde laat zien dat de AI effectief het "ruisniveau" in zijn eigen hoofd verhoogt, waardoor het subtiele, laag-variërende details negeert, tenzij het over een enorme hoeveelheid data beschikt.

2. De "Richting-Bias" (Anisotropie)

Niet alle details zijn even moeilijk te leren.

De Metafoor: Stel je een landschap voor met grote, glooiende heuvels (belangrijke kenmerken) en kleine kiezelsteentjes (kleine details). Als je een kleine kaart hebt, kun je de grote heuvels gemakkelijk tekenen. Maar de kleine kiezelsteentjes? Die mis je misschien volledig, of je tekent ze op de verkeerde plek.
Het Resultatum: De AI is zeer consistent over de "grote heuvels" (belangrijke kenmerken zoals de vorm van een gezicht), omdat die in elke datapartitie gemakkelijk te zien zijn. Maar hij is het meer oneens over de "kiezelsteentjes" (fijne details), omdat die moeilijker vast te leggen zijn met beperkte data. De paper biedt een formule om precies te voorspellen welke details wankel zullen zijn.

3. Het "Locatie Maakt Uit"-effect (Inhomogeniteit)

De AI is ook verward over sommige delen van de afbeelding dan andere.

De Metafoor: Als je een menigte aan het tekenen bent, ben je erg goed in het tekenen van de mensen die in de voorste rij staan (waar de data dicht is). Maar als je iemand probeert te tekenen die ver in een hoek staat (waar de data schaars is), kan je tekening wankelen.
Het Resultaat: De consistentie van de AI hangt af van waar de afbeelding zich "bevindt" in de data. Als een afbeelding een mix is van veelvoorkomende kenmerken, is de AI zelfverzekerd. Als het een vreemde mix is van zeldzame kenmerken, wordt de output van de AI variabeler over verschillende trainingsruns heen.

De Connectie met de "Magische Seed"

De paper legt ook uit waarom sommige willekeurige seeds "betere" of meer consistente afbeeldingen produceren dan andere.

De Analogie: Denk aan de willekeurige ruis-seed als een set instructies. Sommige instructies vertellen de AI om zich te concentreren op de "grote heuvels" (de hoofdstructuur), terwijl andere hem vertellen om zich te concentreren op de "kiezelsteentjes" (de ruis).
Het Resultaat: Als jouw seed is uitgelijnd met de "grote heuvels" (de belangrijkste datapatronen), produceert de AI een consistente, heldere afbeelding. Als jouw seed de AI probeert te dwingen zich op de "kiezelsteentjes" (zeldzame, ruisige richtingen) te concentreren, is het resultaat wankel en inconsistent.

De Kernboodschap

De paper concludeert dat de "magie" van diffusiemodellen niet zomaar magie is, maar wiskunde.

Consistentie is natuurlijk: Omdat verschillende datapartities dezelfde basis "gemiddelde" statistieken delen, zijn de modellen van nature eens over de hoofdstructuur.
Oneensheid is voorspelbaar: De plekken waar modellen het oneens zijn (de fijne details) zijn niet willekeurig; ze volgen een strikte wiskundige regel gebaseerd op hoeveel data het model heeft en hoe "ruizig" de afbeelding is.
Deep Learning vs. Simpele Wiskunde: Hoewel moderne AI vaak complexe neurale netwerken gebruikt (Deep Learning), gedragen ze zich vaak net als een simpele, lineaire wiskundige formule als het gaat om deze consistentie. De complexe netwerken voegen slechts een beetje extra flair toe, maar de fundering is gebouwd op deze eenvoudige statistische regels.

Kortom: Diffusiemodellen zijn als twee verschillende kunstenaars die naar dezelfde wazige foto kijken. Ze zullen het allebei eens zijn over de algemene vorm van het object, maar ze zullen ruziën over de kleine details, tenzij je ze een veel scherpere foto geeft (meer data).

Technische Samenvatting: Een Perspectief vanuit de Random Matrix Theory op de Consistentie van Diffusiemodellen

Probleemstelling
Diffusiemodellen die getraind zijn op verschillende, niet-overlappende deelverzamelingen van dezelfde dataset, produceren vaak opvallend vergelijkbare outputs wanneer ze worden geconditioneerd op dezelfde ruis-seed, zelfs bij het gebruik van verschillende architecturen (bijv. UNet versus DiT). Dit fenomeen van "consistentie" staat in contrast met andere generatieve kaders zoals GANs en VAEs, waarbij rotaties in de latente ruimte leiden tot aanzienlijke variabiliteit tussen runs. Hoewel eerder werk dit effect heeft waargenomen, blijft het onderliggende mechanisme — specifiek hoe de eindige omvang van de dataset en de datastatistieken de stabiliteit van de geleerde denoiser en de sampling-map vormgeven — theoretisch onverklaard. Het artikel tracht de verwachting en variantie van deze geleerde mapping over onafhankelijke datasplits te kwantificeren, waarbij onderscheid wordt gemaakt tussen memorisatie (waarbij modellen trainingssamples reproduceren) en generalisatie (waarbij ze universele statistische regelmatigheden vastleggen).

Methodologie
De auteurs maken gebruik van Random Matrix Theory (RMT) om diffusiemodellen te analyseren, beginnend met een hanteerbaar lineair denoiser-framework voordat zij inzichten uitbreiden naar diepe netwerken.

Lineaire Setting & Deterministische Equivalentie: Het kerninstrument is deterministische equivalentie (DE), wat toestaat dat willekeurige empirische covariantie-matrices ( $\hat{\Sigma}$ ) worden vervangen door deterministische surrogaten in de hoogdimensionale limiet ( $d, n \to \infty$ met $d/n = \gamma$ ).
- De auteurs leiden een zelfconsistente vergelijking af voor een gerenormaliseerde ruisschaal, $\kappa(\sigma^2)$ , die de ruwe ruisvariantie $\sigma^2$ in de populatie-covariantie $\Sigma$ vervangt. Deze relatie wordt beheerst door de Silverstein-vergelijking:
  $\kappa(\lambda) - \lambda = \gamma \kappa(\lambda) \text{tr}[\Sigma(\Sigma + \kappa(\lambda)I)^{-1}]$
- Dit framework wordt uitgebreid naar fractionele matrixmachten (specifiek $\Sigma^{1/2}$ ) die vereist zijn voor het volledige sampling-traject (Wiener-filter) met behulp van integraalrepresentaties (Balakrishnan's formule) en twee-punts deterministische equivalentie-identiteiten.
Theoretische Afleidingen:
- Verwachting: De theorie voorspelt dat eindige data ervoor zorgt dat de geleerde denoiser effectief opereert met een hoger ruisniveau ( $\sigma^2 \to \kappa(\sigma^2)$ ), wat leidt tot een "overshrinkage" (overmatige krimp) van richtingen met een lage variantie richting het gemiddelde van de dataset.
- Fluctuatie (Variantie): De variantie van de denoiser over datasetsplits wordt aangetoond te factoriseren in drie componenten:
  - Anisotropie: Onzekerheid is gemaximaliseerd langs eigenmodi waar de populatie-eigenwaarde $\lambda_k$ overeenkomt met de gerenormaliseerde ruis $\kappa(\sigma^2)$ .
  - Inhomogeniteit: Onzekerheid wordt versterkt voor inputpunten die verplaatst zijn langs richtingen met een hoge variantie.
  - Globale Schaling: De totale variantie schaalt omgekeerd evenredig met de datasetgrootte $n$ , gemodificeerd door de renormalisatie-effecten bij kleinere $n$ .
Empirische Validatie: De theoretische voorspellingen worden gevalideerd tegen diepe diffusiemodellen (UNet en DiT) getraind op diverse datasets (FFHQ, AFHQ, CIFAR, LSUN) bij verschillende datasetgroottes ( $n \in \{300, 1000, \dots, 30000\}$ ). De studie maakt onderscheid tussen een memorisatieregime (kleine $n$ , waarbij modellen trainingsdata reproduceren) en een renormalisatie-/generatieregime (grotere $n$ , waarbij modellen uitlijnen met de lineaire Gaussische voorspeller).

Kernbijdragen

Lineaire Oorsprong van Consistentie: Het artikel toont aan dat gedeelde Gaussische statistieken (gemiddelde en covariantie) over datasplits voldoende zijn om kruis-split overeenstemming te voorspellen, wat verklaart waarom lineaire denoisers al een hoge consistentie vertonen.
Eindige-Steekproef Renormalisatie: Het formaliseert hoe eindige datasets een gerenormaliseerde ruisschaal induceren $\sigma^2 \to \kappa(\sigma^2)$ , wat de systematische overmatige krimp van modi met een lage variantie en de aantrekkingskracht naar het datasetgemiddelde verklaart.
Variantieregel: De auteurs leiden een gefactoriseerde variantieformule af, waarbij anisotropie (afhankelijkheid van eigenwaarde-variantie), inhomogeniteit (afhankelijkheid van inputlocatie) en globale schaling (afhankelijkheid van $n$ ) worden geïdentificeerd als de drie sturende factoren.
Fractionele-Macht Equivalentie: Het werk breidt instrumenten voor deterministische equivalentie uit naar fractionele matrixmachten, wat closed-form voorspellingen mogelijk maakt voor volledige sampling-trajecten, en niet alleen voor single-step denoising.
Diepe Netwerk Validatie: Het artikel bevestigt dat deze lineaire RMT-principes kwalitatief de consistentie van diepe UNet- en DiT-modellen in het niet-memorisatieregime beheersen, en voorspellen waar en hoe samples afwijken tussen splits.

Resultaten

Consistentiemechanisme: Experimenten tonen aan dat diffusiemodellen getraind op disjuncte splits visueel vergelijkbare afbeeldingen genereren vanaf dezelfde ruis-seed. Deze gelijkenis wordt gevangen door een lineaire Gaussische voorspeller (Wiener-filter) met behulp van de empirische momenten van de splits.
Overshrinkage: In het generatieregime vertonen gegenereerde samples een verminderde variantie langs modi met een lage- tot gemiddelde eigenwaarde vergeleken met de populatieverdeling, wat effectief "overshrinkage" naar het gemiddelde betekent. Deze bias verdwijnt naarmate $n$ toeneemt en het empirische spectrum convergeert naar het populatiespectrum.
Anisotropie en Inhomogeniteit:
- Spectraal: De onenigheid tussen modellen getraind op verschillende splits is het grootst voor eigenmodi waar de eigenwaarde $\lambda_k \approx \kappa(\sigma^2)$ . Lagere eigenmodi (fijne details) vereisen aanzienlijk grotere datasets om consistentie te bereiken vergeleken met top-eigenmodi (globale structuur).
- Ruimtelijk: Samples gegenereerd uit ruis-seeds die sterk projecteren op richtingen met een hoge variantie van de datamanifold, vertonen grotere cross-split afwijkingen.
Diepe Netwerk Alignement: In het niet-memorisatieregime ( $n \ge 3000$ voor FFHQ64) convergeren samples van diepe netwerken naar de lineaire voorspeller. De RMT-voorspellingen van ruimtelijke inhomogeniteit (welke seeds leiden tot grotere afwijkingen) correleren significant met de empirische cross-split MSE in diepe netwerken (bijv. Spearman $r \approx 0.33$ voor UNet op FFHQ64 met $n=30k$ ).
Counterfactuals: Wanneer de trainingsdata opzettelijk wordt gepartitioneerd om het gemiddelde of de covariantie te laten mismatchen (bijv. door te stratificeren op een hoofdcomponent), stort het consistentie-effect in, wat bevestigt dat gedeelde Gaussische statistieken de drijfveer zijn.

Betekenis
Dit artikel biedt een geprincieerd fundament voor reproduceerbaarheid in de training van diffusiemodellen. Door de spectrale eigenschappen van data te koppelen aan de stabiliteit van generatieve outputs, verheldert het dat de opmerkelijke consistentie van diffusiemodellen niet louter voortkomt uit complexe architecturale inductieve biases, maar uit de stabiliteit van de onderliggende gedeelde Gaussische statistieken over datasplits. Het werk suggereert dat de "creativiteit" of generalisatie van diffusiemodellen wordt beperkt door deze lineaire statistische regelmatigheden, wat een theoretische verklaring biedt voor waarom onafhankelijk getrainde modellen vaak dezelfde ruis-seed naar vergelijkbare structuren mappen. Dit framework helpt bij het onderscheiden van ware generalisatie en memorisatie, en biedt een instrument om de betrouwbaarheid van gegenereerde samples te voorspellen op basis van de datasetgrootte en het dataspectrum.