An exact information theory of generalization phase transitions in Bayesian diffusion models

Titel: Een Exacte Informatietheorie van Generalisatiefaseovergangen in Bayesiaanse Diffusiemodellen

Probleemstelling
Een fundamenteel mysterie in generatieve AI is hoe diffusiemodellen de "vloek van dimensionaliteit" omzeilen om complexe distributies over hoogdimensionale ruimtes te leren van eindige trainingssets, zonder deze simpelweg te memoriseren. Naief gezien zou de overgang van memorisatie naar generalisatie voor willekeurige datadistributies een onhandelbare (exponentieel in dimensie) hoeveelheid data vereisen. Hoewel empirische score-modellen (die diffusie omkeren met de exacte empirische score van een eindige dataset) bekend staan om het memoriseren, generaliseren getrainde neurale diffusiemodellen vaak robuust. Bestaande theoretische benaderingen zijn er niet in geslaagd een precieze, voorspellende theorie te bieden voor wanneer en waar de overgang van memorisatie naar generalisatie plaatsvindt voor getrainde, niet-lineaire diffusiemodellen over diverse architecturen en datasets.

Methodologie
De auteurs introduceren een nieuwe klasse van analytisch behapbare modellen genaamd Bayesian Information Restricted Diffusion (BIRD) modellen.

• Kernconcept: In BIRD-modellen fungeert elke pixel $x$ als een agent die slechts een beperkt, mogelijk stochastisch deel van de ruizige afbeelding $\phi_t$ observeert (aangeduid als $C_{x,t}$), in plaats van de volledige afbeelding. De pixel gebruikt vervolgens optimale Bayesiaanse inferentie om te raden welke eerdere trainingssteekproef $\phi \in \mathcal{D}$ deze beperkte observatie heeft voortgebracht.
• Mechanisme: Het model berekent een gedenoised pixelwaarde als het posterieure gemiddelde over de trainingsset, gewogen door de posterieure waarschijnlijkheid $P_{\text{train}}(\phi | C_{x,t})$. Door de beschikbare informatie voor elke pixel te beperken (bijvoorbeeld door alleen een lokale ruimtelijke patch te observeren), wordt het "Bayesiaanse raadspel" moeilijker, wat theoretisch voorkomt dat het model inklapt naar één enkel trainingspunt (memorisatie).
• Theoretisch Kader: De auteurs analyseren de memorisatie-generalisatie transitie met behulp van informatietheorie. Ze leiden een fasegrens af in de gezamenlijke ruimte van:
  1. De hoeveelheid trainingsdata ($|\mathcal{D}|$).
  2. De tijd/ruisniveau in het omgekeerde proces ($t$ of $\sigma_t$).
  3. De mate van informatiebeperking (bijvoorbeeld patchgrootte $L$).
• Cruciale Criterium: De transitie vindt plaats wanneer de wederzijdse informatie $I(\phi; C_{x,t})$ tussen de beperkte observatie en de ware datadistributie gelijk is aan de logaritme van de datasetgrootte: $\ln |\mathcal{D}| = I(\phi; C_{x,t})$.
  • Memoristatiefase: $I(\phi; C_{x,t}) > \ln |\mathcal{D}|$ (De observatie is te informatief; het model raadt het trainingspunt perfect).
  • Generalisatiefase: $I(\phi; C_{x,t}) < \ln |\mathcal{D}|$ (De observatie is onvoldoende om een trainingspunt uniek te identificeren; het model middelt over mogelijkheden).

Belangrijkste Bijdragen

1. Introductie van BIRD-modellen: Een algemeen, analytisch oplosbaar framework dat bestaande lokale score-modellen (LS), equivariante score-modellen (ES) en equivariante-lokale score-modellen (ELS) omvat en generaliseert. Het vereist geen expliciete architecturale aannames of leerdynamiek, maar rust uitsluitend op Bayesiaanse inferentie met informatiebeperking.
2. Voorspelling van Vroege Trainingsdynamiek: De auteurs demonstreren dat ruimtelijk lokale BIRD-modellen (waar $C_{x,t}$ een lokale beeldpatch is) het gedrag van getrainde neurale diffusiemodellen (inclusclusief UNets en Diffusion Transformers) tijdens de vroege stadia van training nauw benaderen. Ze bereiken een hoge voorspellende nauwkeurigheid (mediane $r^2 \sim 0,85-0,93$) op individuele beeldoutputs over diverse architecturen en datasets (Celeba64, CIFAR10, MNIST, FashionMNIST).
3. Exacte Fasegrens Theorie: Onder minimale aannames over datadistributies leiden de auteurs een precies informatietheoretisch criterium af voor de memorisatie-generalisatie transitie. Ze bewijzen dat generalisatie plaatsvindt indien en slechts indien de wederzijdse informatie tussen de beperkte observatie en de data kleiner is dan de logaritme van het aantal trainingspunten.
4. Kritische Patchschaal en Spectrale Uitlijning: Voor ruimtelijk lokale modellen identificeren de auteurs een tijdafhankelijke kritische patchschaal $L_c(t)$. Ze tonen aan dat optimale generatie plaatsvindt nabij de rand van memorisatie, waar de patchschaal $L$ de kritische schaal $L_c$ volgt. Ze demonstreren ook dat voor natuurlijke afbeeldingen met power-law spectrale dichtheden ($P(k) \sim k^{-2-\epsilon}$), de kritische schaal uitlijnt met de "spectrale schaal" (de schaal van optimale lineaire denoising).
5. Omzeilen van de Vloek van Dimensionaliteit: De theorie onthult dat BIRD-modellen voor schaalinvariante afbeeldingen ($\epsilon=0$) niet lijden onder de vloek van dimensionaliteit; de vereiste datasetgrootte hoeft niet te schalen met de afbeeldingsgrootte. Voor bijna schaalinvariante afbeeldingen ($\epsilon \sim 0,1-0,3$) schaalt de datavereiste als $\exp(L_I^\epsilon)$, wat aanzienlijk sub-exponentieel is vergeleken met de naïeve $\exp(L_I^2)$ vereiste.

Resultaten

• Empirische Validatie: Experimenten bevestigen de theoretisch voorspelde locatie van de faseovergang. De wederzijdse informatie-curves afgeleid uit de theorie volgen nauwgezet de entropie-deficit die wordt waargenomen in numerieke experimenten op zowel toy-datasets als real-world beelddatasets.
• Consistentie: Zowel BIRD-modellen als vroeg getrainde neurale netwerken vertonen "consistente generalisatie", waarbij modellen getraind op disjuncte deelverzamelingen van data bijna identieke outputs produceren wanneer ze met dezelfde ruisinput worden gegeven.
• Schaalwetten: De kritische patchschaal $L_c(\sigma_t)$ wordt getoond eenemonisch af te nemen naarmate de ruis afneemt (terwijl de tijd in het omgekeerde proces vordert), wat overeenkomt met het coarse-to-fine generatieproces. De kritische schaal blijkt sterk gecorreleerd te zijn met de spectrale schaal $L_{\text{spec}}$ afgeleid van de power spectrale dichtheid van de data.
• Foutmodi: Het artikel illustreert dat als de patchschaal te klein is ($L \ll L_c$), het model generaliseert maar slecht presteert (hoge denoising error). Als de patchschaal te groot is ($L > L_c$), memoriseert het model de trainingsdata en faalt het in het generaliseren naar testdata.

Significantie
Het artikel beweert een fundamenteel inzicht te bieden in hoe generatieve AI de vloek van dimensionaliteit omzeilt. Door het probleem te kaderen via de lens van informatiebeperking, laten de auteurs zien dat succesvolle generalisatie in diffusiemodellen niet louter het resultaat is van architecturale inductieve biases (zoals gladheid of laag-dimensionaliteit), maar fundamenteel wordt gedreven door de beperking van de beschikbare informatie tijdens elke stap van het generatieve proces. De resultaten suggereren dat generatie plaatsvindt "op de rand van memorisatie", waarbij de informatiebeperking zorgvuldig wordt afgestemd om te voorkomen dat het model inklapt naar specifieke trainingsvoorbeelden, terwijl er voldoende informatie behouden blijft om de onderliggende datadistributie te reconstrueren. Dit werk biedt een nieuw theoretisch laboratorium voor het bestuderen van de memorisatie-generalisatie transitie over een breed scala aan datadistributies en modelklassen.