⚛️ high-energy theory

Information Spreading in Diffusion Models from Effective Field Theory

Dit artikel toont aan dat de inductieve bias van lokaliteit in convolutionele score-matching diffusiemodellen het mogelijk maakt om hun denoising-dynamiek effectief te beschrijven met behulp van Effective Field Theory, waarbij de groei van wederzijdse informatie tussen punten overeenkomt met voorspellingen van een Brownse beweging op zowel speelgoedvoorbeelden als MNIST.

Oorspronkelijke auteurs: Navonil Neogi, Nabil Iqbal

Gepubliceerd 2026-08-17

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Navonil Neogi, Nabil Iqbal

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert te begrijpen hoe een complexe machine werkt, zoals een automotor. Normaal gesproken zou je, om te begrijpen hoe de auto beweegt, proberen elke individuele atoom in het metaal te volgen, elke vonk in de bougie en elk molecuul brandstof. Dat is een enorme hoeveelheid werk, en vaak heb je die diepgang niet eens nodig om het grote plaatje te begrijpen. In de natuurkunde is er een slimme truc genaamd "Effectieve Veldentheorie". Het is alsof je zegt: "Ik hoef niet de exacte vorm van elk tandwiel te kennen om te weten hoe snel de auto zal rijden; ik moet alleen een paar belangrijke regels kennen over hoe de motor zich op afstand gedraagt." Dit idee stelt wetenschappers in staat om de kleine, rommelige details te negeren en zich te concentreren op de vloeiende, grote patronen die ontstaan.

Stel je nu een ander soort machine voor: een kunstmatige intelligentie die kunst creëert. Deze "diffusiemodellen" staan bekend om het veranderen van pure ruis—zoals de grijze ruis op een oude tv-monitor—in prachtige, heldere afbeeldingen van katten, landschappen of cijfers. Ze doen dit door het beeld stap voor stap te "ontruisen", waarbij ze structuur uit chaos trekken. Maar hoe weet de AI hoe hij de pixels bij elkaar moet trekken? Memoriseert de AI elke individuele afbeelding waarop hij is getraind, of leert hij een algemene regel over hoe je een afbeelding opbouwt? Dit artikel stelt een grote vraag: kunnen we diezelfde "natuurkundige truc" van het negeren van de kleine details gebruiken om te begrijpen hoe deze AI-kunstgeneratoren eigenlijk werken? De auteurs willen weten of de manier waarop informatie door een AI-afbeelding verspreidt, eenvoudige, voorspelbare wetten volgt, net zoals warmte zich door een metalen pan verspreidt of inkt door water diffundeert.

De auteurs van dit artikel, Navonil Neogi en Nabil Iqbal, besloten dit idee te testen op een specif kind type AI-model dat gebruikmaakt van "convolutie"-lagen—een ontwerp dat kleine fragmenten van een afbeelding tegelijk bekijkt, vergelijkbaar met hoe onze ogen een scène scannen. Zij betogen dat omdat deze modellen zich richten op lokale omgevingen, ze zich gedragen als fysieke systemen die worden beheerst door "lokaliteit" (dingen beïnvloeden alleen hun directe buren) en "symmetrie" (de regels veranderen niet wanneer je de afbeelding naar links of rechts verplaatst). Door de wiskunde van de Effectieve Veldentheorie toe te passen op deze AI-modellen, ontdekten zij een verrassend eenvoudig verhaal over hoe deze modellen afbeeldingen creëren.

Dit is wat zij vonden. Wanneer de AI begint met pure ruis, zijn de pixels allemaal onafhankelijk; een pixel aan de linkerkant "weet" niets van een pixel aan de rechterkant. Terwijl de AI de ruis begint te verwijderen, begint de informatie zich te verspreiden. De auteurs laten zien dat deze verspreiding van informatie zich exact gedraagt als een druppel inkt die in water diffundeert of warmte die door een vaste stof beweegt. Ze noemen dit het "diffusieve regime". In deze vroege fase verspreidt de "mutual information"—een chique manier om te zeggen hoeveel twee pixels met elkaar verbonden zijn of gerelateerd zijn—zich op een zeer specifieke, voorspelbare manier. Als je meet hoe verbonden twee punten zijn op verschillende tijdstippen, ziet het patroon eruit als een perfecte klokvormige curve (een Gaussische verdeling) die met de tijd steeds breder wordt.

Het artikel bewijst dit met twee verschillende experimenten. Eerst gebruikten ze een super-simpel "toy model" met slechts twee mogelijke afbeeldingen: een rooster van alleen maar enen en een rooster van alleen maar min-en. In deze gecontroleerde setting konden ze de exacte wiskunde opschrijven en zagen ze dat de informatieverspreiding exact volgens hun "diffusie"-theorie verliep. Daarna testten ze het op een echte dataset genaamd MNIST, die handgeschreven cijfers bevat. Hoewel echte cijfers veel complexer zijn dan simpele roosters, volgde de AI in de vroege stadia van de beeldcreatie nog steeds dezelfde regels. De verbinding tussen pixels groeide op een manier die perfect overeenkwam met hun eenvoudige "warmtevergelijking"-model.

De paper wijst echter ook erop dat dit eenvoudige diffusieverhaal niet eeuwig voortduurt. Naarmate de AI dichter bij het voltooien van de afbeelding komt, verandert het gedrag. De auteurs beschrijven een tweede fase die ze het "snapping"-regime noemen. In deze laatste fase stopt de AI met het vloeiend verspreiden van informatie en maakt hij in plaats daarvan scherpe, besluitvaardige keuzes. Kleine fragmenten van de afbeelding "snappen" plotseling naar de vorm van het dichtstbijzijnde voorbeeld uit de trainingsdata. Het is alsof de AI stopt met het mengen van kleuren en plotseling besluit: "Dit fragment is definitief een '3', en geen '2'". Het artikel suggitert dat de eenvoudige diffusieregels alleen van toepassing zijn op het vroege, rommelige deel van het proces, terwijl de laatste, scherpe details worden beheerst door dit "snapping"-gedrag.

Een van de meest interessante bevindingen is dat de snelheid waarmee informatie zich in de beginstadia verspreidt, volledig afhangt van de architectuur van de AI—specifiek de grootte van de "kernel" of het venster waarmee de AI naar de afbeelding kijkt. Het maakt niet uit hoe de AI is getraind of welk specifiek schema voor het verwijderen van ruis werd gebruikt; de grootte van het "oog" van de AI bepaalt hoe snel het beeld tot stand komt. De auteurs hebben zelfs berekend dat als je de grootte van dit venster verandert, de afstand waarover pixels elkaar beïnvloeden op een voorspelbare manier verandert, namelijk lineair schalend met de venstergrootte.

Kortom, dit artikel suggereert dat we het complexe, creatieve proces van AI-beeldgeneratie kunnen begrijpen door het te behandelen als een eenvoudig natuurkundig probleem. Voor het eerste deel van het proces is de AI slechts een diffuser die verbindingen tussen pixels verspreidt zoals warmte. Pas later schakelt het over naar een andere modus om de details te finaliseren. Dit betekent niet dat de AI "opgelost" is of dat we elke individuele neuron begrijpen, maar het geeft ons een krachtige, eenvoudige kaart voor hoe informatie door deze systemen stroomt. De auteurs laten zien dat zelfs in de chaotische wereld van deep learning, eenvoudige, universele wetten te vinden zijn als we weten waar we moeten kijken.

Technische Samenvatting: Informatieverspreiding in Diffusiemodellen vanuit Effectieve Veldtheorie

Probleemstelling
Diffusiemodellen zijn een dominant paradigma in generatieve AI, in staat om hoogwaardige monsters te produceren door geleidelijk ruis te verwijderen (denoising). De onderliggende dynamiek van deze modellen, met name hoe ruimtelijke structuur en correlaties ontstaan tijdens het omgekeerde proces (het denoising-proces), is echter vaak complex en moeilijk analytisch te analyseren. Hoewel eerdere werken gebruik hebben gemaakt van informatietheorie (bijv. de I-MMSE-relatie) om de evolutie van wederzijdse informatie te bestuderen, ontbreekt een vereenvoudigd, op fysica gebaseerd kader dat verklaart hoe lokaliteit en symmetriebeperkingen in convolutionele architecturen de verspreiding van informatie en de vorming van ruimtelijke correlaties sturen. Specifiek vereist de overgang van een "diffusief" regime (waarin informatie zich verspreidt) naar een "snapping" of memorisatie-regime (waarin patches vastklikken op trainingsdata) een verenigde theoretische beschrijving.

Methodologie
De auteurs passen de formalisering van de Effectieve Veldtheorie (EFT) toe, een concept uit de theoretische fysica dat wordt gebruikt om systemen op specifieke lengteschalen te beschrijven zonder de volledige microscopische details nodig te hebben, op het omgekeerde proces van score-matching diffusiemodellen.

Theoretisch Kader:
- De auteurs stellen dat de inductieve biases van lokaliteit en translationele equivariantie die inherent zijn aan convolutionele neurale netwerken (ConvNets), ervoor zorgen dat de scorefunctie (de geleerde gradiënt van de log-waarschijnlijkheid) kan worden uitgebreid in een reeks ruimtelijke afgeleiden.
- Door een schalingsanalyse uit te voeren nabij het punt van zuivere ruis ( $\bar{\alpha}_t \to 0$ ), laten zij zien dat hogere-orde afgeleiden en nonlineariteiten verwaarloosbaar worden.
- Dit leidt tot een vereenvoudigde evolutievergelijking voor het veld $\tilde{\phi}$ :
  $\frac{\partial \tilde{\phi}(x, \bar{\alpha}_t)}{\partial \bar{\alpha}_t} = g_3(\bar{\alpha}_t) \nabla^2 \tilde{\phi}(x, t)$
  Dit wordt geïdentificeerd als de warmtevergelijking (of diffusievergelijking), waarbij de noise schedule parameter $\bar{\alpha}_t$ fungeert als tijd.
Microscopische Rechtvaardiging:
- De auteurs funderen deze EFT-benadering in het Equivariant Local Score Machine (ELSM) framework (Kamb & Ganguli, 2025), dat een microscopische beschrijving biedt van de scorefunctie als een som over trainingspatches.
- Zij tonen aan dat in de limiet van zuivere ruis de nietlineaire termen in de ELSM-expansie worden onderdrukt door machten van $\bar{\alpha}_t$ , wat de afkorting naar de lineaire diffusievergelijking valideert.
Voorspellingen:
- De theorie voorspelt dat de wederzijdse informatie (of correlatie) tussen twee ruimtelijke punten $x$ en $y$ diffusief moet evolueren.
- Specifiek moet de correlatiecoëfficiënt $\rho(x, y; t)$ afhangen van een zelfgelijkende, schaalinvariante variabele: $|x - y|^2 / \bar{\alpha}_t$ .
- Consequent moeten plots van wederzijdse informatie tegen de ruimtelijke afstand bij verschillende tijdstappen samenvallen op één enkele curve wanneer ze tegen deze geschaalde variabele worden uitgezet.
Experimentele Validatie:
- Toy Model ( $\pm 1$ Grids): De auteurs trainden een diffusiemodel op twee eenvoudige monsters (grids van uitsluitend $+1$ en uitsluitend $-1$). Zij leidden een analytische oplossing voor de ELSM af en verifieerden dat de curves van de wederzijdse informatie samenvallen volgens de voorspelde schaling. Zij leidden ook de relatie af tussen de diffusieconstante $D$ en de netwerkkernelgrootte $\Delta$ , waarbij zij vonden dat $D \sim \Delta^4$ en de correlatielengte $\xi \sim \Delta$ .
- MNIST Dataset: De auteurs trainden een ConvNet op de MNIST-dataset. Ondanks het gebrek aan perfecte symmetrieën (zoals rotationele invariantie) die aanwezig zijn in het toy model, observeerden zij dat de groei van de wederzijdse informatie nog steeds de voorspelde diffusieve schaling vertoonde bij vroege tijdstappen, waarbij curve-collapse werd waargenomen tegen de zelfgelijkende variabele.

Belangrijkste Resultaten

Diffusief Regime: Het omgekeerde proces begint met een "diffusief regime" waarin de ruimtelijke wederzijdse informatie zich verspreidt vanuit ongecorreleerde ruis. De groei van correlaties wordt beheerst door een warmtevergelijking, waarbij de "tijd"-variabele wordt bepaald door de noise schedule.
Scaling Collapse: Empirische resultaten op zowel toy-data als MNIST bevestigen dat de curves van de wederzijdse informatie bij verschillende tijdstappen samenvallen wanneer ze worden uitgezet tegen de variabele $r^2 / \bar{\alpha}_t$ , wat de EFT-voorspelling valideert.
Afhankelijkheid van Kernelgrootte: In het toy model wordt getoond dat de effectieve diffusieconstante $D$ schaalt met de vierde macht van de convolutionele kernelgrootte ( $D \sim \Delta^4$ ), terwijl de resulterende correlatielengte $\xi$ lineair schaalt met de kernelgrootte ( $\xi \sim \Delta$ ). Dit suggereert dat de ruimtelijke schaal van gegenereerde features fundamenteel verbonden is met de netwerkarchitectuur.
Transitie naar Snapping: Het artikel identificeert een transitiepunt waar het diffusieve regime eindigt en het "snapping"-regime begint. In dit latere regime ontkoppelen lokale patches en "snappen" ze naar de dichtstbijzijnde trainingsdata-patches (memorizatie), een gedrag dat wordt beschreven door een andere expansie nabij $\bar{\alpha}_t \to 1$ .

Betekenis en Claims
Het artikel claimt een nieuwe toepassing van de Effectieve Veldtheorie op deep learning te bieden, wat een vereenvoudigde, analytische beschrijving geeft van de complexe dynamiek van diffusiemodellen.

Vereenvoudiging: Het demonstreert dat de complexe, hoogdimensionale dynamiek van het omgekeerde proces kan worden gereduceerd tot een eenvoudige diffusievergelijking nabij het ruis-eindpunt, die wordt beheerst door een paar parameters (zoals de diffusieconstante) in plaats van de volledige microscopische details van de trainingsdata.
Vereniging: Het verbindt het "Gaussische" regime (beschreven in eerdere literatuur) met het "Brownse beweging"-regime, en biedt een fysieke intuïtie voor hoe ruimtelijke structuur wordt opgebouwd.
Architecturale Inzicht: Het werk suggereert dat de ruimtelijke schaal van informatieverspreiding direct wordt gecontroleerd door de inductieve biases van het netwerk (specifiek de kernelgrootte), wat een potentiële methode biedt om architecturale eigenschappen (zoals effectieve kernelgrootte) af te leiden uit de dynamiek van de gegenereerde monsters.
Reikwijdte: De auteurs merken bescheiden op dat hoewel de theorie goed werkt voor convolutionele architecturen, de toepasbaarheid op andere architecturen (zoals Transformers) of complexere datasets verder onderzoek vereist, met name met betrekking tot hoe lokaliteit van de data wordt overgenomen in die contexten. Zij erkennen ook dat het "snapping"-regime en de transitie tussen regimes niet volledig worden gevangen door de eenvoudige lineaire EFT en een aparte analyse vereisen.

Meer zoals dit