🤖 machine learning

Percolation Dynamics in Optimization : Variance Cascades and Discrete Scale Invariance

Dit artikel modelleert de dynamiek van Stochastic Gradient Descent als een percolatieproces waarbij architecturale symmetrieën de vorming van eenvoudigere subnetwerken aansturen door middel van discrete, simultane blokfusies, wat zich manifesteert als variantiepieken en schaalcascades die ook van toepassing zijn op Adam en AdamW onder zwaar-staartige ruis.

Oorspronkelijke auteurs: Sai Niranjan Ramachandran, Suvrit Sra

Gepubliceerd 2026-09-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sai Niranjan Ramachandran, Suvrit Sra

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Deep learning heeft de manier waarop machines leren gerevolutioneerd, maar de interne reis van een neuraal netwerk tijdens de training blijft een black box. We weten dat deze systemen beginnen met miljoenen aanpasbare knoppen, of parameters, en door een proces dat training wordt genoemd, stemmen ze deze knoppen af om problemen op te lossen. Een veelgebruikte methode voor deze afstemming is stochastische gradiëntafdaling, een techniek die het netwerk naar betere oplossingen duwt door naar telkens kleine, willekeurige fragmenten van data te kijken. Jarenlang hebben onderzoekers geobserveerd dat dit proces netwerken van nature naar eenvoudigere, efficiëntere structuren duwt, waarbij overtollige complexiteit vaak wordt weggegooid zonder dat ze daar expliciet opdracht toe krijgt. Dit fenomeen, bekend als impliciete bias, suggereert dat de trainingsmethode zelf als een beeldhouwer werkt, die overtollig materiaal wegsnijdt om een kernstructuur te onthullen. De precieze mechanica van hoe dit beeldhouwen gebeurt—of het een gladde, geleidelijke erosie is of een reeks plotselinge, dramatische verschuivingen—is echter onduidelijk gebleven. Het begrijpen van dit proces is cruciaal, omdat het kan verklaren waarom netwerken soms lange tijd data perfect lijken te memoriseren voordat ze plotseling "klikken" en leren generaliseren, een gedrag dat wetenschappers al jaren verbijsterd heeft.

Een team van onderzoekers heeft nu deze verborgen reis in kaart gebracht en onthuld dat de ineenstorting van een neuraal netwerk in een eenvoudigere vorm geen gladde glijvlucht is, maar een reeks plotselinge, gesynchroniseerde sprongen. Door het trainingsproces te behandelen als een fysisch systeem waarbij onderdelen van het netwerk samenvoegen, ontdekten de auteurs dat deze fusies plaatsvinden in discrete blokken in plaats van één voor één. Stel je een grote groep mensen in een kamer voor die langzaam hun weg vinden naar dezelfde plek; in dit nieuwe perspectief komen zij niet individueel aan. In plaats daarvan arriveren hele groepen op exact hetzelfde moment en versmelten zij in één enkele gebeurtenis. De onderzoekers modelleerden dit gedrag met een concept uit de natuurkunde genaamd percolatie, dat beschrijft hoe vloeistoffen door poreuze materialen stromen of hoe verbindingen in een netwerk worden gevormd. Ze ontdekten dat de architectuur van het neurale netwerk zelf deze groepen dwingt om simultaan samen te smelten, wat een patroon van plotselinge structurele veranderingen creëert die door het systeem rimpelen.

Om dit patroon te ontdekken, ontwikkelden de onderzoekers een wiskundig kader dat de beweging van de parameters van het netwerk volgt terwijl ze door de tijd heen driften en diffunderen. Ze richtten zich op hoe verschillende delen van het netwerk, die aanvankelijk onafhankelijk zijn, uiteindelijk in dezelfde vereenvoudigde staat terechtkomen. Wanneer deze delen samensmelten, vormen ze een groter, verenigd blok. De onderzoekers toonden aan dat, vanwege de symmetrieën die in het ontwerp van het netwerk zijn ingebouwd, deze blokken niet één voor één kunnen samensmelten. In plaats daarvan moeten ze in groepen van twee, drie of meer tegelijk samensmelten. Dit creëert een "variantiecascade", een reeks pieken in de instabiliteit van het systeem die deze grote structurele verschuivingen signaleert. Door de fluctuaties in het gedrag van het netwerk over vele verschillende trainingsruns te meten, kon het team deze pieken detecteren en een duidelijk, herhalend patroon zien. De tijdsintervallen tussen deze pieken volgden een strikte geometrische regel, waarbij elke gebeurtenis plaatsvond op een voorspelbaar veelvoud van de vorige. Dit patroon, bekend als discrete schaalinvariantie, fungeert als een vingerafdruk van de onderliggende symmetrie, wat bewijst dat het netwerk op een hoogst georganiseerde, stapsgewijze manier instort in plaats van in een chaotische bende.

De studie ging verder dan eenvoudige modellen om deze ideeën te testen op complexe, reële scenario's, inclusief een beroemd fenomeen genaamd "grokking". Bij grokking traint een neuraal netwerk zichzelf op een specifieke logische puzzel en memoriseert de trainingsdata gedurende duizenden stappen, zonder enig teken van echt begrip te vertonen, voordat het plotseling en spectaculairlijk verbetert in het vermogen om nieuwe problemen op te lossen. De onderzoekers ontdekten dat deze plotselinge sprong in prestaties exact samenvalt met de laatste fase van hun voorspelde cascade. Vlak voordat het netwerk "klikt" naar een generaliserende oplossing, ondergaat het systeem een laatste, massale topologische verschuiving waarbij de resterende complexe delen van het netwerk samensmelten tot een eenvoudige, laag-rangige structuur. Dit suggereert dat het netwerk niet langzaam de regel leerde, maar in plaats daarvan wachtte op het juiste moment om zijn interne complexiteit te laten instorten in de juiste, eenvoudige vorm. Het team demonstreerde ook dat dit mechanisme standhoudt bij geavanceerde trainingsmethoden zoals Adam en AdamW, die breed worden gebruikt in moderne kunstmatige intelligentie, mits de ruis in het systeem bepaalde statistische patronen volgt.

De bevindingen bieden een nieuwe manier om naar te kijken naar hoe kunstmatige intelligentie leert, waarbij de focus verschuift van een continue, vloeiende optimalisatie naar een reeks discrete, faseovergang-achtige gebeurtenissen. De onderzoekers toonden aan dat deze transities geen willekeurige ongelukken zijn, maar worden gedreven door de fundamentele geometrie van het netwerk zelf. Door de relatieve variantie van de parameters van het netwerk te volgen, konden ze voorspellen wanneer deze grote verschuivingen zouden plaatsvinden, waarbij ze zagen hoe het systeem door een reeks duidelijke stadia bewoog voordat het zijn uiteindelijke, vereenvoudigde staat bereikte. In simulaties en op diverse datasets, van eenvoudige wiskundige puzzels tot beeldherkenningsopdrachten, verscheen het voorspelde patroon van plotselinge fusies consistent. Het werk suggereert dat het pad naar intelligentie in deze machines geplaveid is met plotselinge, gesynchroniseerde instortingen van complexiteit, waarbij het netwerk zijn onnodige lagen in één enkele, beslissende beweging afwerpt. Dit inzicht zou onderzoekers kunnen helpen om de timing van het leren in diepe netwerken beter te begrijpen en potentieel de vormgeving van trainingsalgoritmen te sturen die deze natuurlijke, structurele verschuivingen benutten om snellere en betrouwbaardere resultaten te behalen.

Technische Samenvatting: Percolatiedynamiek in Optimalisatie

Probleemstelling

Deep learning-systemen bereiken vaak sterke generalisatie zonder expliciete regularisatie, een fenomeen dat wordt toegeschreven aan de impliciete biases die worden geïntroduceerd door optimalisatoren zoals Stochastic Gradient Descent (SGD). Het is vastgesteld dat SGD netwerken stuurt naar invariante verzamelingen die overeenkomen met eenvoudigere sub-netwerken. Echter, de temporele dynamiek van hoe deze invariante verzamelingen worden bereikt, blijft onvoldoende begrepen. Deze kloof beperkt de mechanistische verklaring van anomalieën in het trainingsproces, zoals "grokking" (vertraagde generalisatie waarbij een netwerk data perfect memoriseert voordat het plotseling een generaliserende oplossing ontdekt na duizenden epochs). Het artikel stelt dat de topologische structuur van deze dynamiek cruciale informatie bevat over de voortgang van de optimalisatie, specifiek met de vraag of de instorting in eenvoudigere sub-netwerken plaatsvindt via een vloeiend proces of via discrete, plotselinge transities.

Methodologie

De auteurs modelleren het optimalisatieproces als een continue Stochastic Gradient Flow (SGF) met behulp van Stochastische Differentiaalvergelijkingen (SDE's). Zij integreren concepten uit de stochastische dynamica, topologische data-analyse en statistische fysica om de instorting van neurale netwerken te analyseren.

Stochastic Gradient Flow en Invariante Verzamelingen: De discrete SGD-update wordt benaderd door een Itô SDE. De auteurs definiëren "invariante verzamelingen" als regio's in de parameterruimte (vaak affiene subruimten gegenereerd door architecturale symmetrieën zoals neuron-permutatie) die trajecten vangen. Zij bewijzen dat als een verzameling een invariante verzameling is voor discrete SGD, deze ook invariant blijft voor de continue SGF onder specifieke Lipschitz-condities.
Stochastische Attractiviteit en Trapping: Het artikel introduceert het concept van "stochastische attractiviteit", waarbij een naar binnen gerichte deterministische gradiënt-drift de naar buiten gerichte stochastische diffusie nabij invariante verzamelingen overtreft. Dit creëert een "trapping"-mechanisme waarbij ontkoppelde sub-netwerken worden gedwongen te synchroniseren en in te storten in gedeelde invariante subruimten.
Topologische Dynamica via Reeb-grafen: Om de evolutie van deze instortingen te volgen, mappen de auteurs de optimalisatiedynamiek op een Reeb-graaf. In dit kader zijn verschillende sub-netwerken knopen, en randen vertegenwoordigen "Attractor Equivalentie" (synchronisatie). De dynamica wordt beschreven als een proces van condensatie (het samenvoegen van knopen) en fragmentatie (het splitsen van knopen).
Percolatiemodel: De auteurs herformuleren het samenvoegen van sub-netwerken als een percolatieproces. In tegenstelling tot klassieke Erdős-Rényi percolatie waarbij randen continu worden toegevoegd, dwingen architecturale symmetrieën discrete, simultane blok-merges af (bijv. $n$ sub-netwerken die tegelijkert enkelvoudig samensmelten).
Discrete Schaalinvariantie (DSI): Omdat deze merges in discrete blokken plaatsvinden in plaats van continu, breekt het systeem de continue schaalinvariantie. In plaats daarvan vertoont het Gegeneraliseerde Discrete Schaalinvariantie (DSI), waarbij microtransities (variantiepieken) optreden op geometrisch geschaalde intervallen leidend tot de globale faseovergang.
Extensie naar Adaptieve Optimalisatoren: Het framework wordt uitgebreid naar Adam en AdamW. Dit vereist het afhandelen van heavy-tailed gradiëntruis (gangbaar in attention-gebaseerde architecturen) via truncatie en het analyseren van de gezamenlijke staat van parameters, eerste momenten en tweede momenten. De auteurs bewijzen dat onder heavy-tailed ruismodellen en specifieke niet-degeneratieve condities, het trapping-mechanisme en de DSI-cascade persistent blijven.

Belangrijkste Bijdragen

Percolatiemodel van Topologische Condensatie: Het artikel construeert een framework dat stochastische gradiëntflow nabij invariante verzamelingen mapt naar een percolatieproces op een Reeb-graaf. Het demonstreert dat architecturale symmetrieën discrete, simultane blok-merges veroorzaken in plaats van continue rand-toevoegingen. De auteurs leiden de precieze condities af waaronder deze discontinuïteiten overleven in de thermodynamische limiet (grote netwerkbreedte).
Variantiedivergentie en DSI-cascades: De auteurs tonen aan dat relatieve variantie over trainings-trajecten microtransities kan isoleren. Zij bewijzen dat multi-body blok-merges Discrete Schaalinvariantie (DSI) opleveren, wat de faseovergang vormgeeft als een geometrisch schalerende cascade. Dit maakt de voorspelling van het globale structurele instortingspunt mogelijk op basis van de tussenruimte van de voorafgaande variantiepieken.
Extensie naar Adaptieve Optimalisatoren: Het trapping-mechanisme en de DSI-cascade worden theoretisch uitgebreid naar Adam en AdamW onder een expliciet heavy-tailed ruismodel, wat een theoretische basis biedt voor fenomenen zoals grokking in door AdamW getrainde Transformers.
Empirische Validatie: Het framework wordt gevalideerd in diverse settings:
- Toy Modellen: Gecontroleerde kinematische simulaties bevestigen de theoretische DSI-schaalfactor ( $\lambda \approx 2$ ).
- Tabulaire Data: Experimenten op UCI-datasets (bijv. Heart Disease) onthullen DSI-variantiecascades, waarbij echte topologische restricties worden onderscheiden van optimalisatieruis via spectrale null-modellen.
- Visie en Grokking: In Transformer-netwerken getraind op modulaire rekenkunde (de grokking-setting), observeren de auteurs een 3-piek DSI-cascade direct voorafgaand aan de generalisatiesprong, met een schaalfactor $\lambda \approx 2.11$ . Vergelijkbare patronen worden waargenomen in visuele benchmarks (FashionMNIST).

Resultaten

Theoretisch: Het artikel bewijst dat stochastische attractiviteit trajecten naar invariante verzamelingen stuurt, wat een supermartingaal trapping-effect creëert. Het stelt vast dat symmetrie-geïnduceerde percolatie leidt tot discontinue sprongen in de orde-parameter (omvang van de grootste verbonden component), wat zich manifesteert als divergenties in de relatieve variantie van de orde-parameter over een ensemble van runs.
Schaalwetten: De microtransities (variantiepieken) volgen een geometrische progressie $p_{n} - p_{c} = \lambda^{-1}(p_{1} - p_{c})$ , waarbij $\lambda = n^\sigma$ . In pairwise merges onder mean-field aannames geldt $\lambda = 2$ .
Empirisch:
- In een Transformer grokking-experiment werd een 3-piek DSI-cascade met $\lambda = 2.11$ waargenomen vlak voor de prestatiesprong, met een False Positive Rate van 0,1% ten opzichte van fase-gerandomiseerde null-modellen.
- Tabulaire datasets toonden variërende schaalfactoren (bijv. $\lambda = 1.71$ voor Heart Disease), wat de auteurs interpreteren als bewijs voor het instorten van fractionele spectrale variantie-massa, wat wijst op hogere-orde of gedeeltelijke merges.
- Taakverschuivingen in toy-modellen toonden "reactieve fragmentatie" aan, waarbij het verminderen van ruis en het verhogen van signaal-kromming ervoor zorgde dat eerder gebonden parameters splitsten, wat de omkeerbaarheid van het trapping-mechanisme bevestigt.

Betekenis en Claims

Het artikel claimt een mechanistische verklaring te bieden voor hoe optimalisatie vordert door topologische faseovergangen. Door SGD te modelleren als een percolatieproces, biedt het een nieuw perspectief om te begrijpen waarom netwerken plotseling generaliseren (grokking) en hoe ze instorten in ijle, laag-rang representaties.

De auteurs stellen dat de geobserveerde "discrete schaalinvariantie" een fundamentele eigenschap is van optimalisatiedynamiek gedreven door architecturale symmetrieën, verschillend van klassieke continue faseovergangen. Zij suggereren dat deze variantiepieken (DSI-cascades) als vroege indicatoren kunnen dienen voor structurele instorting en generalisatie.

Het artikel blijft bescheiden over de reikwijdte:

Het erkent dat de discontinuïteit van de faseovergang afhankelijk is van de netwerkomvang en de schaling van de mergende componenten (macroscopische versus microscopische regimes).
Het merkt op dat hoewel de theorie bewezen is voor SGD en uitgebreid naar Adam/AdamW onder specifieke ruis-aannames, een systematische studie van deze dynamiek in grootschalige praktische modellen een openstaande richting voor toekomstig werk blijft.
Het frameert de DSI-cascade als een potentieel instrument voor het sturen van learning rate scheduling of het begrijpen van schaalwetten, maar claimt niet het volledige generalisatieprobleem te hebben opgelost.

Samenvattend stelt het artikel dat de "reis" van deep learning optimalisatie niet een vloeiende daling is, maar een reeks discrete, door symmetrie gedreven topologische reorganisaties, detecteerbaar via variantiecascades die voldoen aan discrete schaalinvariantie.