Correlation flow governs learning at criticality

Technische Samenvatting: Correlatie-flow stuurt leren bij kritikaliteit

Probleemstelling
De initialisatie van diepe neurale netwerken is cruciaal voor het bepalen of informatie en gradiënten over de diepte kunnen propageren. Hoewel empirisch succes de schaling van netwerkomvang heeft gedreven, blijft een verenigde theorie die de eigenschappen van initialisatie verbindt met leerdynamiek ontvluchtend. Specifiek is er een gebrek aan begrip over hoe de wisselwerking tussen correlatiepropagatie, het spectrum van de end-to-end Jacobiaan en de Neural Tangent Kernel (NTK) wordt geconditioneerd door initialisatiekeuzes (Gaussiaans versus orthogonaal) in de limiet van oneindig brede en oneindig diepe netwerken. Eerder werk heeft vastgesteld dat "kritikaliteit" (een specifiek punt in het vlak van gewichts- en biasvariantie) zorgt voor een algebraïsche in plaats van een exponentiële afname van correlaties, maar de precieze relatie tussen deze correlatieflow en de resulterende leerdynamiek (gestuurd door de NTK) is niet volledig gekarakteriseerd. Bovendien vereist de rol van orthogonale initialisatie bij het beheersen van finite-size correcties in deze limiet een rigoureuze theoretische onderbouwing.

Methodologie
De auteurs maken gebruik van een combinatie van mean-field theorie en random matrix theory om volledig verbonden neurale netwerken te analyseren in de sequentiële limiet, waarbij de breedte $N$ naar oneindig gaat voordat de diepte $L$ naar oneindig gaat ($N \to \infty$ gevolgd door $L \to \infty$).

1. Theoretisch Kader:

   • Mean-Field Regime: De auteurs analyseren de deterministische recursie-relaties voor de covariantie en correlatie van pre-activaties naarmate de diepte toeneemt. Ze identificeren drie regimes: geordend (correlatie $\to 1$), chaotisch (correlatie $\to$ constante $<1$), en een nieuw geïdentificeerd vanishing variance phase (waarbij variantie $\to 0$).
   • Kritiek Punt: Ze lokaliseren het kritieke punt op het snijpunt van de vanishing variance phase boundary en de "edge of chaos" lijn, gedefinieerd door $\sigma_w = 1/\phi_1$ en $\sigma_b = 0$ (waarbij $\phi_1$ de eerste Taylor-coëfficiënt van de activatiefunctie is).
   • Jacobian Analyse: Gebruikmakend van free probability theory analyseren ze het enkelvoudige waarde spectrum van de laag-voor-laag en end-to-end Jacobians. Ze leiden schaalwetten af voor het gemiddelde en de variantie van het Jacobian-spectrum onder zowel Gaussische als orthogonale initialisatie.
   • NTK Afleiding: Ze drukken de NTK uit als een som van covariantie-kernels die worden teruggehaald door partiële Jacobians. Door de asymptotische gedrag van deze termen bij kritikaliteit te analyseren, leiden ze de relatie tussen de NTK en de fixed-point correlatie af.

2. Finite-Size Analyse:

   • De auteurs leiden de leidende-orde finite-size correcties ($O(L/N)$) af voor de empirische kernel. Ze deconstrueren deze fluctuaties in "Wick defects" (voortkomend uit de niet-Gaussianiteit van pre-activaties) en "weight non-orthogonality" effecten.
   • Ze vergelijken hoe deze fouten accumuleren onder Gaussische versus orthogonale initialisatie.

3. Numerieke Validatie:

   • Theoretische voorspellingen worden gevalideerd met volledig verbonden netwerken met sine (en enkele tanh) activatiefuncties. Experimenten volgen manifold propagatie, correlatieflow, Jacobian spectra en NTK conditionering over variërende dieptes en breedtes.

Belangrijkste Bijdragen en Resultaten

1. Kritikaliteit is Noodzakelijk voor Correlatiepropagatie:
   De auteurs bewijzen dat niet-triviale correlatiepropagatie naar oneindige diepte alleen mogelijk is bij het kritieke punt. In alle andere regimes ofwel dalen correlaties naar 1 (geordend), of naar een constante onafhankelijk van de input (chaotisch), of de variantie verdwijnt exponentieel, wat leidt tot numerieke instorting. Bij kritikaliteit convergeert de correlatie algebraïsch, waardoor de input-afhankelijkheid behouden blijft.

2. Algebraïsche Verdwijning van de End-to-End Jacobian:
   In tegenstelling tot de hoop dat kritikaliteit "dynamische isometrie" zou mogelijk maken (waarbij het Jacobian-spectrum concentreert rond één), bewijzen de auteurs dat bij kritikaliteit de end-to-end Jacobian algebraïsch verdwijnt met de diepte ($\Xi \propto 1/L$). Dit gebeurt zelfs met orthogonale initialisatie. Bijgevolg is dynamische isometrie afwezig in de sequentiële limiet bij kritikaliteit.

3. Equivalentie van NTK en Output Correlatie:
   Het centrale theoretische resultaat van het artikel is het bewijs dat, in de oneindige-diepte limiet bij kritikaliteit, de NTK exact proportioneel is aan de fixed-point correlatiematrix (specifiek, $\Theta_L \to \frac{1}{A\sigma_w^2} \rho_\infty$). Dit vestigt een directe link tussen informatiepropagatie (correlatie) en leerdynamiek (NTK-spectrum). Deze equivalentie houdt stand, ongeacht de verdwijnende Jacobian, omdat de afname wordt gecompenseerd in de geschaalde overlap Jacobians die in de NTK-definitie worden gebruikt.

4. Rol van Orthogonale Initialisatie:
   Hoewel orthogonale initialisatie geen dynamische isometrie kan herstellen, speelt het een cruciale rol in het beheersen van finite-size effecten.

   • Onder Gaussische initialisatie schalen de finite-size fluctuaties in de correlatie en NTK als $O(\sqrt{L/N})$, accumuleren ze met de diepte en leiden ze tot slecht geconditioneerde spectra.
   • Onder orthogonale initialisatie worden de leidende-orde fluctuaties voortvloeiend uit gewichts-niet-orthogonaliteit onderdrukt. De resterende fluctuaties (Wick defects) schalen als $O(1/\sqrt{N})$ en zijn onafhankelijk van de diepte. Dit stelt de voorspellingen van de sequentiële limiet in staat om stand te houden voor veel diepere netwerken.

5. Restricties op Activatiefuncties:
   De auteurs tonen aan dat voor informatiepropagatie zonder instorting naar een triviaal fixed punt, de activatiefunctie moet voldoen aan $\phi_2 = 0$ (dat wil zeggen, het moet een oneven functie zijn op het laagste niveau). Als $\phi_2 \neq 0$, dalen correlaties ineen ongeacht de initialisatie.

Betekenis en Claims
Het artikel claimt een verenigd kader te bieden dat informatiepropagatie, gradiëntcontrole en leerdynamiek in diepe netwerken verbindt. De primaire betekenis ligt in:

• Het Verenigen van Correlatie en Leren: Het demonstreert dat het NTK-spectrum, dat het leersnelheid en de leerrichting bepaalt, asymptotisch wordt bepaald door de correlatiestructuur van de inputs bij kritikaliteit. Dit verklaart waarom het behoud van input-gelijkenis door het netwerk essentieel is voor training.
• Rechtvaardiging van Kritische Initialisatie: Het biedt een rigoureuze theoretische rechtvaardiging voor het initialiseren op het kritieke punt, waarbij wordt aangetoond dat dit de enige keuze is die input-afhankelijke correlaties behoudt terwijl een goed gedefinieerde (hoewel verdwijnende) Jacobian-structuur wordt gehandhaafd.
• Verheldering van Orthogonale Initialisatie: Het lost de spanning op tussen de "bevroren" (lineaire) en "feature-learning" regimes door te laten zien dat orthogonale initialisatie de noodzakelijke voorwaarde is om de ongecontroleerde groei van finite-size fluctuaties te onderdrukken die anders de voorspelbaarheid van de NTK in diepe netwerken zouden vernietigen.
• Praktische Implicaties: De resultaten suggereren dat voor zeer diepe netwerken (bijv. SIRENs, Implicit Neural Representations), kritische initialisatie gecombineerd met orthogonale gewichten de principiële aanpak is om stabiele leerdynamiek en gecontroleerde spectrale bias te garanderen, waarbij het netwerk leert langs de hoofdmodi van de correlatiestructuur van de input-dataset.

De auteurs merken op dat deze resultaten steunen op de sequentiële limiet en specifieke aannames voor activatiefuncties (begrensd, differentieerbaar, $\phi_2=0$), en zij erkennen dat het uitbreiden van deze bevindingen naar de gezamenlijke limiet ($L/N \to c$) of onbegrensde activaties (zoals ReLU) een open gebied is voor toekomstig werk.