Kernel Renormalization in Bayesian Deep Neural Networks: the Equivalent Wishart Ansatz in the Proportional Regime

Titel: Kernelrenormalisatie in Bayesiaanse Deep Neural Networks: het Equivalent Wishart-Ansatz in het Proportionele Regime

Probleemstelling
Deep neural networks (DNN's) zijn centraal in modern machine learning, maar hun theoretische begrip blijft uitdagend, met name voor meerlagige, niet-lineaire architecturen. Hoewel de "luie" oneindig-brede limiet (Neural Network Gaussian Process of NNGP) exacte beschrijvingen biedt voor brede netwerken, faalt deze om de eindige-breedte-effecten vast te leggen die verantwoordelijk zijn voor de superieure prestaties van DNN's ten opzichte van kernelmethoden. Omgekeerd vereist het "rijke" leerregime, waar kenmerken significant aanpassen, vaak hoogdimensionale ordeparameters (bijv. $P \times P$ kernelmatrices) die computationeel onhandelbaar zijn.

De specifieke kloof die dit werk aanpakt, is het ontbreken van een laagdimensionale, effectieve theorie voor Bayesiaanse DNN's in het proportionele regime, waarbij het aantal trainingsvoorbeelden $P$ en de netwerkbreedte $N$ evenredig naar oneindig schalen ($P, N \to \infty$ met $\alpha = P/N$ vast). In dit regime zijn eindige-breedte fluctuaties niet verwaarloosbaar, en bestaande theorieën vertrouwen óf op perturbatieve correcties (die falen voor diepe netwerken) óf vereisen het oplossen van gekoppelde hoogdimensionale vergelijkingen die geen dimensiereductie bieden.

Methodologie: het Equivalent Wishart-Ansatz (EWA)
De auteurs stellen een benaderende maar effectieve theorie voor gebaseerd op het Equivalent Wishart-Ansatz (EWA). De kernidee is om de stochastische fluctuaties van de hiërarchische empirische kernels in een diep niet-lineair netwerk te modelleren alsof ze Wishart-verdeeld zijn, vergelijkbaar met het exacte gedrag dat wordt aangetroffen in diepe lineaire netwerken.

1. Kernelhiërarchie: De prior van de netwerkuitvoer wordt beschreven door een hiërarchie van empirische kernels $K^{(\ell)}_E$ op elke laag $\ell$. In de proportionele limiet veronderstellen de auteurs dat de conditionele verdeling van een kernel op laag $\ell$, gegeven de kernel op laag $\ell-1$, zich gedraagt als een Wishart-verdeling:
   $$K^{(\ell)}_E | K^{(\ell-1)}_E \sim \mathcal{W}_P\left( \frac{\Theta^{L-\ell+1}(K^{(\ell-1)}_E)}{N_\ell}, N_\ell \right)$$
   waarbij $\Theta$ de NNGP-kernelfunctie is en $N_\ell$ de breedte.

2. Dimensiereductie: Door gebruik te maken van de eigenschappen van Wishart-matrices (specifiek de contractie-eigenschap waarbij kwadratische vormen een $\chi^2$-verdeling volgen), reduceren de auteurs de complexe integraal over de parameterruimte tot een laagdimensionale integraal over $L$ scalaire ordeparameters $q_\ell$ (of matrices $q_\ell$ voor CNN's).

   • Voor Fully Connected (FC) netwerken hangt de effectieve actie af van een scalair product $Q = \prod q_\ell$.
   • Voor Convolutional Neural Networks (CNN's) wordt een Gestapeld Equivalent Wishart-Ansatz geïntroduceerd, wat leidt tot een laagdimensionale matrix-ordeparameter $Q$ die patch-patch correlaties vastlegt.

3. Effectieve Actie: De partitiefunctie wordt uitgedrukt via een principe van grote afwijkingen, wat resulteert in een effectieve actie $S(q)$ die uitsluitend afhankelijk is van deze ordeparameters en de dataset. De gerennormaliseerde kernel wordt gegeven door $K^{(R)}_Q = Q \Theta^L(C)$, waarbij $C$ de invoer Gram-matrix is.

4. Omgaan met Niet-Nul Gemiddelden: De auteurs tonen aan dat voor het proportionele regime het onderscheid tussen centrale en niet-centrale Wishart-verdelingen (die voortvloeien uit activatiefuncties met niet-nul gemiddelden zoals ReLU) asymptotisch verwaarloosbaar is. De EWA met gemiddelde nul blijft een geldige effectieve beschrijving.

Belangrijkste Bijdragen

• Laagdimensionale Theorie voor Niet-Lineaire DNN's: Het artikel biedt de eerste laagdimensionale benaderende beschrijving van Bayesiaanse multi-layer perceptrons (MLP's) en CNN's in het proportionele regime, waarbij niet-perturbatieve eindige-breedte-effecten worden vastgelegd zonder terug te grijpen op $P \times P$ zelfconsistentievergelijkingen.
• Equivalent Wishart-Ansatz: Het introduceert het EWA als een mechanisme om de dominante stochastische fluctuaties van hiërarchische empirische kernels vast te leggen, waardoor het probleem wordt gereduceerd tot het vinden van $L$ (of een kleine matrix) ordeparameters.
• Uitbreiding naar CNN's: Het kader wordt uitgebreid naar convolutiearchitecturen, waarbij een hiërarchisch lokaal kernelrenormalisatiemechanisme wordt geïdentificeerd dat rekening houdt met eindige-breedte-effecten in ruimtelijk gecorreleerde data.
• Validatie in het Proportionele Regime: De theorie wordt getest tegen uitgebreide numerieke experimenten (MCMC-sampling) op real-world datasets (MNIST, CIFAR-10) en synthetische data, met dieptes tot $L \sim 10$ en verschillende activatiefuncties (Erf, ReLU).

Resultaten

• Kwantitatieve Overeenkomst: De EWA-predicties voor trainingsverlies en generalisatiefout tonen "over het algemeen zeer goede overeenkomst" met numerieke samplingsexperimenten voor netwerken met dieptes tot $L \sim O(10)$ en verschillende datasetgroottes. De theorie volgt succesvol het gedrag van eindige-breedte netwerken waar de oneindig-brede NNGP-limiet faalt.
• Systematische Afwijkingen: Twee soorten afwijkingen worden waargenomen wanneer zowel diepte $L$ als belasting $\alpha$ groot zijn:
  1. Geleidelijke Drift: In experimenten met Gaussische data bij hoge $\alpha$ groeit de EWA-fout soepel met de diepte, waarschijnlijk als gevolg van opstapeling van fouten in de breedte van de snelheidsfunctie of verwaarloosde directionele inhomogeniteiten.
  2. Metastabiliteit: Voor ReLU-netwerken op CIFAR-10 bij $L > 5$ en $\alpha \approx 2.5$ wordt in MCMC-simulaties een scherpe, abrupte daling in trainings- en testfout waargenomen. Dit fenomeen, geïnterpreteerd als een metastabiele overgang in de posterior, wordt niet vastgelegd door de gladde EWA-predictie, wat suggereert dat het ansatz in extreme regimes bezwijkt.
• Mean-Field versus Standaard Parametrizatie: De theorie voorspelt succesvol generalisatieprestaties in zowel standaard (SP) als mean-field ($\mu$P) parametrizaties. In het rijke leerregime ($\mu$P) wordt de verbetering in generalisatie voornamelijk gedreven door een onderdrukking van de voorspellersvariantie in plaats van een sterke aanpassing van de voorspellerbias, wat consistent is met het gerennormaliseerde kernelbeeld van het EWA.

Betekenis en Claims
De auteurs claimen dat het EWA een handelbare effectieve theorie biedt die de kloof overbrugt tussen de luie oneindig-brede limiet en het complexe, hoogdimensionale kenmerkleerregime. Door de beschrijving van eindige-breedte leren te reduceren tot een paar scalaire (of laag-rang matrix) ordeparameters, betogen de auteurs dat de relatieve schaling van datasetgrootte en breedte ($\alpha = P/N$) een fundamentelere organiserend principe is voor eindige-breedte leren dan de traditionele "lui versus rijk" dichotomie.

Het werk suggereert dat voor matige dieptes en belastingen de complexe aanpassing van kenmerken in niet-lineaire DNN's effectief kan worden vastgelegd door een eenvoudige globale (of lokale, voor CNN's) renormalisatie van de kernel. Dit biedt een basislijn voor het begrijpen van kenmerkleren, wat aangeeft dat de grote kloof tussen oneindig-brede voorspellingen en eindige-breedte fenomenologie grotendeels wordt vastgelegd door deze directioneel homogene renormalisatie. Het artikel concludeert dat hoewel het EWA een benadering is, het succes in het voorspellen van empirische leercursussen over diverse architecturen en datasets het vestigt als een krachtig hulpmiddel voor het analyseren van Bayesiaans deep learning in het proportionele regime.