Technische Samenvatting: Bayesiaanse Inferentie met Gevormde Diepe Niet-lineaire MLP's

Probleemstelling

De theorie van deep learning beoogt te karakteriseren hoe neurale netwerken voorspellingen doen wanneer modelparameters (breedte $N$, diepte $L$) en de omvang van de dataset ($P$) simultaan groot zijn. Een fundamentele uitdaging ontstaat omdat de limieten van $N, L, P \to \infty$ niet noodzakelijkerwijs commuteren. Bestaande kaders vertrouwen vaak op de oneindige breedte-limiet bij een vaste diepte (wat leidt tot Neural Tangent Kernels of Neural Network Gaussian Processes) of specifieke lineaire netwerkregimes. Deze benaderingen falen echter vaak in het vatten van de rol van diepte in niet-lineaire netwerken of de interactie tussen feature learning en kernelmethoden in proportionele schaleringsregimes waar $L \propto N$ en $P \propto N$.

Het specifieke probleem dat wordt aangepakt, is de rigoureuze karakterisering van Bayesiaanse inferentie in diepe, niet-lineaire Multi-Layer Perceptrons (MLP's) onder een gezamenlijk schaleringslimiet waarbij het aantal trainingsmonsters ($P$), de inputdimensie ($N_0$), de breedte van de verborgen lagen ($N$) en het aantal verborgen lagen ($L$) allemaal divergeren. De auteurs zoeken te bepalen:

1. Hoe de predictieve posterior zich gedraagt in dit regime.
2. Onder welke condities diepte een voordeel biedt (de Bayesiaanse model-evidence verhoogt).
3. Of en hoe niet-lineaire netwerken kunnen worden benaderd door data-afhankelijke kernelmethoden.

Methodologie

1. Gevormde Activatiefuncties

Om niet-degeneratief gedrag te garanderen wanneer $L, N \to \infty$, maken de auteurs gebruik van gevormde activatiefuncties $\phi_s$. Voor een basis-niet-lineariteit $\phi_{base}$ wordt de activatie geschaald als $\phi_s(x) = s \phi_{base}(x/s)$. Dit mechanisme zorgt ervoor dat het cumulatieve effect van niet-lineariteiten over vele lagen heen controleerbaar en vergelijkbaar blijft met lineaire effecten. De vormingsfactor $s$ wordt gekozen zodat de ratio $t = L/N$ de initiatieverdeling uniek controleert.

2. Neural Covariance SDE (NSDE)

Het kerninstrument is de Neural Covariance Stochastic Differential Equation (NSDE). De auteurs analyseren de evolutie van de geconjugeerde kernel (Gram-matrix van verborgen features) $\Phi^{(\ell)}$ over de lagen heen.

• In de limiet $N, L \to \infty$ met $L/N \to t$, convergeert de discrete evolutie van de kernel naar een diffusieproces $\Phi_t$.
• Het proces wordt beheerst door:
  $$d\Phi_t = \alpha_{act} \cdot b(\Phi_t) dt + \Phi_t^{1/2} dB_t \Phi_t^{1/2}$$
  waarbij $b(\Phi_t)$ een drift-term is die afhankelijk is van de basis-niet-lineariteit, en $B_t$ een Brownse beweging-matrix is.
• Om grote $P$ te behandelen, wordt een tijdverandering $\tau = P t$ geïntroduceerd, wat een "diepte-tijd" $\tau^* = LP/N$ definieert. De dynamica wordt geherscaleerd om de diffusie- en drifttermen in balans te brengen.

3. Bayesiaanse Partitiefunctie via SDE

De auteurs herformuleren de Bayesiaanse partitiefunctie $Z_\beta(x_0, \kappa)$ (die de predictieve posterior codeert) als een verwachting over de prior-distributie van de geconjugeerde kernel.

• Met behulp van een Gaussische integraalidentiteit wordt de partitiefunctie uitgedrukt als:
  $$Z_\beta(x_0, \kappa) \propto \int_{\mathbb{R}^P} \exp\left(-\frac{1}{2\beta}\|p\|^2 + ip^\top Y\right) \mathbb{E}_{prior}\left[\exp\left(-\frac{1}{2}v^\top \Phi v\right)\right] dp$$
  waarbij $v = [p^\top, \kappa]^\top$ en $\Phi$ de geconjugeerde kernel is in de voorlaatste laag.
• Volgens Theorem 1 convergeert de verwachting over de MLP-prior in de gezamenlijke limiet naar de verwachting over de oplossing van de NSDE. Dit reduceert het probleem van Bayesiaanse inferentie in diepe MLP's tot het oplossen van de SDE voor $\Phi_\tau$ en het berekenen van de resulterende verwachting.

4. Perturbatieve Analyse

Omdat het oplossen van de SDE voor een willekeurige $\tau^*$ onhandelbaar is, voeren de auteurs een perturbatieve expansie uit voor een kleine effectieve diepte $\tau = LP/N$. Zij berekenen de eerste-orde afgeleide van de log-partitiefunctie met betrekking tot $\tau$ bij $\tau=0$. Dit maakt hen in staat om de bijdragen van het lineaire netwerkcomponent (alleen diffusie) en het niet-lineaire kernelcomponent (alleen drift) te scheiden.

Belangrijkste Bijdragen en Resultaten

1. Rigoureus Verenigend Kader

Het artikel biedt het eerste mathematisch rigoureuze kader voor het analyseren van Bayesiaanse inferentie in niet-lineaire diepe MLP's onder de proportionele limiet $LP/N \in \Theta(1)$. Het overbrugt de kloof tussen oneindige-breedte kernelmethoden en diepe lineaire netwerken, waarbij zowel gladde als ReLU-activatiefuncties bij willekeurige temperaturen ($\beta$) worden behandeld.

2. Herstel en Generalisatie van Bestaande Resultaten

• Diepe Lineaire Netwerken: Het kader herstelt exacte resultaten voor diepe lineaire netwerken (waar de partitiefunctie Meijer-G integralen bevat) als een speciaal geval waarbij de drift-term verdwijnt.
• Oneindige Breedte Limiet: Het herstelt het resultaat dat in de limiet $N \gg LP$, Bayesiaanse inferentie reduceert tot een data-agnostische kernelmethode met een deterministische feature map afgeleid van de Neural ODE.
• Zwak Niet-lineaire Netwerken: De resultaten generaliseren perturbatieve bevindingen uit de natuurkundige literatuur (bijv. [HZ24]) met betrekking tot zwak niet-lineaire netwerken, maar met volledige wiskundige rigore en zonder te vertrouwen op onbewezen vereenvoudigingen.

3. Perturbatieve Expansie van Bayesiaanse Evidence

De auteurs leiden een eenvoudig criterium af voor wanneer het verhogen van de diepte (het verhogen van $\tau = LP/N$) de Bayesiaanse model-evidence (marginale waarschijnlijkheid) verbetert.

• Takeaway 2.1: De eerste-orde verandering in de log-evidence is de som van een lineair netwerk-term en een niet-lineaire kernel-term.
• Takeaway 3.1 & 3.2: Voor specifieke datadistributies (genormaliseerde, ongeveer orthogonale inputs), leiden de auteurs expliciete ongelijkheden af die bepalen wanneer diepte voordelig is.
  • Voor gladde activaties is diepte voordelig als de datastatistieken en de afgeleiden van de activatie een specifieke ongelijkheid voldoen die betrokken is bij de signaal-ruisverhouding en de kromming van de activatiefunctie.
  • Voor ReLU-activaties is diepte alleen voordelig als de variantie van de labels de drempel overschrijdt die gerelateerd is aan de asymmetrie van de ReLU ($c_+ - c_-$).
• Faseovergang: De resultaten suggereren een faseovergang waarbij diepte alleen voordelig is als de niet-lineariteit niet "te sterk" is ten opzichte van de datastructuur.

4. Equivalentie aan Data-afhankelijke Kernelmethoden

• Takeaway 2.2: In eerste orde in $\tau$ is de Bayesiaanse predictieve posterior voor testdata equivalent aan een kernelmethode, maar dan met een data-afhankelijke feature map.
• In tegen tegenstelling tot de oneindige breedte limiet waar de feature map vaststaat, bevat de effectieve feature map hier een correctieterm die proportioneel is aan de training-data labels en de orthogonale component van de testinput. Dit biedt een theoretische rechtvaardiging voor "feature learning" in de Bayesiaanse zin: het netwerk leert een feature map die licht aangepast is aan de trainingsset, verschillend van de prior feature map.

Betekenis en Claims

De auteurs beweren dat hun werk een mathematisch rigoureus alternatief biedt voor natuurkunde-geïnspireerde afleidingen die vaak steunen op heuristische aannames. Door gebruik te maken van de NSDE en perturbatieve expansies, doen zij het volgende:

1. Verhelderen van de rol van diepte: Ze demonstreren dat diepte niet universeel voordelig is; het nut ervan hangt af van de interactie tussen het datagenererende proces, de activatiefunctie en de temperatuur.
2. Verenigen van Kernel en Feature Learning: Ze tonen aan dat zelfs in het diepe, niet-lineaire regime, de predictieve posterior kan worden beschouwd als een kernelmethode, maar met een feature map die dynamisch wordt aangepast door de trainingsdata (tot de eerste orde).
3. Bieden van Analytische Instrumenten: Het kader maakt het mogelijk om Bayesiaanse statistieken (evidence, posterior gemiddelde, variantie) te berekenen in regimes die voorheen als onhandelbaar werden beschouwd, specifiek voor niet-lineaire netwerken met een eindige maar grote breedte en diepte.

Het artikel stelt expliciet dat het niet beweert het algemene geval voor een willekeurige $\tau$ op te lossen of experimentele validatie op echte datasets te bieden. In plaats daarvan vestigt het een theoretische basis voor het begrijpen van de mechanismen van Bayesiaanse inferentie in diepe netwerken via de lens van stochastische differentiaalvergelijkingen en proportionele schaleringslimieten.