📊 statistics

Kernel Renormalization in Bayesian Deep Neural Networks: the Equivalent Wishart Ansatz in the Proportional Regime

Dieser Beitrag stellt einen effektiven Näherungsansatz vor, der einen äquivalenten Wishart-Ansatz verwendet, um die Generalisierungsleistung bayesscher tiefer neuronaler Netze im proportionalen Regime vorherzusagen, und erfasst dabei erfolgreich das Repräsentationslernen durch renormierte Kernel und selbstkonsistente Ordnungsparameter, die gut mit empirischen Stichprobexperimenten übereinstimmen.

Ursprüngliche Autoren: Paolo Baglioni, Christian Keup, Vincenzo Zimbardo, Rosalba Pacelli, Alessandro Vezzani, Raffaella Burioni, Pietro Rotondo

Veröffentlicht 2026-05-29

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Paolo Baglioni, Christian Keup, Vincenzo Zimbardo, Rosalba Pacelli, Alessandro Vezzani, Raffaella Burioni, Pietro Rotondo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen zu verstehen, wie eine riesige, komplexe Maschine (ein tiefes neuronales Netz) lernt, Muster zu erkennen, etwa indem sie zwischen Bildern von Katzen und Hunden unterscheidet. Normalerweise versuchen Wissenschaftler, diese Maschinen zu verstehen, indem sie so tun, als wären sie unendlich groß. In dieser „unendlichen" Welt verhält sich die Maschine sehr vorhersehbar, wie eine einfache, glatte Kurve. Dies wird als „träge" Regime bezeichnet.

Allerdings sind reale Maschinen nicht unendlich. Sie haben eine spezifische, endliche Größe. Wenn die Anzahl der Datenpunkte, die Sie der Maschine zuführen, ungefähr der gleichen Größe entspricht wie die Anzahl der Neuronen innerhalb davon (eine Situation, die die Autoren als „proportionales Regime" bezeichnen), wird es chaotisch. Die Maschine beginnt, auf komplexe, nichtlineare Weise zu lernen, die die „unendlichen" Theorien nicht erklären können.

Diese Arbeit stellt eine neue Methode vor, um vorherzusagen, wie sich diese Maschinen endlicher Größe verhalten, ohne Millionen teurer Computersimulationen durchführen zu müssen. Hier ist die Aufschlüsselung ihrer Entdeckung unter Verwendung einfacher Analogien:

1. Das Problem: Die „Black Box" endlicher Größe

Stellen Sie sich ein tiefes neuronales Netz als ein mehrstöckiges Gebäude vor, in dem jeder Stockwerk Informationen verarbeitet.

Die unendliche Sicht: Wenn das Gebäude unendlich breit wäre, würde der durchfließende Informationsstrom wie Wasser in einem perfekt glatten Rohr sein. Sie könnten den Ausgang leicht vorhersagen.
Die reale Sicht: In einem echten, endlichen Gebäude sind die Rohre schmaler. Das Wasser (Daten) erzeugt Turbulenzen, Spritzer und Wirbel. Diese „Effekte endlicher Breite" sind es tatsächlich, die Deep Learning so mächtig machen, aber sie sind mathematisch unglaublich schwer zu berechnen, weil die Wechselwirkungen zwischen den Schichten chaotisch sind.

2. Die Lösung: Der „Äquivalente Wishart-Ansatz" (EWA)

Die Autoren schlagen einen cleveren Abkürzungsweg vor. Anstatt jeden einzelnen Wassertropfen (den exakten Zustand jedes Neurons) zu verfolgen, schlagen sie vor, die statistische Form der Turbulenz zu betrachten.

Die Analogie: Stellen Sie sich vor, Sie versuchen, das Wetter in einer stürmischen Stadt zu beschreiben. Anstatt jeden einzelnen Regentropfen zu verfolgen, erkennen Sie, dass das Gesamtmuster des Regens einer bestimmten, bekannten statistischen Form folgt (wie eine Glockenkurve, aber für Matrizen).
Die „Wishart"-Magie: Die Autoren entdeckten, dass sich die „Turbulenz" (die Schwankungen darin, wie das Netz Daten verarbeitet), obwohl das Netz nichtlinear und komplex ist, mathematisch so verhält, als würde sie einer spezifischen, gut verstandenen Verteilung folgen, der Wishart-Verteilung.
Der „Ansatz": Dies ist nur ein ausgefallenes Wort für eine „kluge Vermutung". Sie vermuteten: „Lassen Sie uns so tun, als würde das Chaos in jeder Schicht des Netzes diesem spezifischen Wishart-Muster folgen."

3. Das Ergebnis: Ein einfaches Rezept für komplexes Verhalten

Durch diese Vermutung konnten sie ein massives, unlösbares Problem auf ein winziges, handhabbares Problem reduzieren.

Vorher: Um das Netz zu verstehen, mussten Sie Gleichungen mit Millionen von Variablen lösen (eine für jede Verbindung).
Nachher: Der EWA ermöglicht es Ihnen, das Verhalten des gesamten Netzes mit nur einigen wenigen Zahlen (sogenannten „Ordnungsparametern") zu beschreiben.
- Stellen Sie es sich so vor: Anstatt eine Karte jeder Straße in einer Stadt zu benötigen, um den Verkehr vorherzusagen, benötigen Sie nur die Durchschnittsgeschwindigkeit auf der Hauptautobahn und die Anzahl der Autos.
- Für ein Netz mit $L$ Schichten stellten sie fest, dass Sie nur $L$ einfache Zahlen benötigen, um vorherzusagen, wie gut das Netz lernen wird. Diese Zahlen geben an, wie stark die „Turbulenz" das Signal verstärkt oder dämpft, während es durch das Gebäude wandert.

4. Testen der Theorie

Die Autoren haben nicht nur Mathematik betrieben; sie haben sie gegen die Realität getestet.

Sie bauten tatsächliche neuronale Netze (mit etwa 10 Schichten und einigen hundert Neuronen) und trainierten sie mit realen Datensätzen (wie MNIST-Ziffern und CIFAR-10-Bildern).
Sie verwendeten leistungsfähige Computer-Sampling-Methoden (wie eine High-Tech-Version des Würfels mit Millionen von Würfen), um zu sehen, was die Netze tatsächlich taten.
Das Urteil: Ihre „kluge Vermutung" (EWA) stimmte mit den realen Ergebnissen unglaublich gut überein, selbst für Netze mit bis zu 10 Schichten. Sie war viel genauer als die alten „unendlichen" Theorien, die die Nuancen von Netzen endlicher Größe nicht erfassen konnten.

5. Eine überraschende Entdeckung: Die „metastabile" Falle

Während des Testens entdeckten sie etwas Seltsames. Wenn die Netze sehr tief wurden und die Datenlast hoch war, gerieten die Computersimulationen manchmal in einen vorübergehenden Zustand „stecken".

Die Analogie: Stellen Sie sich eine Kugel vor, die einen Hügel hinunterrollt. Normalerweise rollt sie gerade bis zum Boden. Manchmal bleibt sie jedoch in einer kleinen Mulde auf halbem Weg stecken. Es sieht so aus, als hätte sie sich beruhigt, aber wenn Sie lange genug warten (oder den Hügel schütteln), wird sie schließlich aus der Mulde rollen und den wahren Boden erreichen.
Die Autoren fanden heraus, dass Standard-Computersimulationen oft in diesen „Mulden" (metastabilen Zuständen) stecken blieben, was den Anschein erweckte, das Netz habe aufgehört zu lernen, obwohl es in Wirklichkeit nur mehr Zeit benötigte, um die wahre Lösung zu finden.

Zusammenfassung

Die Arbeit liefert eine neue „Faustregel" zum Verständnis tiefer neuronaler Netze, die nicht unendlich groß sind. Indem sie erkannten, dass das Chaos innerhalb dieser Netzen einem vorhersehbaren statistischen Muster folgt (der Wishart-Verteilung), schufen sie ein einfaches mathematisches Werkzeug, das genau vorhersagt, wie diese Netze lernen, und so die Lücke zwischen einfacher Theorie und komplexer Realität schließt.

Titel: Kernel-Renormierung in Bayes'schen Deep Neural Networks: der äquivalente Wishart-Ansatz im proportionalen Regime

Problemstellung
Deep Neural Networks (DNN) sind zentral für das moderne maschinelle Lernen, doch ihr theoretisches Verständnis bleibt herausfordernd, insbesondere für mehrschichtige, nichtlineare Architekturen. Während der „faule" unendlich-breite Grenzfall (Neural Network Gaussian Process oder NNGP) exakte Beschreibungen für breite Netzwerke liefert, versagt er darin, die endlichen Breiten-Effekte zu erfassen, die für die überlegene Leistung von DNNs gegenüber Kernel-Methoden verantwortlich sind. Umgekehrt erfordert das „reiche" Lernregime, in dem sich Merkmale signifikant anpassen, oft hochdimensionale Ordnungsparameter (z. B. $P \times P$ -Kernel-Matrizen), die rechnerisch nicht handhabbar sind.

Die spezifische Lücke, die diese Arbeit adressiert, ist das Fehlen einer niedrigdimensionalen, effektiven Theorie für Bayes'sche DNNs im proportionalen Regime, in dem die Anzahl der Trainingsdaten $P$ und die Netzwerkbreite $N$ proportional gegen unendlich skalieren ( $P, N \to \infty$ mit festem $\alpha = P/N$ ). In diesem Regime sind endliche Breiten-Fluktuationen nicht vernachlässigbar, und bestehende Theorien beruhen entweder auf perturbativen Korrekturen (die für tiefe Netzwerke versagen) oder erfordern die Lösung gekoppelter hochdimensionaler Gleichungen, die keine Dimensionsreduktion bieten.

Methodik: Der äquivalente Wishart-Ansatz (EWA)
Die Autoren schlagen eine approximative, aber effektive Theorie vor, die auf dem äquivalenten Wishart-Ansatz (EWA) basiert. Die Kernidee besteht darin, die stochastischen Fluktuationen der hierarchischen empirischen Kernel in einem tiefen nichtlinearen Netzwerk so zu modellieren, als wären sie Wishart-verteilt, ähnlich dem exakten Verhalten, das in tiefen linearen Netzwerken gefunden wird.

Kernel-Hierarchie: Die Prior-Verteilung des Netzwerkausgangs wird durch eine Hierarchie empirischer Kernel $K^{(\ell)}_E$ auf jeder Schicht $\ell$ beschrieben. Im proportionalen Grenzfall nehmen die Autoren an, dass die bedingte Verteilung eines Kernel auf Schicht $\ell$ , gegeben den Kernel auf Schicht $\ell-1$ , wie eine Wishart-Verteilung wirkt:
$K^{(\ell)}_E | K^{(\ell-1)}_E \sim \mathcal{W}_P\left( \frac{\Theta^{L-\ell+1}(K^{(\ell-1)}_E)}{N_\ell}, N_\ell \right)$
wobei $\Theta$ die NNGP-Kernelfunktion und $N_\ell$ die Breite ist.
Dimensionsreduktion: Durch Ausnutzung der Eigenschaften von Wishart-Matrizen (insbesondere der Kontraktionseigenschaft, bei der quadratische Formen einer $\chi^2$ -Verteilung folgen), reduzieren die Autoren das komplexe Integral über den Parameterraum auf ein niedrigdimensionales Integral über $L$ skalare Ordnungsparameter $q_\ell$ (oder Matrizen $q_\ell$ für CNNs).
- Für Fully Connected (FC)-Netzwerke hängt die effektive Wirkung von einem Skalarprodukt $Q = \prod q_\ell$ ab.
- Für Convolutional Neural Networks (CNNs) wird ein gestapelter äquivalenter Wishart-Ansatz eingeführt, der zu einem niedrigdimensionalen matrixförmigen Ordnungsparameter $Q$ führt, der Patch-Patch-Korrelationen erfasst.
Effektive Wirkung: Die Zustandssumme wird über ein Prinzip großer Abweichungen ausgedrückt, was eine effektive Wirkung $S(q)$ ergibt, die nur von diesen Ordnungsparametern und dem Datensatz abhängt. Der renormierte Kernel ist gegeben durch $K^{(R)}_Q = Q \Theta^L(C)$ , wobei $C$ die Eingabe-Gram-Matrix ist.
Umgang mit nicht-verschwindenden Mitteln: Die Autoren zeigen, dass für das proportionale Regime der Unterschied zwischen zentralen und nicht-zentralen Wishart-Verteilungen (die durch Aktivierungsfunktionen mit nicht-verschwindenden Mitteln wie ReLU entstehen) asymptotisch vernachlässigbar ist. Der EWA mit Nullmittel bleibt eine gültige effektive Beschreibung.

Hauptbeiträge

Niedrigdimensionale Theorie für nichtlineare DNNs: Die Arbeit liefert die erste niedrigdimensionale approximative Beschreibung Bayes'scher Multi-Layer-Perceptrons (MLPs) und CNNs im proportionalen Regime, die nicht-perturbative endliche Breiten-Effekte erfasst, ohne auf $P \times P$ -Selbstkonsistenzgleichungen zurückzugreifen.
Äquivalenter Wishart-Ansatz: Sie führt den EWA als Mechanismus ein, um die dominanten stochastischen Fluktuationen hierarchischer empirischer Kernel zu erfassen und reduziert das Problem auf die Bestimmung von $L$ (oder einer kleinen Matrix) Ordnungsparametern.
Erweiterung auf CNNs: Das Framework wird auf konvolutionale Architekturen erweitert und identifiziert einen hierarchischen lokalen Kernel-Renormierungsmechanismus, der endliche Breiten-Effekte bei räumlich korrelierten Daten berücksichtigt.
Validierung im proportionalen Regime: Die Theorie wird gegen umfangreiche numerische Experimente (MCMC-Sampling) an realen Datensätzen (MNIST, CIFAR-10) und synthetischen Daten getestet, die Tiefen bis zu $L \sim 10$ und verschiedene Aktivierungsfunktionen (Erf, ReLU) abdecken.

Ergebnisse

Quantitative Übereinstimmung: Die EWA-Vorhersagen für Trainingsverlust und Generalisierungsfehler zeigen eine „insgesamt sehr gute Übereinstimmung" mit numerischen Sampling-Experimenten für Netzwerke mit Tiefen bis zu $L \sim O(10)$ und verschiedenen Datensatzgrößen. Die Theorie verfolgt erfolgreich das Verhalten von Netzwerken endlicher Breite, bei dem der unendlich-breite NNGP-Grenzfall versagt.
Systematische Abweichungen: Zwei Arten von Abweichungen werden beobachtet, wenn sowohl Tiefe $L$ $L$ als auch Last $\alpha$ $α$ groß sind:
1. Allmähliche Drift: In Experimenten mit Gauß'schen Daten bei hohem $\alpha$ wächst der EWA-Fehler glatt mit der Tiefe, wahrscheinlich aufgrund sich akkumulierender Fehler in der Breite der Rate-Funktion oder vernachlässigten richtungsabhängigen Inhomogenitäten.
2. Metastabilität: Für ReLU-Netzwerke auf CIFAR-10 bei $L > 5$ und $\alpha \approx 2.5$ wird in MCMC-Simulationen ein scharfer, abrupter Abfall des Trainings- und Testfehlers beobachtet. Dieses Phänomen, das als metastabiler Übergang im Posterior interpretiert wird, wird von der glatten EWA-Vorhersage nicht erfasst, was auf einen Zusammenbruch des Ansatzes in extremen Regimen hindeutet.
Mean-Field vs. Standard-Parametrisierung: Die Theorie sagt die Generalisierungsleistung erfolgreich sowohl in der Standard-Parametrisierung (SP) als auch in der Mean-Field-Parametrisierung ( $\mu$ P) voraus. Im reichen Lernregime ( $\mu$ P) wird festgestellt, dass die Verbesserung der Generalisierung primär durch eine Unterdrückung der Prädiktor-Varianz getrieben wird und nicht durch eine starke Anpassung der Prädiktor-Bias, was konsistent mit dem Bild des renormierten Kernels im EWA ist.

Bedeutung und Behauptungen
Die Autoren behaupten, dass der EWA eine handhabbare effektive Theorie bietet, die die Lücke zwischen dem faulen unendlich-breiten Grenzfall und dem komplexen, hochdimensionalen Feature-Learning-Regime schließt. Indem die Beschreibung des Lernens endlicher Breite auf wenige skalare (oder niedrigrangige matrixförmige) Ordnungsparameter reduziert wird, argumentiert die Arbeit, dass die relative Skalierung von Datengröße und Breite ( $\alpha = P/N$ ) ein fundamentaleres organisierendes Prinzip für das Lernen endlicher Breite ist als die traditionelle „faul vs. reich"-Dichotomie.

Die Arbeit legt nahe, dass für moderate Tiefen und Lasten die komplexe Anpassung von Merkmalen in nichtlinearen DNNs effektiv durch eine einfache globale (oder lokale, für CNNs) Renormierung des Kernels erfasst werden kann. Dies bietet eine Basislinie zum Verständnis des Feature-Learnings und zeigt an, dass die große Lücke zwischen unendlich-breiten Vorhersagen und der Phänomenologie endlicher Breite weitgehend durch diese richtungshomogene Renormierung erfasst wird. Die Arbeit schließt, dass der EWA, obwohl eine Approximation, durch seinen Erfolg bei der Vorhersage empirischer Lernkurven über diverse Architekturen und Datensätze hinweg als leistungsstarkes Werkzeug zur Analyse Bayes'schen Deep Learnings im proportionalen Regime etabliert wird.