📊 statistics

Canonical Regularisation of Wide Feature-Learning Neural Networks

Dieser Artikel identifiziert die Einschränkungen der Standard-Ridge-Regularisierung in neuronalen Netzen für das Feature-Learning und schlägt ein neuartiges Framework vor, das auf Riemannscher Geometrie basiert, um einen kanonischen „geodätischen Ridge"-Regularisierer abzuleiten, der die implizite Priorität des Gradientenflusses sowohl im Kernel- als auch im Feature-Learning-Regime generalisiert.

Ursprüngliche Autoren: George Whittle, Pranav Vaidhyanathan, Juliusz Ziomek, Natalia Ares, Maike A. Osborne

Veröffentlicht 2026-05-19

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: George Whittle, Pranav Vaidhyanathan, Juliusz Ziomek, Natalia Ares, Maike A. Osborne

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Zwei Arten zu lernen

Stellen Sie sich ein neuronales Netzwerk (eine Art KI) als eine riesige, flexible Skulptur aus Ton vor. Wenn wir sie trainieren, drücken und ziehen wir den Ton, damit er eine bestimmte Form (die Daten) annimmt.

Das Papier argumentiert, dass Wissenschaftler diese Skulpturen lange Zeit mit einer sehr einfachen Regel untersucht haben: „Der Ton verändert seine Form eigentlich nicht; er gleitet lediglich über einen flachen Tisch." Dies wird als Kernel-Regime bezeichnet. In dieser Welt ist die Mathematik einfach, und der „beste" Weg, den Ton zu drücken, ist gut verstanden.

Moderne KI funktioniert jedoch tatsächlich in einer anderen Welt, dem Feature-Learning-Regime. Hier verändert der Ton seine Form tatsächlich. Die Skulptur biegt sich, verdreht sich und krümmt sich, während sie lernt. Die alten Regeln zum Drücken des Tons funktionieren hier nicht mehr, doch die Menschen haben sie trotzdem weiterverwendet, oft mit schlechten Ergebnissen.

Das Problem: Der falsche „Druck"

In der alten, flachen Welt (Kernel-Regime) ist der beste Weg, die Skulptur zu führen, die Verwendung einer bestimmten Art von „Druck", genannt Anchored Ridge. Stellen Sie sich dies wie ein Gummiband vor, das an der Startposition der Skulptur befestigt ist. Wenn Sie die Skulptur zu ihrem Ziel drücken, zieht das Gummiband sie zurück zum Start und verhindert, dass sie zu weit abschweift. Dies funktioniert auf einem flachen Tisch perfekt.

Die Hauptentdeckung des Papiers: In der gekrümmten Welt (Feature-Learning-Regime) ist dieses gleiche Gummiband gefährlich.

Da die „Tischplatte" (der Pfad, den die Skulptur nimmt) nun wie eine Achterbahnstrecke gekrümmt ist, zieht das Gummiband in die falsche Richtung. Es versucht, die Skulptur gerade zurück zum Start zu ziehen, aber die Strecke krümmt sich davon weg. Dies erzeugt eine „Phantomkraft", die die Skulptur von der Strecke in die Leere drückt.

Das Ergebnis: Die Skulptur landet an einer Stelle, die auf den Trainingsdaten gut aussieht, aber für neue, ungesehene Daten tatsächlich kaputt ist. Es ist, als würde man versuchen, auf einem Seil zu laufen, während jemand Sie mit einem Seil, das an Ihrem Startpunkt befestigt ist, zur Seite zieht; Sie werden vom Seil fallen.

Dies erklärt, warum moderne KI manchmal nicht richtig lernt oder die „Weisheit" verliert, die sie während des Pre-Trainings erworben hat (ein Problem, das als „katastrophales Vergessen" oder verschlechtertes Transferlernen bekannt ist).

Die Lösung: Der „geodätische" Druck

Die Autoren fragten: Wenn der Tisch gekrümmt ist, wie ist dann der richtige Weg, die Skulptur zurück zu ihrem Start zu ziehen?

Sie erkannten, dass auf einer gekrümmten Oberfläche der kürzeste Abstand zwischen zwei Punkten keine gerade Linie (eine Sehne) ist; es ist eine gekrümmte Linie, die der Oberfläche folgt. In der Mathematik nennt man dies eine Geodäte.

Sie schlugen eine neue Regel vor, genannt Geodesic Ridge:

Anstelle eines Gummibands, das in einer geraden Linie durch die Luft zieht, stellen Sie sich eine schiefe Schiene vor, die perfekt auf die gekrümmte Strecke geklebt ist.
Diese Schiene zieht die Skulptur entlang der Kurve selbst zurück zum Start.
Dies stellt sicher, dass die Skulptur auf der Strecke bleibt und die natürliche Art und Weise, wie die KI Merkmale lernt, bewahrt.

Der praktische Abkürzungsweg: „Arc Ridge"

Es gibt einen Haken. Die Berechnung der exakten „schiefe Schiene" (Geodesic Ridge) ist für massive KI-Modelle unglaublich schwierig und langsam. Es ist, als würde man versuchen, die exakte Kurve einer Bergstraße für jeden einzelnen Schritt zu berechnen, den man macht.

Also fanden die Autoren einen cleveren Abkürzungsweg namens Arc Ridge.

Die Analogie: Stellen Sie sich vor, Sie wandern einen Berg hinauf. Sie müssen nicht die exakte Krümmung der Erde berechnen, um zu wissen, wie weit Sie gelaufen sind. Sie müssen nur Ihre Schritte zählen.
Wie es funktioniert: Arc Ridge misst einfach die gesamte Strecke, die die Skulptur während des Trainings zurückgelegt hat.
Die Magie: Das Papier beweist, dass dieser einfache „Schrittzähler" exakt wie die komplexe „schiefe Schiene" wirkt. Er verhindert, dass die Skulptur von der Strecke abweicht, ist aber unglaublich einfach zu berechnen.

Warum das wichtig ist (laut dem Papier)

Es korrigiert die „Verzerrung": Die alten Methoden (Standard und Anchored Ridge) verzerrten die KI heimlich und zwangen sie in eine schlechte Position, selbst wenn man dachte, nur eine winzige Menge an Regularisierung zu verwenden. Die neue Methode entfernt diese Verzerrung.
Es verbindet sich mit „Early Stopping": Das Papier zeigt, dass die Verwendung dieses „Schrittzählers" (Arc Ridge) mathematisch identisch ist mit dem Stoppen des Trainings im perfekten Moment (Early Stopping). Wenn Sie wissen, wie viele Schritte Sie gemacht haben, wissen Sie genau, wann Sie stoppen müssen, um das beste Ergebnis zu erzielen, ohne einen separaten Testdatensatz zu benötigen.
Praktischer Beweis: Die Autoren testeten dies bei der Bilderkennung (Vorhersage des Alters aus Gesichtern) und der Textanalyse (Vorhersage von Bewertungspunkten). Sie stellten fest, dass die KI schlechter wurde, wenn sie die alten Methoden mit hoher Regularisierung verwendete. Wenn sie ihre neue „Arc Ridge"-Methode verwendeten, blieb die KI stabil und performte viel besser.

Zusammenfassung

Alte Sichtweise: KI-Lernen ist wie das Gleiten auf einem flachen Boden. Wir ziehen es mit einem geraden Gummiband zurück.
Neue Realität: KI-Lernen ist wie das Gleiten auf einer gekrümmten Achterbahn. Ein gerades Gummiband zieht Sie von der Strecke.
Die Lösung: Verwenden Sie eine „schiefe Schiene" (Geodesic Ridge), die der Kurve folgt.
Der Hack: Sie müssen die Schiene nicht bauen. Zählen Sie einfach Ihre Schritte (Arc Ridge), und es erledigt die Aufgabe genauso perfekt.

Dieses Papier liefert den mathematischen Beweis dafür, warum die alten Regeln in der modernen KI versagen, und bietet ein einfaches, praktisches Werkzeug zu deren Behebung.

Technische Zusammenfassung: Kanonische Regularisierung von breiten neuronalen Netzen mit Feature-Learning

Problemstellung

Breite neuronale Netze, die im Feature-Learning-Regime operieren – also in dem Modus, in dem das Netzwerk aktiv Repräsentationen lernt, anstatt sich wie eine feste Kernel-Maschine zu verhalten –, sind der Motor des modernen Deep Learning. Das theoretische Verständnis dieser Netze hinkt jedoch dem Verständnis des Kernel-Regimes (formalisiert durch den Neural Tangent Kernel, NTK) erheblich hinterher. Es besteht eine kritische Lücke hinsichtlich der impliziten Regularisierung und des Funktionsraum-Priors, die durch das Training mittels Gradientenfluss induziert werden.

Im Kernel-Regime ist gut etabliert, dass der Gradientenfluss die eindeutige Lösung auswählt, die den quadrierten Abstand im Parameterraum zur Initialisierung minimiert (verankerte Ridge-Regularisierung, $\|\theta - \theta_0\|^2$ ). Diese Eigenschaft bildet die Grundlage für die Korrespondenz zwischen Neuronalem Netz und Gauß-Prozess (NN-GP) und ermöglicht eine prinzipielle Modellierung von Rauschen sowie eine Quantifizierung von Unsicherheit. Praktiker wenden jedoch häufig standardmäßig eine gewöhnliche Gewichtsdecay-Regularisierung ( $\|\theta\|^2$ ) oder verankerte Ridge-Regularisierung auf Netze im Feature-Learning-Modus an. Diese Arbeit argumentiert, dass diese Regularisierer im Feature-Learning-Regime geometrisch fehljustiert sind, was zu einer „stummen" Verzerrung führt, die den induktiven Bias des Netzes verzerrt, insbesondere in Transfer-Learning-Szenarien, in denen vortrainierte Features informativ sind.

Methodik und Theoretischer Rahmen

Die Autoren entwickeln einen geometrischen Rahmen, um die Dynamik im Parameterraum überparametrisierter Netze zu charakterisieren, die eine Uniforme Jacobische Konditionierung (Annahme 2.1) erfüllen. Diese Annahme besagt, dass die Jacobi-Matrix $J(\theta)$ in einer Umgebung der interpolierenden Lösungen Singulärwerte besitzt, die strikt von Null und von Unendlich entfernt sind.

1. Geometrische Zerlegung

Die Autoren zerlegen den Parameterraum $\Theta$ um einen Interpolator herum in drei Schlüsselobjekte:

Fluss-Orbit ( $O_{flow}$ ): Die Menge aller Parameter, die durch Gradientenfluss von einer Initialisierung $\theta_0$ aus erreichbar sind. Im Feature-Learning-Regime kann dies eine hochdimensionale sub-Riemannsche Menge sein.
Eich-fixierter Fluss-Mannigfaltigkeit ( $M_{flow}(\theta_0)$ ): Eine spezifische $n$ -dimensionale Untermannigfaltigkeit innerhalb des Fluss-Orbits, die die realisierte Gradientenfluss-Trajektorie enthält. Sie dient als Parameterraum-Karte für den Funktionsraum in der Nähe des Interpolators.
Ausgangsfasern ( $\Theta(c)$ ): Richtungen transversal zur Fluss-Mannigfaltigkeit, in denen die Trainingsvorhersagen $g(\theta)$ konstant bleiben, sich jedoch Vorhersagen auf ungesehenen Eingaben drastisch ändern können.

2. Die Pathologie der Ridge-Regularisierung

Die Arbeit beweist, dass im Feature-Learning-Regime die Fluss-Mannigfaltigkeit $M_{flow}(\theta_0)$ gekrümmt ist, im Gegensatz zum affinen Unterraum des Kernel-Regimes.

Versagen der verankerten Ridge: Der Gradient der verankerten Ridge, $-2(\theta - \theta_0)$ , ist eine euklidische Sehne. Auf einer gekrümmten Mannigfaltigkeit erhält dieser Gradient eine Komponente entlang der Ausgangsfasern (orthogonal zur Flussrichtung).
Konsequenz: Wenn die Regularisierungsstärke $\lambda \to 0$ geht, konvergiert die Lösung nicht gegen den unregularisierten Gradientenfluss-Limes $\theta^*$ . Stattdessen zieht der Regularisierungsgradient die Parameter entlang der Fasern, verzerrt den impliziten Prior und kann möglicherweise nützliche induktive Biases, die während des Vortrainings gelernt wurden, zerstören. Dies wird in Satz 3.1 formalisiert.

3. Axiomatische Herleitung des kanonischen Regularisierers

Um dies zu lösen, axiomatisieren die Autoren die kanonische Energie im Funktionsraum als die minimale kontrolltheoretische Energie, die erforderlich ist, um die Netzwerkausgaben unter Gradientenfluss-Dynamik von der Initialisierung zu einem Ziel zu transportieren.

Eindeutigkeit: Durch Auferlegung der Axiome der Isometrie-Invarianz und orthogonalen Additivität beweisen sie, dass im Kernel-Regime diese Energie eindeutig der quadrierten RKHS-Norm entspricht (womit die verankerte Ridge wiederhergestellt wird).
Verallgemeinerung: Durch Hebung dieser Energie in den Parameterraum mittels Definition 4.3 ergibt sich der Geodätische Ridge-Regularisierer:
$d^2(\theta, \theta_0) = d^2_{flow}(\theta_0, g|^{-1}_{\theta_0}(g(\theta))) + d^2_{fibre}(\theta, g|^{-1}_{\theta_0}(g(\theta)))$
Dies misst die quadrierte geodätische Distanz entlang der Fluss-Mannigfaltigkeit plus die geodätische Distanz entlang der Ausgangsfaser.
Impliziter Prior: Der entsprechende Prior im Funktionsraum wird als Riemannscher Gibbs-Prozess identifiziert, der den NTK-Gauß-Prozess auf gekrümmte Geometrien verallgemeinert.

4. Arc Ridge: Ein praktischer Surrogat

Da die Berechnung geodätischer Distanzen im großen Maßstab unlösbar ist, schlagen die Autoren Arc Ridge als minimax-robusten Surrogat vor.

Definition: Arc Ridge ist die quadrierte Gesamtlänge der Trainings-Trajektorie: $L_2(\gamma) = (\int_0^T \|\dot{\gamma}(t)\| dt)^2$ .
Eigenschaften: Sie bildet die geodätische Ridge nach oben ab, behält die „Bias-freie" Eigenschaft entlang der realisierten Gradientenfluss-Richtung bei und ist unter exaktem Gradientenfluss formal äquivalent zum Early Stopping. Sie erfordert keine Informationen zweiter Ordnung und akkumuliert während des Trainings nur einen einzigen Skalar (Pfadlänge).

Hauptergebnisse

Bias herkömmlicher Regularisierer: Die Arbeit beweist, dass sowohl die Standard-Ridge- als auch die verankerte Ridge-Regularisierung den Gradientenfluss-Limes im Feature-Learning-Regime verzerren (Satz 3.1). Dieser Bias persistiert selbst dann, wenn die Regularisierungsstärke gegen Null geht, und führt dazu, dass die Lösung entlang von Ausgangsfasern driftet, die für den Trainingsverlust unsichtbar sind.
Geodätische Ridge als kanonische Lösung: Die Autoren leiten die geodätische Ridge als den eindeutigen Regularisierer her, der mit der Geometrie von Netzen im Feature-Learning-Modus übereinstimmt und sicherstellt, dass der Limes verschwindender Regularisierung die unregularisierte Gradientenfluss-Lösung wiederherstellt (Satz 4.2).
Äquivalenz von Arc Ridge: Es wird gezeigt, dass Arc Ridge eine enge, handhabbare obere Schranke für die geodätische Ridge darstellt. Entscheidend ist der Nachweis, dass sie im Limes des exakten Gradientenflusses dem Early Stopping äquivalent ist (Proposition F.4), was eine theoretische Rechtfertigung für Early Stopping als eine geometriebewusste Regularisierungstechnik liefert.
Empirische Validierung: Experimente zu Transfer-Learning-Aufgaben (Altersregression auf UTKFace mit ResNet18; Bewertungsscore-Regression auf Yelp mit DistilBERT) zeigen, dass:
- Bei hohen Regularisierungsstärken Standard- und verankerte Ridge zu einer signifikanten Verschlechterung der Testleistung führen, bedingt durch die Zerstörung des vortrainierten Priors.
- Arc Ridge nur mild verschlechtert, was mit einer harmlosen Unteranpassung konsistent ist.
- Bei niedrigen Regularisierungsstärken alle Methoden konvergieren, da Early Stopping den Bias dominiert.

Bedeutung und Behauptungen

Die Arbeit beansprucht, den ersten prinzipiellen Rahmen für das Verständnis und die Korrektur des impliziten Bias von Gradientenfluss in breiten Netzen mit Feature-Learning zu liefern. Ihre Hauptbeiträge sind:

Geometrische Einsicht: Sie identifiziert die Krümmung der Fluss-Mannigfaltigkeit als die Ursache für das Versagen euklidischer Regularisierer (wie verankerte Ridge) in Regimen des Feature-Learnings.
Theoretische Vereinheitlichung: Sie verallgemeinert die NN-GP-Korrespondenz auf das Feature-Learning-Regime, indem sie den Riemannschen Gibbs-Prozess als kanonischen Prior und die geodätische Ridge als kanonischen Regularisierer identifiziert.
Praktische Lösung: Sie schlägt Arc Ridge (quadrierte Pfadlänge) als skalierbare, minimax-robuste Alternative vor, die mit der Geometrie des Trainings übereinstimmt. Dies enthüllt eine tiefe, bisher nicht formalisierte Beziehung zwischen Early Stopping und kanonischer Regularisierung und legt nahe, dass Early Stopping nicht bloß eine Heuristik, sondern eine geometrieerhaltende Regularisierungsstrategie ist.

Die Autoren betonen, dass ihre Theorie zwar eine uniforme Jacobische Konditionierung voraussetzt (die in Anhang H empirisch verifiziert wurde), die geometrische Intuition jedoch Phänomene wie die Verschlechterung vortrainierter Repräsentationen während des Fine-Tunings und das „Grokking"-Phänomen erklärt und einen Weg zu robusteren Regularisierungsstrategien im Deep Learning aufzeigt.