🤖 machine learning

A Theory of Generalization in Deep Learning

Dieser Beitrag stellt eine nicht-asymptotische Theorie der Generalisierung im Deep Learning vor, die auf der Partitionierung des Ausgaberaums durch den empirischen neuronalen Tangentialkern basiert, Phänomene wie harmloses Überanpassen und „Grokking" erklärt und gleichzeitig einen praktischen, auf dem Signal-zu-Rausch-Verhältnis (SNR) beruhenden Konditionierer einführt, der das Training beschleunigt und das Auswendiglernen unterdrückt, ohne Validierungsdaten zu benötigen.

Ursprüngliche Autoren: Elon Litman, Gabe Guo

Veröffentlicht 2026-05-05

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Elon Litman, Gabe Guo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Warum funktionieren superkomplexe KI-Modelle?

Stellen Sie sich vor, Sie unterrichten einen Schüler (ein neuronales Netz) für eine Abschlussprüfung. Sie geben ihm ein Lehrbuch mit 100 Beispielen. Doch hier kommt der Twist: Der Schüler hat ein fotografisches Gedächtnis und ist so intelligent, dass er jedes einzelne Wort des Lehrbuchs auswendig lernen kann, einschließlich der Tippfehler und der zufälligen Kritzeleien am Rand.

In der Vergangenheit dachten Wissenschaftler: „Wenn ein Schüler die Tippfehler auswendig lernt, wird er die Prüfung bestehen, weil die Prüfung diese Tippfehler nicht enthalten wird." Dies ist das Problem des Overfittings.

In der modernen KI beobachten wir jedoch etwas Seltsames: Diese „Super-Auswendigler" bestehen die Prüfung oft mit Bravour, selbst wenn die Trainingsdaten chaotisch sind. Dieses Paper liefert eine neue Landkarte, um zu erklären, wie und warum dies geschieht, und bietet uns sogar einen neuen Weg, um sie schneller und besser zu trainieren.

1. Die zwei Räume: Der „Signalkanal" und das „Reservoir"

Die Autoren stellen sich den Lernprozess der KI als in einem Gebäude mit zwei distincten Räumen ablaufend vor.

Raum A: Der Signalkanal (Die Bühne)
Hier findet das „echte" Lernen statt. Es ist wie eine Bühne, auf der der Schüler die eigentliche Handlung der Geschichte lernt. Wenn sich die KI in diese Richtung bewegt, lernt sie Muster, die auf die reale Welt (den Test) anwendbar sind.
- Was hier passiert: Die KI lernt schnell und stetig. Es ist wie ein Läufer, der eine Bahn entlang sprintet.
Raum B: Das Reservoir (Der schallisolierte Keller)
Dies ist ein riesiger, dunkler Keller, in dem die KI den „Lärm" speichert – die Tippfehler, die zufälligen Kritzeleien und den puren Müll in den Daten.
- Der Zaubertrick: Die Autoren beweisen, dass dieser Keller schallisoliert ist. Selbst wenn die KI jeden einzelnen Tippfehler im Keller auswendig lernt, dringt kein Schall nach außen. Der Test (die Prüfung) kann nicht hören, was im Reservoir passiert.
- Ergebnis: Die KI kann den Lärm auswendig lernen, ohne ihre Prüfungsnote zu beeinträchtigen, da der Lärm an einem Ort gefangen ist, den der Test nicht sehen kann.

2. Der Verkehrspolizist: Wie SGD die Dinge organisiert

Wie weiß die KI, welche Richtung die „Bühne" und welche der „Keller" ist? Das Paper erklärt, dass die Standard-Trainingsmethode (genannt SGD oder Stochastic Gradient Descent) wie ein cleverer Verkehrspolizist wirkt.

Die Drift vs. das Shuffle:
- Echte Signale (Die Bühne): Wenn die KI ein echtes Muster sieht, schiebt sie der Verkehrspolizist in einer geraden, schnellen Linie vorwärts (eine „Drift"). Dies häuft sich schnell an.
- Lärm (Der Keller): Wenn die KI zufälligen Lärm sieht, sagt ihr der Verkehrspolizist, sie solle sich nur auf der Stelle bewegen (ein „random walk"). Sie bewegt sich, kommt aber nirgendwohin, wo es nützlich wäre.
- Das Ergebnis: Im Laufe der Zeit stapeln sich die echten Muster hoch auf, während der Lärm klein bleibt und im Shuffle verloren geht. Die KI trennt das Weizen vom Spreu auf natürliche Weise.

3. Das „Grokking"-Rätsel gelöst

Vielleicht haben Sie von einem Phänomen namens „Grokking" gehört. Dies ist der Fall, wenn eine KI lange Zeit zu scheitern scheint (die Trainingsdaten auswendig lernt) und dann plötzlich, aus dem Nichts, „es versteht" und beginnt, das Problem perfekt zu lösen.

Die Erklärung des Papers:
Stellen Sie sich vor, die KI bewegt langsam das „Signal" aus dem schallisolierten Keller auf die Bühne hinauf.
- Zunächst steckt die KI im Keller fest und lernt Lärm auswendig.
- Langsam entwickelt sich der „Kernel" (die interne Karte der KI).
- Schließlich wandert das echte Signal endlich vom Keller auf die Bühne.
- Grokking ist nur der Moment, in dem das Signal auf der Bühne ankommt. Es ist keine Magie; es ist einfach das Signal, das endlich zum Test aufholt.

4. Das neue Werkzeug: „Population Risk"-Training

Die Autoren haben nicht nur die Theorie erklärt; sie haben ein praktisches Werkzeug darauf aufgebaut.

Das Problem: Normalerweise benötigen wir zum Trainieren einer KI einen „Validierungsdatensatz" (eine Übungsprüfung), um zu überprüfen, ob sie die richtigen Dinge lernt. Wenn wir keinen haben, könnten wir ihr versehentlich den Lärm beibringen.
Die Lösung: Sie schufen eine neue Trainingsregel, die wie ein selbstkorrigierender Filter wirkt.
- Anstatt nur den gesamten Datenbatch zu betrachten, betrachtet diese neue Methode jedes einzelne Beispiel und fragt: „Wenn ich dieses eine Beispiel entfernen würde, würde die KI dann immer noch dasselbe lernen?"
- Wenn die Antwort „Nein, es merkt sich nur diesen spezifischen Lärm" lautet, blockiert der Filter diese Aktualisierung.
- Wenn die Antwort „Ja, dies ist ein echtes Muster" lautet, erlaubt der Filter die Aktualisierung.

Die Analogie:
Stellen Sie sich einen Lehrer vor, der einen Schüler benotet.

Alte Methode (AdamW): Der Lehrer betrachtet den gesamten Test und sagt: „Sie haben 90 % richtig, gute Arbeit!" (Selbst wenn der Schüler bei 10 Fragen geschummelt hat).
Neue Methode (Population Risk): Der Lehrer betrachtet jede Frage und fragt: „Haben Sie dieses Konzept gelernt oder haben Sie sich nur die Antwortliste auswendig gelernt?" Wenn es nur Auswendiglernen ist, ignoriert der Lehrer diesen Punkt. Dies zwingt den Schüler, die Konzepte schneller zu lernen.

5. Was haben sie erreicht?

Das Paper testete diese neue Methode bei drei schwierigen Aufgaben, bei denen KI normalerweise versagt oder stecken bleibt:

Physiksimulationen (PINNs): Beim Trainieren einer KI zur Lösung physikalischer Gleichungen mit verrauschten Daten erreichte die neue Methode die korrekte Antwort 2,4-mal schneller als Standardmethoden.
Mathe-Rätsel (Grokking): Bei einem modularen Divisions-Matheproblem erreichte die KI eine Genauigkeit von 95 % in 5.950 Schritten statt der üblichen 29.450 Schritte. Sie „grokkte" 5-mal schneller.
KI-Chatbots (DPO): Beim Feinabstimmen eines Chatbots mit unordentlichem menschlichem Feedback (wo Menschen uneinig sind, was gut ist), lernte die neue Methode bessere Präferenzen und blieb dabei viel näher am ursprünglichen, sicheren Verhalten des Bots.

Zusammenfassung

Dieses Paper sagt uns, dass Deep Learning funktioniert, weil der Trainingsprozess „echtes Lernen" von „auswendig gelerntem Lärm" auf natürliche Weise in zwei separate Räume sortiert. Der „Lärm" wird in einem schallisolierten Keller gefangen, wo er die Leistung der KI nicht beeinträchtigen kann.

Durch das Verständnis dessen bauten die Autoren ein neues Trainingswerkzeug, das wie ein intelligenter Filter wirkt, der den Lärm automatisch ignoriert und sich nur auf die echten Signale konzentriert. Dies ermöglicht es der KI, schneller zu lernen, schwierigere Probleme zu lösen und die „Auswendiglern-Falle" zu vermeiden, ohne zusätzliche Daten zu benötigen, um ihre Arbeit zu überprüfen.

Technische Zusammenfassung: Eine Theorie der Generalisierung im Deep Learning

Problemstellung

Deep-Learning-Modelle mit Parameterzahlen, die die Anzahl der Trainingsbeispiele übersteigen, können willkürliches Rauschen auswendig lernen und dennoch auf realen Daten gut generalisieren. Klassische kapazitätsbasierte Schranken (z. B. VC-Dimension, Rademacher-Komplexität) sind in praktischen Maßstäben leer, während Neural Tangent Kernel (NTK)-Theorien nur das „träge" Regime beschreiben, in dem Kerneln eingefroren bleiben. Moderne Architekturen operieren im vollen Feature-Learning-Regime, in dem sich der Kernel während des Trainings signifikant entwickelt (um $O(1)$ in der Operatornorm). Es fehlt eine nicht-asymptotische Theorie, die Generalisierung in diesem dynamischen Regime erklärt, disparate Phänomene wie benignes Overfitting und Grokking vereint und eine praktische Methode bietet, um direkt am Populationsrisiko ohne Validierungsdaten zu trainieren.

Methodik

Die Autoren entwickeln eine Theorie basierend auf der Dynamik im Output-Raum entlang der realisierten Trainingsbahn. Der Kernrahmen zerlegt den Output-Raum unter Verwendung der kumulativen Dissipations-Gramian ( $W_S$ ), die durch Integration der Evolution des empirischen Tangentialkernels ( $K_{SS}$ ) und des Output-Gradienten-Propagators ( $P_g$ ) abgeleitet wird.

1. Signal-Kanal und Reservoir-Zerlegung

Die Theorie unterteilt den Output-Raum in zwei orthogonale Unterräume:

Signal-Kanal ( $\text{range}(W_S)$ ): Richtungen, in denen das Training Verlust dissipiert.
Reservoir ( $\ker(W_S)$ ): Richtungen, in denen das Training keinen Verlust dissipiert.

Ein zentrales theoretisches Ergebnis ist die Reservoir-Test-Unsichtbarkeit (Proposition 3.2): Der Test-Transfer-Operator $G_Q$ verschwindet im Reservoir. Folglich ist jeder während des Trainings im Reservoir gefangene Restfehler oder Label-Rauschen für den Testdatensatz unsichtbar.

2. Drift-Diffusions-Trennung im SGD

Innerhalb des Signal-Kanals analysiert das Papier Minibatch-Stochastischen Gradientenabstieg (SGD). Es wird eine Trennung der Zeitskalen bewiesen:

Drift: Das kohärente Populations-Signal akkumuliert linear ( $O(T)$ ) entlang der Signalrichtungen.
Diffusion: Die zentrierte Fluktuation (Rauschen) verhält sich wie ein Martingal und akkumuliert nur als Zufallsweg ( $O(\sqrt{T})$ ).
Dies stellt sicher, dass das echte Signal im Laufe der Zeit die idiosynkratische Auswendiglernung dominiert und das Rauschen im Signal-Kanal unterdrückt.

3. Train-Test-Kopplung unter Feature-Learning

Selbst wenn sich der Kernel um $O(1)$ entwickelt, beweist das Papier, dass die Testbewegung innerhalb des Signal-Kanals exakt durch die Trainingsbewegung bestimmt wird. Durch Normalisierung der Trainings- und Test-Verschiebungsoperatoren mit der kumulativen Dissipation ( $W_S^{1/2}$ ) kann die Testverschiebung $U_Q(T) - U_Q(s)$ als lineare Funktion der Trainingsverschiebung $U_S(T) - U_S(s)$ plus einem irreduziblen Rest $R_\perp$ ausgedrückt werden. Unter quadratischem Verlust verschwindet dieser Rest und etabliert eine exakte Kopplung:
$U_Q(T) - U_Q(s) = A^\circ (U_S(T) - U_S(s))$
wobei $A^\circ$ der optimale lineare Prädiktor ist, der aus der realisierten Bahn abgeleitet wird.

4. Populationsrisiko-Trainingsalgorithmus

Unter Ausnutzung der Austauschbarkeit der Trainingsdaten leiten die Autoren einen erwartungstreuen Schätzer für die Rate der Populationsrisiko-Abnahme unter Verwendung einer Leave-One-Out (LOO)-Perspektive ab.

Ziel: Sie definieren ein pro-Parameter-Gate basierend auf dem Verhältnis des quadrierten Mittelgradienten ( $\mu_k^2$ ) zur Batch-Varianz ( $\sigma_k^2$ ).
Regel: Ein Parameter $k$ wird nur aktualisiert, wenn $\mu_k^2 > \sigma_k^2 / (b-1)$ .
Implementierung: Dies führt zu einer Modifikation des Adam-Optimierers, die nur einen zusätzlichen Zustandsvektor (zur Verfolgung der Streaming-Varianz) erfordert. Dieses „Populationsrisiko-Gate" unterdrückt Aktualisierungen bei Parametern, bei denen das Batch-Signal vom Rauschen dominiert wird, und verhindert effektiv das Anpassen an inkohärentes Rauschen.

Hauptbeiträge

Nicht-asymptotische Generalisierungstheorie: Ein Rahmenwerk, das vollständiges Feature-Learning (sich entwickelnde Kernel) handhabt, anstatt sich auf eingefrorene-Kernel-Näherungen zu verlassen. Es erklärt Generalisierung durch die geometrische Trennung von Signal und Rauschen in test-sichtbare und test-unsichtbare Unterräume.
Vereinheitlichte Erklärung von Phänomenen: Die Theorie liefert eine einzige mechanistische Erklärung für:
- Benignes Overfitting: Rauschen, das im Reservoir (test-unsichtbar) gefangen ist.
- Double Descent: Rauschen, das sich mit Änderungen der Modellkapazität zwischen Reservoir und Signal-Kanälen bewegt.
- Implizite Verzerrung: Der spektrale Zeitplan von $W_S(t)$ , der den Signal-Kanal von den größten zu den kleinsten Eigenwerten füllt.
- Grokking: Signal, das mit der Zeitentwicklung des Kernels vom Reservoir in den Signal-Kanal migriert.
Exaktes Populationsrisiko-Ziel: Eine Methode, um aus einem einzigen Trainingslauf ohne Validierungsdaten ein exaktes Populationsrisiko-Ziel abzuleiten. Dieses Ziel misst präzise das Rauschen im Signal-Kanal.
Praktischer Algorithmus: Ein „Populationsrisiko-Trainings"-Algorithmus, der als SNR-Vorbedingung auf Adam wirkt. Er fügt einen minimalen Rechenaufwand (ein Zustandsvektor) hinzu und erfordert keine Hyperparameter-Tuning für die Gate-Schwelle.

Ergebnisse

Die vorgeschlagene Methode wurde über drei Regime hinweg evaluiert, bei denen bekanntermaßen das Standard-empirische-Risiko-Training versagt oder overfittet:

Physik-Informierte Neuronale Netze (PINNs): Bei einem Advektionsproblem mit verrauschten Anfangsbedingungen erreichte die Populationsrisiko-Methode eine Ziel-Testfehlerquote ( $\ell_2 \le 0.40$ ) 2,4-mal schneller als die beste, auf die Lernrate abgestimmte AdamW-Baseline. Sie unterdrückte das Anpassen an Rauschen, das dazu führte, dass das Standardtraining von der physikalischen Lösung abwich.
Grokking (Modulare Arithmetik): Bei einer modularen Divisionsaufgabe ( $a \cdot b^{-1} \mod 97$ ), die für verzögerte Generalisierung bekannt ist, erreichte die Methode bei Schritt 5.950 eine Genauigkeit von 95 % auf den zurückgehaltenen Daten, verglichen mit 29.450 für AdamW. Dies entspricht einer 4,9-fachen Reduktion der Trainingsschritte und kollabiert effektiv die Grokking-Verzögerung.
Verrauschte Präferenzabstimmung (DPO): Beim Fine-Tuning von Qwen2.5-0.5B-Instruct mit 30 % vertauschten Präferenz-Labels verbesserte die Methode die finale Belohnungsgenauigkeit von 0,566 auf 0,641, während sie 3,05-mal näher an der Referenzrichtlinie in Bezug auf die mittlere absolute Belohnungsdrift blieb. Sie hielt eine anhaltend hohe Genauigkeit aufrecht, wo AdamW versagte, stabil zu bleiben.

Bedeutung und Behauptungen

Das Papier behauptet, eine vereinheitlichte theoretische Linse zu bieten, die die Spannung zwischen Überparametrisierung und Generalisierung auflöst, ohne sich auf asymptotische Grenzen oder eingefrorene Kernel zu verlassen. Durch die Identifizierung des „Reservoirs" als test-unsichtbare Senke für Rauschen erklärt es, warum das Überanpassen an Trainingsdaten nicht notwendigerweise ein Überanpassen an Testdaten impliziert.

Die Autoren behaupten, dass ihr abgeleitetes Populationsrisiko-Ziel nicht nur eine Heuristik ist, sondern eine exakte, erwartungstreue Rate der Populationsrisiko-Abnahme, die aus einem einzigen Lauf berechenbar ist. Die praktische Bedeutung liegt in der Fähigkeit, direkt am Populationsrisiko zu trainieren, die Konvergenz zu beschleunigen (z. B. 5-mal schnelleres Grokking), das Auswendiglernen in impliziten neuronalen Repräsentationen zu unterdrücken und die Robustheit bei der Präferenzabstimmung zu verbessern, alles ohne die Notwendigkeit von Validierungssätzen oder komplexer Hyperparametersuche. Die Theorie schließt die Lücke zwischen dem „trägen" NTK-Regime und dem „Feature-Learning"-Regime und zeigt, dass Generalisierungsmechanismen auch dann bestehen bleiben, wenn der Kernel signifikant driftet.