🤖 machine learning

Two Speeds of Learning: A Representation-Readout Decomposition of Grokking and Double Descent

Dieser Beitrag stellt ein aufgabenagnostisches „Repräsentations-Auslese"-Zerlegungsframework vor, das komplexe Generalisierungsphänomene wie Grokking und Double Descent als Ergebnis konkurrierender Dynamiken zwischen gradueller Repräsentationslernen und Auslesekalibrierung erklärt und neue diagnostische Werkzeuge bietet, um echtes Lernen von Artefakten nicht-standardisierter Trainingsverfahren zu unterscheiden.

Ursprüngliche Autoren: Chi-Ning Chou, Oscar Uzdelewicz, Neng-Chun Chiu, Yao-Yuan Yang, SueYeon Chung

Veröffentlicht 2026-05-27

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chi-Ning Chou, Oscar Uzdelewicz, Neng-Chun Chiu, Yao-Yuan Yang, SueYeon Chung

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie unterrichten einen Schüler, der ein komplexes Mathematikproblem lösen soll. Sie haben zwei Dinge zu verfolgen:

Das Verständnis des Schülers: Wie gut er die Logik und Muster der Mathematik tatsächlich begreift (die „Repräsentation").
Der Antwortbogen des Schülers: Wie gut er die Kreise auf dem Test ausfüllt, um die richtige Note zu erhalten (die „Auslesung").

Normalerweise verbessern sich sowohl das Verständnis als auch die Testergebnisse eines Schülers im Lernprozess gemeinsam. Aber manchmal passiert im Bereich der KI etwas Seltsames: Die KI beherrscht die Trainingsdaten perfekt (100 % bei den Hausaufgaben), versagt jedoch lange Zeit beim Test, bis sie plötzlich „einschnappt" und auch beim Test perfekt wird. Dies wird als Grokking bezeichnet. In anderen Fällen steigt und fällt die Testnote der KI wie auf einer Achterbahn, während sie gleichzeitig bei den Hausaufgaben besser wird. Dies wird als Double Descent bezeichnet.

Dieser Artikel argumentiert, dass diese verwirrenden Verhaltensweisen darauf zurückzuführen sind, dass sich „Verständnis" und „Auslesung" mit zwei unterschiedlichen Geschwindigkeiten entwickeln und manchmal aus dem Takt geraten.

Hier ist die Aufschlüsselung ihrer Erkenntnisse anhand einfacher Analogien:

1. Das Rennen mit zwei Geschwindigkeiten

Die Autoren teilen das KI-Gehirn in zwei Teile auf:

Der Encoder (Das Verständnis): Dieser Teil betrachtet die Eingabe und versucht, sie in eine klare, logische Karte zu organisieren. Es ist, als würde der Schüler versuchen zu verstehen, warum die Mathematik funktioniert.
Die Auslesung (Der Antwortbogen): Dieser Teil nimmt diese Karte und versucht, die Antwort zu erraten. Es ist, als würde der Schüler die Kreise auf dem Bogen ausfüllen.

Die Entdeckung:
Beim „Grokking" ist die Auslesung ein Betrüger. Sie merkt sich die Hausaufgabenantworten sehr schnell. Sie erzielt 100 % auf dem Trainingsdatensatz, aber sie rät lediglich basierend auf Mustern, die spezifisch für die Hausaufgaben sind, nicht für die eigentliche Mathematik. Währenddessen arbeitet der Encoder langsam und stetig und baut tatsächlich ein echtes Verständnis der Mathematik auf.

Lange Zeit ist die Auslesung „trainingsverzerrt" – sie ist so auf die Hausaufgaben fokussiert, dass sie den Test ignoriert. Aber schließlich beendet der Encoder den Aufbau einer hinreichend guten Karte. Sobald die Karte klar ist, kann die Auslesung endlich aufhören zu betrügen und beginnt, die echte Logik zu nutzen. Plötzlich springt die Testnote nach oben. Das ist der Moment des „Grokking".

2. Widerlegung der Theorie des „Schlafenden Riesen"

Vor diesem Artikel glaubten viele Wissenschaftler, der Encoder sei in den frühen Phasen im Grunde „eingeschlafen" oder „faul". Sie dachten, die KI memorisiere nur, wache dann plötzlich auf und beginne zu lernen.

Die Korrektur des Artikels:
Die Autoren zeigen, dass der Encoder niemals eingeschlafen war. Er arbeitete die ganze Zeit, nur viel langsamer als die Auslesung. Es ist wie ein Schüler, der langsam das Lehrbuch liest, während sein Freund verzweifelt den Antwortenschlüssel auswendig lernt. Der Schüler macht die ganze Zeit Fortschritte; er hat den Antwortenschlüssel nur noch nicht eingeholt.

3. Das „falsche" Grokking (Scheinlernen)

Der Artikel untersucht auch ein berühmtes Beispiel, bei dem eine KI beim „Grokking" auf einer einfachen Bildaufgabe (MNIST-Ziffern) zu scheinen schien, es sich jedoch tatsächlich um einen Trick handelte.

Die Analogie:
Stellen Sie sich einen Schüler vor, dem ein defektes Lehrbuch gegeben wird (schlechtes Trainingssetup).

Das Problem: Das „Verständnis" des Schülers (Encoder) wird im Laufe der Zeit tatsächlich schlechter, weil das Lehrbuch verwirrend ist.
Das Ergebnis: Auch der „Antwortbogen" (Auslesung) gerät in Verwirrung. Er versucht, das defekte Verständnis zu den Hausaufgabenantworten zu zwingen.
Die Illusion: Die Testnote sieht so aus, als wäre sie verzögert, aber nicht weil der Schüler endlich lernt; sondern weil der Lehrer (das Trainingssetup) mit dem Schüler gespielt hat.

Die Autoren haben eine Reihe von „Diagnosewerkzeugen" (wie eine Checkliste für Mechaniker) entwickelt, um zwischen echtem Lernen und falschem Lernen zu unterscheiden:

Echtes Grokking: Das Verständnis verbessert sich langsam, und der Antwortbogen holt schließlich auf.
Falsches Grokking: Das Verständnis verschlechtert sich oder bleibt defekt, und der Antwortbogen ringt nur darum, einen quadratischen Pflock in ein rundes Loch zu zwängen.

4. Warum dies wichtig ist

Der Artikel bietet einen neuen Blickwinkel auf das KI-Training. Anstatt nur den „Verlust" (wie viele Fehler die KI macht) zu beobachten, was verwirrend und irreführend sein kann, können wir die Geometrie des KI-Geistes betrachten.

Kritische Dimension: Stellen Sie sich dies als Messung vor, wie „verwickelt" die Gedanken der KI sind. Wenn die Gedanken ein chaotischer Knoten sind, ist es schwierig, das Problem zu lösen. Wenn sie entwirrt sind, ist die Lösung einfach. Der Artikel zeigt, dass beim echten Grokking der Knoten im Laufe der Zeit langsam entwirrt wird, selbst wenn die Testnote dies noch nicht anzeigt.
Ausrichtung: Dies misst, ob die „Auslesung" der KI in die richtige Richtung schaut. Beim falschen Lernen betrachtet die Auslesung die falschen Dinge (wie Rauschen oder zufällige Muster).

Zusammenfassung

Der Artikel sagt: Geraten Sie nicht in Panik, wenn die Testnote der KI hinter der Hausaufgabennote zurückbleibt. Wahrscheinlich baut die KI gerade langsam ein echtes Verständnis auf (der Encoder), während ihr Antwortbogen (die Auslesung) vorübergehend zu sehr auf die Hausaufgaben fokussiert ist.

Wenn jedoch der „Verständnis"-Teil tatsächlich schlechter wird oder defekt ist, lernt die KI überhaupt nicht – sie halluziniert lediglich eine Lösung. Die neuen Werkzeuge der Autoren helfen uns, den Unterschied zwischen einem langsamen Lerner und einem defekten zu erkennen.

Technische Zusammenfassung: Zwei Lerngeschwindigkeiten: Eine Zerlegung in Repräsentation und Auslesung von Grokking und Double Descent

Problemstellung

Standard-Signale zur Überwachung des Trainings tiefer neuronaler Netze, wie Trainingsverlust und Genauigkeit, erfassen oft die komplexen Dynamiken der Generalisierung nicht. Zwei prominente Phänomene erschweren dieses Bild:

Grokking: Ein Modell erreicht nahezu perfekte Trainingsleistung, während die Testgenauigkeit über einen längeren Zeitraum auf Zufallsniveau bleibt, gefolgt von einem plötzlichen Aufblitzen der Generalisierung.
Epochenweises Double Descent: Der Trainingsverlust nimmt monoton ab, während der Testverlust oder -fehler ein nicht-monotones Ansteigen und Abfallen aufweist.

Bestehende Erklärungen sind häufig aufgaben spezifisch (z. B. unter Ausnutzung algebraischer Strukturen in modularer Arithmetik) oder beruhen auf binären Regimewechseln (z. B. von „faul" zu „reich" beim Lernen). Es fehlt ein einheitlicher, aufgabenunabhängiger Rahmen, der in der Lage ist, diese Phänomene über diverse Architekturen und Aufgaben hinweg zu diagnostizieren und echte Generalisierung von trügerischen Lernartefakten zu unterscheiden, die durch nicht-standardisierte Trainingsrezepte hervorgerufen werden.

Methodik: Zerlegung in Repräsentation und Auslesung

Die Autoren schlagen einen Rahmen vor, der ein neuronales Netz $f(x)$ in zwei verschiedene Komponenten zerlegt:

Encoder ( $\phi_\theta$ ): Eine nichtlineare Abbildung vom Eingaberaum in einen $N$ -dimensionalen Repräsentationsraum.
Auslesung (Readout) ( $W$ ): Eine lineare Abbildung vom Repräsentationsraum zu den Ausgabe-Logits.

Diese Zerlegung ermöglicht die getrennte Verfolgung des Repräsentationslernens (Änderungen in $\phi_\theta$ ) und der Auslesungskalibrierung (Änderungen in $W$ ). Um das Zusammenspiel dieser Komponenten zu analysieren, setzen die Autoren vier aufgabenunabhängige Diagnosemaße ein, die aus der repräsentationalen Geometrie und der Theorie des Neural Tangent Kernel (NTK) abgeleitet sind:

Kritische Dimension ( $N_{crit}$ ): Quantifiziert die Robustheit der linearen Trennbarkeit im Repräsentationsraum. Sie ist definiert als die erwartete kleinste Projektionsdimension, die erforderlich ist, um die Trennbarkeit mit einer Wahrscheinlichkeit von $\geq 0.5$ zu erhalten. Ein niedrigeres $N_{crit}$ deutet auf besser „entwirrte" Mannigfaltigkeiten und eine höhere Generalisierbarkeit hin.
Aufgabenrelevante geometrische Maße (GLUE): Eine Reihe von vier Metriken ( $D, R, \rho_c, \rho_a$ ), die aus der Theorie der Geometrie, die mit der Entwirrungseffizienz verknüpft ist (GLUE), abgeleitet werden. Diese charakterisieren die effektive Mannigfaltigkeitsdimension, den Radius sowie die Ausrichtung von Zentren und Achsen zwischen manigfaltigkeiten, die durch Labels konditioniert sind.
Genauigkeit des linearen Probes: Ein regularisierter linearer Klassifikator, der auf eingefrorenen Repräsentationen trainiert wird. Die Lücke zwischen Proben-Genauigkeit und Modell-Genauigkeit diagnostiziert eine Fehlausrichtung der Auslesung (Überanpassung oder Unteranpassung relativ zu den Fähigkeiten des Encoders).
NTK-Label-Ausrichtung der letzten Schicht: Misst die Ausrichtung zwischen der Feature-Gramm-Matrix (letztes Schicht-NTK) und dem Label-Kernel. Dies quantifiziert, wie gut die aktuelle Feature-Geometrie den Gradientenfluss zu label-diskriminierenden Lösungen unterstützt, wobei dies separat auf Trainings- und Testsets bewertet wird.

Hauptbeiträge und Ergebnisse

1. Zwei Lerngeschwindigkeiten beim Grokking

Durch Anwendung der Zerlegung auf kanonische Grokking-Aufgaben (modulare Addition, Permutationskomposition, späte Parität) über MLP- und Transformer-Architekturen hinweg widerlegen die Autoren die strikte „faul-zu-reich"-Erklärung, die besagt, dass Repräsentationslernen bis zum Einsetzen von Grokking inaktiv ist.

Kontinuierliches Repräsentationslernen: $N_{crit}$ nimmt während des gesamten Trainings, einschließlich der Phase vor dem Grokking, allmählich und kontinuierlich ab. Repräsentationslernen ist langsam, aber nicht abwesend; es verläuft kontinuierlich und nicht als plötzlicher Phasenübergang.
Trainings-biastierte Auslesung: Vor dem Einsetzen von Grokking ist die Lernrichtung der Auslesung systematisch auf die Trainingsdaten hin biasiert. Die Lücke der NTK-Ausrichtung (Train minus Test) ist groß und positiv, was darauf hindeutet, dass die Auslesung das Trainingsset überanpasst, während die Repräsentationen noch nicht robust genug sind, um Generalisierung zu unterstützen.
Mechanismus: Grokking entsteht nicht durch einen plötzlichen Wechsel der Lernregime, sondern durch die allmähliche Angleichung der Ausleserichtung, da die Qualität der Repräsentation ( $N_{crit}$ ) schließlich die Geschwindigkeit der Auslesungskalibrierung einholt.

2. Architektonische Unterschiede in geometrischen Mechanismen

Der Rahmen zeigt, dass verschiedene Architekturen Generalisierung durch unterschiedliche geometrische Pfade erreichen.

MLPs vs. Transformer: Bei Aufgaben zur modularen Addition und Permutationskomposition weisen MLPs und Transformer entgegengesetzte Trends in der Zenterausrichtung ( $\rho_c$ ) und der Achsenausrichtung ( $\rho_a$ ) auf. Während beide Architekturen die Mannigfaltigkeitsdimension und den Radius verringern, manipulieren sie die interklassische Geometrie unterschiedlich, um dasselbe oberflächliche Grokking-Verhalten zu erreichen.

3. Diagnose von trügerischem Lernen

Der Rahmen unterscheidet erfolgreich echte Generalisierung von Artefakten, die durch nicht-standardisierte Trainingsrezepte verursacht werden.

MNIST Grokking-Artefakt: Ein zuvor berichtetes Grokking-Beispiel auf MNIST (ausgelöst durch hohe initiale Gewichtsnormen und kleine Trainingssets) wird als trügerisch diagnostiziert. Der Rahmen zeigt eine Verschlechterung der Repräsentation (zunehmendes $N_{crit}$ und abnehmende Genauigkeit des linearen Probes) und Überanpassung der Auslesung während der „Vor-Grokking"-Phase auf. Die scheinbar verzögerte Generalisierung ist ein Artefakt der Auslesung, die sich schließlich an eine verschlechternde Repräsentation anpasst, anstatt einer echten Verbesserung des Feature-Lernens.
Epochenweises Double Descent: In Double-Descent-Szenarien, die durch Label-Rauschen ausgelöst werden, identifiziert der Rahmen einen zweistufigen Prozess: eine initiale Phase der Verschlechterung der Repräsentation, gefolgt von einer Phase, in der Auslesungs-Updates von trügerischen Signalen (rauschenden Labels) dominiert werden. Das Entfernen nicht-standardisierter Zutaten (z. B. Label-Rauschen) eliminiert sowohl das Double-Descent-Muster als auch die diagnostischen Signaturen.

4. Top-Down-Analyserahmen

Die Autoren positionieren diese Zerlegung als „Top-Down"-Ergänzung zu „Bottom-Up"-mechanistischer Interpretierbarkeit (z. B. Entdeckung von Schaltkreisen). Durch die Charakterisierung der globalen Struktur von Repräsentationen (Mannigfaltigkeitsgeometrie, Trennbarkeit, Ausrichtung) bietet der Rahmen konsistente Beobachtungsgrößen über Trainings-/Test-Aufteilungen und diverse Aufgaben hinweg und liefert ein zuverlässiges Signal zur Überwachung der Lern-Dynamik, wo Standard-Verlustkurven versagen.

Bedeutung

Die Arbeit etabliert die Zerlegung in Repräsentation und Auslesung als einen einheitlichen, aufgabenunabhängigen Rahmen zum Verständnis von Lern-Dynamiken. Ihre primäre Bedeutung liegt in:

Verfeinerung theoretischer Darstellungen: Sie geht über die binäre „faul-zu-reich"-Dichotomie hinaus und zeigt, dass Repräsentationslernen kontinuierlich ist und Grokking durch die relativen Geschwindigkeiten der Verbesserung der Repräsentation versus der Kalibrierung der Auslesung angetrieben wird.
Diagnostischer Nutzen: Sie liefert spezifische Signaturen zur Identifizierung trügerischer Lern-Dynamiken (z. B. Verschlechterung der Repräsentation oder Fehlausrichtung der Auslesung), die in nicht-standardisierten Trainingsaufbauten fälschlicherweise für echte Lernphänomene gehalten werden könnten.
Generalisierbarkeit: Der Rahmen ist konsistent anwendbar auf algorithmische Aufgaben, reale Datensätze (MNIST) und Architekturen (MLP, Transformer, ResNet) und bietet ein prinzipielles Werkzeug für die Interpretierbarkeitsforschung und die Überwachung sicherheitskritischer Modelle.

Die Autoren schließen, dass der Rahmen, obwohl er derzeit auf der finalen linearen Schicht angewendet wird, eine robuste Grundlage für zukünftige Untersuchungen zu Zwischenschichten, aufgabenspezifischen Strukturen und Szenarien des kontinuierlichen Lernens bietet.