🤖 machine learning

How to Tame Grokking: Representation Geometry as a Control Signal

Diese Arbeit identifiziert, dass der Kollaps der Dimensionalität in der Repräsentationsgeometrie dem Phänomen des Grokkings konsistent vorausgeht, und führt die Geometric Dimensionality Regularization (GeomDR) ein, um diese Geometrie aktiv zu steuern, wodurch die Generalisierung über verschiedene Aufgaben und Architekturen hinweg um bis zu das 52-fache beschleunigt wird.

Ursprüngliche Autoren: Maksim A Kazanskii

Veröffentlicht 2026-07-14

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Maksim A Kazanskii

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich einen Studenten vor, der für eine Matheprüfung büffelt. Zuerst lernt er die Antworten auf die Übungsaufgaben einfach auswendig durch bloßes Auswendiglernen. Er erreicht 100 % auf dem Übungsblatt, aber wenn man ihm eine leicht abgewandelte Frage stellt, scheitert er. Dies ist das, was vielen KI-Modellen in einem Phänomen namens „Grokking“ passiert. Die KI lernt die Trainingsdaten perfekt auswendig, aber es dauert eine sehr lange Zeit – manchmal Hunderttausende von Schritten –, bis es plötzlich „klick“ macht und sie tatsächlich die Regeln versteht, um neue Probleme zu lösen. Es ist wie der Student, der tagelang im Lehrbuch starrt und dann kurz vor der echten Prüfung diesen „Aha!“-Moment erlebt.

Eine Zeit lang fragten sich Wissenschaftler, warum diese Verzögerung auftrat und was im Inneren des „Gehirns“ der KI während dieser langen Wartezeit geschah.

Die große Entdeckung: Das Gehirn schrumpft, bevor es versteht

Die Forscher in dieser Arbeit beschlossen, in das „Gehirn“ der KI (speziell in ihre verborgenen Schichten) zu schauen, um zu sehen, was geometrisch geschah. Sie behandelten die internen Gedanken der KI als eine Wolke von Punkten in einem mehrdimensionalen Raum.

Sie fanden etwas Faszinierendes heraus: Bevor die KI plötzlich anfängt, die Regeln zu verstehen, kollabiert ihre interne „Gedankenwolke“ in eine viel kleinere, dichtere Form.

Stellen Sie sich das wie eine unordentliche, weitläufige Party in einer riesigen Lagerhalle vor. Alle laufen in jede beliebige Richtung (hohe Dimensionalität). Plötzlich schrumpft die Party. Alle hören auf zu umherzuwandern und gruppieren sich eng in einer einzigen, organisierten Linie in einem kleinen Flur (niedrige Dimensionality). Die Arbeit zeigt, dass dieses „Schrumpfen“ oder die Dimensionalitätskollaps jedes Mal direkt vor dem Zeitpunkt auftritt, an dem die KI mit der Generalisierung beginnt. Es ist nicht nur ein Nebeneffekt; die Autoren zeigen, dass das Erzwingen dieser geometrischen Änderung den Zeitpunkt des „Klicks“ direkt beeinflusst, was darauf hindeutet, dass dies ein treibender Faktor im Prozess ist.

Der neue Trick: GeomDR (Der „Gestaltwandler“)

Da sie bemerkten, dass das Schrumpfen der internen Form der KI zum Verständnis führt, fragten die Autoren: Was wäre, wenn wir die KI absichtlich zum Schrumpfen zwingen?

Sie erfanden ein neues Werkzeug namens Geometric Dimensionality Regularization (GeomDR). Stellen Sie sich vor, Sie trainieren einen Hund, sich hinzusetzen. Normalerweise warten Sie einfach, bis er es selbst herausfindet. Aber mit GeomDR führen Sie die Pfoten des Hundes sanft in die „Sitz“-Position, noch bevor er das Kommando überhaupt kennt.

In technischeren Begriffen ist GeomDR eine Regel, die dem Trainingsprozess hinzugefügt wird und der KI sagt: „Hey, hör auf, deine Gedanken in alle Richtungen zu verteilen. Halte deine internen Repräsentationen kompakt und auf eine spezifische, kleinere Anzahl von Richtungen konzentriert.“

Die Ergebnisse: Von Hunderttausenden von Schritten zu nur Tausenden

Die Ergebnisse waren dramatisch. In ihren Experimenten mit einfachen mathematischen Rätseln (wie modularer Addition, was im Grunde Mathematik mit einem Zifferblatt ist):

Ohne Hilfe: Brauchte die KI etwa 362.100 Optimierungsschritte, um das Muster endlich zu „grokken“ und zu verstehen.
Mit GeomDR: Verstand die KI es in nur 6.900 Optimierungsschritten.

Das ist eine 52,5-fache Beschleunigung in Bezug auf die Trainingsschritte. In einigen Fällen bedeutet diese Reduzierung der Schritte, dass die KI die Lösung signifikant schneller erreicht, obwohl die Arbeit speziell die Anzahl der Trainingsschritte und nicht die Echtzeit-Wanduhrstunden misst. Sie testeten dies bei verschiedenen Arten von Rätseln (Division, Mischen von Listen) und verschiedenen KI-Architekturen (einfache Netzwerke und komplexere „Transformer“-Modelle), und es funktionierte überall, wobei die Beschleunigung bei den einfacheren Netzwerken am massivsten war.

Was sie ausgeschlossen haben (und was nicht)

Die Arbeit ist sehr vorsichtig mit dem, was sie behauptet.

Es geht NICHT nur darum, dass die KI auf eine vage Weise „einfacher“ wird. Die Autoren zeigen explizit, dass es um die Geometrie der Daten geht. Sie argumentieren gegen die Idee, dass dies nur ein Nebeneffekt des Standardtrainings ist; sie haben demonstriert, dass das Erzwingen der Geometrie die Geschwindigkeit des Lernens direkt verändert.
Es ist KEIN Allheilmittel für jedes einzelne Problem. Die Arbeit stellt fest, dass es zwar bei diesen spezifischen algorithmischen Rätseln großartig funktioniert, sie es aber noch nicht an massiven Sprachmodellen oder der Bilderkennung getestet haben. Sie legen nahe, dass es dort vielleicht funktionieren könnte, aber sie wissen es nicht sicher.
Es ist KEINE „gelöste“ Theorie darüber, wie eine KI denkt. Die Autoren sind vorsichtig und sagen, dass sie vermuten, dass das Schrumpfen der Geometrie der Schlüssel ist. Sie haben nicht mathematisch bewiesen, warum eine kleinere Form gleich Verständnis bedeutet, sondern nur, dass dies konsistent geschieht und dass das Erzwingen dessen die KI schneller lernen lässt.

Der „Sweet Spot“ der Zeitplanung

Einer der spannendsten Teile der Studie ist, dass man diese „Schrumpfungs“-Regel nicht sofort aktivieren kann.

Wenn man die KI zu früh zum Schrumpfen zwingt (bevor sie überhaupt die Übungsfragen auswendig gelernt hat), wird sie verwirrt und lernt langsam.
Wenn man zu lange wartet (bis sie bereits alles auswendig gelernt hat), hilft die Regel nicht viel.
Die Magie geschieht, wenn man die KI zuerst die Daten auswendig lernen lässt und sie dann sanft dazu anleitet, ihre interne Form zu schrumpfen. Es ist, als würde man einen Studenten erst die Fakten auswendig lernen lassen und ihm dann sagen: „Okay, jetzt ordne diese Fakten in eine ordentliche Liste“, woraufhin das echte Verständnis einsetzt.

Das Fazit

Diese Arbeit legt nahe, dass das Geheimnis, KI dazu zu bringen, Regeln schneller zu verstehen, nicht nur darin besteht, ihr mehr Daten zu geben oder sie länger trainieren zu lassen. Stattdessen geht es darum, die Form ihrer Gedanken zu steuern. Indem wir die interne Geometrie der KI zum richtigen Zeitpunkt sanft dazu bewegen, in eine kompakte, organisierte Struktur zu kollabieren, können wir den „Grokking“-Moment fast augenblicklich herbeiführen.

Es ist ein wenig so, als würde man erkennen, dass der Grund, warum man ein Puzzle nicht lösen konnte, nicht der Mangel an Teilen war, sondern dass man sie in einem unordentlichen Haufen hielt. Sobald man sie in einen ordentlichen Stapel sortiert hatte, wurde das Bild sofort klar. Die Autoren haben einen Weg gefunden, der KI zu helfen, ihren Stapel viel schneller zu organisieren, als sie es allein könnte.

Technisches Resümee: Wie man das „Grokking“ zähmt: Repräsentationsgeometrie als Steuersignal

Problemstellung

Grokking ist ein Phänomen in überparametrisierten neuronalen Netzen, bei dem Modelle zunächst Trainingsdaten auswendig lernen (Memorization) und erst nach einer lang andauernden Optimierung eine starke Generalisierung aufweisen. Während jüngere Studien den Zusammenhang zwischen Grokking und Weight Decay, Feature-Kompression, Schaltkreisbildung (Circuit Formation) und Repräsentationslern-Dynamiken hergestellt haben, bleibt der genaue Faktor, der den Zeitpunkt und das Entstehen dieser verzögerten Generalisierung steuert, unvollständig verstanden. Ein häufiges Thema in der bestehenden Literatur ist, dass gelernte Repräsentationen progressiv in Strukturen mit niedrigerer Dimensionalität komprimiert werden. Die vorliegende Arbeit untersucht jedoch, ob die explizite Manipulation der Geometrie verborgener Repräsentationen als Steuersignal dienen kann, um den Beginn und die Geschwindigkeit des Grokkings zu beeinflussen.

Methodik

Die Autoren führen Geometric Dimensionality Regularization (GeomDR) ein, einen spektralen Regularisierer auf Repräsentationsebene, der darauf ausgelegt ist, die effektive Dimensionalität verborgener Repräsentationen während des Trainings direkt zu steuern.

Geometrische Charakterisierung

Für eine verborgene Schicht-Repräsentationsmatrix $Z \in \mathbb{R}^{N \times d}$ zentriert die Methode zunächst die Daten, um $\tilde{Z}$ zu erhalten. Anschließend wird die empirische Kovarianzmatrix $C = \frac{1}{N-1}\tilde{Z}^\top\tilde{Z}$ berechnet. Die effektive Dimensionalität ( $D_{eff}$ ) wird mithilfe der Partizipationsrate der Eigenwerte ( $\mu_i$ ) von $C$ berechnet:
$D_{eff} = \frac{(\sum_i \mu_i)^2}{\sum_i \mu_i^2}$
Zusätzlich wird ein lokaler Nachbarschaftsabstand ( $\rho$ ) als der durchschnittliche euklidische Abstand zu den $k$ nächsten Nachbarn der normalisierten Repräsentationen definiert.

Das GeomDR-Ziel

GeomDR legt eine Strafe auf die Varianz fest, die in Richtungen jenseits eines Ziel-Subraums der Dimension $d^*$ enthalten ist. Gegeben die absteigend sortierten Eigenwerte ( $\mu_1 \ge \mu_2 \ge \dots \ge \mu_d$ ), lautet der verlust der Schicht:
$L_{GeomDR}^{(\ell)} = \sum_{j=d^*+1}^{d} \mu_j^{(\ell)}$
Das gesamte Trainingsziel kombiniert den Aufgabenverlust ( $L_{task}$ ) mit dem geometrischen Regularisierer:
$L = L_{task} + \lambda(t)L_{GeomDR}$
Entscheidend ist, dass der Regularisierer nicht von Beginn an aktiv ist. Er wird nach einer anfänglichen, unbeschränkten Trainingsphase (Aktivierungsschritt $t_s$ ) eingeführt, wobei seine Stärke $\lambda(t)$ mittels einer Cosinus-Rampe schrittweise erhöht wird. Dieses Design ahmt die natürliche Grokking-Trajektorie nach, bei der Memorization der Generalisierung vorausgeht.

Experimentelles Protokoll

Das Framework wurde auf drei algorithmischen Aufgaben evaluiert, die bekannt dafür sind, Grokking zu zeigen:

Modulare Addition: Vorhersage von $(a + b) \mod 97$ .
Modulare Division: Vorhersage von $(a \cdot b^{-1}) \mod 97$ .
Permutationskomposition: Vorhersage der Komposition zweier Permutationen in $S_5$ .

Es wurden zwei Architekturen verwendet: ein Multilayer-Perzeptron (MLP) und ein Transformer. Die Studie variierte systematisch die Interventions-Schedules (Stärke $\lambda_{max}$ und Rampendauer $T_{ramp}$ ), die Ziel-Dimensionalitäten ( $d^*$ ) und die Startzeiten der Intervention ( $t_s$ ).

Zentrale Beiträge

Beobachtung des vorangehenden Kollapses: Die Autoren zeigen, dass der Dimensionalitätskollaps dem Übergang von Memorization zu Generalisierung (Grokking) in Baseline-Settings konsistent vorausgeht. Dies deutet darauf hin, dass geometrische Kompression nicht nur eine Korrelation, sondern ein mechanistischer Treiber des Übergangs ist.
Einführung von GeomDR: Sie schlagen GeomDR vor, einen spektralen Regularisierer, der das Spektrum der Kovarianz außerhalb eines Ziel-Subraums direkt unterdrückt und somit die effektive Dimensionalität verborgener Repräsentationen steuert.
Systematische Kontrolle der Dynamik: Die Arbeit liefert eine umfassende empirische Studie, die zeigt, dass geometrische Interventionen die verzögerte Generalisierungsdynamik erheblich verändern können. Je nach Interventions-Schedule und Ziel-Dimensionalität kann GeomDR das Grokking beschleunigen, verzögern oder vollständig unterdrücken.

Ergebnisse

Beschleunigung des Grokkings

In allen evaluierten Settings veränderte GeomDR die Grokking-Dynamik konsistent:

MLP-Leistung: Bei der modularen Addition beschleunigte GeomDR das Grokking um bis zu das 52-fache (Reduzierung der Schritte von ~~362K auf ~7K). Ähnliche Verbesserungen wurden für die modulare Division (~~39x) und die Permutationskomposition (~23x) beobachtet. In allen MLP-Fällen erreichte GeomDR eine Erfolgsquote von 100 %, während die Baseline instabil war oder scheiterte.
Transformer-Leistung: Obwohl die Baseline-Grokking-Dynamik für Transformer bereits schneller als die für MLPs war, sorgte GeomDR dennoch für eine konsistente Beschleunigung (z. B. ~2x bei modularer Addition) und hielt eine Erfolgsquote von 100 %.

Einfluss von Hyperparametern

Ziel-Dimensionalität ( $d^*$ ): Moderate bis große Ziel-Dimensionen ( $16 \le d^* \le 64$ ) lieferten die stärkste Beschleunigung. Aggressive Kompression ( $d^* \le 8$ ) verlangsamte oder destabilisierte das Lernen oft.
Interventionszeitpunkt ( $t_s$ ): Ein „kritisches Zeitfenster“ wurde identifiziert. Interventionen, die zu früh (bevor nützliche Repräsentationen entstehen) oder zu spät (nachdem die Memorization starr geworden ist) angewendet wurden, waren weniger effektiv. Mittlere Aktivierungszeiten (z. B. $t_s = 2000$ für MLPs) erzeugten das schnellste und stabilste Grokking.
Schedule: Mittlere Regularisierungsstärken und Rampendauern funktionierten im Allgemeinen am besten; zu starke Interventionen konnten das Training destabilisieren.

Geometrische Korrelationen

Die Studie bestätigte, dass Interventionen, die das Grokking beschleunigten, auch den Beginn des Dimensionalitätskollapses beschleunigten. In GeomDR-Modellen wurde der zeitliche Abstand zwischen dem Dimensionalitätskollaps und der erfolgreichen Generalisierung im Vergleich zu Baselines signifikant verkürzt, was auf eine engere Kopplung zwischen geometrischer Reorganisation und dem Entstehen von Generalisierung hindeutet.

Skalierbarkeit und Effizienz

Die Autoren zeigten, dass GeomDR auch dann effektiv bleibt, wenn das Kovarianzspektrum aus einer zufälligen Teilmenge der Repräsentationen geschätzt wird (z. B. 5 %–25 % der Daten), was eine 2,4-fache bis 2,7-fache Beschleunigung der Laufzeit ermöglicht, ohne die Grokking-Beschleunigung materiell zu beeinflussen.

Bedeutung und Behauptungen

Das Paper behauptet, dass die Repräsentationsgeometrie als effektives Steuersignal für Grokking dient. Durch die direkte Modifikation des Kovarianzspektrums der verborgenen Aktivierungen können Forscher systematisch beeinflussen, wann und wie schnell ein Netzwerk vom Auswendiglernen zur Generalisierung übergeht.

Die Autoren postulieren, dass diese Arbeit Beweise dafür liefert, dass geometrische Interventionen einen praktischen Ansatz zur Untersuchung und Beeinflussung verzögerter Generalisierung bieten. Anstatt die Veränderungen der Repräsentation nur passiv zu beobachten, ermöglicht die Methode die direkte Manipulation geometrischer Eigenschaften, um Hypothesen über Lern-Dynamiken zu testen. Die Ergebnisse legen nahe, dass die Beziehung zwischen Repräsentationsgeometrie und Grokking über verschiedene Aufgaben und Architekturen hinweg robust ist, wenngleich das Ausmaß der Verbesserung variiert (da sie in MLPs ausgeprägter ist als in Transformern, was wahrscheinlich auf die stärkeren induktiven Biases der Letzteren zurückzuführen ist).

Das Paper kommt zu dem Schluss, dass es zwar nicht etabliert, dass die Dimensionalität der Repräsentation der einzige kausale Mechanismus ist, aber zeigt, dass geometrische Interventionen ausreichen, um den Zeitpunkt des Grokkings zu verändern, und bietet damit eine neue experimentelle Methodik für die Optimierungs- und Generalisierungsforschung.