📊 statistics

Algebraic Representability as the Limiting Regime of Grokking: An Exactly Solvable Model with Holomorphic Activations

Diese Arbeit zeigt, dass in zwei-schichtigen neuronalen Netzen mit holomorphen Monomial-Aktivierungsfunktionen, die auf modularer Arithmetik trainiert werden, die exprimierbare Funktionsklasse zu einer endlichdimensionalen algebraischen Varietät kollabiert, was dazu führt, dass das Netzwerk ein binäres Ergebnis von entweder sofortiger Generalisierung oder garantiertem Trainingsfehler aufweist – wodurch das Grokking-Phänomen vollständig eliminiert wird, da die Kapazitäts-Grokking-Beziehung ihren Grenzregime erreicht.

Ursprüngliche Autoren: Chon-Fai Kam, Xavier Cadet, Miloud Bessafi, Frederic Cadet

Veröffentlicht 2026-07-16

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Chon-Fai Kam, Xavier Cadet, Miloud Bessafi, Frederic Cadet

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, mathematische Rätsel zu lösen. Normalerweise (wenn wir diese Roboter trainieren, sogenannte neuronale Netze) erwarten wir, dass sie besser werden, je mehr wir üben. Aber manchmal passiert etwas Seltsames: Der Roboter lernt die Antworten perfekt auswendig, erzielt eine perfekte Punktzahl bei seinen Hausaufgaben, scheitert aber kläglich, wenn man ihm ein neues, ähnliches Problem gibt. Er verharrt dort, festgefahren in einem „Auswendiglern-Modus“, für tausende Schritte. Dann, plötzlich und ohne Vorwarnung, wechselt er in einen neuen Modus und löst die neuen Probleme korrekt. Dieses seltsame, verzögerte Erwachen wird als Grokking bezeichnet. Es ist wie ein Schüler, der für eine Prüfung büffelt, am nächsten Tag alles vergisst und dann plötzlich eine Woche später das Konzept versteht.

Wissenschaftler versuchen herauszufinden, warum diese Verzögerung auftritt. Sie wissen, dass die Größe des Gehirns des Roboters (seine „Kapazität“) entscheidend ist. Wenn das Gehirn zu klein ist, lernt er vielleicht nie. Wenn es riesig ist, lernt er sofort. Aber was passiert in der Mitte? Wird die Verzögerung einfach kürzer, wenn das Gehirn größer wird? Oder gibt es einen Punkt, an dem das Gehirn des Roboters so seltsam gebaut ist, dass er die Antwort nicht lernen kann, egal wie lange man wartet? Diese Arbeit taucht in diese Frage ein, indem sie einen sehr spezifischen, mathematisch perfekten Roboter baut, um zu sehen, was passiert, wenn die Regeln des Lernens an ihre absoluten Grenzen getrieben werden.

Der Roboter mit einem Einheitsgehirn

Die Autoren dieser Arbeit beschlossen, nicht länger zu raten, sondern zu bauen. Anstatt eines Standard-Robotergehirns, das chaotisch ist, bauten sie ein spezielles Netzwerk mit einer sehr strengen Regel: Es kann nur in einem spezifischen mathematischen Muster denken, einem sogenannten „holomorphen Monomial“.

Stellen Sie sich das Gehirn dieses Roboters wie einen Schlosser mit einem ganz spezifischen Satz an Schlüsseln vor.

Standard-Roboter (Universelle Approximatoren): Die meisten KI-Modelle sind wie ein Schlosser mit einem riesigen Werkzeugkasten. Egal, welches Schloss man ihnen gibt, sie können es schließlich knacken, wenn sie genug Zeit und genug Werkzeuge haben. Sie brauchen vielleicht lange, um die richtige Kombination zu finden (Memorierung/Auswendiglernen), und dann plötzlich verstehen sie es (Generalisierung), aber sie können immer eine Tür öffnen.
Der Roboter aus dieser Arbeit: Dieser Roboter hat nur eine einzige, spezifische Schlüsselform. Er kann nur Schlösser öffnen, die genau dieser Form entsprechen. Wenn man ihm ein Schloss gibt, das nicht zu dieser Form passt, braucht er nicht nur lange, um es zu öffnen; er kann es überhaupt nicht öffnen. Es ist keine Frage von „nicht genug Übung“; es ist eine Frage des „falschen Werkzeugs“.

Die Forscher testeten diesen Roboter an Aufgaben der modularen Arithmetik (im Grunde mathematische Probleme, bei denen Zahlen sich wie bei einer Uhr im Kreis drehen). Sie fragten: Wenn das Gehirn des Roboters so begrenzt ist, dass es die Antwort gar nicht erst darstellen kann, „grokt“ er dann trotzdem?

Die große Entdeckung: Der „Alles-oder-Nichts“-Schalter

Die Antwort, die sie fanden, ist überraschend einfach und binär. Es gibt keinen Mittelweg, keine langsame Verzögerung und kein Grokking.

Der „Ja“-Fall: Wenn das mathematische Problem, das der Roboter lösen soll, zufällig der spezifischen Form seines Schlüssels entspricht, löst der Roboter es sofort. Er lernt die Trainingsdaten und die neuen Daten zur exakt gleichen Zeit. Es gibt keine Wartezeit. Es ist, als würde man dem Schlosser genau den Schlüssel übergeben, für den er geboren wurde; die Tür schwingt sofort auf.
Der „Nein“-Fall: Wenn das Problem nicht zur Form des Schlüssels passt, scheitert der Roboter vollständig. Er lernt die Antworten nicht auswendig. Er bleibt nicht in einer Schleife stecken. Er verharrt einfach auf dem Niveau des Zufallsraten. Der Trainingsverlust (ein Maß dafür, wie falsch er liegt) erreicht einen harten Boden und weigert sich, jemals weiter zu sinken, egal wie breit man das Gehirn des Roboters macht oder wie lange man ihn trainiert.

Die Autoren haben dies mathematisch bewiesen. Sie zeigten, dass für diesen spezifischen Typ von Roboter die Menge der Probleme, die er lösen kann, ein winziger, fester Ausschnitt aller möglichen Probleme ist. Wenn Ihr Problem nicht in diesem Ausschnitt liegt, ist der Roboter mathematisch unfähig, die Daten abzubilden. Es ist kein Optimierungsproblem; es ist eine strukturelle Unmöglichkeit.

Das Experiment: 585 Versuche der Wahrheit

Um zu beweisen, dass dies nicht nur eine Theorie war, führte das Team 585 Experimente durch. Sie testeten den Roboter an 39 verschiedenen mathematischen Problemen mit 5 verschiedenen „Schlüsselformen“ (Aktivierungsgraden).

Das Ergebnis: Das Verhalten des Roboters entsprach den mathematischen Vorhersagen mit einer Genauigkeit von 99,8 %.
Das Muster: Die Ergebnisse bildeten eine perfekte „Treppe“. Wenn die Zahlen des Problems die richtige Summe ergaben, war der Roboter sofort erfolgreich. Wenn nicht, scheiterte er sofort.
Die fehlende Mitte: In 585 Durchläufen gab es null Fälle von „Grokking“ (verzögerter Erfolg) und null Fälle von „Auswendiglernen ohne Generalisierung“ (die Hausaufgaben richtig machen, aber den Test verhauen). Der Roboter gewann entweder sofort oder verlor sofort.

Der Vergleich: Der „normale“ Robot

Um sicherzustellen, dass dies nicht nur eine seltsame Eigenheit ihres speziellen Roboters war, führten sie dieselben Tests an einem Standard-, also einem „normalen“ Roboter durch (unter Verwendung einer ReLU-Aktivierung, dem Industriestandard).

Der normale Roboter: Dieser Roboter konnte jedes Problem lösen. Er lernte alles auswendig. Aber bei den schwierigen Problemen zeigte er das klassische Grokking-Verhalten: Er lernte den Trainingsdatensatz auswendig, verharrte dort für tausende Schritte und generalisierte dann plötzlich.
Der Kontrast: Die Probleme, die zum völligen Scheitern des speziellen Roboters führten, waren exakt dieselben Probleme, die beim normalen Roboter das Grokking auslösten. Dies beweist, dass die „Verzögerung“ beim Grokking nicht nur daran liegt, dass das Problem schwer ist; es geht darum, dass das Gehirn des Roboters fast groß genug ist, aber eben nicht ganz. Der spezielle Roboter zeigte uns, was passiert, wenn das Gehirn zu klein ist, um überhaupt am Rennen teilzunehmen.

Der „Engpass“-Test: Die Brücke bauen

Die Forscher wollten sehen, ob es einen glatten Pfad zwischen „sofortigem Scheitern“ und „sofortigem Erfolg“ gibt. Sie nahmen einen normalen Roboter und pressten sein Gehirn durch einen „Engpass“, machten es immer schmaler und schmaler.

Breiter Engpass: Der Roboter grokt (verzögerter Erfolg).
Mittlerer Engpass: Der Roboter lernt auswendig, aber generalisiert nie (er bleibt stecken).
Winziger Engpass: Der Roboter scheitert bereits daran, auswendig zu lernen (sofortiges Scheitern).

Dieses Experiment verband die Punkte. Es zeigte, dass das „Sofort-Scheitern“-Regime des speziellen Roboters nur das extreme Ende desselben Spektrums ist, in dem Grokking stattfindet. Je mehr man die Kapazität eines Roboters schrumpft, desto länger wird die Verzögerung, bis sie schließlich unendlich groß wird, weil der Roboter nicht einmal mehr in der Lage ist, die Daten auswendig zu lernen.

Was ist mit dem Lernen der Schlüssel?

Man könnte sich fragen: „Was wäre, wenn der Roboter seine eigenen Schlüssel lernen könnte?“ Die Autoren testeten dies, indem sie dem Roboter erlaubten, seine eigene Eingabekodierung zu lernen (anstatt eine feste „Einheitswurzel“-Kodierung vorzugeben).

Das Ergebnis: Die „Treppe“ aus sofortigem Erfolg und sofortigem Scheitern verschwand. Der Robt konnte nun fast alle linearen Probleme sofort lösen.
Die Ausnahme: Es gab noch ein Problem, das er nicht lösen konnte: die Multiplikationsaufgabe ( $a \times b$ ). Selbst mit einem gelernten Gehirn war die Struktur des Roboters zu einfach, um die Komplexität der Multiplikation zu erfassen. Dies bestätigte, dass das Scheitern nicht nur an der spezifischen Mathematik lag, die man dem Roboter fütterte, sondern eine fundamentale Grenze seiner Architektur war.

Das Fazit

Diese Arbeit offenbart eine grundlegende Wahrheit über das Training von KI: Grokking ist ein Wettlauf zwischen Auswendiglernen und Generalisierung. Aber für diesen Wettlauf muss der Läufer zuerst in der Lage sein, sich die Schuhe zu binden.

Wenn das Gehirn eines neuronalen Netzes zu klein oder zu starr ist, um die Antwort überhaupt darzustellen (um sich „die Schuhe zu binden“), startet der Wettlauf gar nicht erst. Es gibt keine Verzögerung, kein Ringen und kein plötzliches Erwachen. Es gibt nur einen harten Stopp. Die Frage „Wann wird es groken?“ löst sich in die einfachere, primitivere Frage auf: „Ist es überhaupt in der Lage, das Ziel darzustellen?“

Die Autoren haben gezeigt, dass, wenn man ein Netzwerk an seine mathematischen Grenzen treibt, das chaotische, verwirrende Verhalten des Grokkings verschwindet und durch eine klare, binäre Realität ersetzt wird: Entweder passt die Mathematik, und man gewinnt sofort; oder sie passt nicht, und man verliert sofort. Es ist eine Erinnerung daran, dass wir, bevor wir darüber sprechen können, wie eine KI lernt, sicherstellen müssen, dass sie überhaupt fähig ist, das zu lernen, was wir von ihr verlangen.

Technische Zusammenfassung: Algebraische Repräsentierbarkeit als der Grenzregime des Grokkings

Problemstellung
Die jüngere Literatur zum „Grokking“ – dem Phänomen, bei dem neuronale Netze, die auf Aufgaben der modularen Arithmetik trainiert werden, nach einer signifikanten Verzögerung von der Merkmalserfassung (Memorization) zur Generalisierung übergehen – hat etabliert, dass die Modellkapazität den Zeitpunkt dieses Übergangs bestimmt. Bestehende Frameworks (z. B. Song und Ye 2026) setzen jedoch voraus, dass das Netzwerk ausreichend groß ist, um die Trainingsdaten letztlich zu memorieren. Diese Arbeit untersucht das Grenzregime, in dem die ausdrucksfähige Funktionsklasse des Netzwerks so stark eingeschränkt ist, dass sie die Zielfunktion prinzipiell gar nicht erst repräsentieren kann. Die zentrale Frage lautet: Was geschieht mit der Dynamik zwischen Memorization und Generalisierung, wenn die Kapazität der Architektur strukturell unzureichend ist, um den Trainingssatz abzubilden, statt lediglich langsam darin zu sein?

Methodik
Die Autoren untersuchen eine spezifische, exakt lösbare Architektur: ein zweischichtiges komplexwertiges neuronales Netzwerk mit einer holomorphen Monomial-Aktivierungsfunktion $\sigma(z) = z^k$ . Das Netzwerk wird auf Aufgaben der modularen Arithmetik $f: \mathbb{Z}_p \times \mathbb{Z}_p \to \mathbb{Z}_p$ trainiert (wobei $p$ prim ist), unter Verwendung einer Einbettung mittels Einheitswurzeln, bei der Eingaben $(a, b)$ auf $(\omega^a, \omega^b)$ mit $\omega = e^{2\pi i/p}$ abgebildet werden.

Zentrale methodische Entscheidungen sind:

Algebraische Handhabbarkeit: Die Wahl von $\sigma(z) = z^k$ stellt sicher, dass die Ausgabe des Netzwerks ein Polynom des Grades $k$ ist. Durch die Einbettung mittels Einheitswurzeln wird die Ausgabe des Netzwerks auf einen spezifischen Unterraum von Charakteren der Gruppe $(\mathbb{Z}_p)^2$ beschränkt.
Fourier-Analyse: Die Autoren nutzen die harmonische Analyse auf endlichen abelschen Gruppen, um die „ausdrucksfähige Klasse“ $\mathcal{F}_k$ zu charakterisieren. Sie beweisen, dass die Ausgabe des Netzwerks, unabhängig von der verborgenen Breite $H$ , auf einen $(k+1)$ -dimensionalen Unterraum beschränkt ist, der von Charakteren mit Frequenz-Labels $(\ell, k-\ell)$ für $0 \le \ell \le k$ aufgespannt wird.
Theoretische Schranken: Das Paper leitet eine untere Schranke für den Trainingsverlust bei nicht-repräsentierbaren Zielvorgaben ab und beweist, dass der Verlust strikt positiv und unabhängig von der verborgenen Breite bleibt.
Experimentelle Validierung: Die Theorie wird durch 585 experimentelle Durchläufe über 39 Aufgaben (35 Linearphasen-Aufgaben, 4 Nichtlinearphasen-Aufgaben) und 5 Aktivierungsgrade ( $k=2$ bis $6$) getestet.
Vergleichende Ablationen: Die Studie umfasst eine ReLU-Baseline (universeller Approximator) sowie eine „Bottleneck“-Ablation an ReLU-Netzwerken, um den Übergang von Repräsentationsversagen zu Grokking nachzuverfolgen.

Wesentliche Beiträge

Exakte algebraische Charakterisierung der Repräsentierbarkeit:
Das Paper liefert eine vollständige Charakterisierung, welche modularen Aufgaben innerhalb der ausdrucksfähigen Klasse $\mathcal{F}_k$ liegen.
- Linearphasen-Zielvorgaben ( $f(a,b) = ma + nb \mod p$ ): Eine Aufgabe ist repräsentierbar, wenn und nur wenn $m + n = k$ gilt (unter der Annahme, dass $m+n \le k$ ). Wenn diese Bedingung nicht erfüllt ist, ist die Zielvorgabe orthogonal zum gesamten ausdrucksfähigen Unterraum.
- Nichtlinearphasen-Zielvorgaben (z. B. $ab$, $a^2+b^2$ ): Diese Aufgaben haben eine Fourier-Unterstützung, die über die Diagonale $u+v \equiv k \pmod p$ hinausgeht. Das Paper beweist, dass diese für jedes endliche $k < p$ nicht repräsentierbar sind.
- Kodierungsunabhängigkeit: Durch Proposition 1 zeigen die Autoren, dass selbst mit gelernten Embeddings die Repräsentierbarkeit einer Aufgabe durch den Rang der Zielmatrix beschränkt ist. Speziell die Aufgabe $ab$ (die eine Vollrang-DFT-Matrix entspricht) bleibt für jedes $k < p-1$ unrepräsentierbar, unabhängig von der Eingabekodierung.
Das „No Memorization“-Regime:
Das Paper beweist, dass das Netzwerk für nicht-repräsentierbare Zielvorgaben die Trainingsdaten nicht memorieren kann. Da die Ausgabe algebraisch auf einen Unterraum beschränkt ist, der die Zielvorgabe nicht enthält, ist der Trainingsverlust durch eine positive Konstante (die Spektrallücke) nach unten begrenzt. Folglich gibt es keine „Memorization“-Phase, kein „Grokking“-Delay und keine graduelle Verbesserung; das Netzwerk scheitert schlicht am Fit der Daten und verbleibt auf einem Zufallsniveau (Chance-Level).
Empirische Validierung binärer Ergebnisse:
Über 585 Durchläufe hinweg entsprach die algebraische Vorhersage dem beobachteten Ergebnis mit einer Genauigkeit von 99,8 %. Die Ergebnisse waren strikt binär:
- Repräsentierbare Aufgaben: Wurden fast instantan gelernt (Instant Generalization, oder INST) ohne Lücke zwischen Trainings- und Testgenauigkeit.
- Nicht-repräsentierbare Aufgaben: Vollständiges Versagen (FAIL), wobei die Trainingsgenauigkeit auf Zufallsniveau stagnierte.
- Es gab null Instanzen von Grokking oder „Memorization-without-Generalization“ beim holomorphen Netzwerk.
Verbindung zum Kapazitäts-Spektrum:
Das Paper schlägt die Brücke zwischen dem „algebraischen Extrem“ (holomorphe Netzwerke) und Standard-Universellen Approximatoren (ReLU-Netzwerke).
- ReLU-Baseline: Standard-ReLU-Netzwerke memorieren alle Aufgaben und zeigen Grokking bei schwierigen nichtlinearen Aufgaben, wobei die Verzögerungen mit der Komplexität der Aufgabe skalieren.
- Bottleneck-Ablation: Durch die Kompression eines ReLU-Netzwerks via eines linearen Bottlenecks verfolgen die Autoren einen kontinuierlichen Pfad vom FAIL-Regime (wenn der Bottleneck zu schmal ist, um die Daten abzubilden) über MEM (Memorization ohne Generalisierung) hin zu GROK (mit einer schrumpfenden Lücke, während die Kapazität steigt). Dies demonstriert, dass das im holomorphen Modell beobachtete „FAIL“-Regime das strukturelle Limit des Kapazitäts-Grokking-Spektrums darstellt.

Bedeutung und Behauptungen
Das Paper argumentiert, dass die Frage, „wann ein Netzwerk grokkt“, eine sekundäre Frage ist, die die primäre Bedingung der Repräsentierbarkeit voraussetzt.

Limiting Regime: Das holomorphe Netzwerk repräsentiert den Grenzfall, in dem die ausdrucksfähige Klasse zu einem fixen algebraischen Objekt kollabiert. In diesem Regime findet der Wettbewerb zwischen den Geschwindigkeiten von Memorization und Generalization (der Mechanismus des Grokkings) nie statt, da die Memorization-Phase strukturell unmöglich ist.
Strukturelle vs. Optimierungs-Constraints: Die Ergebnisse unterscheiden zwischen Optimierungsschwierigkeiten (die in Standard-Netzwerken Grokking-Verzögerungen verursachen) und Repräsentationsunmöglichkeit (die in beschränkten Netzwerken zu sofortigem Versagen führen).
Universalität der Blockade: Das Scheitern der Aufgabe $ab$ wird als intrinsische Eigenschaft der Rangbeschränkungen der Architektur gezeigt, nicht als Artefakt der festen Einheitswurzel-Kodierung.

Die Autoren kommen zu dem Schluss, dass ihre Arbeit ein Regime definiert, in dem sich die Dynamik des Grokkings in eine binäre Frage der Repräsentierbarkeit auflöst. Während die spezifischen algebraischen Ergebnisse für diesen holomorphen Kontext gelten, legen die Bottleneck-Experimente nahe, dass die Drei-Regime-Struktur (Failure $\to$ Memorization $\to$ Grokking) ein allgemeines Merkmal des Kapazitäts-Spektrums ist, wobei das holomorphe Modell eine rigorose, analytisch lösbare Randbedingung für das „Failure“-Ende dieses Spektrums liefert.