🤖 machine learning

Detecting overfitting in Neural Networks during long-horizon grokking using Random Matrix Theory

Dieser Beitrag stellt eine neuartige, auf der Theorie zufälliger Matrizen basierende Methode vor, die den Beginn von Überanpassung, bezeichnet als „Anti-Grokking", in Deep-Learning-Modellen durch die Identifizierung struktureller Anomalien namens „Korrelationsfallen" innerhalb von Gewichtsmatrizen erkennt und damit die Detektion schädlicher Überanpassung ohne Zugriff auf Trainings- oder Testdaten ermöglicht.

Ursprüngliche Autoren: Hari K. Prakash, Charles H Martin

Veröffentlicht 2026-05-15

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hari K. Prakash, Charles H Martin

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die Falle des „perfekten Schülers"

Stellen Sie sich einen Schüler vor, der eine sehr schwierige Prüfung schreibt.

Phase 1 (Verwirrung): Er lernt hart, bekommt aber ständig Fragen falsch.
Phase 2 (Grokking): Plötzlich hat er einen Durchbruch! Er versteht die Regeln des Fachs. Er erzielt bei Übungstests und echten Prüfungen perfekte Ergebnisse. Das ist großartig.
Phase 3 (Die versteckte Gefahr): Der Schüler lernt wochenlang weiter, obwohl er den Stoff bereits beherrscht. Zuerst erzielt er bei Übungstests immer noch perfekte Ergebnisse. Aber bei neuen Fragen, die er noch nie gesehen hat, beginnt er zu scheitern.

Diese dritte Phase nennt das Paper „Anti-Grokking". Das Modell (der Schüler) hat die spezifischen Übungsaufgaben so perfekt auswendig gelernt, dass es die allgemeinen Regeln vergessen hat. Auf dem Übungstest wirkt es wie ein Genie, ist aber in Wirklichkeit brüchig und scheitert in der realen Welt.

Das Problem? Normalerweise kann man nicht erkennen, ob sich ein Schüler in Phase 2 (intelligent) oder Phase 3 (überauswendiggelernt) befindet, wenn man nur die Testergebnisse betrachtet. Beide sehen auf dem Übungstest wie 100 % aus.

Die Lösung: Der „Shuffle-Test"

Die Autoren, Hari K. Prakash und Charles H. Martin, haben eine Methode entwickelt, um einen Blick in das Gehirn des Schülers (die Gewichte des neuronalen Netzwerks) zu werfen, ohne die Testfragen oder die Notizen des Schülers sehen zu müssen.

Sie verwenden eine Methode, die auf der Theorie der Zufallsmatrizen basiert, welche wie ein statistischer „Lügendetektor" für Mathematik funktioniert. So funktioniert ihre Methode, Schritt für Schritt:

1. Der „verwirrte Gehirn"-Test

Stellen Sie sich das Gehirn des Schülers als ein riesiges Gitter von Verbindungen (Gewichten) zwischen Neuronen vor.

Der Trick: Die Forscher nehmen dieses Gitter und verwirbeln es. Sie mischen jede einzelne Zahl im Gitter zufällig durch, wie ein Kartendeck.
Die Erwartung: Wenn der Schüler gesund ist und allgemeine Regeln gelernt hat, sollte das verwirbelte Gitter wie ein zufälliges Durcheinander aussehen. Die Zahlen sollten gleichmäßig verteilt sein, wie Sand am Strand.
Die Realität (Die Falle): Wenn sich der Schüler in der „Anti-Grokking"-Phase befindet (Overfitting), sieht das verwirbelte Gitter nicht zufällig aus. Es weist lautstarke, seltsame Spitzen auf.

2. Die „Korrelationsfallen"

Diese seltsamen Spitzen nennt die Autoren Korrelationsfallen.

Die Analogie: Stellen Sie sich eine Menschenmenge bei einem Konzert vor. In einer gesunden Menge steht jeder zufällig herum. Aber in einer „gefangenen" Menge hält eine kleine Gruppe von Menschen sich in einem engen, steifen Kreis an den Händen und ignoriert alle anderen.
In der Mathematik sind diese „steifen Kreise" spezifische Richtungen in den Daten, an denen das Modell zu fest festgehalten hat. Sie sind „Fallen", weil das Modell an spezifischen, brüchigen Mustern aus den Trainingsdaten hängen bleibt, anstatt zu generalisieren.

Wie sie wissen, dass es schlecht ist (der „JSD"-Test)

Eine „Korrelationsfalle" zu finden, sagt Ihnen, dass etwas seltsam ist, aber ist es schlecht? Vielleicht hat das Modell nur eine seltsame Eigenart, die ihm nicht schadet.

Um das zu prüfen, führen die Forscher einen zweiten Test durch:

Sie nehmen die „Falle" (diesen seltsamen, steifen Kreis im Gehirn) und ersetzen sie durch zufälliges Rauschen.
Sie bitten das Modell, ein Problem zu lösen.
Das Ergebnis: Wenn sich das Verhalten des Modells drastisch ändert (es beginnt zufällig zu raten oder Dinge falsch zu machen), war die Falle schädlich. Sie hielt das Modell mit einem Kleber zusammen, der nur auf dem Übungstest funktionierte. Wenn sich das Modell nichts daraus macht, war die Falle harmlos.

Was sie fanden

Sie testeten dies an drei verschiedenen Arten von KI-Modellen:

Ein einfacher Bildklassifizierer (MNIST): Er lernte, Zahlen zu erkennen, lernte dann zu viel, und die Fallen traten genau dann auf, als er begann, bei neuen Zahlen zu scheitern.
Ein Mathe-Löser (Modulare Addition): Er lernte, Mathe zu rechnen, lernte dann zu viel, und die Fallen traten auf.
Ein Sprachmodell (GPT2): Das gleiche Muster.

Die zentrale Entdeckung:

Vor dem Lernen: Keine Fallen.
Während des Lernens (Grokking): Keine Fallen. Das Modell ist gesund.
Nach dem Überlernen (Anti-Grokking): Fallen treten auf und wachsen. Je mehr das Modell overfittet, desto mehr Fallen hat es.

Sie betrachteten sogar massive, reale KI-Modelle (OpenAIs GPT-OSS) und fanden dort ebenfalls diese Fallen, was darauf hindeutet, dass selbst riesige, leistungsstarke Modelle auf Arten, die wir zuvor nicht sehen konnten, heimlich overfitten.

Das Fazit

Dieses Paper gibt uns ein neues Werkzeug, um ein trainiertes KI-Modell zu betrachten und zu sagen: „Hey, du siehst auf dem Papier perfekt aus, aber dein Gehirn hat diese 'Korrelationsfallen', was bedeutet, dass du die Prüfung auswendig gelernt hast, anstatt die Lektion zu verstehen."

Es ist wie ein Mechaniker, der in einen Automotor schauen, ihn schütteln und ein spezifisches Klappern hören kann, das ihm sagt, dass das Auto auf der Autobahn liegen bleiben wird, obwohl der Tacho anzeigt, dass alles in Ordnung ist. Diese Methode erfordert keine Daten, kein Nachtrainieren und keinen Zugriff auf die ursprünglichen Testfragen – nur die Gewichte des Modells.

Technische Zusammenfassung: Erkennung von Overfitting in neuronalen Netzen während langfristigen Grokking mittels Zufallsmatrixtheorie

Problemstellung

Das Training tiefer neuronaler Netze (NN) ohne Overfitting ist herausfordernd, und die Erkennung von Overfitting ist ebenso schwierig, insbesondere wenn kein Zugriff auf Trainingsdaten, Testdaten, Optimierer-Zustände oder Trainingsverläufe besteht. Dies ist ein kritisches Problem für Open-Weight-Grundmodelle, bei denen Nutzer zwar Modellgewichte und -karten besitzen, aber den Kontext fehlt, um zu bestimmen, ob ein Checkpoint robust trainiert wurde oder an spezifische Datenkorrelationen overfitted ist.

Der Artikel konzentriert sich auf das Phänomen des Grokking, bei dem die Trainingsgenauigkeit eines Modells nahezu perfekt wird, während die Testgenauigkeit über einen längeren Zeitraum nahe dem Zufallsniveau bleibt, bevor sie sich abrupt verbessert. Während frühere Forschungen sich auf den Übergang von Memorierung zu Generalisierung konzentrierten, untersucht diese Arbeit das langfristige Regime nach dem Grokking. In dieser Phase, die als „Anti-Grokking" bezeichnet wird, kann ein Modell, das erfolgreich generalisiert hat, seine Leistung auf zurückgehaltenen Daten verlieren und zu einem Overfitting auf seine Trainingsdaten zurückkehren, obwohl es eine nahezu perfekte Trainingsgenauigkeit beibehält. Die Unterscheidung dieser schädlichen „Anti-Grokking"-Phase von der initialen „Pre-Grokking"-Phase (in der das Modell noch keine generalisierende Lösung gefunden hat) ist allein anhand standardmäßiger Trainings-/Testgenauigkeitskurven schwierig, da beide Regime eine hohe Trainingsgenauigkeit und eine schlechte Testgenauigkeit aufweisen.

Methodik

Die Autoren schlagen eine neuartige Diagnosemethode vor, die auf der Zufallsmatrixtheorie (Random Matrix Theory, RMT) basiert und ausschließlich auf den Gewichtsmatrizen des Modells operiert, ohne Zugriff auf Daten zu benötigen.

Kernkonzept: Korrelationsfallen

Die Methode beruht auf dem Prinzip der Selbstmittelung. In einem gut trainierten, generalisierenden Modell sollten die Gewichtsmatrizen statistische Eigenschaften aufweisen, die mit Zufallsmatrizen konsistent sind, wenn ihre interne Struktur randomisiert wird.

Randomisierung: Für jede Schichtgewichtsmatrix $W$ werden die Einträge elementweise gemischt, um eine randomisierte Matrix $W_{rand}$ zu erzeugen.
Spektralanalyse: Die empirische Spektralverteilung (ESD) der Kovarianzmatrix $X_{rand} = \frac{1}{N} W_{rand}^\top W_{rand}$ wird berechnet.
Marchenko-Pastur (MP)-Basislinie: Die ESD wird an die Marchenko-Pastur-Verteilung angepasst, die als theoretische Basislinie für eine selbstmittelnde, unkorrelierte Zufallsmatrix dient.
Fallenerkennung: Die Autoren identifizieren Korrelationsfallen als Eigenwert-Ausreißer ( $\lambda_{trap}$ $λ_{t r a p}$ ), die signifikant jenseits der rechten Kante der angepassten MP-Verteilung liegen (unter Berücksichtigung von Tracy-Widom-Fluktuationen).
- Definition: Eine Korrelationsfalle ist ein Eigenwert $\lambda_{trap} > \lambda_{MP}^+ + \Delta_{TW}$ .
- Bedeutung: Diese Ausreißer deuten auf eine Verletzung der Selbstmittelung hin und lassen auf das Vorhandensein strukturierter, nicht-zufälliger Korrelationen innerhalb der Schicht schließen, die auch nach einer elementweisen Durchmischung bestehen bleiben.

Unterscheidung schädlicher vs. harmloser Fallen

Da das Vorhandensein von Fallen eine Nicht-Selbstmittelung anzeigt, aber nicht inhärent schädliches Overfitting beweist, führen die Autoren einen datenfreien JSD-Diagnose-Ablationstest (Jensen-Shannon-Divergenz) ein:

Verfahren: Eine spezifische Falle (Eigenvektor) wird durch einen zufälligen Vektor ersetzt. Anschließend wird das Modell mit Sondeneingaben ausgeführt (zufällige Tokens für Transformer, Gaußsche Eingaben für MLPs).
Metrik: Die JSD zwischen den Ausgabe-Logits des ursprünglichen Modells und des ablatierten Modells wird berechnet.
Klassifizierung:
- Schädliche Falle: Das Entfernen der Falle verändert die Ausgabeverteilung des Modells signifikant (hohe JSD) und verändert die Testgenauigkeit.
- Harmlose Falle: Das Entfernen der Falle hat einen vernachlässigbaren Effekt auf Ausgaben und Genauigkeit.

Hauptbeiträge

Definition von Korrelationsfallen: Die Autoren definieren Korrelationsfallen als spektrale Ausreißer in durchmischten Schichtgewichtsmatrizen, die die Marchenko-Pastur-Basislinie verletzen und als Signatur einer Nicht-Selbstmittelungsstruktur dienen.
Identifikation von Anti-Grokking: Der Artikel charakterisiert „Anti-Grokking" als eine distincte Phase nach erfolgreicher Generalisierung, in der die Testgenauigkeit abnimmt, während die Trainingsgenauigkeit hoch bleibt. Diese Phase ist strukturell von Pre-Grokking unterschieden.
Korrelationsfallen als Diagnose: Die Studie zeigt, dass Korrelationsfallen während Pre-Grokking und Grokking fehlen, aber spezifisch zu Beginn von Anti-Grokking auftreten und sowohl in Anzahl als auch in Skala wachsen.
Mechanistischer Zusammenhang mit Overfitting: Die Autoren verknüpfen diese Fallen mit Lokalisierung (wobei die Varianz auf eine kleine Menge von Koordinaten konzentriert ist) und spektraler Kondensation (wobei ein einzelner dominanter Modus makroskopische Varianz trägt), was beide verhindern, dass sich der Generalisierungsfehler konzentriert.
Empirische Validierung: Die Methode wurde über drei verschiedene Architekturen und Aufgaben hinweg validiert:
- Ein 3-Schichten-MLP auf MNIST.
- Ein kleiner Transformer auf einer modularen Additionsaufgabe (MA).
- Ein GPT2-artiger Transformer auf einer synthetischen Kompositionsaufgabe.
Anwendung auf Grundmodelle: Die Diagnose wurde auf Open-Weight-Checkpoints von OpenAIs gpt-oss-20b und gpt-oss-120b angewendet und das Vorhandensein von Korrelationsfallen aufgedeckt, was auf potenzielles Overfitting bei Modellen im Frontier-Bereich hindeutet.

Ergebnisse

Phasentrennung: In allen drei Benchmarks (MLP, MA, GPT2) bleibt die Anzahl der Korrelationsfallen während Pre-Grokking und Grokking effektiv null. Ein scharfer Anstieg der Fallenzahl korreliert präzise mit dem Rückgang der Testgenauigkeit während der Anti-Grokking-Phase.
Gewichtsabbausteuerung: Experimente mit Gewichtsabbauregularisierung (WD=0,01) zeigten, dass, obwohl Anti-Grokking weiterhin auftritt, das Wachstum der Korrelationsfallen und die Schwere des Abbaus der Testgenauigkeit im Vergleich zur Einstellung ohne Gewichtsabbauregularisierung (WD=0) signifikant unterdrückt werden.
Störungsrobustheit: Störungsstudien bestätigten, dass Fallenzahlen nicht lediglich ein Proxy für die globale Skala (Norm) der Gewichte sind. Selbst wenn die globalen Gewichtsnormen verändert wurden, blieben Fallen in Pre-Grokking/Grokking fehlen und traten nur in Anti-Grokking auf.
Mechanistische Einsicht (MLP): Im MLP-Fallstudienfall entwickelten sich lokalisierte Fallrichtungen zu „prototypähnlichen" Strukturen im Pixelspace. Diese Strukturen veranlassten das Modell, sich auf die globale Eingabemagnitude (z. B. $\|x\|^2$ ) statt auf semantische Ziffernmuster zu verlassen, was zu sprödem Verhalten bei gemischten oder Gaußschen Eingaben führte, während die perfekte Trainingsgenauigkeit erhalten blieb.
JSD-Ablation: Der JSD-Diagnosetest unterschied erfolgreich zwischen Fallen, deren Entfernung die Modellleistung verschlechterte (schädlich), und solchen, die wenig Einfluss hatten (harmlos).

Bedeutung und Behauptungen

Der Artikel behauptet, dass Korrelationsfallen eine praktische, gewichtsbasierte Diagnose bieten, um Signaturen potenziell schädlichen Overfitting in trainierten Modellen zu erkennen, ohne Zugriff auf Trainings- oder Testdaten zu haben.

Strukturelle Unterscheidung: Die primäre Bedeutung liegt in der Fähigkeit, strukturell zwischen einem Modell, das noch nicht gelernt hat (Pre-Grokking), und einem Modell zu unterscheiden, das gelernt und dann wieder verlernt/schlecht generalisiert hat (Anti-Grokking). Beide Zustände sehen über Genauigkeitsmetriken identisch aus, unterscheiden sich jedoch grundlegend in ihren Gewichtsspektren.
Screening von Grundmodellen: Die Erkennung von Korrelationsfallen in großen Open-Weight-LLMs legt nahe, dass Grundmodell-Modelle ihre Trainingsdaten unbeabsichtigt in Weisen overfitten können, die durch Spektralanalyse erkennbar sind.
Regulatorische und praktische Nutzbarkeit: Die Autoren schlagen vor, dass diese Methode als unvoreingenommenes Werkzeug für Aufsichtsbehörden oder Nutzer dienen könnte, um die Sicherheit und Robustheit von Modellen einzuschätzen, insbesondere wenn proprietäre Daten nicht verfügbar sind.
Einschränkungen: Die Autoren vermerken bescheiden, dass ihre Evidenz aus kontrollierten langfristigen Grokking-Szenarien stammt. Sie behaupten nicht, dass alle Overfitting-Fälle Korrelationsfallen produzieren, noch behaupten sie, dass das Vorhandensein von Fallen in Frontier-Modellen ohne weitere aufgabenbasierte Evaluierung eindeutig schädliches Verhalten beweist. Die Fallenzahl ist ein Warnsignal, kein universeller Qualitätsindex.