🤖 machine learning

Feature Repulsion and Spectral Lock-in: An Empirical Study of Two-Layer Network Grokking

Diese empirische Studie validiert Tian's (2025) theoretischen Mechanismus der Merkmalsabstoßung in modularen Additionsnetzwerken und zeigt, dass zwar die vorhergesagte Vorzeichenstruktur von Merkmalsinteraktionen über Aktivierungsfunktionen hinweg robust gilt, die daraus resultierenden spektralen Signaturen in Parameteraktualisierungen jedoch strikt von der Aktivierungsableitung abhängen, wobei quadratische Aktivierungen eine detektierbare spektrale Einkoppelung vom Rang 2 während des Grokking ermöglichen, die ReLU-Aktivierungen nicht hervorzubringen vermögen.

Ursprüngliche Autoren: Yongzhong Xu

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yongzhong Xu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie beobachten einen Schüler, der einen sehr schwierigen Mathe-Test schreibt. Zunächst memorisiert er die Antworten einfach auswendig (Stufe 1). Dann beginnt er, die zugrunde liegenden Muster zu verstehen, ist aber immer noch verwirrt und macht Fehler (Stufe 2). Plötzlich, in einem bestimmten Moment, hat er einen „Glühbirnen-Moment", in dem er aufhört zu raten und beginnt, bei Fragen, die er noch nie gesehen hat, perfekte Ergebnisse zu erzielen. Dieser plötzliche Sprung vom Auswendiglernen zum echten Verständnis wird als „Grokking" bezeichnet.

Dieser Artikel untersucht, wie und wann dieser Glühbirnen-Moment in einem einfachen Computerhirn (einem neuronalen Netzwerk) stattfindet. Die Forscher testen eine spezifische Theorie des Wissenschaftlers Tian, die besagt, dass während des Lernprozesses die internen „Ideen" (Merkmale) des Computers einander wegdrücken, wenn sie zu ähnlich sind, wodurch das Gehirn gezwungen wird, sich effizient zu organisieren.

Hier ist die Aufschlüsselung ihrer Erkenntnisse unter Verwendung einfacher Analogien:

1. Die „Abstoßungs"-Regel (Die Theorie)

Tians Theorie besagt, dass, wenn zwei interne Ideen im Computerhirn zu ähnlich werden, eine mathematische Kraft sie auseinandertreibt. Stellen Sie sich zwei Magnete vor, deren gleiche Pole einander zugewandt sind; sie stoßen sich ab.

Was sie testeten: Sie überprüften, ob dieses „Auseinandertreiben" tatsächlich beim realen Training stattfindet.
Das Ergebnis: Ja, es passiert. Es funktioniert perfekt, unabhängig davon, ob das Computerhirn eine „glatte" Aktivierungsfunktion (wie das Quadrieren von Zahlen, $x^2$ ) oder eine „unebene" (wie ReLU) verwendet.
Die Metapher: Stellen Sie sich eine überfüllte Tanzfläche vor. Wenn zwei Tänzer beginnen, sich exakt gleich zu bewegen, greift eine Regel ein, die sie zwingt, sich an verschiedene Orte zu bewegen. Diese Regel funktioniert unabhängig davon, welche Art von Musik (Aktivierungsfunktion) spielt.

2. Das „Spektrale Einrasten" (Das beobachtbare Signal)

Die Forscher wollten wissen: Können wir ein spezifisches Signal auf einem Computerbildschirm erkennen, das uns anzeigt, dass der „Glühbirnen-Moment" kurz bevorsteht?
Sie untersuchten das „Update-Spektrum" – im Wesentlichen, wie sich die Gewichte des Computers (die Regler, die er zum Lernen dreht) im Laufe der Zeit verändern. Sie suchten nach einem spezifischen Muster: Rank-2 Lock-in (Einrasten auf Rang 2).

Die Analogie: Stellen Sie sich vor, der Computer versucht, den besten Weg durch ein Labyrinth zu finden.
- Vor dem Glühbirnen-Moment: Der Computer dreht sich im Kreis und versucht gleichzeitig 100 verschiedene Richtungen (Chaos).
- Das Einrasten: Plötzlich erkennt er, dass er nur zwei spezifische Richtungen benötigt, um das Labyrinth zu lösen. Alle anderen Richtungen kollabieren zu Rauschen. Der Computer „rastet" genau in diese beiden Pfade ein.
Das Ergebnis: Dieses „Einrasten"-Signal ist nur sichtbar, wenn der Computer die „glatte" Aktivierung ( $x^2$ $x^{2}$ ) verwendet.
- Mit $x^2$ : Das Signal ist laut und klar. Der Computer reduziert seine vielen Richtungen genau auf zwei.
- Mit ReLU: Das Signal verschwindet. Der Computer rastet nicht in zwei Richtungen ein; er bleibt verteilt, dominiert von nur einer Hauptrichtung.

3. Die große Entdeckung: „Die Regel vs. Das Ergebnis"

Dies ist der wichtigste Teil des Artikels. Die Forscher fanden eine Spaltung zwischen dem Mechanismus (der Regel) und der Signatur (dem sichtbaren Ergebnis).

Der Mechanismus (Die Abstoßung): Die Regel, dass „ähnliche Ideen einander wegdrücken", ist universell. Sie tritt bei beiden Arten von Computerhirnen ( $x^2$ und ReLU) auf.
Die Signatur (Das Einrasten): Das sichtbare Zeichen, dass der Computer es „verstanden" hat (das Rank-2 Lock-in), ist spezifisch für das $x^2$ -Hirn.

Die Metapher:
Stellen Sie sich zwei verschiedene Autotypen vor (eines mit einem glatten Motor, eines mit einem unebenen Motor), die einen Berg hinauffahren.

Die Regel: Beide Autos haben eine Regel, die besagt: „Wenn die Räder durchdrehen, müssen die Bremsen eingreifen." Diese Regel funktioniert für beide Autos.
Die Signatur: Allerdings macht nur das glatte Auto ein deutliches Klickgeräusch, wenn die Bremsen eingreifen. Das unebene Auto greift auch die Bremsen an, macht aber nur ein Summgeräusch.
Die Lehre: Wenn Sie nur nach dem Klickgeräusch lauschen, könnten Sie denken, das unebene Auto bremst nicht. Aber es tut es! Es ist nur so, dass der „Sound" (die spektrale Signatur) vom Motortyp abhängt, obwohl die „Bremsregel" (die Abstoßung) dieselbe ist.

4. Praktische Erkenntnisse für den „Fahrer"

Der Artikel bietet auch einige Ratschläge für Personen, die diesen „Glühbirnen-Moment" in Echtzeit erkennen möchten:

Die Fenstergröße ist wichtig: Um das „Klickgeräusch" (das Einrasten) zu sehen, müssen Sie die Daten über ein bestimmtes Zeitfenster betrachten (etwa 20 bis 30 Schritte). Wenn Sie zu schnell schauen (5 Schritte), erhalten Sie Fehlalarme. Wenn Sie zu langsam schauen, verpassen Sie den Moment.
Zeitpunkt: Das „Klickgeräusch" tritt genau dann auf, wenn der Computer beginnt, perfekte Testergebnisse zu erzielen. Es ist ein zuverlässiges Frühwarnsystem, aber nur für den glatten ( $x^2$ ) Computertyp.
Der „Langsame" Modus: Wenn Sie den Lernprozess verlangsamen (durch Reduzierung eines Parameters namens $\eta$ ), passiert der „Glühbirnen-Moment" viel später, aber die Mathematik stimmt immer noch. Das „Klickgeräusch" ist nur leiser und braucht länger, um zu erscheinen.

Zusammenfassung

Der Artikel beweist, dass die von Tian vorgeschlagene „Abstoßungs"-Regel real ist und in allen Fällen auftritt. Das spezifische visuelle Signal, das wir verwenden, um sie zu erkennen (das „Rank-2 Lock-in"), ist jedoch ein Trick des Lichts, der nur für bestimmte Arten von Computerhirnen funktioniert. Wenn Sie einen anderen Hirntyp verwenden (wie ReLU), müssen Sie nach einem anderen Signal suchen, da das „Einrasten" anders stattfindet, obwohl die zugrunde liegende Logik dieselbe ist.

Technische Zusammenfassung: Merkmalsabstoßung und spektrale Einrastung

Problemstellung

Grokking – das Phänomen, bei dem neuronale Netze lange nach dem Plateau des Trainingsverlusts abrupt vom Auswendiglernen zur Generalisierung übergehen – wurde durch verschiedene Perspektiven erklärt, darunter mechanistische Interpretierbarkeit und implizite Regularisierung. Tian [2025] lieferte einen prinzipiellen Rahmen, der die Grokking-Dynamik in zweischichtigen Netzen in drei Stadien zerlegt, die in einer Phase des „interaktiven Merkmalslernens" (Stadium III) gipfeln. Innerhalb dieses Stadiums postuliert Tian's Theorem 6 ein „Abstoßungstheorem": Ähnliche versteckte Merkmale stoßen sich aufgrund der off-diagonalen Struktur der Matrix $B = (\tilde{F}^\top \tilde{F} + \eta I)^{-1}$ gegenseitig ab.

Allerdings ließ Tian's Rahmen zwei empirische Fragen offen:

Zeitpunkt: Zu welchem spezifischen Zeitpunkt im Training wird dieser Abstoßungsmechanismus empirisch beobachtbar?
Beobachtbarkeit: Manifestiert sich dieser Mechanismus als messbare, Online-Signatur in Größen, die Praktiker ohne teure Offline-Diagnostik berechnen können?

Dieser Beitrag adressiert diese Fragen, indem er Theorem 6 und einen Kandidaten für eine spektrale Observable auf Tian's exaktes Setup für modulare Addition testet.

Methodik

Die Studie repliziert Tian's [2025] Setup für modulare Addition ( $M=71$ Klassen, $K=2048$ versteckte Einheiten, Trainingsanteil $p \approx 0,40$ ) unter Verwendung von Adam-Optimierung mit Gewichtsdecay $\eta$ . Die Autoren wenden zwei komplementäre Tests über mehrere Zufallsseed an:

Direkte Verifikation von Theorem 6:
- Die Autoren berechnen $B$ exakt unter Verwendung der Woodbury-Identität, um die rechnerische Komplexität zu reduzieren.
- An deterministischen Checkpoints identifizieren sie die 200 ähnlichsten Merkmalspaare basierend auf der Kosinus-Ähnlichkeit.
- Sie verifizieren die Vorzeichenregel: $\text{sgn}(B_{j\ell}) = -\text{sgn}(\tilde{f}_j^\top P_{\eta, -j\ell} \tilde{f}_\ell)$ , wobei $P$ eine Projektionsmatrix ist, die die Spalten $j$ und $\ell$ ausschließt.
- Diese Verifikation wird über verschiedene Aktivierungsfunktionen hinweg durchgeführt ( $\sigma(x)=x^2$ und $\sigma(x)=\text{ReLU}$ ).
Detektion spektraler Signaturen:
- Die Autoren überwachen die Gram-Matrix der Parameter-Updates ( $\Delta W$ ) in einem gleitenden Fenster.
- Sie verfolgen das Eigenlückenverhältnis $\sigma_2/\sigma_3$ (das Verhältnis des zweiten zum dritten Eigenwert).
- Ein slope-basierter Detektor identifiziert den Moment der „Einrastung", wenn dieses Verhältnis in einen anhaltenden Anstieg übergeht, unter der Hypothese, dass die Abstoßung redundante Merkmale in eine niedrigrangige Struktur konsolidiert (speziell Rang-2).
- Sensitivitätsanalysen werden bezüglich der Fenstergröße ( $W$ ) und des Gewichtsdecays ( $\eta$ ) durchgeführt.

Hauptergebnisse

1. Verifikation von Theorem 6 (Aktivierungs-unabhängig)

Die Vorzeichenregel von Theorem 6 gilt empirisch über verschiedene Aktivierungsfunktionen hinweg, was bestätigt, dass der Mechanismus aktivierungs-unabhängig ist.

$\sigma(x) = x^2$ : Die empirische Vorzeichenübereinstimmung für die 200 ähnlichsten Paare steigt von 0,865 bei Epoche 50 auf eine enge Sättigung von 0,985 bis Epoche 300. Die Sättigung ( $\ge 0,95$ ) tritt bei allen Seeds konsistent bei Epoche 175 auf.
$\sigma(x) = \text{ReLU}$ : Die Vorzeichenregel gilt ebenfalls und sättigt noch schneller (1,000 bis Epoche 500).
Fazit: Der Abstoßungsmechanismus, gesteuert durch die Struktur von $\tilde{F}^\top \tilde{F}$ , funktioniert unabhängig davon, ob die Aktivierung eine Potenzfunktion oder ReLU ist.

2. Spektrale Einrastung (Aktivierungs-spezifisch)

Während der Mechanismus allgemein ist, ist die spektrale Signatur der Parameter-Updates aktivierungs-spezifisch.

$\sigma(x) = x^2$ (Fokussiertes Auswendiglernen): Der slope-basierte Detektor löst bei 15/15 Grokking-Seeds bei Epoche 174 aus. Es besteht eine massive Größenordnungstrennung ( $229\times$ ) im späten Stadium des $\sigma_2/\sigma_3$ -Verhältnisses zwischen Grokking-Seeds (Median $\approx 300$ ) und Kontroll-Seeds ( $\eta=0$ , Median $\approx 1,31$ ). Das Spektrum kollabiert auf Rang-2, was darauf hindeutet, dass sich Merkmale auf zwei persistente Richtungen konsolidieren.
$\sigma(x) = \text{ReLU}$ (Verstreutes Auswendiglernen): Der Detektor löst bei 0/15 Grokking-Seeds aus. Die Größenordnungstrennung kollabiert auf $1,4\times$ , und das Spektrum bleibt Rang-1-dominiert ( $\sigma_1 \gg \sigma_2 \approx \sigma_3$ ).
Fazit: Die spektrale Einrastungssignatur vom Rang-2 entsteht nur im Regime des „fokussierten Auswendiglernens" (Potenz-Aktivierungen), in dem sich Merkmale auf scharfe Spitzen konsolidieren. Im Regime des „verstreuten Auswendiglernens" (ReLU) bleiben Merkmale verteilt, was die Bildung einer distincten spektralen Einrastungssignatur vom Rang-2 verhindert.

3. Methodische Kontrollen und Skalierung

Fenstergrößensensitivität: Der Detektor erfordert eine Fenstergröße $W \in \{20, 30\}$ . Kleinere Fenster ( $W \le 10$ ) produzieren in Kontrollbedingungen falsch-positive Ergebnisse.
$\eta$ -Skalierung: Ein erweiterter Lauf bei $\eta = 10^{-5}$ bestätigt Tian's $1/\eta$ -Skalierungsvorhersage für die Grokking-Zeit (Grokking bei Epoche 1527). Allerdings ist die Einrastungsgröße ( $\sigma_2/\sigma_3$ ) signifikant reduziert ( $\approx 25$ vs. $\approx 300$ ), was darauf hindeutet, dass die Rang-2-Struktur bei diesem langsamen Zeitskalen unvollständig entwickelt ist.
Level-Metric-Detektor ( $\rho_{tian}$ ): Eine einfachere Metrik, die auf der off-diagonalen Struktur der Aktivierungs-Gram-Matrix basiert, sagt den Grokking-Beginn mit positiver Vorlaufzeit für $\sigma=x^2$ voraus, versagt jedoch bei der Generalisierung auf ReLU oder verschiedene $(M, p)$ -Konfigurationen und markiert den Beginn der Merkmalsdynamik statt des erfolgreichen Grokking.

Bedeutung und Behauptungen

Der Beitrag zieht eine kritische Struktur-Mechanismus-Unterscheidung:

Der Mechanismus (Allgemein): Tian's Theorem 6 regelt die off-diagonale Vorzeichenstruktur von $B$ über Eigenschaften der Merkmals-Gram-Matrix $\tilde{F}^\top \tilde{F}$ . Dieser Mechanismus ist robust und unabhängig von der spezifischen Aktivierungsfunktion $\sigma$ .
Die Signatur (Spezifisch): Die beobachtbare spektrale Signatur in den Parameter-Updates hängt davon ab, wie sich die Abstoßung in Gewichts-Updates übersetzt, was durch die Ableitung $\sigma'$ $σ^{'}$ vermittelt wird.
- Potenz-Aktivierungen ( $\sigma=x^2$ ) erzeugen fokussierte Merkmale, die sich auf zwei Richtungen konsolidieren und eine spektrale Einrastung vom Rang-2 ergeben.
- ReLU erzeugt verstreute Merkmale, die Rang-1-dominiert bleiben und trotz Vorliegens des zugrundeliegenden Abstoßungsmechanismus die spektrale Einrastungssignatur vermissen lassen.

Die Autoren verknüpfen diese empirische Dissoziation mit Tian's Theorem 5, das formal zwischen Regimen des fokussierten und des verstreuten Auswendiglernens unterscheidet. Der Beitrag kommt zu dem Schluss, dass, während der Abstoßungsmechanismus im Stadium III universell ist, der spektrale Ansatz für Grokking-Diagnostik aktivierungs-abhängig ist. Praktiker können nicht davon ausgehen, dass eine einzelne spektrale Metrik (wie $\sigma_2/\sigma_3$ ) Grokking über alle Aktivierungsfunktionen hinweg erkennt; die Wahl der Diagnostik muss mit dem spezifischen, durch die Aktivierungsfunktion induzierten Auswendiglern-Regime übereinstimmen.