🤖 machine learning

Gradient-Direction Sensitivity Reveals Linear-Centroid Coupling Hidden by Optimizer Trajectories

Dieser Artikel zeigt, dass die Analyse von Verlustgradienten anstelle von Optimierer-Updates eine starke, zuvor verborgene Kopplung zwischen der Empfindlichkeit gegenüber Gradientenrichtungen und Merkmalen der linearen-Zentroid-Hypothese aufdeckt und belegt, dass die Einschränkung von Attention-Updates auf niedrigrangige Unterräume das Grokking beschleunigt, während die natürlichen vollrangigen Updates eine hohe Rangredundanz aufweisen.

Ursprüngliche Autoren: Yongzhong Xu

Veröffentlicht 2026-04-29

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yongzhong Xu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Einem Auto beim Fahren zusehen vs. auf die Straße schauen

Stellen Sie sich vor, Sie versuchen zu verstehen, wie ein autonomes Fahrzeug lernt, eine komplexe Stadt zu navigieren. Sie möchten wissen: Welche spezifischen Kurven und Fahrspuren helfen dem Auto tatsächlich, die Route zu lernen?

Lange Zeit haben Forscher die tatsächliche Bewegung des Autos (die Trajektorie des Optimierers) beobachtet, um dies herauszufinden. Sie betrachteten den Weg, den das Auto in den letzten Minuten zurückgelegt hatte, zogen eine Linie durch die Mitte dieses Pfades und sagten: „Aha! Das Auto lernt, indem es sich in diese spezifische Richtung bewegt."

Dieses Paper argumentiert, dass das Beobachten der Bewegung des Autos irreführend ist.

Die Autoren sagen, dass die Bewegung des Autos eine chaotische Mischung aus Folgendem ist:

Momentum: Das Auto rollt noch immer von Kurven, die es vor 10 Sekunden genommen hat.
Adaptive Skalierung: Das Auto passt seine Geschwindigkeit basierend darauf an, wie rutschig sich die Straße anfühlt.
Gewichtsdecay: Das Auto versucht, in der Mitte der Spur zu bleiben, auch wenn es das gar nicht muss.
Konfligierende Ziele: In einem Multi-Task-Setting versucht das Auto, gleichzeitig zum Lebensmittelgeschäft, ins Fitnessstudio und ins Büro zu fahren. Der Weg, den es nimmt, ist ein Kompromiss, keine klare Route zu einem einzelnen Ziel.

Das Paper behauptet, dass man, um wirklich zu verstehen, was das Auto lernt, nicht darauf schauen sollte, wohin das Auto gefahren ist. Stattdessen sollte man auf die Straßenschilder und die Karte (die Gradienten) schauen, die das Auto gerade jetzt betrachtet.

Die Kernentdeckung: Der „chaotische Pfad" vs. das „klare Signal"

Die Forscher testeten dies an einem Computermodell, das Matheaufgaben lernte (wie Addition und Multiplikation). Sie verwendeten einen „Test", um zu sehen, ob das Modell spezifische Merkmale bildete (wie eine mentale Regel zum Addieren von Zahlen).

1. Der alte Weg (Dem Auto beim Fahren zusehen):
Als sie den Pfad analysierten, den das Modell genommen hatte (das „Update"), waren die Testergebnisse schwach und verwirrend.

Das Ergebnis: Das Modell schien zu lernen, aber die „Richtung" des Lernens wirkte zufällig. Bei komplexen Aufgaben, bei denen das Modell vier Dinge gleichzeitig tun musste, versagte der Test vollständig. Es sah so aus, als lerne das Modell überhaupt nichts Spezifisches.
Die Analogie: Es ist, als würde man versuchen, das Ziel eines Wanderers zu erraten, indem man seine schlammigen Fußabdrücke betrachtet. Die Fußabdrücke sind ein durcheinandergeratenes Durcheinander aus Rutschen, Stoppen und Richtungswechseln, sodass man nicht erkennen kann, in welche Richtung sie eigentlich gehen wollten.

2. Der neue Weg (Auf die Karte schauen):
Die Forscher wechselten zur Analyse der Gradienten (das rohe mathematische Signal, das dem Modell sagt, in welche Richtung es sich bewegen soll, bevor die chaotischen Optimierungsschritte eingreifen).

Das Ergebnis: Plötzlich wurde das Signal unglaublich klar. Die „Richtung" des Lernens war 30- bis 100-mal stärker als zuvor.
Die Analogie: Anstatt die schlammigen Fußabdrücke zu betrachten, sahen sie sich die GPS-Koordinaten an, auf die der Wanderer in genau diesem Sekundenbruchteil zusteuerte. Die Richtung war scharf, klar und perfekt auf das Ziel ausgerichtet.

Wichtigste Erkenntnis: Der „Optimierer" (der Algorithmus, der das Modell aktualisiert) fügt so viel Rauschen und Geschichte hinzu, dass er das wahre Lernsignal verdeckt. Man muss das Momentum und die Geschichte entfernen, um zu sehen, was das Modell tatsächlich lernt.

Das Multi-Task-Problem: Das „Komitee-Treffen"

Das Paper untersuchte auch ein Modell, das versuchte, vier verschiedene Matheaufgaben gleichzeitig zu lernen (Addieren, Subtrahieren, Multiplizieren und eine komplexe Quadrat-Formel).

Die alte Sichtweise: Als sie den kombinierten Pfad des Modells betrachteten, sah es wie eine Katastrophe aus. Das Modell versuchte, vier verschiedene „Komitees" zufriedenzustellen, und der resultierende Pfad war ein Kompromiss, der keines von ihnen gut zufriedengestellt. Das Diagnosewerkzeug sagte: „Dieses Modell lernt kein spezifisches Merkmal."
Die neue Sichtweise: Als sie die „Karte" für jedes Komitee separat betrachteten (berechneten den Gradienten für Addition, dann für Subtraktion usw.), stellten sie fest, dass das Modell tatsächlich für alle vier Aufgaben sehr gut lernte.
Die Analogie: Stellen Sie sich ein Komitee aus vier Personen vor, das sich für eine Mittagsbestellung entscheiden muss.
- Der alte Weg: Sie schauen sich den finalen, chaotischen Kompromiss an (z. B. „Lassen Sie uns einen Salat mit Pizzabelag bestellen"). Es sieht aus wie eine schlechte Entscheidung, die niemanden zufriedenstellt.
- Der neue Weg: Sie hören zu, was jede Person individuell bestellen wollte. Sie merken, dass Person A wirklich einen Salat wollte und Person B wirklich Pizza. Der „chaotische Kompromiss" war nur das Ergebnis ihres Streits, aber ihre individuellen Wünsche waren klar und stark.

Fazit: Beim Multi-Task-Training verbirgt der „Kompromisspfad" die Tatsache, dass das Modell erfolgreich distincte Merkmale für jede Aufgabe lernt. Man muss die Aufgaben trennen, um das Lernen zu sehen.

Die „Rank-3"-Überraschung: Es geht um die Größe, nicht um die Richtung

Die Forscher machten noch ein Experiment. Sie fragten: „Muss das Modell in diesen spezifischen Richtungen lernen, die wir gefunden haben, oder einfach nur in irgendeiner niedrigdimensionalen Richtung?"

Sie zwangen das Modell, nur einen sehr kleinen, einfachen „Unterraum" zu nutzen (ein winziger 3-dimensionaler Ausschnitt aus seinem riesigen Gehirn).

Das Ergebnis: Das Modell lernte schneller (etwa 2,3-mal schneller), wenn es gezwungen wurde, diesen winzigen Ausschnitt zu nutzen.
Die Wendung: Es spielte keine Rolle, welchen Ausschnitt sie verwendeten. Ob sie den „intelligenten" Ausschnitt verwendeten, den sie mit ihrer neuen Methode gefunden hatten, oder einen völlig zufälligen Ausschnitt – das Modell lernte genauso schnell.
Die Analogie: Stellen Sie sich vor, Sie versuchen, einen großen Koffer in einen kleinen Kofferraum zu packen.
- Sie denken vielleicht: „Ich muss die Kleidung auf diese spezifische Weise falten, damit sie hineinpasst."
- Aber das Experiment zeigte, dass es ausreicht, den Koffer einfach zu komprimieren (den Rang zu reduzieren), damit er hineinpasst und schneller dort ankommt. Es ist egal, ob Sie zuerst die Hemden oder die Hosen falten; die Handlung des Komprimierens des Raums ist das, was zählt.

Fazit: Die spezifischen „Richtungen", in denen das Modell lernt, sind nur ein Symptom des Lernprozesses, nicht die Ursache. Die wahre Magie besteht darin, dass das Modell sein volles, chaotisches Gehirn nicht braucht, um diese Mathe-Tricks zu lernen; es braucht nur eine winzige, komprimierte Version davon.

Zusammenfassung für ein allgemeines Publikum

Hören Sie auf, den Fußabdrücken zu folgen: Wenn Sie verstehen wollen, wie KI lernt, schauen Sie nicht auf den Weg, den sie genommen hat (die Optimierer-Updates). Dieser Pfad ist zu chaotisch mit Geschichte und Kompromissen.
Schauen Sie auf die Karte: Betrachten Sie die rohen Anweisungen (Gradienten), die die KI gerade jetzt befolgt. Dies enthüllt die wahren „Richtungen" des Lernens, die viel stärker und klarer sind.
Trennen Sie die Aufgaben: Wenn eine KI viele Dinge gleichzeitig tut, sieht der kombinierte Pfad wie ein Versagen aus. Sie müssen jede Aufgabe einzeln betrachten, um zu sehen, dass sie tatsächlich erfolgreich ist.
Einfachheit gewinnt: Die KI lernt schneller, wenn sie gezwungen wird, einfach zu sein. Sie braucht keine komplexen, spezifischen Richtungen, um zu lernen; sie muss nur auf einen kleineren, einfacheren Raum eingeschränkt werden.

Das Paper sagt im Wesentlichen, dass unsere aktuellen Werkzeuge zur „Interpretation" von KI das Falsche betrachten. Durch den Wechsel zu einer saubereren Sicht auf die Daten können wir sehen, dass KI viel effektiver und einfacher lernt, als wir dachten.

1. Problemstellung

In der mechanistischen Interpretierbarkeit ist eine zentrale Frage die Identifizierung, welche Richtungen im Parameterraum der Bildung spezifischer Merkmale (Schaltkreise) entsprechen. Ein gängiger diagnostischer Ansatz besteht darin, die niedrigrangige Struktur von Optimierer-Trajektorien (Parameterupdates, $\Delta \theta$ ) unter Verwendung einer Singulärwertzerlegung (SVD) über gleitende Fenster zu analysieren. Diese Methode, bekannt als Update SED (Spectral Edge Diagnostics), geht davon aus, dass die Richtungen, in die sich der Optimierer bewegt, die für die Merkmalsbildung relevanten Richtungen getreu widerspiegeln.

Die Autoren argumentieren, dass diese Annahme in modernen Trainingspipelines (unter Verwendung von AdamW mit Momentum, adaptiver Skalierung und Gewichtsabfall) und insbesondere in Multitask-Szenarien fehlerhaft ist. Sie postulieren, dass Optimierer-Updates das zugrunde liegende Gradientensignal aggregieren und verzerren, wodurch die Ausrichtung zwischen trajektorienbasierten Diagnosen und der tatsächlichen Merkmalsbildung möglicherweise verschleiert oder zerstört wird.

2. Methodik

Die Studie untersucht diese Hypothese unter Verwendung von Grokking bei Aufgaben zur modularen Arithmetik (Addition, Subtraktion, Multiplikation und $a^2+b^2$ ) innerhalb einer 2-Schichten-Transformer-Architektur. Die Autoren vergleichen zwei Klassen spektraler Schätzer mit der Linear-Centroids-Hypothese (LCH), die besagt, dass Merkmale entlang von Richtungen gebildet werden, die die Sensitivität taskspezifischer Zentroiden maximieren.

Verglichene Schlüsselschätzer:

Update SED: Führt eine SVD auf einem gleitenden Fenster tatsächlicher AdamW-Parameterupdates ( $\Delta \theta_t$ ) durch. Dies erfasst den vom Optimierer zurückgelegten „Pfad".
Gradient SED: Führt eine SVD auf einem gleitenden Fenster roher Gradienten ( $g_t = \nabla_\theta L$ $g_{t} = \nabla_{θ} L$ ) durch, die bei den aktuellen Parametern ausgewertet werden. Dies erfasst die Richtung des „steilsten Abstiegs" der Verlustlandschaft, bereinigt um Optimierer-Artefakte (Momentum, adaptive Skalierung, Gewichtsabfall).
- Multitask-Erweiterung: In Multitask-Szenarien berechnen die Autoren pro-Operation-Gradienten ( $g_{op}$ ), indem sie den Verlust jeder Aufgabe separat zurückpropagieren, anstatt den aggregierten Gesamtverlustgradienten zu verwenden.

Diagnosemetrik:

Die Kopplung zwischen einer spektralen Richtung $v_k$ und der Merkmalsbildung wird durch das perturbative Verhältnis $R_k$ gemessen:
$R_k(t) = \frac{A(v_k, t)}{\text{median}_j A(r_j, t)}$
Wobei $A(v, t)$ die Änderung des Aufgaben-Zentroids misst, wenn die Aufmerksamkeitsparameter entlang der Richtung $v$ gestört werden. Ein hohes $R_k$ zeigt an, dass die Richtung $v$ für die Merkmalsbildung hochsensibel ist.

Kausale Interventionen:

Die Autoren führen kausale Interventionen durch, indem sie Aufmerksamkeitsupdates auf niedrigrangige Unterräume (Rang-3) einschränken, die entweder durch die SED-Basis oder eine zufällige Basis definiert sind. Sie testen zwei Projektionsmethoden:

Update-Projektion: Projektion des finalen AdamW-Updates.
Gradient-Projektion: Projektion des Gradienten, bevor der AdamW-Optimierer seine Momentum- und adaptiven Skalierungsmomente berechnet.

3. Schlüsselergebnisse

A. Single-Task-Ergebnisse: Gradient vs. Update

Versagen von Update SED: Bei Single-Task-Modellen liefert Update SED moderate Kopplungsverhältnisse ( $\bar{R}_k \approx 3\text{--}9\times$ ). Addition erscheint anomal gekoppelt, während Multiplikation schwach ist.
Erfolg von Gradient SED: Der Ersatz von Updates durch rohe Gradienten erhöht die Kopplungsverhältnisse um 30–100 $\times$ ( $\bar{R}_k \approx 100\text{--}330\times$ $\overset{ˉ}{R}_{k} \approx 100 - 330 \times$ ).
- Multiplikation wird zur am stärksten gekoppelten Aufgabe und kehrt das Update-SED-Ranking um.
- Die „Op-Spread" (Varianz zwischen den Aufgaben) schrumpft signifikant.
Rolle des gleitenden Fensters: Die hohe Kopplung bei $W=1$ (instantaner Gradient) legt nahe, dass die Gradientenrichtung selbst der primäre Treiber ist. Das gleitende Fenster ( $W=20$ ) wirkt primär als Denoising-Mechanismus, das Verhältnis monoton reduzierend, aber ein Signal beibehaltend, das um Größenordnungen höher ist als zufällig.

B. Multitask-Ergebnisse: Der kritische Zusammenbruch der Aggregation

Zusammenbruch von Update SED: Im Multitask-Training versagt Update SED vollständig und liefert $\bar{R}_k \le 1$ (schlechter als zufällig). Das aggregierte Optimierer-Update, das vier konkurrierende Ziele ausbalanciert, wird orthogonal zu jedem einzelnen aufgabenrelevanten Unterraum.
Wiederherstellung durch Gradient SED: Die Verwendung von pro-Operation-Gradient-SED stellt eine starke Kopplung wieder her ( $\bar{R}_k \approx 20\text{--}45\times$ $\overset{ˉ}{R}_{k} \approx 20 - 45 \times$ ).
- Entscheidend ist, dass das Multitask-Gradient-SED-Signal stärker ist als das Single-Task-Update-SED-Signal.
- Dies beweist, dass die Merkmalsbildung in Multitask-Szenarien robust ist, aber durch die Aggregation konkurrierender Gradienten im Update-Schritt des Optimierers verborgen wird.

C. Kausale Interventionen: Rang vs. Richtung

Beschleunigung: Die Einschränkung von Updates auf einen Rang-3-Unterraum beschleunigt das Grokking um etwa 2,3 $\times$ .
Richtungsunabhängigkeit: Diese Beschleunigung tritt unabhängig davon ein, ob der Unterraum die SED-Basis (merkmalsgerecht) oder eine zufällige Basis ist.
- Gradient-Projektion: Bei der Projektion des Gradienten vor der Optimierung hat das Entfernen des SED-Unterraums (Beibehaltung von Zufälligem) keinen negativen Effekt, und das Beibehalten nur eines zufälligen Rang-3 beschleunigt das Training genauso stark wie das Beibehalten der SED-Basis.
- Update-Projektion: Initiale Experimente deuteten darauf hin, dass das Entfernen von SED half, dies war jedoch ein Artefakt des internen Momentum/adaptiven Skalierens von AdamW, das Informationen zurück in die Trajektorie leckte. Gradient-Projektion eliminiert dieses Artefakt.
Fazit: Die Rangbeschränkung (Reduktion von Redundanz) ist der kausale Faktor für die Beschleunigung, nicht die spezifische Richtung. Das natürliche AdamW-Update bei Aufmerksamkeit ist „rang-redundant" und enthält überwiegend nicht-funktionale Bewegung für den Grokking-Übergang.

4. Schlüsselleistungen

Methodologischer Wandel: Zeigt, dass die Gradientenstruktur und nicht die Optimierer-Trajektorien das korrekte Objekt für die spektrale Analyse der Merkmalsbildung ist. Optimierer-Updates führen zu qualitativen Verzerrungen, die merkmalsrelevante Richtungen verbergen.
Multitask-Interpretierbarkeit: Identifiziert die Gradientenaggregation über konkurrierende Aufgaben hinweg als allgemeine Behinderung der schaltkreisebenen Interpretierbarkeit. Eine aufgabenauflösende Gradientenanalyse ist notwendig, um die Merkmalstruktur im Multitask-Training wiederherzustellen.
Kausale Klärung: Zeigt, dass gradientenabgeleitete Richtungen zwar starke Diagnostika für die Merkmalsbildung sind, aber nicht einzigartig kausal. Der Schlüsselfaktor ist die niedrigrangige Natur des Updates, nicht die spezifische Ausrichtung mit der Gradientenbasis.
Artefakt-Identifizierung: Enthüllt, dass frühere Beobachtungen von „Rang-1-Mannigfaltigkeiten" beim Grokking teilweise durch das Rauschen und die Verzerrung in AdamW-Updates verschleiert wurden.

5. Bedeutung

Für die Interpretierbarkeit: Diese Arbeit stellt die gängige Praxis in Frage, Parameterupdate-Trajektorien (z. B. PCA auf Gewichtsunterschieden) zu analysieren, um Schaltkreise zu finden. Sie argumentiert, dass solche Methoden die Merkmalsbildung systematisch unterschätzen, insbesondere in komplexen Multitask- oder großskaligen Szenarien (wie Mixture-of-Experts).
Für die Trainingsdynamik: Sie legt nahe, dass der „natürliche" Pfad, den Optimierer wie AdamW nehmen, oft ineffizient und redundant ist. Die Einschränkung der Optimierung auf niedrigere Ränge kann das Lernen erheblich beschleunigen, ohne die Leistung zu beeinträchtigen.
Zukünftige Richtungen: Die Ergebnisse implizieren, dass für großskalige Modelle (LLMs, Instruction Tuning) die Analyse pro-Aufgaben-Gradienten (oder Approximationen wie Lanczos auf der empirischen Fisher-Information) unerlässlich ist, um zu verstehen, wie spezifische Schaltkreise entstehen, anstatt sich auf aggregierte Trajektorienanalysen zu verlassen.

Zusammenfassend argumentiert das Paper, dass der Gradient das Signal und der Optimierer das Rauschen ist. Um zu verstehen, wie neuronale Netze Merkmale lernen, muss man die rohe Gradientenlandschaft analysieren, insbesondere aufgeteilt nach Aufgaben, und nicht den verzerrten Pfad, den der Optimierer durch den Parameterraum nimmt.