🤖 machine learning

Hidden Heroes and Gradient Bloats: Layer-Wise Redundancy Inverts Attribution in Transformers

Dieser Artikel zeigt, dass attributionsbasierte Gradienten in Transformern die kausale Bedeutung systematisch falsch identifizieren, indem sie redundante Komponenten früher Schichten („Gradienten-Blähungen") überbewerten und kritische Komponenten späterer Schichten („Versteckte Helden") unterbewerten, was eine kausale Validierung erfordert, um fehlerhafte mechanistische Interpretationen zu vermeiden.

Ursprüngliche Autoren: Donald Ye

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Donald Ye

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen herauszufinden, welche Teile einer komplexen Maschine tatsächlich die schwere Arbeit leisten. Sie entscheiden sich für eine einfache Regel: „Je lauter ein Teil schreit, wenn die Maschine arbeitet, desto wichtiger muss er sein."

In der Welt der KI (speziell bei Transformern) wird dieses „Schreien" als Gradientenbetrag bezeichnet. Wissenschaftler haben lange angenommen, dass ein Teil des KI-Gehirns mit einem hohen „Gradienten" (eine starke Reaktion auf Veränderungen) der kritischste Teil für die Intelligenz der Maschine ist.

Diese Arbeit mit dem Titel „Versteckte Helden und Gradienten-Blähungen" argumentiert, dass diese Annahme gefährlich falsch ist. Tatsächlich schreit die Maschine oft an den falschen Stellen am lautesten.

Hier ist die Aufschlüsselung dessen, was die Forscher mit einfachen Analogien herausfanden:

1. Die zwei Charaktere: Die „Blähungen" und die „Helden"

Die Forscher entdeckten, dass KI-Modelle zwei sehr unterschiedliche Arten von Komponenten haben, die sich in verschiedenen Teilen der Maschine befinden.

Die Gradienten-Blähungen (Die Lautsprecher):
- Wo sie leben: Die frühen Schichten (der Anfang der Maschine).
- Was sie tun: Sie sind unglaublich laut. Wenn man sie verändert, schreien sie mit hohen „Gradienten"-Signalen.
- Die Realität: Sie sind größtenteils redundant. Denken Sie an einen Chor von 20 Personen, die alle dieselbe Note singen. Wenn Sie einen zum Schweigen bringen, ändert sich das Lied kaum, weil die anderen 19 noch singen. Sie sehen wichtig aus, weil sie laut sind, aber einzeln leisten sie nicht viel.
- Die Behauptung der Arbeit: Die Gradientenzuordnung (der „Lautstärke"-Test) irrt sich fälschlicherweise, dass dies die wichtigsten Teile sind.
Die Versteckten Helden (Die ruhigen Genies):
- Wo sie leben: Die späten Schichten (das Ende der Maschine).
- Was sie tun: Sie sind sehr leise. Ihre „Gradienten"-Signale sind winzig.
- Die Realität: Sie sind essenziell. Denken Sie an den Dirigenten eines Orchesters. Wenn Sie den Dirigenten entfernen, fällt die Musik auseinander, obwohl der Dirigent selbst keinen lauten Lärm macht.
- Die Behauptung der Arbeit: Die Gradientenzuordnung ignoriert diese Teile völlig und stuft sie als unwichtig ein.

2. Das Experiment: Sortieren vs. Umkehren

Die Forscher testeten dies an zwei einfachen mathematischen Rätseln für die KI:

Aufgabe A: Eine Liste umkehren (z. B. [1, 2, 3] in [3, 2, 1] verwandeln).
- Ergebnis: Der „Lautstärke"-Test funktionierte hier einigermaßen. Die wichtigen Teile waren etwas laut.
Aufgabe B: Eine Liste sortieren (z. B. [3, 1, 2] in [1, 2, 3] verwandeln).
- Ergebnis: Der „Lautstärke"-Test brach zusammen. Er versagte völlig. Die „Lautsprecher" (Blähungen) der KI wurden als Nr. 1 eingestuft, während die „ruhigen Genies" (Helden) als nutzlos eingestuft wurden.

In den schlimmsten Fällen war der Test tatsächlich verkehrt herum: Die Teile, die am lautesten schrien, waren diejenigen, die Sie sicher löschen konnten, und die leisen Teile waren diejenigen, die Sie unbedingt behalten mussten.

3. Die „Redundanz-Falle"

Warum schreit die Maschine so laut an den falschen Stellen?

Die Arbeit erklärt dies mit einem Konzept namens kollektive Redundanz.

Stellen Sie sich ein Team von 10 Personen (den Blähungen) vor, die alle ein Seil halten. Wenn Sie an einer Person ziehen, spüren sie alle die Spannung, also schreien sie alle.
Der „Gradient" der KI misst diese Spannung. Er sieht 10 schreiende Personen und denkt: „Wow, alle 10 sind super wichtig!"
Aber wenn Sie tatsächlich das Seil für eine Person durchschneiden, halten die anderen 9 es fest, und nichts passiert.
Wenn Sie jedoch das Seil für den ruhigen Helden durchschneiden (der den Knoten ganz am Ende hält), bricht das Ganze zusammen.

Die Forscher stellten fest, dass wenn sie die „Lautsprecher" einzeln entfernten, die KI es kaum bemerkte. Aber wenn sie sie alle auf einmal entfernten, stürzte die KI ab. Dies beweist, dass die „Lautsprecher" nur ein redundantes Sicherheitsnetz waren, nicht der Kernmotor.

4. Der große Fehler

Die Arbeit kommt zu dem Schluss, dass es sich beim Vertrauen auf den „Gradientenbetrag", um KI zu verstehen, so verhält, als würde man einen Film danach beurteilen, wer am meisten redet.

Die frühen Schichten (wo die Blähungen leben) leisten die „lauten" Arbeiten des Sammelns grundlegender Merkmale.
Die späten Schichten (wo die Helden leben) leisten die „leise" Arbeit des tatsächlichen Lösen des logischen Rätsels.

Da die frühen Schichten aufgrund der Mathematik der KI natürlich lauter sind, täuscht uns der „Lautstärke-Test" dazu, zu glauben, die frühen Schichten seien das Gehirn der Operation. In Wirklichkeit sind bei komplexen Aufgaben wie dem Sortieren die echten Gehirne die leisen, spät-schichtigen Komponenten, die der Test völlig übergeht.

Zusammenfassung

Der Mythos: „Wenn ein Teil der KI stark reagiert, ist er der wichtigste Teil."
Die Wahrheit: Die Teile, die stark reagieren, sind oft nur redundantes Rauschen. Die wirklich wichtigen Teile sind oft leise und in den späteren Stadien des Prozesses versteckt.
Die Gefahr: Wenn Wissenschaftler diesen „Lautstärke"-Test verwenden, um Teile einer KI zu beschneiden (herauszuschneiden), um sie kleiner zu machen, könnten sie versehentlich die Versteckten Helden ausschneiden (die Intelligenz der KI zerstören) und dabei die Gradienten-Blähungen behalten (Platz für nutzlose Teile verschwenden).

Die Arbeit fordert Forscher auf, aufzuhören, sich allein auf den „Lautstärke"-Test zu verlassen, und stattdessen „kausale" Tests (das tatsächliche Entfernen von Teilen, um zu sehen, was kaputtgeht) durchzuführen, bevor sie Behauptungen darüber aufstellen, wie KI funktioniert.

Technische Zusammenfassung: Versteckte Helden und Gradienten-Übertreibungen

Problemstellung

Gradientenbasierte Attribution ist ein grundlegendes Werkzeug der mechanistischen Interpretierbarkeit, das weit verbreitet ist für das Beschneiden, die Entdeckung von Schaltkreisen und die Prüfung von Transformer-Modellen. Die vorherrschende Annahme ist, dass die Größe des Gradienten einer Komponente ihre kausale Bedeutung für das Modellverhalten, insbesondere für die Generalisierung außerhalb der Trainingsverteilung (OOD), zuverlässig anzeigt. Diese Arbeit argumentiert jedoch, dass diese Annahme gegenüber kausalen Interventionen weitgehend ungetestet bleibt. Wenn die Gradientengröße systematisch versagt, die architektonischen Komponenten zu identifizieren, die die tatsächliche Berechnung antreiben, riskieren Pipelines, die darauf vertrauen, kritische Komponenten zu beschneiden oder „Schaltkreise" zu identifizieren, die lediglich Artefakte der Attributionmethode sind und keine echten Berechnungsstrukturen darstellen.

Methodik

Die Autoren bewerten die Zuverlässigkeit der gradientenbasierten Attribution unter Verwendung eines kontrollierten experimentellen Aufbaus, der darauf ausgelegt ist, kausale Strukturen zu isolieren:

Aufgaben und Modelle: Die Studie nutzt zwei algorithmische Benchmarks – Sequenzumkehr und Sequenzsortierung – unter Verwendung ganzer Zahlen $x \in \{1, \dots, 99\}$ . Die Modelle sind Decoder-only-Transformer mit $L=4$ Schichten und $H=4$ Köpfen (insgesamt 20 Komponenten: 16 Attention-Köpfe und 4 MLPs). Diese Aufgaben wurden gewählt, weil ihre kausalen Strukturen vollständig messbar sind und die Schaltkreise relativ einfach sind, was ein „Best-Case"-Szenario für die gradientenbasierte Attribution darstellt.
Gradientengröße ( $G$ ): Für jede Komponente berechnen die Autoren die normalisierte durchschnittliche Frobenius-Norm des Gradienten über 50 OOD-Batches. Um einen fairen Vergleich über heterogene Unterschichten hinweg zu gewährleisten (z. B. Attention-Matrizen vs. MLP-Matrizen), werden die Gradienten durch die Quadratwurzel der Parameteranzahl normalisiert. Die Messgröße isoliert $W_V$ und $W_{out}$ , um den Beitrag zum Residualstrom zu begrenzen.
Kausale Bedeutung ( $C$ ): Die funktionale Notwendigkeit wird durch Ablationsexperimente an OOD-Sequenzlängen ( $N \in \{8, 9, 10, 11\}$ $N \in {8, 9, 10, 11}$ ) gemessen. Zwei Baselines werden verwendet:
- Mittelwert-Ablation: Ersetzen des Outputs einer Komponente durch ihre mittlere Aktivierung.
- Null-Ablation: Ersetzen des Outputs durch einen Nullvektor.
- Die Genauigkeit wird als exakte Sequenzübereinstimmung gemessen.
Gap-Quantifizierung: Die Fehlausrichtung wird mittels der Spearman-Korrelation ( $\rho$ $ρ$ ) zwischen Gradientengröße und kausaler Bedeutung quantifiziert. Komponenten werden basierend auf der Rangdifferenz ( $\Delta_i$ $Δ_{i}$ ) klassifiziert:
- Versteckte Helden: Niedrige Gradienten, aber kausal essenziell ( $\Delta_i \le -6$ ).
- Gradienten-Übertreibungen: Hohe Gradienten, aber vernachlässigbare kausale Wirkung ( $\Delta_i \ge 6$ ).
- Ausgerichtet: Übereinstimmung zwischen den Messgrößen ( $|\Delta_i| < 6$ ).
Validierung: Die Studie umfasst bis zu 10 zufällige Seeds und beinhaltet gemeinsame Ablationsexperimente, um Redundanz zu testen.

Hauptergebnisse

1. Systematisches Versagen der gradientenbasierten Attribution

Die Korrelation zwischen Gradientengröße und kausaler Bedeutung ist hochgradig aufgabenabhängig und kollabiert häufig:

Sequenzumkehr: Zeigt eine moderate Korrelation ( $\rho = 0.72$ ).
Sequenzsortierung: Zeigt einen schweren Kollaps ( $\rho = 0.27$ ).
Einzelne Seeds: In spezifischen Seeds fällt die Korrelation auf nahe Null ( $\rho \approx 0.00$ ) oder wird negativ prädiktiv ( $\rho = -0.18$ ), was darauf hindeutet, dass hohe Gradienten die funktionale Notwendigkeit aktiv irreführen können.

2. Schichtweise strukturelle Inversion

Das Versagen ist kein zufälliges Rauschen, sondern zeigt eine stabile, schichtweise Struktur:

Gradienten-Übertreibungen: Konzentrieren sich in frühen Schichten (insbesondere Schicht 1). Diese Komponenten erhalten starke Gradientensignale, sind aber einzeln entbehrlich.
Versteckte Helden: Konzentrieren sich in späten Schichten (insbesondere Schicht 3). Diese Komponenten haben schwache Gradientensignale, sind aber kausal unersetzlich.
Stabilität: Bestimmte Köpfe belegen über Seeds hinweg konsistente Rollen (z. B. ist L3 H3 in 7/10 Sortier-Seeds ein Versteckter Held; L1 H1 und L1 H3 sind in 6/10 Seeds Übertreibungen).

3. Das Redundanz-Paradoxon und Superadditivität

Der Mechanismus, der das Versagen antreibt, wird als kollektive Redundanz identifiziert:

Einzelne vs. gemeinsame Ablation: Wenn Gradienten-Übertreibungen einzeln ablatiert werden, ist der Genauigkeitsabfall vernachlässigbar (3,1 % pro Komponente). Werden sie jedoch gemeinsam ablatiert, kollabiert die Genauigkeit um 43,8 %.
Superadditivität: Der gemeinsame Schaden ist 14-mal größer als die Summe der einzelnen Vorhersagen. Dies zeigt, dass Übertreibungen einen verteilten, redundanten Schaltkreis bilden, in dem sich Komponenten gegenseitig kompensieren.
Begrenzung von Methoden erster Ordnung: Die gradientenbasierte Attribution, die nur die lokale Verlustempfindlichkeit misst, weist allen aktiven Komponenten in einem redundanten Schaltkreis ein starkes Signal zu und versagt darin, zwischen einzeln redundanten und einzeln kritischen Einheiten zu unterscheiden.

4. Auswirkung auf die Generalisierung

Versteckte Helden: Das Ablation dieser Komponenten führt zu einem verheerenden Abfall der OOD-Genauigkeit (mittlere Änderung von $-36,4\% \pm 22,8\%$ bei der Umkehr), trotz ihrer niedrigen Gradientenränge.
Gradienten-Übertreibungen: Obwohl einzeln weniger kritisch, enthüllt ihre kollektive Entfernung die verborgene Redundanz und führt zu einer signifikanten Varianz in den Beschneidungsergebnissen, abhängig von der spezifischen Schaltkreis-Topologie des Seeds.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass die Gradientengröße bei algorithmischen Aufgaben ein systematisch invertierter Proxy für die kausale Bedeutung ist, getrieben durch eine Arbeitsteilung, bei der frühe Schichten breite, hochgradiente Merkmalsextraktoren lernen und späte Schichten spärliche, kausal unersetzliche Logik implementieren.

Mechanistische Einsicht: Die Ergebnisse deuten darauf hin, dass „Schaltkreise", die mittels gradientenbasierter Methoden identifiziert werden, Artefakte der Attributionmethode sein können, die die wahren Treiber der Generalisierung (Versteckte Helden) übersehen und gleichzeitig redundante Merkmale früher Schichten (Gradienten-Übertreibungen) überbewerten.
Voraussetzung für Behauptungen: Die Autoren argumentieren, dass eine kausale Validierung (durch Ablation oder Patching) eine Voraussetzung für jede Behauptung auf Schaltungsebene oder für Beschneidungsstrategien sein muss, da rein heuristische gradientenbasierte Ansätze unzureichend und potenziell destruktiv für die OOD-Generalisierung sind.
Umfang: Die Studie positioniert diese Ergebnisse als eine Untergrenze für das Versagen der Attribution; die Autoren vermuten, dass die Lücke in natürlicheren Umgebungen mit größerer Redundanz und Komplexität noch verstärkt werden kann.

Die Arbeit schließt mit einem Aufruf zur Neubewertung von Attributionmethoden im Licht redundanter Schaltkreis-Topologien und hebt die Notwendigkeit hervor, die zeitlichen Dynamiken des „Grokking" zu verfolgen, um zu verstehen, wie diese schichtweisen Strukturen während des Trainings entstehen.