🤖 machine learning

Causal Dimensionality of Transformer Representations: Measurement, Scaling, and Layer Structure

Dieser Beitrag führt die „kausale Dimensionalität" (kappa) als eine modellimmanente Metrik ein, die den effektiven Rang des kausalen Einflusses einer Transformschicht quantifiziert und aufdeckt, dass sich die kausale Kapazität zwar linear mit der Breite eines spärlichen Autoencoders skaliert, jedoch auf einem sublinearen Niveau sättigt, das unabhängig von der Modellgröße bleibt und über die Netzwerktiefe hinweg ausgeprägte strukturelle Muster aufweist.

Ursprüngliche Autoren: Nilesh Sarkar, Dawar Jyoti Deka

Veröffentlicht 2026-05-12

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nilesh Sarkar, Dawar Jyoti Deka

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich eine massive, komplexe Fabrik (das KI-Modell) vor, die Rohmaterialien (Text) aufnimmt und ein fertiges Produkt (eine Antwort) herstellt. In dieser Fabrik arbeiten Tausende von Arbeitern (Neuronen), die sich Notizen zuschieben. Seit langem versuchen Forscher, diese Fabrik zu verstehen, indem sie jedem Arbeiter ein Namensschild geben, in der Hoffnung, zu erkennen, wer was tut.

Diese Arbeit stellt eine neue Methode vor, um zu zählen, wie viele Arbeiter für die Ausgabe der Fabrik tatsächlich essenziell sind. Dabei wird eine überraschende Lücke zwischen der Anzahl der Arbeiter, die existieren, und der Anzahl derer, die relevant sind, aufgedeckt.

Hier ist die Aufschlüsselung ihrer Erkenntnisse unter Verwendung einfacher Analogien:

1. Das Problem der „Namensschilder" (SAEs)

Forscher nutzen ein Werkzeug namens Sparse Autoencoder (SAE). Stellen Sie sich dies als ein riesiges Wörterbuch vor, das versucht, jedem distincten „Gedanken" oder jeder „Eigenschaft", die die KI besitzt, ein einzigartiges Namensschild zu verleihen.

Die alte Annahme: Wenn man das Wörterbuch vergrößert (mehr Namensschilder hinzufügt), geht man davon aus, dass man mehr wichtige Dinge findet, die tatsächlich die Antwort der KI verändern.
Die Realität: Die Autoren testeten dies, indem sie das Wörterbuch 64-mal vergrößerten. Sie stellten fest, dass zwar die Anzahl der Namensschilder (Eigenschaften, die aktiv werden) um den Faktor 15,6 explodierte, die Anzahl der tatsächlich wichtigen Eigenschaften (jene, deren Entfernung die Antwort der KI verändern würde) jedoch nur um den Faktor 4,35 wuchs.

Die Analogie: Stellen Sie sich eine Bibliothek vor. Wenn Sie die Bibliothek verdoppeln, verdoppeln Sie die Anzahl der Bücher (repräsentative Kapazität). Die Autoren fanden jedoch heraus, dass selbst wenn man die Bibliothek 64-mal vergrößert, die Anzahl der Bücher, die tatsächlich den „Geheimcode" enthalten, um ein spezifisches Rätsel zu lösen, nur geringfügig wächst. Die meisten neuen Bücher sind lediglich Variationen derselben alten Geschichten.

2. Der „kausale Keil"

Die Autoren bezeichnen diese Lücke als repräsentativ-kausalen Keil (Representational-Causal Wedge).

Repräsentativ: Wie viele verschiedene „Ideen" die KI in ihrem Kopf fassen kann.
Kausal: Wie viele dieser Ideen die endgültige Entscheidung tatsächlich antreiben.
Die Erkenntnis: Die KI kann eine massive Anzahl von Ideen fassen, aber nur ein winziger Bruchteil davon sind die „Chefs", die tatsächlich die Hebel ziehen, um die endgültige Entscheidung zu treffen. Der Rest ist nur „Hintergrundrauschen" oder redundante Kopien.

3. Die „magische Zahl" (kausale Dimensionalität)

Die Arbeit definiert eine spezifische Zahl, $\kappa$ (kappa), die die wahre Anzahl der „Chef"-Ideen in einer bestimmten Schicht der KI darstellt.

Die Entdeckung: Sie berechneten diese Zahl für eine KI mit 2 Milliarden Parametern und fanden einen Wert von etwa 1.990.
Die Überraschung: Diese Zahl ist intrinsic (innewohnend). Es spielt keine Rolle, ob man die KI um den Faktor 3,5 vergrößert (von 2 auf 9 Milliarden Parameter). Die Anzahl der „Chef"-Ideen bleibt exakt gleich.
Die Analogie: Stellen Sie sich ein 2-Personen-Band und ein 100-Personen-Orchester vor, die dasselbe Lied spielen. Das 100-Personen-Orchester hat mehr Instrumente (Parameter), aber sie spielen lediglich dieselben 3 Kernmelodien lauter und mit mehr Harmonie. Die Anzahl der einzigartigen Melodien (kausale Dimensionalität) hat sich nicht geändert; sie haben nur mehr Musiker, die sie spielen.

4. Der „Vertiefungs"-Effekt

Je tiefer man in die KI vordringt (von der ersten zur letzten Schicht), desto leiser wird das Signal.

Die Erkenntnis: Das Signal, das benötigt wird, um eine wichtige Eigenschaft zu identifizieren, wird um den Faktor 20 schwächer, je tiefer man in das Netzwerk vordringt.
Die Analogie: Stellen Sie sich ein Spiel „Stille Post" vor. Die erste Person spricht laut. Bis die Nachricht die letzte Person erreicht, ist sie ein Flüstern. Wenn Sie ein Mikrofon auf „laut" eingestellt verwenden, um am Ende zuzuhören, werden Sie denken, niemand spreche. Sie müssen die Empfindlichkeit stark erhöhen, um die wichtigen Teile in den tiefen Schichten zu hören.

5. Der „Filter" versus der „Selektor" (eine große Wendung)

Die Arbeit testete, was passiert, wenn man den „Encoder" der KI (der Teil, der entscheidet, welche Eigenschaften aktiviert werden) durch einen zufälligen, chaotischen ersetzt.

Das Ergebnis: Als sie einen zufälligen Encoder verwendeten, explodierte die Anzahl der „wichtigen" Eigenschaften um den Faktor 9.
Die Schlussfolgerung: Der trainierte Encoder ist kein „Selektor", der die besten Eigenschaften auswählt. Er ist ein Filter (oder ein Unterdrücker). Seine Hauptaufgabe ist es, das Hintergrundrauschen abzuschalten.
Die Analogie: Stellen Sie sich den Encoder als Türsteher in einem Club vor. Man könnte denken, der Türsteher sei da, um die „coolen" Leute (Eigenschaften) auszuwählen, die hereinkommen dürfen. Diese Arbeit zeigt jedoch, dass der Türsteher eigentlich da ist, um die Menge draußen zu halten. Wenn man den Türsteher entfernt (einen zufälligen verwendet), wird der Club chaotisch und überfüllt mit Leuten, die nicht dorthin gehören. Die „coolen" Leute waren schon immer da; der Türsteher sorgte lediglich dafür, dass das Rauschen sie nicht übertönte.

Zusammenfassung der Bedeutung

Mehr Größe $\neq$ mehr Komplexität: Größere KI-Modelle zu machen, verleiht ihnen nicht unbedingt mehr „Arten" des Denkens; es gibt ihnen lediglich mehr Möglichkeiten, dieselben Dinge zu sagen.
Die „Chef"-Anzahl ist festgelegt: Es gibt eine harte Obergrenze dafür, wie viele unabhängige „Chef"-Konzepte eine Schicht bewältigen kann, unabhängig davon, wie groß das Modell ist.
Interpretierbarkeit braucht einen neuen Fokus: Wenn Sie verstehen wollen, wie eine KI denkt, schauen Sie nicht nur nach den „lautesten" Eigenschaften. Sie müssen betrachten, wie das System das Rauschen herausfiltert, denn dort liegt die echte Struktur.

Die Arbeit schließt mit der Feststellung, dass wir nun eine neue, messbare Methode haben, um die wahre „Denkkapazität" einer KI-Schicht zu zählen, und es stellt sich heraus, dass diese Kapazität viel kleiner und stabiler ist als bisher angenommen.

Technische Zusammenfassung: Kausale Dimensionalität von Transformer-Repräsentationen

Problemstellung

Sparse Autoencoder (SAEs) haben sich zum Standardwerkzeug entwickelt, um die Residualströme von Transformern in interpretierbare, monosemantische Merkmalsdictionaries zu zerlegen. Eine vorherrschende Annahme in diesem Bereich besagt, dass die Repräsentationskapazität (die Anzahl der Merkmale, die auf irgendeine Eingabe feuern) linear mit der kausalen Kapazität (die Anzahl der Merkmale, deren Perturbation tatsächlich das Modellverhalten verändert) skaliert. Wenn dies zutrifft, würde eine einfache Erhöhung der SAE-Breite den Satz kausal relevanter Merkmale für die mechanistische Interpretierbarkeit proportional erweitern.

Dieser Beitrag stellt diese Annahme in Frage und argumentiert, dass sich Repräsentations- und kausale Kapazitäten mit der Skalierung von SAEs signifikant voneinander entfernen. Die Autoren gehen davon aus, dass es an einer systematischen Charakterisierung der Beziehung zwischen SAE-Breite und kausalem Einfluss mangelt, was eine neue Metrik zur Quantifizierung der intrinsischen kausalen Struktur von Transformer-Schichten erforderlich macht.

Methodik

1. Definition der kausalen Dimensionalität ( $\kappa$ )

Die Autoren führen die kausale Dimensionalität ein, bezeichnet als $\kappa(L, M, T)$ , definiert als der effektive Rang des erwarteten äußeren Produkts der Jacobimatrix in Schicht $L$ :
$\kappa(L, M, T) = \text{eff-rank}(\Sigma_L), \quad \text{wobei } \Sigma_L = \mathbb{E}_{x \sim T} [J_L(x)^\top J_L(x)]$
Hierbei ist $J_L(x)$ die Jacobimatrix des Modellausgangs bezüglich des Residualstroms in Schicht $L$ . $\kappa$ repräsentiert die effektive Anzahl von Richtungen im Residualstrom, die kausal den Ausgang beeinflussen. Die Autoren beweisen, dass $\kappa \le \min(d, |V|)$ gilt, wobei $d$ die Modelldimension und $|V|$ die Vokabulargröße ist.

2. Schätzung mittels SAE-Breiten-Sweep und Attribution Patching

Da die exakte Berechnung von $\Sigma_L$ untragbar ist (was $d$ Rückwärtsdurchläufe pro Eingabe erfordert), schlagen die Autoren einen konsistenten Schätzer unter Verwendung von Attribution Patching (AtP) in Kombination mit einem SAE-Breiten-Sweep vor:

Attribution Patching: Dient als Proxy erster Ordnung für kausalen Einfluss. Der Score für ein Merkmal $i$ beträgt $AtP_i = \mathbb{E} [|\frac{\partial \mathcal{L}}{\partial f_i} \cdot f_i(x)|]$ und misst den Einfluss des Merkmals auf den Verlust.
Breiten-Sweep: Die Autoren trainieren SAEs auf Gemma-2-2B (Schicht 12) über sieben Breiten hinweg, die von 16.384 bis 1.048.576 Merkmale reichen.
Metrik: Sie zählen die Anzahl der Merkmale $N_{causal}(m)$ , die einen kalibrierten absoluten Schwellenwert $\epsilon$ überschreiten (festgelegt auf das 98. Perzentil der AtP-Scores bei der Referenzbreite).
Konsistenz: Unter den Annahmen der Aufspannung, Treue und des Fehlens toter Merkmale konvergiert $N_{causal}(m)$ zu einer spektralen Zählung, die $\kappa$ nach unten begrenzt.

3. Experimentelle Kontrollen

Die Studie setzt strenge Kontrollen ein, um das kausale Signal zu isolieren:

Matched- $\ell_0$ : Kontrolle der durchschnittlichen Anzahl aktiver Merkmale über die Breiten hinweg, um eine Verwechslung durch Drift der Sparsamkeit zu verhindern.
Skaleninvarianz: Vergleich von Gemma-2-2B und Gemma-2-9B bei angepassten relativen Tiefen.
Architekturinvarianz: Testung von TopK-, JumpReLU- und Standard-ReLU-SAEs.
Ablationen: Eine Vier-Zellen-Encoder/Decoder-Ablation zur Unterscheidung zwischen Merkmalsauswahl und Sparsamkeitsfilterung.
Synthetischer Ground Truth: Testung der Wiederherstellung bekannter kausaler Richtungen in einem Toy-Modell.

Wichtige Ergebnisse

1. Die Repräsentations-Kausal-Keil

Auf Gemma-2-2B Schicht 12 führte eine Erhöhung der SAE-Breite um das 64-fache (von 16k auf 1M) zu:

Repräsentativem Wachstum: Die Anzahl der feuenden Merkmale ( $N_{repr}$ ) stieg um das 15,6-fache.
Kausalem Wachstum: Die Anzahl der kausal aktiven Merkmale ( $N_{causal}$ ) stieg nur um das 4,35-fache.
Diese Divergenz, bezeichnet als Repräsentations-Kausal-Keil, zeigt, dass die Repräsentationskapazität linear wächst, während die kausale Kapazität sublinear sättigt.

2. Schätzung von $\kappa$

Die Anpassung einer sättigenden Kurve an die Trajektorie von $N_{causal}(m)$ ergibt eine geschätzte kausale Dimensionalität:

$\hat{\kappa} \approx 1.990$ (mit einem breiten Konfidenzintervall aufgrund von Hardwaregrenzen bei der SAE-Breite, aber einem robusten Verhältnis).
$\hat{\kappa} / d_{model} \approx 0,86$ : Das Modell nutzt nahezu alle seine repräsentativen Dimensionen kausal für generischen Text, doch diese Zahl ist begrenzt und wächst nicht mit der SAE-Breite.
Partizipationsverhältnis: Eine untere Schranke $\kappa_{PR} \approx 280$ deutet auf ein schweres Schwanzspektrum kausalen Einflusses hin.

3. Invarianz und Struktur

Skaleninvarianz: Trotz einer 3,46-fachen Erhöhung der Parameter (Gemma-2-2B vs. 9B) blieb die kausale Zählung bei angepasster relativer Tiefe identisch ( $N_{causal} = 328$ ). Dies legt nahe, dass $\kappa$ durch die Vielfalt der Aufgaben bestimmt wird, nicht durch die Parameteranzahl.
Tiefenattenuierung: Über acht Schichten hinweg sank der absolute Attributionsschwellenwert, der erforderlich ist, um die obersten 2 % der Merkmale zu identifizieren, von Schicht 1 bis Schicht 23 um das 20-fache, was darauf hindeutet, dass die Stärke des kausalen Signals mit der Tiefe abnimmt.
Architekturinvarianz: Das sublineare Wachstum von $N_{causal}$ hielt sich über TopK-, JumpReLU- und Standard-ReLU-Architekturen hinweg.

4. Mechanistische Einsicht: Der Encoder als Filter

Ein entscheidendes Ergebnis der Vier-Zellen-Ablation ist, dass der Ersatz des trainierten Encoders durch eine zufällige orthonormale Projektion $N_{causal}$ um das 9,27-fache aufblähte.

Implikation: Der trainierte Encoder wirkt primär als Sparsamkeitsfilter (Unterdrückung von Hintergrundmerkmalen) und nicht als Merkmalsauswähler.
Konsequenz: Interpretierbarkeitsarbeiten, die sich auf Encoder-Merkmalslabels konzentrieren, könnten fehlgeleitet sein; die Decoder-Struktur und das Routing der unterdrückten Merkmale sind wahrscheinlich kritischer.

5. Validierung und Kontrollen

Geometrisches Privileg: Kausale Merkmale zeigten im Decoder-Raum keine geometrische Unterscheidung (Betrag oder kosinussähnlichkeit) von nicht-kausalen Merkmalen.
Synthetische Wiederherstellung: AtP scheiterte daran, Ground-Truth-kausale Richtungen in einem Toy-Modell wiederherzustellen (Recall = 0), was bestätigt, dass AtP Aktivierungsmuster misst, die durch den Decoder geleitet werden, und nicht eine direkte Wiederherstellung einer kausalen Basis darstellt.
Aufgabenspezifische Wiederherstellung: Bei spezifischen Aufgabenkreisen (Marks et al., 2025) erholten die obersten 5 % der AtP-Merkmale 98,2 % des Ground Truth, was eine „geschichtete Struktur" stützt, bei der ein hoch-AtP-Kern über Aufgaben hinweg geteilt wird, umgeben von einem aufgabenspezifischen Halo.

Bedeutung und Behauptungen

Der Beitrag etabliert $\kappa$ als eine messbare, modellintrinsische Eigenschaft von Transformer-Schichten. Seine Hauptbeiträge sind:

Theoretische Definition: Definition der kausalen Dimensionalität als effektiver Rang der kausalen Jacobimatrix und Beweis ihrer oberen Schranken.
Empirische Charakterisierung: Nachweis, dass die kausale Kapazität durch die SAE-Breite sublinear wiederherstellbar und invariant gegenüber Modellskalierung ist, was der Annahme widerspricht, dass breitere SAEs die kausale Interpretierbarkeit linear erweitern.
Mechanistische Neuformulierung: Identifizierung des trainierten Encoders als Sparsamkeitsfilter, was nahelegt, dass die „kausale Menge" durch die Unterdrückung von Rauschen durch den Encoder definiert wird und nicht durch die Auswahl spezifischer Konzepte.
Praktische Implikation: Aktuelle SAE-Breiten (z. B. 1M) erfassen nur etwa 72 % der geschätzten kausalen Dimension ( $\hat{\kappa}$ ), was bedeutet, dass für eine vollständige kausale Enumeration deutlich breitere SAEs (ca. 2,6M) erforderlich wären, was derzeit rechnerisch prohibitiv ist.

Die Autoren schließen, dass der „Keil" eine fundamentale Eigenschaft von Transformer-Repräsentationen ist, getrieben durch die Sättigung der Dimensionen des kausalen Unterraums, und dass Interpretierbarkeitsbemühungen diese nichtlineare Skalierung und die spezifische Rolle des Encoders bei der Filterung von Hintergrundmerkmalen berücksichtigen müssen.