How Many Features Can a Language Model Store Under the Linear Representation Hypothesis?

1. Problemstellung und Motivation

Das Paper adressiert eine fundamentale Frage im Bereich der Interpretierbarkeit von Sprachmodellen (LLMs): Wie viele Merkmale (Features) können eine Schicht mit $d$ Neuronen unter der Annahme der Linear Representation Hypothesis (LRH) speichern?

Die LRH besagt, dass Merkmale in den Zwischenschichten von Sprachmodellen linear kodiert sind. Bisherige Arbeiten (z. B. Elhage et al., 2022) haben die „Superposition"-Hypothese vorgeschlagen, wonach $d$ Neuronen weit mehr als $d$ Merkmale ($m \gg d$) speichern können. Allerdings fehlte es an einer formalen mathematischen Grundlage, die die Grenzen dieser Superposition präzise definiert.

Ein zentrales Problem ist die Unterscheidung zwischen zwei oft synonym verwendeten Konzepten:

1. Lineare Repräsentation: Merkmale sind linear in den Neuronenaktivitäten eingebettet.
2. Lineare Zugänglichkeit (Linear Accessibility): Merkmale können durch einen linearen Decoder (einen linearen „Probe") aus den Aktivierungen extrahiert werden.

Die Autoren zeigen, dass diese beiden Annahmen nicht äquivalent sind und dass die zusätzliche Anforderung der linearen Zugänglichkeit die theoretischen Grenzen der Speicherkapazität signifikant verändert.

2. Mathematisches Framework

Die Autoren definieren ein formales Framework, um die LRH zu analysieren:

• Eingabe: Ein Text $\ell$ aus einer Sprache $L$.
• Aktivierungen: Eine Funktion $f: L \to \mathbb{R}^d$, die die Aktivierungen von $d$ Neuronen darstellt.
• Merkmale: Funktionen $z_i: L \to \mathbb{R}$, die bestimmte Konzepte (z. B. „ist eine Frage", „positive Sentiment") abbilden.
• Lineare Repräsentation: Es existiert eine Matrix $A \in \mathbb{R}^{d \times m}$, sodass $f(\ell) = A z(\ell)$, wobei $z(\ell)$ der Vektor aller Merkmalswerte ist.
• Lineare Zugänglichkeit: Es existiert eine Matrix $B \in \mathbb{R}^{d \times m}$ (die Decoder-Matrix), sodass die rekonstruierten Merkmale $\hat{z} = B^T f(\ell)$ nahe an den wahren Werten $z(\ell)$ liegen ($\|B^T A z - z\|_\infty < \epsilon$).

Das Ziel ist es, die minimale Dimension $d$ zu bestimmen, die notwendig ist, um $m$ Merkmale zu speichern und linear zu rekonstruieren, unter der Annahme, dass die Eingabevektoren $z$ $k$-sparse sind (d. h., nur $k$ Merkmale sind pro Eingabe aktiv).

3. Methodik und Beweisstrategien

Die Arbeit vergleicht zwei Szenarien:

1. Allgemeine Zugänglichkeit (Nicht-linear): Hier darf der Decoder $g$ eine beliebige (nicht-lineare) Funktion sein. Dies entspricht dem klassischen Compressed Sensing.
2. Lineare Zugänglichkeit: Der Decoder muss linear sein ($g(x) = B^T x$). Dies führt zum neuen Bereich des Linearen Compressed Sensing.

Beweistechniken:

• Obere Schranke (Upper Bound): Die Autoren nutzen Konstruktionen von Matrizen mit annähernd orthogonalen Spalten (incoherent matrices). Durch zufällige Konstruktionen (z. B. skalierte Gaußsche Matrizen oder Rademacher-Matrizen) wird gezeigt, dass man $m$ Merkmale in $d$ Dimensionen speichern kann, solange die Interferenz zwischen den Merkmalen durch die Sparsität ($k$) begrenzt wird.
• Untere Schranke (Lower Bound): Dies ist der theoretisch anspruchsvollere Teil. Die Autoren nutzen:
  • Rang-Boundings: Ergebnisse von Alon (2003) über Matrizen mit Einsen auf der Diagonale und kleinen Off-Diagonal-Einträgen.
  • Graph-Theorie: Eine Reduktion auf ein Graphenproblem, bei dem Knoten Merkmale und Kanten „Interferenz" darstellen.
  • Turán's Theorem: Um zu zeigen, dass in einem Graphen ohne große unabhängige Mengen (d. h., wo viele Merkmale sich gegenseitig stören) eine hohe Kantenanzahl existiert. Dies führt zu einem Widerspruch, wenn $d$ zu klein gewählt wird, da dann notwendigerweise eine Probe zu viele andere Merkmale „hört" (Interferenz).

4. Wichtige Ergebnisse

Die Hauptergebnisse liefern fast übereinstimmende obere und untere Schranken für die benötigte Dimension $d$ in Abhängigkeit von der Anzahl der Merkmale $m$, der Sparsität $k$ und dem Fehler $\epsilon$.

A. Klassisches Compressed Sensing (Nicht-lineare Dekodierung)

Wie bekannt, gilt für nicht-lineare Dekodierung (Theorem 1):
$$d = O\left(k \log \frac{m}{k}\right)$$
Hier reicht eine lineare Dimension, die proportional zur Sparsität ist.

B. Lineares Compressed Sensing (Lineare Dekodierung)

Für das Szenario der linearen Repräsentation und linearen Zugänglichkeit (Theorem 2 und 3) ergeben sich folgende Schranken:

• Obere Schranke:
  $$d = O_\epsilon(k^2 \log m)$$
  Dies zeigt, dass Neuronen unter der LRH immer noch eine exponentielle Anzahl von Merkmalen ($m \sim \exp(d)$) speichern können, solange $k$ klein ist.

• Untere Schranke:
  $$d = \Omega_\epsilon\left(\frac{k^2}{\log k} \log \frac{m}{k}\right)$$
  Dies etabliert eine quantitative Lücke zum klassischen Compressed Sensing. Während dort $d$ linear in $k$ ist, muss $d$ im linearen Fall quadratisch in $k$ sein ($k^2$).

Bedeutung der Lücke: Die lineare Zugänglichkeit ist eine strengere Bedingung als die reine lineare Repräsentation. Die Notwendigkeit von $k^2$ statt $k$ bedeutet, dass die „Superposition" unter der strikten LRH zwar möglich bleibt, aber weniger effizient ist als bei nicht-linearen Dekodierern.

5. Geometrie der Merkmalsvektoren

Das Paper untersucht auch die geometrische Anordnung der Repräsentationsvektoren ($a_i$) und der Probe-Vektoren ($b_i$):

• Es ist nicht notwendig, dass Repräsentationsvektoren orthogonal zueinander sind.
• Es ist möglich, dass Repräsentationsvektoren stark korreliert sind und Probe-Vektoren ebenfalls stark korreliert sind, solange die Probe-Vektoren orthogonal zu den falschen Repräsentationsvektoren sind (d. h., $b_i \perp a_j$ für $i \neq j$).
• Wenn jedoch die Normen der Vektoren auf 1 beschränkt werden, nähern sich Repräsentations- und Probe-Vektoren einander an, und verschiedene Merkmale werden durch annähernd orthogonale Richtungen dargestellt.

6. Erweiterungen und Robustheit

Die Autoren zeigen in Abschnitt 5, dass ihre untere Schranke robust ist:

• Nicht-lineare Aktivierungen und Bias: Selbst wenn der Decoder eine monotone Aktivierungsfunktion (wie ReLU) und einen Bias enthält ($g(x) = \sigma(W^T x + b)$), ändert sich die asymptotische untere Schranke nicht. Die Notwendigkeit von $d = \Omega(k^2 \log(m/k))$ bleibt bestehen.
• Binäre Merkmale: Die Ergebnisse gelten auch, wenn Merkmale binär ($0$ oder $1$) sind und die Aufgabe eine lineare Trennung erfordert.

7. Bedeutung und Fazit

Dieses Paper leistet einen wesentlichen Beitrag zur theoretischen Fundierung von Sprachmodellen:

1. Formalisierung: Es trennt klar zwischen linearer Repräsentation und linearer Zugänglichkeit, was in der bisherigen Literatur oft vermischt wurde.
2. Theoretische Bestätigung der Superposition: Es liefert den mathematischen Beweis, dass Sprachmodelle unter der LRH in der Lage sind, exponentiell viele Merkmale in einer Schicht zu speichern, was die beobachtete Leistungsfähigkeit von LLMs erklärt.
3. Quantitative Grenzen: Es etabliert die $k^2$-Abhängigkeit als fundamentale Grenze für lineare Superposition. Dies impliziert, dass Modelle, die viele Merkmale gleichzeitig verarbeiten müssen, entweder mehr Neuronen benötigen oder eine höhere Sparsität ($k$) aufweisen müssen, als bei rein nicht-linearen Dekodierern angenommen.
4. Rahmen für zukünftige Forschung: Die Arbeit bietet eine Basis, um die Komplexität von Merkmalsgeometrien und die Interaktion zwischen Schichten in neuronalen Netzen weiter zu untersuchen.

Zusammenfassend beweisen die Autoren, dass die Linear Representation Hypothesis nicht nur ein empirisches Phänomen ist, sondern eine mathematisch fundierte, ausdrucksstarke Theorie, die die Speicherkapazität von Sprachmodellen erklärt, jedoch mit spezifischen Kosten in Form der benötigten Dimensionalität bei linearen Dekodierern.