🤖 machine learning

Representational Capacity: Geometric Limits on Feature Representation in Transformer Language Models

Dieses Paper schlägt ein Framework zur Schätzung der Repräsentationskapazität von Transformer-Sprachmodellen vor, indem es die geometrischen Grenzen nahezu orthogonaler Feature-Richtungen analysiert, aufzeigt, dass die Kapazität exponentiell sensitiv gegenüber Orthogonalitätsbeschränkungen ist, und eine angepasste Formel einführt, welche die Vorhersagegenauigkeit gegenüber traditionellen Schranken signifikant verbessert.

Ursprüngliche Autoren: Alexander Guha

Veröffentlicht 2026-06-03

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Alexander Guha

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Frage: Wie viel kann ein Gehirn aufnehmen?

Stellen Sie sich vor, Sie haben ein riesiges, leeres Lagerhaus (dies ist das „Gehirn“ oder der latente Raum eines KI-Modells). Die Größe des Lagerhauses wird durch seine Dimensionen ( $d_{model}$ ) bestimmt.

Lange Zeit dachten die Leute: „Wenn ich ein Lagerhaus mit 4.000 Regalen habe, kann ich auch nur 4.000 verschiedene Gegenstände lagern.“ Wenn ein Gegenstand „Katze“ und ein anderer „Hund“ ist, müssten sie auf völlig unterschiedlichen, sich nicht berührenden Regalen liegen.

Aber diese Arbeit argumentiert, dass KI-Modelle viel klüger sind. Sie nutzen einen Trick namens Superposition. Anstatt „Katze“ in ein Regal und „Hund“ in ein anderes zu legen, ordnen sie sie so an, dass sie fast auf verschiedenen Regalen liegen, sich aber leicht überschneiden. Es ist wie beim Stapeln von Büchern in einer Bibliothek, sodass sie sich gegenseitig stützen, man sie aber dennoch unterscheiden kann.

Die Arbeit stellt die Frage: Wie viele Gegenstände können wir tatsächlich in diesem Lagerhaus stapeln, bevor sie zusammenstürzen und ein Chaos werden?

Die entscheidende Entdeckung: Das „Lehn“-Limit

Die Autoren fanden heraus, dass diese „lehnenden“ Gegenstände nicht zu stark lehnen dürfen. Sie müssen fast senkrecht stehen (orthogonal). Wenn sie zu weit lehnen, wird die KI verwirrt.

Sie haben dieses „Lehn“-Limit gemessen, das sie $\epsilon$ (Epsilon) nennen.

Niedriges $\epsilon$ (Streng): Die Gegenstände stehen fast perfekt gerade. Man kann eine riesige Anzahl an Gegenständen unterbringen, muss aber sehr vorsichtig sein, um nicht anzustoßen.
Hohes $\epsilon$ (Locker): Die Gegenstände lehnen überall hin. Man kann nicht viele Gegenstände unterbringen, ohne dass sie zusammenstoßen.

Die Überraschung: Die Forscher untersuchten Dutzende von KI-Modellen und fanden heraus, dass diese in zwei deutliche Gruppen fallen:

Die „unordentliche“ Gruppe: Diese Modelle haben ein hohes $\epsilon$ . Ihre „Bücher“ lehnen so stark, dass sie den Superpositions-Trick nicht wirklich effektiv nutzen.
Die „organisierte“ Gruppe: Diese Modelle haben ein sehr niedriges $\epsilon$ . Sie halten ihre „Bücher“ fast perfekt gerade, was es ihnen ermöglicht, Millionen von Konzepten in einen kleinen Raum zu packen.

Die alte Mathematik war falsch

Zuvor nutzten Wissenschaftler eine berühmte mathematische Regel (das Johnson-Lindenstrauss-Lemma), um zu erraten, wie viele Gegenstände hineinpassen könnten. Diese Regel basierte darauf, wie sich zufällige Gegenstände verhalten würden, wenn man sie einfach in einen Raum wirft.

Die Arbeit sagt: „Diese Mathematik ist für trainierte KIs völlig falsch.“

Die alte Mathematik: Sagte voraus, dass ein Modell mit einem 4.000-Regal-Lagerhaus nur etwa 8 bis 300 verschiedene Gegenstände halten könnte.
Die Realität: Dasselbe Modell enthält 32.000 Wörter (seinen Wortschatz) plus Millionen anderer Konzepte.

Die alte Mathematik versagte, weil sie davon ausging, dass die Gegenstände zufällig platziert werden. Aber KI-Modelle werden jedoch als Optimierer trainiert. Sie werfen die Gegenstände nicht einfach hinein; sie ordnen sie sorgfältig an, um so viele wie möglich unterzubringen, wie ein Meister im Tetris.

Die neue Formel: Es geht um das Verhältnis

Die Autoren entwickelten eine neue Formel, um die Mathematik zu korrigieren. Sie fanden heraus, dass die Anzahl der Dinge, die man unterbringen kann, nicht nur von der Anzahl der Gegenstände abhängt, sondern von dem Verhältnis der Gegenstände zur Größe des Lagerhauses.

Denken Sie an Folgendes:

Wenn Sie einen kleinen Raum haben, können Sie nur wenige Menschen unterbringen, die eng beieinander stehen.
Wenn Sie ein riesiges Stadion haben, können Sie eine gewaltige Menge an Menschen unterbringen, aber die Dichte (Menschen pro Quadratfuß) ist wichtiger als die Gesamtzahl.

Ihre neue Formel zeigt, dass trainierte Modelle um Größenordnungen mehr Gegenstände unterbringen können, als die alte Zufalls-Mathematik vorhergesagt hat.

Der Kompromiss: Stabilität vs. Kapazität

Hier ist der interessanteste Befund über größere Modelle (die mit mehr „Regalen“):

Man könnte denken, dass größere Modelle versuchen würden, so viele Gegenstände wie möglich unterzubringen, indem sie sie etwas stärker lehnen lassen (das $\epsilon$ erhöhen). Aber die Arbeit fand das Gegenteil heraus.

Größere Modelle stehen tatsächlich gerader.

Sie entscheiden sich dafür, ihre Gegenstände sehr streng voneinander getrennt zu halten (niedriges $\epsilon$ ), obwohl dies technisch gesehen die Gesamtzahl der Gegenstände reduziert, die sie könnten.

Warum? Die Autoren vermuten, dass es ein Kompromiss zwischen Kapazität (wie viele Dinge man speichern kann) und Stabilität (wie zuverlässig man sie wiederfinden kann) ist.
Wenn man zu stark lehnt, kann man zwar mehr Dinge speichern, läuft aber Gefahr, dass sie zusammenstoßen, wenn die KI versucht, sie zu verwenden. Größere Modelle scheinen Stabilität (nicht zusammenzustoßen) über die reine Maximierung des Speichers zu priorisieren.

Zusammenfassung in Kürze

Das Lagerhaus: KI-Modelle speichern Konzepte als Richtungen in einem mehrdimensionalen Raum.
Der Trick: Sie packen diese Konzepte, indem sie sie „nahezu orthogonal“ machen (fast senkrecht, aber leicht geneigt).
Das Limit: Es gibt ein striktes Limit, wie stark sie lehnen dürfen, bevor sie verwirrt werden. Dieses Limit wird $\epsilon$ genannt.
Die Klassen: Einige Modelle sind unordentlich (hohes $\epsilon$ ), aber die besten sind sehr organisiert (niedriges $\epsilon$ ).
Die Korrektur der Mathematik: Die alte Mathematik sagte, sie könnten nur wenige Dinge halten. Die neue Mathematik (basierend darauf, wie sie tatsächlich trainiert werden) besagt, dass sie Millionen halten können.
Die Lehre: Wenn KI-Modelle größer werden, versuchen sie nicht, das Lagerhaus bis zum Rand vollzustopfen. Stattdessen halten sie die Dinge sehr ordentlich organisiert, um sicherzustellen, dass sie nicht verwirrt werden – sie setzen auf Stabilität statt auf reine Kapazität.

Technisches Resümee: Repräsentationskapazität in Transformer-Sprachmodellen

Problemstellung

Die Arbeit adressiert eine fundamentale Lücke im Verständnis der geometrischen Grenzen der Merkmalsrepräsentation innerhalb von Transformer-basierten Sprachmodellen. Während die Modell-Dimension ( $d_{model}$ ) ein primärer Hyperparameter ist, der die Parameteranzahl und die Größe des latenten Raums steuert, bleibt seine spezifische Rolle bei der Bestimmung der maximalen Anzahl repräsentierbarer Merkmale untererforscht.

Bestehende Theorien, insbesondere die Lineare Repräsentationshypothese (Merkmale existieren als Richtungen im latenten Raum) und die Superpositionshypothese (Modelle repräsentieren mehr Konzepte als Dimensionen, indem sie nahezu orthogonale Richtungen nutzen), legen nahe, dass die Anzahl der repräsentierbaren Merkmale durch die Geometrie des latenten Raums begrenzt ist. Standardmäßige theoretische Schranken, wie das Johnson-Lindenstrauss-Lemma (JL-Lemma), stützen sich jedoch auf Annahmen von Zufallsprojektionen. Die Arbeit argumentiert, dass diese Standard-Schranken die Effizienz der Packung trainierter Repräsentationen drastisch unterschätzen und nicht erklären können, wie Modelle mit Dimensionen in Tausenden von Einheiten Vokabulare und Merkmalsgruppen in Zehntausenden oder Millionen unterstützen können.

Methodik

1. Schätzung der akzeptierten Abweichung ( $\epsilon$ ) über Embeddings

Die Autoren schlagen vor, die Embedding-Matrix als messbaren Stellvertreter für die nahezu orthogonale Struktur des gesamten latenten Raums zu verwenden.

Begründung: Bei der Initialisierung bilden Zufallsgewichte nahezu orthogonale One-Hot-Tokenvektoren in $R^{d_{model}}$ ab, was aufgrund der hochdimensionalen Geometrie zu nahezu orthogonalen Embeddings führt. Das Training bewahrt diese Struktur, während es eine „Rechte Tail“ (rechten Rand) in der Kosinusähnlichkeitsverteilung entwickelt, die den bedeutsamen lexikalischen und semantischen Beziehungen entspricht.
Metrik-Definition: Die Autoren definieren $\epsilon$ (die akzeptierte Abweichung von perfekter Orthogonalität) als die Grenze zwischen zufälliger Ähnlichkeit und bedeutsamen Beziehungen. Sie schätzen diesen Schwellenwert heuristisch als $\mu + 2\sigma$ der Paar-Kosinusähnlichkeitsverteilung der Embedding-Matrix, wobei $\mu$ und $\sigma$ den Mittelwert und die Standardabweichung darstellen.
Klassifizierung: Diese Metrik wird auf Dutzende von Open-Source-Modellen angewendet, um sie basierend auf ihrer Einhaltung der nahezu orthogonalen Struktur zu kategorisieren.

2. Ableitung einer angepassten Kapazitätsformel

Die Arbeit kritisiert das Standard-JL-Lemma, das postuliert, dass die Anzahl der nahezu orthogonalen Vektoren $k$ wie folgt skaliert: $k \leq \exp(d \cdot \epsilon^2 / C)$ .

Empirisches Scheitern: Die Anwendung der Standardformel (selbst mit empirisch verschärften Konstanten) auf trainierte Modelle wie Llama 2 7B liefert Kapazitätsschätzungen (z. B. ~277 Richtungen), die um Größenordnungen niedriger sind als die tatsächliche Vokabulargröße (32.000).
Optimierungssimulation: Um die Effizienz der Packung optimierter Vektoren zu charakterisieren, initialisieren die Autoren zufällige Einheitsvektoren und minimieren ein Hochleistungs-Penalty auf die Nebendiagonalen der Gram-Matrix (was einen Gradientenabstieg simuliert).
Formelanpassung: Durch das Anpassen an die Simulationsdaten leiten die Autoren eine modifizierte Beziehung ab, bei der die Kapazität vom Verhältnis von Vektoren zu Dimensionen ( $k/d$ ) abhängt, anstatt nur von der rohen Anzahl $k$ allein. Die neue Beziehung lautet:
$\epsilon = \sqrt{\frac{C \cdot \ln(k/d)}{d}} \implies k \leq d \cdot \exp\left(\frac{d \cdot \epsilon^2}{C}\right)$
Diese einparametrige Modifikation reduziert den Vorhersagefehler im Vergleich zur Standard-JL-Schranke um zwei Größenordnungen.

3. Definition der Repräsentationskapazität

Durch Kombination der geschätzten $\epsilon$ aus den Embeddings und der angepassten Formel definiert das Paper die Repräsentationskapazität als die quantitative obere Schranke für die Anzahl der unterscheidbaren, nahezu orthogonalen Richtungen, die im latenten Raum für Embeddings, Unembeddings und Merkmale zur Verfügung stehen.

Zentrale Ergebnisse

1. Zwei distinkte Modellklassen

Die Analyse von Dutzenden von Modellen offenbart eine Bifurkation in zwei Klassen basierend auf $\epsilon$ :

Klasse 1 (Hohes $\epsilon$ ): Modelle mit niedrigerem $d_{model}$ und breiteren Ähnlichkeitsverteilungen ( $\epsilon > 0,2$ ). Diese Modelle weisen auf der Embedding-Ebene keine nahezu orthogonale Struktur auf und scheinen Superposition in derselbe Weise nicht zu nutzen. Viele in dieser Klasse verwenden gekoppelte Embedding-/Unembedding-Matrizen.
Klasse 2 (Niedriges $\epsilon$ ): Modelle mit höherem $d_{model}$ und engen Verteilungen, die nahe Null gruppiert sind ( $\epsilon < 0,1$ ). Diese Modelle halten strikte nahezu orthogonale Beschränkungen ein, was konsistent mit der aktiven Nutzung von Superposition ist.

2. Kapazitätsschätzungen und Sensitivität

Größenordnung: Für Klasse-2-Modelle reicht die Repräsentationskapazität von $\sim 10^5$ bis $\sim 10^{10}-10^{11}$ . Beispielsweise wird für Llama 2 7B ( $d_{model}=4096, \epsilon=0,0645$ ) eine Kapazität von etwa 40 Millionen Richtungen geschätzt, was das Vokabular und die Millionen von Merkmalen, die via Sparse Autoencoders (SAEs) extrahiert werden, komfortabel unterbringt.
Sensitivität: Die Kapazität reagiert exponentiell sensitiv auf $\epsilon$ . Eine kleine Erhöhung der Toleranz für Abweichungen (z. B. von 0,05 auf 0,09) kann zu einem Sprung der Kapazität um sechs Größenordnungen führen, was $\epsilon$ zu einem dominanteren Hebel macht als $d_{model}$ selbst.
Skalierungstrends: Innerhalb der Klasse 2 tendieren größere Modelle dazu, striktare Orthogonalitätsbeschränkungen (niedrigeres $\epsilon$ ) gegenüber der Maximierung der rohen Kapazität zu bevorzugen. Dies deutet auf einen Trade-off hin, bei dem größere Modelle die interne Stabilität und zuverlässige Merkmalsabrufung gegenüber reinem geometrischem Raum priorisieren.

Bedeutung und Ansprüche

Das Paper beansprucht, den ersten quantitativen Rahmen zur Schätzung der geometrischen Grenzen der Merkmalsrepräsentation in Transformern geliefert zu haben. Seine primären Beiträge sind:

Empirische Korrektur theoretischer Schranken: Es zeigt, dass standardmäßige geometrische Schranken (JL-Lemma) für trainierte Modelle unzureichend sind, und bietet eine empirisch angepasste Formel, die mit der beobachteten Packungseffizienz übereinstimmt.
Quantifizierung einer gemeinsamen Ressource: Es definiert „Repräsentationskapazität“ als eine endliche geometrische Ressource, die von Embeddings, Unembeddings und Merkmalen geteilt wird und durch die Toleranz des Modells für Überlappungen ( $\epsilon$ ) gesteuert wird.
Diagnostischer Einblick: Der Rahmen zeigt, dass nicht alle Modelle Superposition gleichermaßen nutzen; die Unterscheidung zwischen High- $\epsilon$ - und Low- $\epsilon$ -Modellen deutet auf fundamentale strukturelle Unterschiede in der Organisation des latenten Raums hin.
Design-Implikationen: Die Autoren schlagen vor, dass die Auswahl von $d_{model}$ , die derzeit oft heuristisch (Zweierpotenzen) erfolgt, theoretisch durch Kapazitätsziele geleitet werden könnte. Sie hypothetisieren einen potenziellen „Deckel“ für die nützliche Kapazität, über dem eine Erhöhung des geometrischen Raums abnehmende Erträge liefert, und dass größere Modelle natürlich zu einer engeren Orthogonalität konvergieren könnten, um die Stabilität zu wahren.

Limitationen und Vorbehalte

Das Paper weist explizit auf mehrere Limitationen hin:

Hypothetische Generalisierung: Die Annahme, dass die Embedding-Geometrie den breiteren latenten Raum (einschließlich Zwischenmerkmalen) widerspiegelt, ist eine motivierte Hypothese, aber kein bewiesener Fakt.
Heuristischer Schwellenwert: Der $\mu + 2\sigma$ -Schwellenwert für $\epsilon$ ist heuristisch. Da die Kapazität exponentiell sensitiv auf $\epsilon^2$ reagiert, sind absolute Kapazitätswerte unzuverlässig, obwohl relative Vergleiche zwischen Modellen informativ bleiben.
Geometrisch vs. Komputational: Die abgeleitete Kapazität ist eine Schranke der geometrischen Möglichkeit, nicht der komputationalen Nutzung. Sie berücksichtigt nicht, ob die Architektur des Modells (Tiefe, Attention-Heads) in der Lage ist, die maximal verfügbare Anzahl an Richtungen effektiv zu lernen oder zu verarbeiten.
Datenknappheit: Die Beobachtung, dass größere Modelle eine engere Orthogonalität bevorzugen, basiert auf begrenzten Datenpunkten mit $d_{model} > 6000$ .