🤖 AI

Functional Subspace, where language models can use vector algebra to solve problems

Diese Arbeit stellt die Hypothese auf und liefert Belege dafür, dass große Sprachmodelle funktionale Unterräume innerhalb ihres Aktivierungsraums nutzen, wobei In-Context-Learning-Aufgaben durch einfache vektorielle algebraische Operationen gelöst werden, die Evidenz akkumulieren.

Ursprüngliche Autoren: Jung H. Lee, Sujith Vijayan

Veröffentlicht 2026-05-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Jung H. Lee, Sujith Vijayan

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Large Language Model (LLM) nicht als ein riesiges, magisches Gehirn vor, das in menschlichen Worten „denkt", sondern als eine massive, mehrstöckige Bibliothek, in der jedes Buch ein Stück Information ist. Lange Zeit wussten wir nicht, wie diese Bibliothek ihre Bücher organisiert oder wie sie die richtige Antwort findet, wenn Sie eine Frage stellen.

Dieser Artikel schlägt eine faszinierende neue Art vor, diese Bibliothek zu betrachten. Er legt nahe, dass ein LLM, wenn es ein Problem löst, nicht einfach die gesamte Bibliothek „liest". Stattdessen baut es einen speziellen, vorübergehenden Raum (ein „Unterraum") innerhalb seines Speichers genau für diese spezifische Aufgabe auf und löst das Problem dann mit einfacher Mathematik (Vektoralgebra) innerhalb dieses Raums.

Hier ist die Aufschlüsselung ihrer Entdeckung mit alltäglichen Analogien:

1. Der „Kontext"-Raum (In-Context Learning)

Sie wissen, wie man einem Computer einen neuen Trick beibringen kann, indem man ihm einfach ein paar Beispiele in einem Chat gibt? Zum Beispiel, wenn Sie eingeben:

„Heiß : Kalt"
„Schnell : Langsam"
„Groß : ?"

Rät der Computer „Klein". Dies wird als In-Context Learning (ICL) bezeichnet. Der Artikel fragt: Wie findet der Computer das heraus, ohne neu trainiert zu werden?

Die Autoren schlagen vor, dass der Computer einen dedizierten Arbeitsbereich (einen Unterraum) für dieses spezifische Gespräch erstellt. Denken Sie daran wie an einen Koch, der, sobald er sieht, dass Sie einen Salat bestellen, sofort ein bestimmtes Schneidebrett freiräumt und nur die Salatzutaten zusammenstellt und dabei die Steaks und Suppen in der Küche ignoriert. Der Computer isoliert die „Salat"-Logik vom Rest seines riesigen Wissens.

2. Das „Vektoralgebra"-Rezept

Sobald sich der Computer in diesem speziellen Raum befindet, muss er die Bedeutung von Wörtern nicht im menschlichen Sinne „verstehen". Stattdessen behandelt er Wörter wie Pfeile (Vektoren), die in bestimmte Richtungen zeigen.

Die Analogie: Stellen Sie sich vor, „Glücklich" ist ein Pfeil, der nach Norden zeigt, und „Traurig" ist ein Pfeil, der nach Süden zeigt.
Die Mathematik: Wenn der Computer das Muster „Glücklich : Traurig" sieht, lernt er eine Regel: Um die Antwort zu erhalten, drehen Sie den Pfeil um 180 Grad.
Das Ergebnis: Wenn Sie „Schnell : ?" fragen, nimmt der Computer den „Schnell"-Pfeil, dreht ihn um (weil das die Regel für Antonyme ist) und landet bei „Langsam".

Der Artikel behauptet, dass der Computer für diese Aufgaben im Wesentlichen Addition und Subtraktion an diesen Pfeilen durchführt. Er „denkt" nicht tiefgründig; er führt eine einfache geometrische Berechnung durch.

3. Wie die Bibliothek den Raum baut

Der Artikel erklärt, wie der Computer diesen Raum mit zwei Hauptwerkzeugen innerhalb seiner Architektur baut:

Die „Speicherstapel" (Feed-Forward-Netzwerke): Diese wirken wie ein Aktenschrank. Wenn der Computer ein Wort sieht, zieht er eine Liste möglicher Antworten hervor, die mit diesem Wort verbunden sind. Wenn Sie „London" sagen, könnte der Schrank „Hauptstadt des Vereinigten Königreichs", „Finanzzentrum" und „Regenstadt" hervorholen.
Das „Scheinwerferlicht" (Self-Attention): Dies ist der Teil, der entscheidet, welche Datei verwendet wird. Wenn die Eingabe über Geografie handelt, richtet sich das Scheinwerferlicht auf die Datei „Hauptstadt". Wenn es um Finanzen geht, leuchtet es auf die Datei „Zentrum".

Die Autoren fanden heraus, dass der Computer, während er die Beispiele (die „Heiß : Kalt"-Paare) verarbeitet, Beweise in diesem speziellen Raum sammelt. Es ist wie das Stapeln von Blöcken: Jedes Beispiel fügt einen Block zum „Antonym"-Haufen hinzu. Bis es die endgültige Frage erreicht, ist der Haufen hoch genug, um die Antwort vorherzusagen.

4. Die „Magie" des Unterraums

Die Forscher testeten dies, indem sie die internen „Restströme" des Computers betrachteten (die Daten, die durch die Schichten des Modells fließen). Sie verwendeten ein statistisches Werkzeug namens PCA (Hauptkomponentenanalyse), um die „Hauptrichtungen" zu finden, in die sich die Daten bewegten.

Was sie fanden:

Der Computer erstellt diese niedrigdimensionalen Räume (Unterräume) auf natürliche Weise.
In diesen Räumen ist die Beziehung zwischen Frage und Antwort fast perfekt linear (wie eine gerade Linie).
Wenn der Computer die Antwort richtig hat, sieht die Mathematik in diesem Raum auf eine Weise aus. Wenn er sie falsch hat, sieht die Mathematik anders aus. Dies beweist, dass der Computer tatsächlich diesen speziellen „Raum" und diese „Mathematik" verwendet, um seine Entscheidung zu treffen.

Zusammenfassung

Der Artikel argumentiert, dass Large Language Models nicht einfach nur basierend auf Mustern raten. Stattdessen tun sie Folgendes, wenn ihnen einige Beispiele gegeben werden:

Sie bauen einen vorübergehenden, spezialisierten Raum in ihrem Speicher auf.
Sie übersetzen Wörter in Pfeile (Vektoren).
Sie verwenden einfache Mathematik (wie das Hinzufügen oder Subtrahieren von Pfeilen) innerhalb dieses Raums, um die Antwort zu finden.

Dies legt nahe, dass die „emergenten Fähigkeiten" der KI – wo sie scheint, neue Fähigkeiten sofort zu erlernen – tatsächlich nur das Modell sind, das sein bestehendes Wissen in diese ordentlichen, mathematischen Unterräume organisiert, um das vorliegende Rätsel zu lösen.

Technische Zusammenfassung: Funktionale Unterräume in großen Sprachmodellen

Problemstellung

Obwohl große Sprachmodelle (LLMs) bemerkenswerte „emergente Fähigkeiten" wie das Lernen im Kontext (In-Context Learning, ICL) demonstriert haben, bleiben die zugrunde liegenden Mechanismen, die diese Fähigkeiten ermöglichen, weitgehend unverstanden. Bisherige Forschung hat gezeigt, dass hochrangige Konzepte als lineare Richtungen in Aktivierungsräumen kodiert sind und dass die Geometrie von Wort-Embeddings semantische Bedeutung trägt. Es ist jedoch unklar, wie LLMs ohne Feinabstimmung auf neue Aufgaben verallgemeinern oder wie sie Beweise aus Kontextbeispielen sammeln, um korrekte Antworten zu generieren. Das mangelnde Verständnis dieser Funktionsmechanismen behindert die Fähigkeit, LLMs angemessen zu diagnostizieren und zu reparieren, insbesondere vor ihrem Einsatz in sicherheitskritischen Bereichen. Dieser Beitrag untersucht, ob LLMs spezifische Unterräume und Vektoralgebra nutzen, um ICL-Aufgaben zu lösen.

Methodik

Die Autoren stellen die Hypothese auf, dass LLMs Eingabetokens in funktionale Unterräume projizieren, in denen Aufgaben durch einfache Vektoralgebra gelöst werden können. Um dies zu testen, analysierten sie die Residualströme und funktionalen Module (Self-Attention und Feed-Forward-Netzwerke) von sechs öffentlich verfügbaren vortrainierten LLMs: GPT-J-6B, Meta-Llama-3.1-8B, OLMo-2-0325-32B, Pythia-12B, Gemma-3-27b-it und GPT-NEOX-20B.

Das experimentelle Design umfasste folgende Schritte:

Aufgabengenerierung: Die Autoren generierten 200 ICL-Prompts für sechs verschiedene Aufgaben: Antonyme, Synonyme, Länder-Hauptstadt-Paare, Englisch-Französisch-Übersetzungen, Firmen-Produkt-Paare und Personen-Sport-Paare. Jeder Prompt enthielt fünf Beispiel-Paare und eine einzelne Testabfrage.
Datenerhebung: Residualströme wurden von allen Tokens über alle Transformer-Schichten hinweg gesammelt, während die Modelle diese Prompts verarbeiteten.
Dimensionsreduktion: Auf die Residualströme wurde eine Hauptkomponentenanalyse (PCA) angewendet, um potenzielle niedrigdimensionale Unterräume zu identifizieren. Die Autoren bewerteten die kumulierte erklärte Varianz der ersten 30 Hauptkomponenten.
Lineare Regressionsanalyse: Um festzustellen, ob ICL-Aufgaben als Vektoroperationen modelliert werden können, führten die Autoren eine lineare Regression auf den Hauptkomponenten durch. Sie testeten, ob Antwort-Tokens ( $\vec{a}$ ) als lineare Funktion von Abfrage-Tokens ( $\vec{q}$ ) und Trenn-Token ( $\vec{s}$ ) gemäß der Gleichung $\vec{a} = \alpha\vec{q} + \beta\vec{s} + \gamma$ beschrieben werden können. Die Güte dieser Anpassung wurde mittels des Bestimmtheitsmaßes ( $R^2$ ) gemessen.
Korrelation mit Entscheidungsfindung: Um die funktionale Relevanz dieser Unterräume zu bewerten, verglichen die Autoren die Projektionen von Tokens in den leistungsstärksten Hauptkomponenten zwischen Fällen, in denen das LLM korrekte Vorhersagen traf, und Fällen mit falschen Vorhersagen, wobei t-Tests zur Bewertung der statistischen Signifikanz herangezogen wurden.

Hauptbeiträge und Ergebnisse

1. Existenz funktionaler Unterräume

Die Analyse der Residualströme ergab, dass 40 % bis 90 % der Variabilität in den Aktivierungen der Modelle durch lediglich 30 Hauptkomponenten erklärt werden konnten, trotz der hohen Dimensionalität der Modelle (z. B. $d \approx 5000$ ). Dies deutet darauf hin, dass LLMs während ICL-Aufgaben innerhalb niedrigdimensionaler Unterräume operieren.

2. ICL als Vektoralgebra

Die Studie ergab, dass Antwort-Tokens in spezifischen Unterräumen durch Linearkombinationen von Abfrage- und Trenn-Tokens gut approximiert werden.

Hohe $R^2$ -Werte: Über alle sechs Modelle und Aufgaben hinweg wiesen bestimmte Hauptkomponenten hohe $R^2$ -Werte (nahe 1) auf, was darauf hindeutet, dass die Beziehung zwischen Eingaben und Ausgaben in diesen Unterräumen weitgehend linear ist.
Schichtprogression: Die Qualität der linearen Anpassung ( $R^2$ ) tendierte in frühen Schichten zu niedrigen Werten und nahm in späteren Schichten zu, was darauf hindeutet, dass frühe Schichten Aktivierungen allmählich in Unterräume transformieren, in denen ICL durch einfache Vektoroperationen gelöst werden kann.
Konsistenz: Die Hauptkomponenten mit hohen $R^2$ -Werten waren über die Schichten hinweg konsistent, was impliziert, dass spezifische Richtungen aufgabenspezifische Konzepte kodieren (z. B. „Antonym" oder „Hauptstadt").

3. Beweissammlung und Clustering

Die theoretische Analyse legte nahe, dass Feed-Forward-Netzwerke (FFNs) als assoziative Speicher fungieren, die potenzielle Antworten speichern, während Self-Attention (SA)-Schichten die korrekte Vorhersage basierend auf dem Kontext auswählen. Die Autoren hypothesierten, dass Schnittpunkte potenzieller Antworten eine Anhäufung von Beweisen entlang spezifischer Unterbasisvektoren ermöglichen.

Token-Clustering: Visualisierungen von Tokens in 3D-Unterräumen (aufgespannt durch die ersten 3 Hauptkomponenten) zeigten, dass Abfrage-, Trenn- und Antwort-Tokens basierend auf ihrem Tokentyp distincte, gut getrennte Cluster bildeten.
Korrelation mit Genauigkeit: Entscheidend war, dass die Projektionen von Tokens in den leistungsstärksten Komponenten signifikant unterschiedlich waren ( $p < 0.05$ ), je nachdem, ob das Modell eine korrekte oder falsche Antwort generierte. Diese Korrelation hielt über mehrere mittlere und späte Schichten hinweg an, was darauf hindeutet, dass diese Unterräume direkt am Entscheidungsprozess des Modells beteiligt sind.

Bedeutung und Behauptungen

Der Beitrag behauptet, dass LLMs nativ Unterräume erstellen, um Beweise aus Kontextbeispielen zu sammeln und Aufgaben unter Verwendung von Vektoralgebra innerhalb dieser Unterräume zu lösen. Die Autoren gehen davon aus, dass:

Mechanismus der Verallgemeinerung: Die Fähigkeit, ICL durchzuführen, darauf beruht, Eingabetokens in Unterräume zu projizieren, in denen die Geometrie der Daten direkt der gewünschten Aufgabe entspricht (z. B. Umkehren einer Richtung für Antonyme).
Emergente Fähigkeiten: Obwohl ICL-Aufgaben einfacher sind als allgemeine Programmier- oder Denkaufgaben, ist der Mechanismus des Extrahierens von Aufgabeninformationen und deren Anwendung durch Vektoroperationen grundlegend dafür, wie LLMs bei komplexeren Aufgaben erfolgreich sind.
Diagnostisches Potenzial: Wenn LLMs für die Entscheidungsfindung auf diese funktionalen Unterräume angewiesen sind, könnten diese Unterräume als Basis dienen, um das Modellverhalten zu diagnostizieren und Steuerungsvektoren zu entwerfen, um Modelloutputs zu intervenieren oder zu reparieren, insbesondere in sicherheitskritischen Anwendungen.

Die Autoren bewahren einen bescheidenen Ton und erkennen an, dass ihre theoretische Analyse auf idealisierten Bedingungen beruht und dass die Identifizierung solcher Unterräume in komplexeren, allgemeinen Sprachaufgaben aufgrund intricater Token-Interaktionen herausfordernd sein könnte. Sie argumentieren jedoch, dass die Erkenntnisse eine konkrete Verbindung zwischen der Hypothese der linearen Repräsentation und den Funktionsmechanismen des Lernens im Kontext herstellen.