💬 NLP

Stories in Space: In-Context Learning Trajectories in Conceptual Belief Space

Dieser Artikel schlägt vor, dass große Sprachmodelle In-Context-Learning durchführen, indem sie sich in niedrigdimensionalen, strukturierten „konzeptuellen Glaubensräumen" bewegen, in denen Glaubensupdates als geometrische Trajektorien auftreten, die sich sowohl im Modellverhalten als auch in den internen Repräsentationen konsistent widerspiegeln und durch lineare Eingriffe kausal manipuliert werden können.

Ursprüngliche Autoren: Eric Bigelow, Raphaël Sarfati, Daniel Wurgaft, Owen Lewis, Thomas McGrath, Jack Merullo, Atticus Geiger, Ekdeep Singh Lubana

Veröffentlicht 2026-05-13

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Eric Bigelow, Raphaël Sarfati, Daniel Wurgaft, Owen Lewis, Thomas McGrath, Jack Merullo, Atticus Geiger, Ekdeep Singh Lubana

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Large Language Model (LLM) nicht als Roboter vor, der einfach Fakten auswendig lernt, sondern als Geschichtenerzähler, der ein Buch laut vorliest. Während der Geschichtenerzähler jeden neuen Satz liest, verändert sich sein Verständnis der Handlung, der Gefühle der Charaktere und der Stimmung der Szene. Er „kennt" die Geschichte nicht nur; er aktualisiert ständig seine interne „Überzeugung" darüber, was geschieht.

Diese Arbeit mit dem Titel „Stories in Space" versucht genau zu kartieren, wie dieser Geschichtenerzähler seine Überzeugungen aktualisiert. Die Autoren schlagen eine faszinierende Idee vor: Die sich wandelnden Überzeugungen des Modells bewegen sich entlang einer spezifischen, niedrigdimensionalen Karte, die als „Konzeptueller Überzeugungsraum" bezeichnet wird.

Hier ist eine Aufschlüsselung ihrer Erkenntnisse mit einfachen Analogien:

1. Die Karte der Überzeugungen (Der Konzeptuelle Raum)

Stellen Sie sich einen riesigen, unsichtbaren 3D-Raum vor, in dem jedes mögliche „Gefühl" oder jede „Idee" einen spezifischen Ort hat.

Glück könnte in der oberen rechten Ecke liegen.
Traurigkeit könnte in der unteren linken Ecke liegen.
Wut könnte irgendwo dazwischen liegen.

Die Arbeit legt nahe, dass ein LLM, wenn es eine Geschichte liest, nicht einfach zufällig von einer Idee zur anderen springt. Stattdessen bewegt sich sein interner Zustand entlang eines glatten Pfades (einer Trajektorie) über diese Karte.

Die Analogie: Denken Sie an die Geschichte als Wanderweg. Wenn der Protagonist in ein Loch fällt, rutscht der „Überzeugungs-Marker" des Modells auf der Karte in Richtung der Zone „Traurigkeit". Wenn der Held die Kreaturen rettet, rutscht der Marker zurück in Richtung „Glück". Die Arbeit ergab, dass diese Pfade nicht chaotisch sind; sie folgen einer strukturierten, vorhersagbaren Geometrie, ähnlich wie ein Fluss, der durch ein Tal fließt.

2. Die zwei Seiten der Medaille (Verhalten vs. Gehirn)

Die Forscher betrachteten das Modell auf zwei Arten:

Verhalten: Was das Modell sagt, wenn man fragt: „Wie glücklich ist diese Geschichte gerade?" (z. B. eine Bewertung von 7/10).
Interne Repräsentationen: Die eigentliche Mathematik, die im „Gehirn" des Modells (seine neuronalen Aktivierungen) stattfindet, während es den Text verarbeitet.

Die Entdeckung: Der Pfad, den das Modell auf der „Verhaltenskarte" (was es sagt) nimmt, ist fast identisch mit dem Pfad, den es auf der „Gehirnkarte" (was es denkt) nimmt.

Die Analogie: Es ist wie das Beobachten einer Marionette. Die Arbeit ergab, dass die Fäden, die die Marionette ziehen (die interne Mathematik), und die tatsächlichen Bewegungen der Marionette (die Ausgabe) perfekt synchronisiert sind. Wenn man die Fäden sehen könnte, könnte man genau vorhersagen, wohin sich die Marionette als Nächstes bewegen würde, und umgekehrt.

3. Das Lesen des Geistes mit einer linearen Sonde

Die Autoren verwendeten ein Werkzeug namens „lineare Sonde". Stellen Sie sich dies als einfachen Übersetzer vor.

Sie zeigten, dass man die komplexe, chaotische Mathematik im „Gehirn" des Modells zu einem gegebenen Zeitpunkt betrachten und mithilfe einer einfachen linearen Gleichung (einer geraden Linie) in eine Vorhersage dessen übersetzen kann, was das Modell über die Emotion der Geschichte glaubt.
Das Ergebnis: Dieser Übersetzer funktionierte erstaunlich gut. Das bedeutet, dass die „Überzeugungen" des Modells nicht in einer undurchdringlichen Blackbox verborgen sind; sie sind klar im internen Code des Modells geschrieben und warten nur darauf, gelesen zu werden.

4. Die Steuerung der Geschichte (Die Fernbedienung)

Der aufregendste Teil der Arbeit ist, dass sie das Modell nicht nur beobachteten, sondern es steuerten.

Die Analogie: Stellen Sie sich vor, der Überzeugungspfad des Modells ist ein Auto, das eine Straße entlangfährt. Die Forscher stellten fest, dass sie das Lenkrad greifen konnten (indem sie die interne Mathematik anpassten) und das Auto zu einem bestimmten Ziel zwangen, wie „Glück", selbst wenn der Geschichtentext natürlich in Richtung „Traurigkeit" führte.
Der Haken (Die Geometrie der Steuerung): Wenn sie das Modell in Richtung „Traurigkeit" steuerten, wurde es nicht nur trauriger; es wurde auch leicht wütender und weniger glücklich.
Warum? Weil auf ihrer „Überzeugungskarte" Traurigkeit und Wut Nachbarn sind. Wenn man das Modell in Richtung Traurigkeit schiebt, stößt man es unweigerlich auch in Richtung Wut. Die Arbeit ergab, dass wie sehr das Modell durch diese Steuerung „verwirrt" wird, ausschließlich davon abhängt, wie nah die Konzepte auf der Karte beieinander liegen. Wenn zwei Konzepte weit voneinander entfernt sind, beeinflusst die Steuerung des einen das andere nicht. Wenn sie nah beieinander sind, verwickeln sie sich miteinander.

Zusammenfassung der Hauptbehauptungen

Überzeugungen haben eine Form: Wenn LLMs Geschichten lesen, bewegen sich ihre sich wandelnden Überzeugungen entlang glatter, strukturierter Pfade in einem niedrigdimensionalen geometrischen Raum.
Gedanken entsprechen Handlungen: Die interne Mathematik des Modells und seine externen Antworten folgen auf dieser Karte exakt demselben Pfad.
Wir können Überzeugungen lesen und schreiben: Wir können vorhersagen, was das Modell glaubt, indem wir einfach seine interne Mathematik betrachten, und wir können seine Überzeugungen ändern, indem wir diese Mathematik sanft anstoßen.
Die Geometrie herrscht: Die Art und Weise, wie das Modell auf Veränderungen reagiert (Steuerung), wird durch den Abstand zwischen Konzepten auf dieser Karte bestimmt. Konzepte, die auf der Karte „Nachbarn" sind, beeinflussen sich gegenseitig; diejenigen, die weit entfernt sind, tun dies nicht.

Kurz gesagt argumentiert die Arbeit, dass LLMs nicht nur raten; sie navigieren eine strukturierte, geometrische Landschaft von Konzepten, und wir können nun die Karte sehen, die Koordinaten lesen und sogar das Fahrzeug steuern.

Technische Zusammenfassung: Geschichten im Raum: In-Context-Lernpfade im konzeptuellen Glaubensraum

Problemstellung

Large Language Models (LLMs) zeigen beeindruckende Fähigkeiten zum In-Context-Learning (ICL), indem sie ihr Verhalten an neue Informationen anpassen, ohne Gewichtsupdates vorzunehmen. Dieser Prozess wird häufig als bayessche Inferenz interpretiert, bei der das Modell latente Konzepte basierend auf Eingabedaten neu gewichtet. Die Struktur des latenten Hypothesenraums, über den diese Inferenz operiert, bleibt jedoch unklar. Insbesondere ist unbekannt, wie LLMs komplexe Konzepte repräsentieren und wie sie ihre Überzeugungen über diese Konzepte dynamisch aktualisieren, während sie freien Text wie Geschichten verarbeiten, bei denen Überzeugungsaktualisierungen nicht-linear und idiosynkratisch statt stetig und monoton sein können.

Methodik

Die Autoren postulieren, dass LLMs Überzeugungen über einen niedrigdimensionalen geometrischen Raum zuweisen, der als konzeptueller Glaubensraum bezeichnet wird, und dass ICL einer Trajektorie durch diesen Raum entspricht. Um dies zu untersuchen, kombinieren sie Verhaltens- und Repräsentationsanalysen unter Verwendung des Verstehens von Geschichten als natürliches Setting für dynamische Überzeugungsaktualisierungen.

Theoretischer Rahmen

Die Arbeit erweitert die Theorie der konzeptuellen Räume (Gärdenfors, 2000), um Unsicherheit und Überzeugung zu berücksichtigen.

Konzeptueller Raum ( $C$ ): Ein metrischer Raum über Attribute, in dem Konzepte als konvexe Teilräume definiert sind.
Konzeptueller Glaubensraum ( $B$ ): Ein metrischer Raum von Wahrscheinlichkeitsverteilungen über $C$ , der die Überzeugungszustände des Modells repräsentiert.
Überzeugungstrajektorien: Eine Sequenz von Überzeugungszuständen ( $b_{1:T}$ ), während das Modell eine Geschichte $x_{1:T}$ verarbeitet, die einen Pfad durch den Glaubensraum bildet.

Experimentelles Setup

Datensatz: Die Autoren verwenden den SimpleStories-Datensatz, der synthetisch generierte Kurzgeschichten in verschiedenen Stilen (Abenteuer, Klassisch, Heiter, Melancholisch, Tragisch) umfasst.
Domänen: Drei konzeptuelle Domänen wurden getestet:
1. Emotionen: Glück, Traurigkeit, Wut, Überraschung, Angst, Ekel.
2. Genres: Heiter, Märchen, Abenteuer, Spannend, Tragisch, Horror.
3. Beliebig: Magie, Tiere, Neugier, Teamwork, Kreativität, Verantwortung (dienen als Gegenbeispiel ohne erwartete Struktur).
Modell: Llama-3.1-8b-instruct (4-Bit-quantisiert).

Kerntechniken

Überzeugungserhebung: Das Modell wird nach jedem Satz einer Geschichte aufgefordert, die Anwendbarkeit spezifischer Konzepte auf einer Skala von 0–10 zu bewerten. Der verhaltensbasierte Überzeugungszustand $y_{t,c}$ wird als Erwartungswert der Token-Wahrscheinlichkeiten des Modells berechnet.
Dimensionsreduktion: Uniform Manifold Approximation and Projection (UMAP) und PCA werden sowohl auf Verhaltensdaten ( $Y$ ) als auch auf Residualaktivierungen ( $Z$ ) angewendet, um niedrigdimensionale Mannigfaltigkeiten ( $\mathcal{M}_y$ und $\mathcal{M}_z$ ) zu identifizieren.
Lineare Sonden: Lineare Regressionsmodelle werden trainiert, um verhaltensbasierte Überzeugungen ( $y_{t,c}$ ) aus Aktivierungen verborgener Schichten ( $z_{t,\ell}$ ) vorherzusagen, um zu testen, ob Überzeugungen linear kodiert sind.
Aktivierungssteuerung: Die Autoren greifen in latente Aktivierungen ein, indem sie Steuervektoren (abgeleitet aus Gewichten linearer Sonden oder Differenzen der Mittelwerte) hinzufügen, um eine kausale Kontrolle über Überzeugungstrajektorien zu testen.

Hauptbeiträge und Ergebnisse

1. Niedrigdimensionale strukturierte Mannigfaltigkeiten

Die Studie findet heraus, dass Überzeugungsaktualisierungen in LLMs gut als Trajektorien auf niedrigdimensionalen, strukturierten Mannigfaltigkeiten beschrieben werden können.

Verhaltens- und Repräsentationsausrichtung: Die aus dem Modellverhalten ( $\mathcal{M}_y$ ) und den internen Aktivierungen ( $\mathcal{M}_z$ ) abgeleiteten Mannigfaltigkeiten sind hochkorreliert und teilen strukturelle Eigenschaften.
Domänenstruktur: Für die Domänen Emotionen und Genres weisen die Mannigfaltigkeiten eine klare Struktur auf. Bei Emotionen entspricht die Geometrie der gelernten Mannigfaltigkeit eng dem menschlich validierten Valenz-Arousal-Raum (Russell & Mehrabian, 1977), mit einer Korrelation von $r=0,93$ zwischen menschlichen Bewertungen und dem verhaltensbasierten Mannigfaltigkeitsmodell des Modells.
Kontrast zu Beliebig: Die Beliebig-Domäne, der eine inhärente semantische Struktur fehlt, zeigte eine weniger klare Mannigfaltigkeitsstruktur und eine niedrigere Korrelation zwischen Verhaltens- und Aktivitätsmannigfaltigkeiten ( $r=0,71$ ), was die Hypothese stützt, dass Struktur aus bedeutungsvollen konzeptuellen Beziehungen entsteht.

2. Lineare Dekodierbarkeit von Überzeugungen

Lineare Sonden, die auf Aktivierungen verborgener Schichten trainiert wurden, können die verhaltensbasierten Überzeugungen des Modells genau vorhersagen.

Sonden in Schicht $\ell=9$ erzielten einen niedrigen Root Mean Square Error (RMSE) bei der Vorhersage von Überzeugungsdynamiken: 0,09 für Emotionen, 0,09 für Genres und 0,11 für Beliebig.
Dies legt nahe, dass die Informationen über die „Überzeugungen" des Modells bezüglich der Geschichte im Residualstrom linear zugänglich sind, selbst wenn das Modell nicht explizit angewiesen wird, spezifische Konzepte zu berücksichtigen.

3. Kausale Steuerung und Geometrie

Eingriffe in verborgene Repräsentationen steuern kausal Überzeugungstrajektorien, und die Auswirkungen dieser Eingriffe sind aus der Geometrie des konzeptuellen Raums vorhersagbar.

Steuerungseffekt: Das Hinzufügen von Steuervektoren für ein Zielkonzept (z. B. Traurigkeit) verschiebt die Trajektorie des Modells im Glaubensmannigfaltigkeitsraum in Richtung dieses Konzepts.
Steuerungsverflechtung: Die Steuerung eines Konzepts beeinflusst oft verwandte Konzepte (z. B. führt die Steuerung für Traurigkeit zu einer Zunahme von Wut und einer Abnahme von Glück). Diese Verflechtung spiegelt die geometrischen Abstände zwischen Konzeptzentroiden im Mannigfaltigkeitsraum wider.
Vorhersagbarkeit: Der Grad der Steuerungsverflechtung zwischen Konzepten korreliert signifikant mit dem Abstand ihrer Zentroide im gelernten Mannigfaltigkeitsraum ( $r=0,65$ für Emotionen).
Schichtdynamik: Die Steuerung auf einer einzelnen Schicht führt oft nicht zum Output, da das Modell sich selbst korrigiert; die Steuerung über einen Bereich von Schichten hinweg (z. B. Schichten 7–14) verändert jedoch erfolgreich das endgültige Outputverhalten.

Bedeutung und Behauptungen

Die Arbeit behauptet, eine geometrische Erklärung der Überzeugungsdynamik in LLMs zu liefern, die bayessche Interpretationen des In-Context-Learnings in strukturierten konzeptuellen Repräsentationen verankert.

Vereinheitlichung von Rahmenwerken: Die Arbeit schließt die Lücke zwischen probabilistischen Lerntheorien (bayessche Inferenz) und geometrischen Theorien konzeptueller Repräsentation (konzeptuelle Räume) in der Kognitionswissenschaft.
Interpretierbarkeit: Sie zeigt, dass komplexe, dynamische Überzeugungsaktualisierungen in freiem Text als glatte Trajektorien durch einen niedrigdimensionalen Raum verstanden werden können, der dekodiert und manipuliert werden kann.
Bescheidenheit: Die Autoren erkennen Einschränkungen an und stellen fest, dass die Studie auf handverlesenen Domänen und Konzepten basiert, Konzepte als einheitlich und nicht als zusammengesetzt behandelt und sich auf globale Überzeugungen auf Story-Ebene statt auf charakter-spezifische konzentriert. Sie betrachten dies als einen ersten Schritt hin zu einer theoretischen Grundlage für die Interpretierbarkeit von LLMs und schlagen vor, dass zukünftige Arbeiten Methoden zur „Auto-Interpretierbarkeit" erforschen sollten, um konzeptuelle Domänen zu entdecken und zu untersuchen, wie diese Räume Unsicherheit bei der Generierung langer Texte prägen.

Zusammenfassend argumentiert die Arbeit, dass LLMs Text nicht nur als Sequenz von Token verarbeiten, sondern einen strukturierten, niedrigdimensionalen konzeptuellen Glaubensraum navigieren und ihren internen Zustand entlang glatter Trajektorien aktualisieren, die den semantischen und emotionalen Inhalt der Erzählung widerspiegeln.