💬 NLP

How Context Shapes Truth: Geometric Transformations of Statement-level Truth Representations in LLMs

Diese Arbeit liefert die erste geometrische Charakterisierung dessen, wie Kontext Wahrheitvektoren in Large Language Models transformiert, wobei sie aufzeigt, dass Kontext die Magnitude von Wahrheitsrepräsentationen im Allgemeinen verstärkt, während größere Modelle relevante von widersprüchlichen Kontexten primär durch Richtungsänderungen im Aktivierungsraum statt durch Differenzen in der Magnitude unterscheiden.

Ursprüngliche Autoren: Shivam Adarsh, Maria Maistro, Christina Lioma

Veröffentlicht 2026-06-09

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Shivam Adarsh, Maria Maistro, Christina Lioma

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein großes Sprachmodell (LLM) als eine riesige, mehrstöckige Bibliothek vor, in der jedes Buch einen anderen Gedanken oder eine andere Information repräsentiert. In dieser Bibliothek ist die „Wahrheit“ über eine Aussage nicht in Worten geschrieben; sie ist als ein spezifischer Pfeil gespeichert, der in eine bestimmte Richtung zeigt.

Wenn das Modell denkt, dass eine Aussage wahr ist, zeigt der Pfeil in die eine Richtung. Wenn es denkt, dass sie falsch ist, zeigt der Pfeil in die andere Richtung. Das von Ihnen geteilte Paper untersucht, was mit diesen „Wahrheitspfeilen“ passiert, wenn wir dem Modell ein Stück zusätzlicher Information (Kontext) geben, das es vor der Beantwortung lesen soll.

Hier ist die Aufschlüsselung der Ergebnisse unter Verwendung einfacher Analogien:

1. Die dreistufige Reise eines Pfeils

Die Forscher beobachteten diese Wahrheitspfeile, während sie durch die verschiedenen „Etagen“ (Schichten/Layers) der Bibliothek reisten. Sie fanden ein konsistentes dreistufiges Muster:

Das Kellergeschoss (Frühe Schichten): Wenn das Modell eine Aussage zuerst liest, zeigen der „Wahrheitspfeil“ mit Kontext und der „Wahrheitspfeil“ ohne Kontext in völlig unterschiedliche Richtungen. Sie sind wie zwei Menschen, die Rücken an Rücken stehen; sie sind orthogonal (im 9en Winkel zueinander). Das Modell verarbeitet gerade nur die rohen Wörter, sodass der zusätzliche Kontext die Wahrheit noch nicht sinnvoll erschlossen hat.
Die Haupthalle (Mittlere Schichten): Während die Information nach oben wandert, beginnen die Pfeile plötzlich, sich auszurichten. Sie konvergieren und zeigen fast in dieselbe Richtung. Hier „versteht“ das Modell es tatsächlich. Es hat die Bedeutung verarbeitet, und ob es nun zusätzlichen Kontext gab oder nicht, die Kernidee der „Wahrheit“ wird nun ähnlich dargestellt.
Das Dachgeschoss (Späte Schichten): In den letzten Etagen wird es interessant. Manchmal bleiben die Pfeile perfekt ausgerichtet. Ein anderes Mal beginnen sie wieder, auseinander zu driften. Dies geschieht meistens dann, wenn der zusätzliche Kontext dem widerspricht, was das Modell bereits aus seinem Training „weiß“. Es ist, als ob das Modell eine interne Debatte führt, was dazu führt, dass der Pfeil wackelt oder die Richtung ändert, während das Modell versucht zu entscheiden, welcher Information es vertrauen soll.

2. Die Lautstärke aufdrehen (Magnitude)

Die Forscher maßen auch die Länge dieser Pfeile.

Das Ergebnis: Wenn man Kontext hinzufügt, werden die Pfeile im Allgemeinen länger.
Die Analogie: Stellen Sie sich den Unterschied zwischen einer wahren Aussage und einer falschen Aussage wie die Distanz zwischen zwei Personen vor, die in einem Raum stehen. Ohne Kontext stehen sie vielleicht 1,5 Meter auseinander. Wenn man Kontext hinzufügt, drückt das Modell sie weiter auseinander, vielleicht auf 3 Meter. Die „Trennung“ zwischen Wahrheit und Lüge wird deutlicher und leichter erkennbar. Der Kontext wirkt wie ein Scheinwerfer, der den Unterschied zwischen Richtig und Falsch klarer macht.

3. Große Modelle vs. kleine Modelle: Unterschiedliche Strategien

Das Paper entdeckte, dass große und kleine Modelle diesen „zusätzlichen Informationen“ auf unterschiedliche Weise begegnen, wie zwei verschiedene Arten von Navigatoren:

Die großen Modelle (z. B. LLaMA, Mistral): Diese Modelle sind wie Experten-Kartografen mit riesigen Karten. Wenn sie relevanten Kontext erhalten, ändern sie die Richtung ihres Pfeils. Sie drehen sich physisch, um eine neue, genauere Richtung einzuschlagen. Sie nutzen den zusätzlichen Platz in ihrem „Gehirn“, um in eine völlig neue Richtung zu zeigen, um zu zeigen, dass sie die Nuance verstehen.
Die kleinen Modelle (z. B. Qwen, SmolLM): Diese Modelle haben kleinere Karten. Sie können es sich nicht immer leisten, den Pfeil in eine neue Richtung zu drehen, ohne mit anderen Ideen zusammenzustoßen. Stattdessen lassen sie den Pfeil etwa in dieselbe Richtung zeigen, aber machen ihn länger. Sie signalisieren, dass sie den Kontext verstehen, indem sie das Signal „verstärken“ (den Pfeil länger machen), anstatt den Winkel zu ändern.

4. Guter Kontext vs. zufälliges Rauschen

Die Forscher testeten, was passiert, wenn der Kontext tatsächlich nützlich ist im Vergleich zu dem, wenn er nur zufälliger Unsinn ist (wie eine Liste von Zufallswörtern oder ein durchgemischter Absatz).

Das Ergebnis: Relevanter, hilfreicher Kontext verursacht eine viel größere Reaktion in den „Wahrheitspfeilen“ des Modells als zufälliges Rauschen.
Die Ausnahme: Wenn der Kontext widersprüchlich ist (dem Modell etwas erzählt, das gegen sein Training verstößt), verursacht dies die größte geometrische Verschiebung überhaupt. Es ist, als ob das Modell geschockt ist; der Pfeil schwingt wild aus, weil es zwei gegensätzliche Fakten miteinander in Einklang bringen muss.
Das Problem mit Rechtstexten: Interessanterweise konnten die Modelle den Unterschied kaum feststellen, wenn der Kontext sehr komplexer, technischer Rechtstext war. Die „Pfeile“ bewegten sich kaum. Es scheint, dass das Modell bei zu dichter und spezialisierter Sprache nicht unterscheiden kann, ob es sich um einen hilfreichen Hinweis oder einen zufälligen Satz handelt.

Zusammenfassung

Kurz gesagt zeigt dieses Paper, dass ein LLM, wenn es eine Aussage mit zusätzlichem Kontext liest, nicht einfach nur die Wörter „liest“, sondern die Geometrie seiner internen Gedanken physisch umgestaltet.

Anfangs sind die Gedanken verwirrt und zeigen in alle Richtungen.
In der Mitte richten sie sich aus, um die Wahrheit zu finden.
Am Ende wird der „Wahrheitspfeil“ länger (selbstbewusster) oder ändert die Richtung (wenn der Kontext knifflig ist).
Große Modelle ändern die Richtung des Pfeils, um zu zeigen, dass sie verstehen; kleine Modelle ändern die Länge des Pfeils.

Dies hilft uns zu verstehen, dass „Wahrheit“ in einer KI kein statischer Schalter ist, sondern eine dynamische Form, die sich ändert, je nachdem, was die KI gerade liest.

Technisches Resümee: Wie Kontext die Wahrheit formt

Problemstellung

Während vorangegangene Forschungen etabliert haben, dass Large Language Models (LLMs) die Wahrhaftigkeit von Aussagen als lineare Richtungen (Vektoren) innerhalb ihrer Residual-Stream-Aktivierungen kodieren, bleibt die geometrische Evolution dieser „Wahrheitsvektoren“ bei der Einführung kontextueller Informationen bisher unerforscht. Bestehende Studien zeigen, dass Wahrheit von Unwahrheiten im Aktivierungsraum getrennt werden kann und dass Probes über verschiedene Settings hinweg generalisieren können, aber sie charakterisieren nicht, wie sich die Geometrie dieser Repräsentationen – spezifisch ihre Richtung und Magnitude – transformiert, wenn ein Modell eine Aussage zusammen mit einem Kontext verarbeitet. Diese Lücke ist entscheidend für das Verständnis, wie LLMs externe Informationen integrieren, insbesondere in Szenarien der Retrieval-Augmented Generation (RAG) und des In-Context Learning.

Methodik

Die Autoren schlagen ein Framework vor, um die durch Kontext induzierten geometrischen Transformationen von Wahrheitsvektoren zu messen. Der experimentelle Aufbau umfasst vier instruktionsgestimmte LLMs (LLaMA-3.1-8B, Mistral-Nemo-12B, Qwen3-4B und SmolLM3-3B) sowie vier Datensätze, die diverse Domänen abdecken (Faktencheck, Recht, Film-Synopsen und synthetische Wissenskonflikte).

Kernverfahren:

Prompt-Konstruktion: Für jede Aussage werden vier Prompts generiert, indem die [Ausgewählte Wahl] (Unterstützung oder Widerlegung der Aussage) und das Vorhandensein von [Kontext] (mit oder ohne) variiert werden. Das Modell wird angewiesen, eine Vervollständigung beginnend mit einem spezifischen Token (z. B. ")") zu generieren, um einen fairen Vergleich zu gewährleisten.
Vektorextraktion: Wahrheitsvektoren werden aus den Residual-Stream-Aktivierungen (post-MLP) an der Position des ersten generierten Tokens extrahiert. Die Wahrheitsvektoren ohne Kontext ( $v_{k,nc}^{(l)}$ ) und mit Kontext ( $v_{k,c}^{(l)}$ ) für eine Aussage $k$ in Schicht $l$ sind definiert als die Differenz zwischen den Aktivierungen für wahre und falsche Vervollständigungen:
$v_{k,nc}^{(l)} = a_{k,True, nc}^{(l)} - a_{k,False, nc}^{(l)}$
$v_{k,c}^{(l)} = a_{k,True, c}^{(l)} - a_{k,False, c}^{(l)}$
Geometrische Metriken: Zwei Eigenschaften werden gemessen, um die Veränderung zu quantifizieren:
- Richtungsänderung ( $\theta$ ): Der Winkel zwischen dem Wahrheitsvektor mit Kontext und ohne Kontext, berechnet über die Kosinusähnlichkeit.
- Relative Magnitude: Das Verhältnis der L2-Norm des Wahrheitsvektors mit Kontext zur Norm ohne Kontext ( $||v_{k,c}^{(l)}||_2 / ||v_{k,nc}^{(l)}||_2$ ). Werte $>1$ deuten auf eine Verstärkung der Trennung zwischen wahren und falschen Repräsentationen hin.

Die Studie vergleicht zudem relevanten Kontext gegen fünf Arten von zufälligem/irrelevantem Kontext (zufällige Zeichen, zufällige Wörter, inkohärente Sätze, zufälliger Wikipedia-Text und verschachtelte Datensatz-Kontexte), um die Sensitivität gegenüber Relevanz zu bewerten.

Zentrale Ergebnisse

1. Dreiphasen-Muster der Richtungsänderung

Über alle Modelle und Datensätze hinweg folgt die Richtungsänderung ( $\theta$ ) einem konsistenten Dreiphasen-Muster über die Schichten:

Phase 1 (Frühe Schichten): Wahrheitsvektoren mit und ohne Kontext sind annähernd orthogonal (hohes $\theta$ ), was auf distinkte Repräsentationen in frühen Verarbeitungsstadien hindeutet.
Phase 2 (Mittlere Schichten): Die Vektoren konvergieren stark und erreichen ein Minimum in $\theta$ . Dies deckt sich mit der bekannten Rolle mittlerer Schichten bei der semantischen Kodierung und dem Wissensabruf. Bemerkenswerterweise erreicht $\theta$ nie Null, was bedeutet, dass Kontext immer eine distinkte geometrische Signatur hinterlässt.
Phase 3 (Späte Schichten): Das Verhalten variiert. Bei einigen Datensätzen stabilisieren sich die Vektoren. Bei anderen (speziell wenn der Kontext mit dem parametrischen Wissen kollidiert, z. B. ConflictQA-Counter) steigt $\theta$ wieder an, was darauf hindeutet, dass widersprüchliche Signale in tieferen Schichten weiter verarbeitet werden.

2. Verstärkung der Wahrheitsseparation

Das Hinzufügen von Kontext erhöht generell die relative Magnitude der Wahrheitsvektoren (Werte $>1$ ). Dies deutet darauf hin, dass Kontext die Trennung zwischen wahren und falschen Repräsentationen im Aktivierungsraum verstärkt. Dieser Effekt ist in den mittleren Schichten am ausgeprägtesten, wo die relative Magnitude oft gipfelt, bevor sie in späteren Schichten stagniert.

3. Modellgröße und Sensitivitätsmechanismen

Es existiert eine signifikante Divergenz zwischen größeren und kleineren Modellen hinsichtlich der Art und Weise, wie sie Kontextrelevanz kodieren:

Größere Modelle (LLaMA, Mistral): Unterscheiden relevanten von irrelevantem Kontext primär durch die Richtungsänderung ( $\theta$ ). Relevanter Kontext induziert signifikant höhere Richtungsverschiebungen im Vergleich zu zufälligem Kontext.
Kleinere Modelle (Qwen, SmolLM): Unterscheiden relevanten von irrelevantem Kontext primär durch die Magnitude-Skalierung. Während die Richtungsänderungen oft vernachlässigbar oder negativ sind, ist die relative Magnitude der Wahrheitsvektoren für relevanten Kontext signifikant höher. Die Autoren hypothetisieren, dass dies auf die Kapazitätsbeschränkungen der Repräsentation in niederdimensionalen Räumen zurückzuführen ist, was Magnitude zu einer praktikableren Kodierungsstrategie macht als distinkte Richtungen.

4. Einfluss von Wissenskonflikten

Kontext, der dem parametrischen Wissen widerspricht (ConflictQA-Counter), erzeugt größere geometrische Veränderungen (höheres $\theta$ und höhere Magnitude) als Kontext, der mit dem parametrischen Wissen übereinstimmt. Dies deut lässt darauf schließen, dass kollidierende Informationen stärkere, persistente geometrische Verschiebungen auslösen, was potenziell den Wettbewerb zwischen Gedächtnis- und Kontextpfaden widerspiegelt.

5. Domänenspezifität

In komplexen, domänenspezifischen Datensätzen wie LegalBench (Corporate Lobbying) versäumen es Modelle oft, signifikante geometrische Unterschiede zwischen relevantem und zufälligem Kontext aufzuzeigen. Dies korreliert mit niedrigen Flesch-Lesbarkeitswerten, was darauf hindeutet, dass hochtechnische Sprache die Fähigkeit des Modells überfordern kann, aussagekräftige geometrische Signale zur Unterscheidung der Relevanz zu extrahieren.

Bedeutung und Behauptungen

Die Arbeit beansprucht, die erste geometrische Charakterisierung der Art und Weise zu liefern, wie Kontext die Wahrheitsrepräsentationen in LLMs transformiert. Die Ergebnisse bieten eine theoretische Linse zum Verständnis der internen Kontextverarbeitung und haben praktische Implikationen für:

RAG-Systeme: Schichtweise $\theta$ -Werte könnten als diagnostische Signale dienen, um zu erkennen, wann ein Modell die abgerufene Kontexte nicht integriert (mangelnde Konvergenz in mittleren Schichten) oder wenn Wissenskonflikte bestehen (anormale Divergenz in späten Schichten).
Steuerung kleinerer Modelle: Die Entdeckung, dass kleinere Modelle eher auf Magnitude als auf Richtung angewiesen sind, legt nahe, dass Activation-Steering-Techniken für diese Modelle eher auf Magnitude-Skalierung als auf rein gerichteten Interventionen basieren sollten.

Die Autoren vertreten eine moderate Position und merken an, dass diese geometrischen Änderungen zwar signifikant sind, sich aber nicht immer linear in Änderungen der Output-Wahrscheinlichkeit niederschlagen. Sie räumen zudem Einschränkungen ein, einschließlich des Fokus auf das erste Token, der Verwendung von ausschließlich englischen Datensätzen und der spezifischen Natur der untersuchten instruktionsgestimmten Modelle.