💬 NLP

Perfect Detection, Failed Control: The Geometry of Knowing vs. Steering in Language Models

Diese Arbeit zeigt auf, dass in Sprachmodellen die geometrische Richtung, welche ein Verhalten (wie etwa Halluzination) am besten detektiert, fundamental von der Richtung entkoppelt ist, die dieses steuert, was offenbart, dass Detektion nicht Steuerbarkeit impliziert und dass diese „Detektions-Interventions-Lücke“ eine im Pretraining entstandene strukturelle Dissoziation darstellt und kein vorhersagbares Maß für Kontrollierbarkeit ist.

Ursprüngliche Autoren: Cosimo Galeone, Anna Ettorre, Minsu Park, Giuseppe Ettorre, Daniele Ligorio

Veröffentlicht 2026-06-25

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Cosimo Galeone, Anna Ettorre, Minsu Park, Giuseppe Ettorre, Daniele Ligorio

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein Sprachmodell (wie die KI in dieser Arbeit) als einen hochqualifizierten, aber leicht verwirrten Koch in einer Küche vor.

Die Arbeit stellt eine grundlegende Frage: Wenn der Koch genau weiß, was mit einem Gericht falsch ist, kann er es dann einfach korrigieren?

Die Forscher fanden eine überraschende Antwort: Manchmal weiß der Koch perfekt Bescheid, aber seine Hände sind in eine andere Richtung gebunden. Sie fanden heraus, dass das „Gehirnsignal“, das dem Modell sagt „das ist gefälscht“, und das „Handsignal“, das dem Modell sagt „stopp und sag nein“, in fast völlig unterschiedliche Richtungen zeigen.

Hier ist die Aufschlüsselung ihrer Entdeckung unter Verwendung einfacher Analogien.

1. Die zwei Szenarien: Der „einfache“ Fall vs. der „schwere“ Fall

Die Forscher testeten die KI bei zwei sehr unterschiedlichen Aufgaben, um zu sehen, wie „Wissen“ und „Handeln“ zusammenhängen.

Szenario A: Das Ausgabeformat (Der „einfache“ Fall)

Die Aufgabe: Die KI wird gebeten, eine Liste zu schreiben. Sie kann diese entweder in Code-Blöcke einschließen (wie ein Computerprogramm) oder als Fließtext schreiben.
Das Ergebnis: Hier gilt: Wissen ist Handeln.
Die Analogie: Stellen Sie sich vor, der Koch hat einen einzigen Schalter an der Wand. Wenn er ihn umlegt, ändert sich die Farbe des Küchenlichts (Erkennung des Modus) und das Essen kommt in der richtigen Box heraus (Steuerung des Modus). Der „Schalter“ und das „Licht“ sind exakt dieselbe Sache. Im Gehirn der KI ist die Richtung, die erkennt: „Ich sollte Code-Blöcke verwenden“, exakt dieselbe Richtung, die es bewirkt, dass sie Code-Blöcke verwendet.

Szenario B: Halluzination (Der „schwere“ Fall)

Die Aufgabe: Die KI wird nach einem fiktiven Ort gefragt (z. B. „Was ist die Hauptstadt von Norlandia?“).
Das Ergebnis: Hier gilt: Wissen ist NICHT Handeln.
Die Analogie: Stellen Sie sich vor, der Koch hat einen super-sensiblen Rauchmelder.
- Der Detektor: Der Rauchmelder ist perfekt. Er schreit „FEUER!“ (oder „Das ist gefälscht!“), sobald eine gefälschte Entität erscheint. Die KI weiß zu 100 %, dass „Norlandia“ nicht existiert.
- Die Aktion: Der Knopf, um den „Herd auszuschalten“ (die Antwort zu verweigern), befindet sich jedoch auf der anderen Seite des Raumes.
- Das Ergebnis: Der Koch schreit „FEUER!“ (die KI erkennt das Gefälschte), aber da der „Stopp“-Knopf in eine völlig andere Richtung liegt, kocht der Koch weiter und serviert trotzdem ein gefälschtes Gericht.

2. Die Geometrie des Problems: Die „90-Grad-Drehung“

Die Arbeit nutzt die Geometrie, um dies zu messen. Stellen Sie sich vor, das Gehirn der KI ist ein riesiger Raum mit tausenden Richtungen, in die man eine Taschenlampe richten kann.

Der Detektionsstrahl: Diese Taschenlampe zeigt auf die gefälschte Entität und sagt: „Ich sehe dich!“
Der Kontrollstrahl: Diese Taschenlampe zeigt auf den „Ablehnen“-Knopf.

Im „e einfachen“ Fall (Format) zeigen diese beiden Taschenlampen in die exakt gleiche Richtung (0 Grad Differenz).
Im „Halluzinations“-Fall zeigen diese beiden Taschenlampen in fast entgegengesetzte Richtungen (etwa 83 Grad auseinander, also fast ein rechter Winkel).

Da sie so weit auseinanderliegen, funktionierte es nicht, als die Forscher versuchten, die KI in die „Detektions“-Richtung zu drücken, um die Halluzination zu stoppen. Es war, als würde man versuchen, eine Tür zu öffnen, indem man gegen die Wand daneben drückt.

3. Warum passiert das? Das „Copy-Paste“-Monster

Die Forscher gingen der Frage nach, warum die Signale so weit auseinanderliegen. Sie fanden ein „Monster“ im Gehirn der KI, das zu stark ist, um ignoriert zu werden.

Der Mechanismus: Die KI hat die Angewohnheit, das wichtigste Wort aus der Frage in die Antwort zu kopieren. Wenn man nach „Norlandia“ fragt, möchte das Gehirn der KI automatisch „Norlandia“ in die Antwort schreiben.
Der Konflft: Das „Fake-Detektor“-Signal ist ein winziges, leises Flüstern, das sagt: „Sag das nicht.“ Aber das „Copy-Paste“-Signal ist ein riesiges, lautes Schreien, das sagt: „SCHREIBE DEN NAMEN!“
Das Ergebnis: Obwohl die KI weiß, dass es gefälscht ist (der Detektor funktioniert perfekt), ist die „Copy-Paste“-Gewohnheit so laut, dass sie die Verweigerung übertönt. Die KI erfindet am Ende selbstbewusst Fakten, weil der „Kopieren“-Knopf viel lauter ist als der „Stopp“-Knopf.

4. Können wir das beheben? Die „15-Grad-Drehung“

Die Forscher versuchten, dies zu beheben, indem sie ein neues „Lenkrad“ erschufen.

Die Idee: Da die „Detektions“-Richtung und die „Verweigerungs“-Richtung fast in einem rechten Winkel zueinander stehen, versuchten sie, dazwischen zu zielen.
Das Ergebnis: Sie rotierten ihre Steuerungsrichtung um nur 15 Grad in Richtung der „Verweigerung“.
Das Ergebnis: Dies behob nicht alles, half aber sehr viel. Es stoppte die KI dabei, etwa 60 % der Zeit gefälschte Fakten zu erfinden (hoch von 13 %), ohne versehentlich echte Fragen zu verweigern. Es ist, als würde man das Lenkrad leicht nach links drehen, um einem Schlagloch auszuweichen, anstatt direkt hineinzufahren.

5. Die große Lektion: „Wissen“ bedeutet nicht „Steuern“

Die wichtigste Erkenntnis ist eine Warnung für jeden, der versucht, KI zu kontrollieren:

Nur weil man die Richtung findet, in der die KI die Wahrheit „weiß“, bedeutet das nicht, dass diese Richtung die KI auch die Wahrheit „sagen“ lässt.

Der Mythos: „Wenn wir den Vektor für ‚Ehrlichkeit‘ finden, können wir ihn einfach zur KI hinzufügen, um sie ehrlich zu machen.“
Die Realität: Für manche Dinge (wie das Formatieren) funktioniert das. Für tiefes Wissen (wie das Wissen, dass Fakten gefälscht sind) liegen das „Wissens“-Signal und das „Handlungs“-Signal in verschiedenen Räumen. Man kann nicht einfach den „Wissen“-Knopf drücken und erwarten, dass die KI aufhört zu lügen.

Zusammenfassung

Die Arbeit zeigt, dass in der KI Detektion und Kontrolle oft zwei verschiedene Fähigkeiten sind. Die KI kann ein perfekter Detektiv sein (genau wissen, was gefälscht ist), aber ein schlechter Akteur (unfähig, sich selbst beim Lügen zu stoppen), weil die Gehirnsignale für „Wissen“ und „Handeln“ in fast völlig unterschiedliche Richtungen zeigen. Um dies zu beheben, kann man nicht einfach das „Wissen“-Signal nutzen; man muss einen neuen, leicht anderen Winkel finden, um die KI in das richtige Verhalten zu lenken.

Technisches Resümee: Perfekte Detektion, fehlende Kontrolle

Problemstellung

Die Arbeit untersucht eine zentrale Bestrebung der mechanistischen Interpretierbarkeit: die Annahme, dass ein Verhalten, das innerhalb der Aktivierungen eines Modells detektierbar ist, durch die Modifikation derselben Aktivierungen auch kontrolliert werden kann. Dieses Paradigma beruht auf einer verborgenen geometrischen Prämisse – nämlich, dass die Richtung im Residual Stream, die ein Verhalten am besten detektiert, dieselbe (oder eine eng verwandte) Richtung ist, die ein Verhalten am besten kontrolliert (steuert).

Die Autoren stellen diese Prämisse infrage, indem sie eine präzise geometrische Frage stellen: Wie groß ist der Winkel zwischen der Richtung, die ein Verhalten am besten diskriminiert, und der Richtung, die es am besten verursacht? Wenn Detektion Kontrolle impliziert, sollte der Winkel nahe $0^\circ$ liegen (Kosinus $\approx 1$ ). Wenn nicht, quantifiziert dieser Winkel eine „Detektions-Interventions-Lücke“. Die Arbeit testet diese Hypothese an zwei gegensätzlichen Verhaltensweisen: dem Ausgabeformat (eine Darstellungsentscheidung) und Halluzination (das Erfinden von Fakten über nicht existierende Entitäten).

Methodik

Die Studie verwendet Inferenz-Zeit-Analysen auf Gemma 2-2B-it (26 Schichten, 2304-dimensionaler Residual Stream) und repliziert die Ergebnisse bei drei weiteren Modellen (Llama-3.2-1B, Qwen-2.5-1.5B, Gemma 2-9B). Es wird kein Fine-Tuning durchgeführt; alle Interventionen sind kausale Manipulationen mittels Aktivierungsaddition.

Kernmessungen

Konstruktion der Richtung:
- Detektionsrichtung ( $d_{det}$ ): Auf zwei Arten erstellt:
  - Datengetrieben: Differenz der Mittelwerte (Difference-in-Means, DiM) der Residual-Aktivierungen zwischen „falschen“ und „echten“ Entitäts-Prompts.
  - Manuell ausgewählt: Kontrast von Zeilen in der Unembedding-Matrix ( $W_{lm\_head}$ ) zwischen Token, die typisch für Unsicherheit sind (z. B. „Unfortunately“), und Token, die typisch für Fabrikation sind (z. B. „The“, „Paris“).
- Interventionsrichtung ( $d_{ref}$ ): Manuell aus $W_{lm\_head}$ ausgewählt durch den Kontrast von Verweigerungs-Token (z. B. „No“, „cannot“) gegenüber kooperativen Token.
Geometrische Metrik: Die Kosinus-Ähnlichkeit ( $\cos$ ) zwischen $d_{det}$ und $d_{ref}$ .
Kausale Validierung: Richtungen werden in spezifischen Schichten zum Residual Stream hinzugefügt ( $\alpha \cdot d$ ), um die Verhaltensänderung (z. B. Verweigerungsraten) zu messen.
Signalzerlegung: Der Residual Stream wird in Attentions- und MLP-Beiträge zerlegt, um zu lokalisieren, wo das Detektionssignal residiert.
Modellübergreifende Replikation: Die geometrische Lücke wird über vier Modelle hinweg mit unterschiedlicher Skalierung und Familie gemessen, um die Generalisierbarkeit zu testen.

Kernergebnisse

1. Der ausgerichtete Fall: Ausgabeformat

Für die Aufgabe des Wechsels zwischen Markdown-Fencing und sauberem JSON kollabieren Detektion und Kontrolle auf eine einzelne Achse.

Die aus $W_{lm\_head}$ abgeleitete Richtung, die zwischen Fencing und sauberer Ausgabe unterscheidet, ist identisch mit der Richtung, die bei Addition das Fencing eliminiert.
Ergebnis: $\cos \approx 1$ . Detektion impliziert Kontrolle. Dies dient als „Overlay“-Baseline, bei der das Verhalten eine separierbare Darstellungsentscheidung ist.

2. Der divergente Fall: Halluzination

Für Halluzination (das Erfinden von Fakten über nicht existierende Entitäten) versagt die Prämisse vollständig.

Perfekte Detektion: Das Modell detektiert gefälschte Entitäten mit perfekter linearer Separabilität ($AUC = 1.000$) ab Schicht 5 unter Verwendung mehrerer Methoden (lineare Probes, Attention-Heads, SAE-Features).
Fehlende Kontrolle: Die Richtung, die Halluzination am besten detektiert, ist nahezu orthogonal zu der Richtung, die die Verweigerung verursacht.
- Kosinus: $\cos(d_{det}, d_{ref}) \approx 0.12$ (Winkel $\approx 83^\circ$ ).
- Methoden-Gap: Selbst eine rein aus Aktivierungen konstruierte Detektionsrichtung (DiM, keine handverlesenen Token) ergibt ein $\cos \approx -0.06$ gegenüber der Interventionsrichtung.
Konsequenz: Das Hinzufügen der perfekten Detektionsrichtung zum Residual Stream induziert keine Verweigerung; in einigen Fällen erhöht es sogar die Fabrikation. Das Signal existiert, führt aber nicht zur Output-Aktion.

3. Strukturelle Ursachen der Lücke

Dominanz der Entity-Copy: In der Output-Abbildung wird die Komponente des Residual Streams, die orthogonal zur Detektionsrichtung steht, von einem „Entity-Copy“-Mechanismus dominiert (der die saliente Entitätsbezeichnung verstärkt). Diese Komponente ist etwa $12\times$ größer als das Detektionssignal und überdeckt effektiv das epistemische Unsicherheitssignal.
MLP vs. Attention: Das Detektionssignal wird fast ausschließlich von MLP-Schichten (5,66 $\times$ mehr als Attention) in den späten Schichten (L18–L25) getragen. Die Attention-Schichten ab L17+ sind für dieses Signal entbehrlich; deren Entfernung verbessert die Ehrlichkeit sogar.
Instruction Tuning: Die geometrische Lücke ( $\cos \approx 0.12$ ) ist im Base-Modell vorhanden und bleibt nach dem Instruction Tuning unverändert. Das Tuning verschiebt zwar die Position der Aktivierungen entlang der festen Detektionsachse (indem es Fakes als unsicherer projiziert), verändert aber nicht den Winkel zwischen den Detektions- und Interventionsrichtungen.

4. Teilweise Milderung durch Rotation

Da die Richtungen nahezu orthogonal sind, versuchten die Autoren, die Lücke durch eine Rotation des Interventionsvektors zu überbrücken.

Methode: Eine $15^\circ$ -Rotation von der Detektionsrichtung in Richtung der Interventionsrichtung ( $d_{rot} = \cos(15^\circ)d_{det} + \sin(15^\circ)d_{ref}^\perp$ ).
Ergebnis: In einem Held-out-Stresstest steigerte diese Rotation die Verweigerungsrate für subtile Halluzinationen (Typ 2) von 13 % auf 60 %, bei einer Falsch-Positiv-Rate von nur 1,8 %. Dies bestätigt, dass die Lücke eine geometrische Struktur besitzt, die teilweise überbrückt werden kann, wenngleich es keine vollständige Lösung darstellt.

5. Modellübergreifende Generalität

Die geometrische Lücke ist robust über vier Modelle hinweg (Gemma 2-2B, Gemma 2-9B, Llama-3.2-1B, Qwen-2.5-1.5B):

Kosinus-Bereich: $\cos \in [0.12, 0.20]$ (Winkel $78^\circ$ – $83^\circ$ ).
Invariante: Die Lücke besteht unabhängig vom Tokenizer (SentencePiece vs. BPE) oder der Modellskalierung (1B–9B).
Verhaltensspektrum: Trotz identischer Geometrie variieren die Verhaltensweisen:
- Gemma: Detektiert perfekt, aber fabriziert.
- Llama: Detektiert perfekt und verweigert (die Aktion erfolgt über einen separaten, nicht gemessenen Pfad).
- Qwen: Gemischtes Verhalten.
- Fazit: Die Geometrie beschreibt die Dissoziation zwischen Wissen und Steuern, sagt aber nicht das Standardverhalten des Modells voraus.

Bedeutung und Behauptungen

Die Arbeit etabliert eine funktionale Dissoziation zwischen „Wissen“ (Detektion) und „Steuern“ (Kontrolle) in Sprachmodellen.

Detektion ist nicht Kontrolle: Die perfekte lineare Separabilität eines Verhaltens (z. B. das Wissen, dass eine Entität falsch ist) garantiert nicht, dass die Detektionsrichtung zur Kontrolle dieses Verhaltens genutzt werden kann. Die beiden Fähigkeiten besetzen nahezu orthogonale Subräume im Residual Stream.
Der Kosinus ist eine Signatur, kein Orakel: Der Kosinus zwischen Detektions- und Interventionsrichtungen ist eine robuste, gewichtsbasierte Signatur dieser Dissoziation. Die Autoren widerlegen jedoch explizit die Idee, dass dieser Kosinus als a priori Prädiktor der Steuerbarkeit dient. Ein hoher Kosinus (wie beim Format) ist ein Ausnahmefall, in dem ein Vektor beide Rollen übernimmt; ein niedriger Kosinus deutet auf eine strukturelle Lücke hin, bedeutet aber nicht, dass das Verhalten unsteuerbar ist (wie das Rotations-Experiment zeigt).
Struktureller Ursprung: Die Lücke wird während des Pretrainings festgelegt und ist invariant gegenüber Instruction Tuning. Sie entsteht, weil das Output-Mapping von Mechanismen (wie dem Kopieren von Entitäten) dominiert wird, die orthogonal zum epistemischen Signal stehen.
Grenzen der linearen Steuerung: Die Ergebnisse legen nahe, dass für komplexe Verhaltensweisen wie Halluzination eine einfache Aktivierungsaddition entlang eines einzelnen „Detektionsvektors“ unzureichend ist. Effektives Steuern erfordert möglicherweise die Navigation im hochdimensionalen Subraum der Detektion oder eine Rotation in Richtung der Interventionsrichtung, wobei anzuerkennen ist, dass Detektion eine Klasse von Richtungen und nicht ein einzelner Vektor ist.

Die Arbeit kommt zu dem Schluss, dass die mechanistische Interpretierbarkeit zwar in der Lage ist, interne Zustände perfekt zu lesen, das Schreiben in diese Zustände, um das Verhalten zu ändern, jedoch das Verständnis der spezifischen geometrischen Routings zwischen epistemischen Signalen und Output-Aktionen erfordert, die oft strukturell entkoppelt sind.