💬 NLP

Localizing Anchoring Pathways in Language Models

Diese Arbeit untersucht die internen Mechanismen von Verankerungseffekten in 7B–8B Qwen- und Llama-Modellen und zeigt auf, dass Methoden der Attribution auf Kantenebene die relevanten Entscheidungssignale genauer lokalisieren als Methoden auf Knotenebene und dass diese Pfade zwar innerhalb eines Modells über verschiedene Verankerungsrichtungen hinweg konsistent sind, sich jedoch zwischen Basis- und Instruktions-optimierten Varianten signifikant unterscheiden.

Ursprüngliche Autoren: Hillary N. Owusu, Sarah Wiegreffe, Naomi H. Feldman

Veröffentlicht 2026-06-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Hillary N. Owusu, Sarah Wiegreffe, Naomi H. Feldman

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein großes Sprachmodell (LLM) wie einen superintelligenten, aber etwas leichtgläubigen Detektiv vor. Sie geben ihm ein Rätsel, das er lösen soll, und schieben ihm dabei eine zufällige, irrelevante Zahl in das Gespräch ein – wie zum Beispiel: „Übrigens, das Lotterieticket blieb bei der 15 stehen“, bevor Sie fragen: „Wie viele Tage braucht der Mond für einen Umlauf um die Erde?“

Obwohl der Detektiv die Antwort eigentlich kennt (27 Tage), könnte diese zufällige „15“ ihn dazu verleiten, sich ein wenig zu sehr in Richtung der 15 zu bewegen. Dies nennt man Anchoring (Ankerheuristik). Es ist ein kognitiver Bias, bei dem eine irrelevante Zahl Ihr Urteil in ihre Richtung zieht.

Dieses Paper ist wie ein Team von Maschinenbauingenieuren, die diesen Detektiv auseinandernehmen, um genau zu sehen, wo in seinem Gehirn diese „Leichtgläubigkeit“ stattfindet. Sie wollen wissen: Welche spezifischen Drähte und Schalter innerhalb des Computers übertragen das Signal, das sagt: „Hey, diese zufällige Zahl ist wichtig!“

Hier ist, wie sie es gemacht haben und was sie herausgefunden haben, einfach erklärt:

1. Das Setup: Ein kontrolliertes Spiel

Anstatt den Detektiv einen langen Aufsatz schreiben zu lassen, verwandelten die Forscher den Test in ein Multiple-Choice-Spiel.

Die Frage: „Wie lange dauert ein Mondumlauf?“ (Korrekte Antwort: 27 Tage).
Die Falle: Sie fügten einen Satz mit einer zufälligen Zahl hinzu, entweder einem „niedrigen Anker“ (15) oder einem „hohen Anker“ (49).
Das Ziel: Sie maßen, wie stark sich das Vertrauen des Modells in Richtung der falschen Antwort (15 oder 49) verschob, nur weil diese Zahl erwähnt wurde.

Sie bestätigten, dass die Modelle tatsächlich getäuscht wurden, genau wie Menschen.

2. Die Methode: Das Verfolgen der Drähte

Um die „Leichtgläubigkeits-Schaltkreise“ zu finden, nutzten die Forscher eine Technik namens Circuit Localization (Schaltkreis-Lokalisierung).

Die Analogie: Stellen Sie sich das Modell als eine riesige Stadt mit Millionen von Straßen (Edges/Kanten) vor, die Stadtteile (Nodes/Knoten) miteinander verbinden.
Der alte Weg: Früher betrachteten Forscher ganze Stadtteile (Nodes), um zu sehen, wo der Verkehr hoch war.
Der neue Weg: Dieses Paper fand heraus, dass es viel besser ist, die einzelnen Straßen (Edges) zu betrachten. Es ist, als würde man erkennen, dass das Problem nicht der gesamte Stadtteil „Innenstadt“ ist, sondern ganz spezifisch die eine Brücke, die die Innenstadt mit den Vororten verbindet.

Sie fanden heraus, dass Edge-Level-Methoden (Betrachtung der Verbindungen) viel genauer darin waren, den Bias zu finden, als Node-Level-Methoden (Betrachtung der Komponenten allein). Die „Leichtgläubigkeit“ steckt nicht in einem spezifischen Teil des Gehirns, sondern im Pfad, auf dem die Information reist.

3. Die Ergebnisse: Was die Karte enthüllte

A. Die „niedrigen“ und „hohen“ Anker nutzen dieselben Straßen

Egal, ob das Modell durch eine niedrige Zahl (15) oder eine hohe Zahl (49) getäuscht wurde – der Verkehr floss durch fast exakt dieselben Straßen.

Die Metapher: Es ist wie ein Fluss. Egal, ob das Wasser schnell fließt (hoher Anker) oder langsam (niedriger Anker), es nutzt immer noch dasselbe Flussbett. Das Modell besitzt einen gemeinsamen „Anfälligkeitspfad“ für die Beeinflussung durch Zahlen, unabhängig davon, ob die Zahl groß oder klein ist.

B. „Base-“ vs. „Instruction-Tuned-Modelle“

Die Forscher testeten zwei Versionen desselben Modells:

Base Model: Der rohe, ungetrainierte Detektiv.
Instruction-Tuned Model: Der Detektiv, der darauf trainiert wurde, Regeln zu befolgen und Fragen höflich zu beantworten.

Die Überraschung: Obwohl sie denselben allgemeinen „Flussbett“ nutzen (dieselbe Schicht des Netzwerks), änderten sich die spezifischen Straßen, die am wichtigsten sind, nach dem Training.

Die Metapher: Stellen Sie sich vor, Sie bringen einem Fahrer eine neue Route bei. Er fährt immer noch durch dieselbe Stadt, aber die spezifischen Straßen, die er nimmt, um ans Ziel zu kommen, haben sich geändert. Das „Instruction Tuning“ (das Training) hat die wichtigsten Verbindungen neu verdrahtet. Ein Schaltkreis, der beim rohen Modell perfekt funktionierte, funktionierte beim trainierten Modell nicht immer gleich.

4. Das große Ganze

Dieses Paper beweist, dass Anchoring nicht nur ein „Glitch“ (Fehler) im Wissen des Modells ist. Es ist ein spezifischer, mechanischer Prozess, bei dem irrelevante Zahlen die Entscheidungspfade des Modells kapern.

Wichtigste Erkenntnis: Der Bias wandert durch Verbindungen (Edges), nicht nur durch isolierte Teile.
Wichtigste Erkenntnis: Niedrige und hohe Anker teilen sich dieselbe „Autobahn“, aber das Training des Modells mit neuen Regeln (Instruction Tuning) verändert, welche Ausfahrten auf dieser Autobahn am wichtigsten sind.

Kurz gesagt: Die Forscher haben die „Leichtgläubigkeit“ innerhalb der KI kartografiert und gezeigt, welche Drähte genau das Signal übertragen, wenn das Modell durch eine zufällige Zahl abgelenkt wird. Dies hilft uns zu verstehen, dass das Modell nicht einfach nur „falsch liegt“, sondern einem spezifischen, vorhersagbaren Pfad folgt, der es in die Irre führt.

Technisches Resümee: Lokalisierung von Verankerungspfaden in Sprachmodellen

Problemstellung

Große Sprachmodelle (LLMs) weisen, ähnlich wie Menschen, einen Ankerheuristik-Bias (Anchoring Bias) auf, bei dem ein irrelevanter numerischer Wert in einem Prompt die nachfolgenden Urteile in Richtung dieses Wertes verschiebt, selbst wenn das Modell über das korrekte faktische Wissen verfügt. Während bisherige Arbeiten dieses Verhalten als Phänomen nachgewiesen haben, behandelten sie das Modell weitgehend als Blackbox und maßen lediglich die Magnitude der Verschiebung, ohne die internen Mechanismen zu erklären. Diese Arbeit adresset die Lücke in der mechanistischen Interpretierbarkeit: speziell geht es darum, welche internen Pfade innerhalb eines LLMs das Signal tragen, das verursacht, dass ein irrelevanter Anker mit der korrekten Antwort während der Vorhersage konkurriert.

Methodik

1. Kontrollierte Aufgabenstellung

Die Autoren passten 100 numerische Schätzfragen aus dem Open Anchoring Question Dataset (OpAQ) in ein kontrolliertes Multiple-Choice-Format an.

Prompt-Struktur: Jedes Item enthält eine faktische Frage, eine Grundwahrheit (Ground Truth) und einen irrelevanten „Slot-Machine“-Satz, der entweder einen niedrigen Anker, einen hohen Anker oder einen Token-identischen Kontrollwert (nicht-numerischen String) enthält.
Antwortraum: Ein fester Satz von neun Optionen wird über alle Bedingungen hinweg verwendet, der die Grundwahrheit, die Anker und Zwischenwerte enthält. Das Modell wird angewiesen, nur den Antwortbuchstaben auszugeben.
Evaluierte Modelle: Vier Open-Weight-Decoder-only-Modelle aus den Familien Qwen2.5 und Llama-3.1:
- Basismodelle: Qwen2.5-7B, Llama-3.1-8B.
- Instruction-tuned Varianten: Qwen2.5-7B-Instruct, Llama-3.1-8B-Instruct.

2. Metriken

Behaviorale Metrik: Der normalisierte erwartete Wert (EV)-Shift misst die Richtung und Magnitude der Verschiebung in der Wahrscheinlichkeitsverteilung des Modells in Richtung des Ankers.
Attributions-Metrik: Eine Logit-Differenz-Metrik ( $m$ $m$ ) ist definiert als die Differenz zwischen dem Logit der korrekten Antwort und dem Logit der aktiven Anker-Antwort ( $m = \text{logit}(y_{correct}) - \text{logit}(y_{anchor})$ $m = logit (y_{cor r ec t}) - logit (y_{an c h or})$ ).
- Eine Abnahme von $m$ bedeutet, dass der Anker konkurrenzfähiger wird.
- Die Änderung dieser Metrik ( $\Delta m$ ) zwischen verankerten und Kontroll-Prompts dient als Ziel für die Schaltkreis-Lokalisierung (Circuit Localization).
- Die Validierung bestätigte, dass $\Delta m$ stark mit den behavioralen EV-Shifts korreliert.

3. Framework zur Schaltkreis-Lokalisierung

Die Studie verwendet attributionsbasierte Schaltkreis-Lokalisierung, um den minimalen Subgraphen des Modells zu identifizieren, der für den Verankerungseffekt verantwortlich ist.

Graph-Repräsentation: Der Transformer wird als Berechnungsgraph behandelt, in dem Knoten Komponenten (Attention Heads, MLPs) und Kanten gerichtete Pfade sind.
Verglichene Methoden:
- Node Attribution Patching (NAP/NAP-IG): Bewertet einzelne Komponenten.
- Edge Attribution Patching (EAP/EAP-IG): Bewertet gerichtete Pfade zwischen Komponenten.
- Integrated Gradients (IG): Varianten (NAP-IG, EAP-IG) mitteln Gradienten entlang eines Interpolationspfades, um die Qualität der Attribution zu verbessern.
Faithfulness-Evaluierung: Die Autoren messen die Circuit Performance Recovery (CPR). Sie behalten die top- $k$ %-gerankten Kanten/Knoten aus dem „sauberen“ (Kontroll-) Durchlauf und patchen den Rest mit den Aktivierungen aus dem „korrumpierten“ (verankerten) Durchlauf. Ein hoher CPR-Wert zeigt an, dass der beibehaltene Subgraph erfolgreich das ungeankerte Verhalten des Modells wiederherstellt.

Zentrale Beiträge

Metrik-Validierung: Die Arbeit etabliert eine validierte Antwort-Ebene-Metrik (Logit-Differenz), die den behavioralen Anchoring verfolgt, was die Verwendung von gradientenbasierten Attributionen für die Schaltkreis-Lokalisierung ermöglicht.
Edge vs. Node Lokalisierung: Die Studie zeigt, dass Edge-Level-Methoden (EAP, EAP-IG) das Verankerungssignal signifikant treuerer lokalisieren als Node-Level-Methoden (NAP, NAP-IG). Dies deutet darauf hin, dass der Bias besser als eine Eigenschaft der Pfade zwischen den Komponenten denn als isolierte „voreingenommene“ Komponenten verstanden werden kann.
Strukturelle Analyse der Schaltkreise:
- Schichtweise Muster: Qwen-Modelle konzentrieren die Attribution in den mittleren bis späten Schichten, während Llama-Modelle sie in den frühen Schichten konzentrieren.
- Komponententypen: Die top-gerankten Schaltkreise werden von Attention-zu-Attention-Kanten dominiert (ca. 68–80 % der ausgewählten Kanten), mit einer signifikanten Beteiligung von Attention-MLP-Verbindungen, was darauf hindeutet, dass MLPs über Attention-vermittelte Pfade teilnehmen.
Transferierbarkeit-Ergebnisse:
- Innerhalb eines Modells: Niedrig- und Hochanker-Schaltkreise teilen eine substanzielle Struktur (ca. 66–71 % geteilte Kanten) und transferieren gut über Anker-Kontraste innerhalb desselben Modells hinweg.
- Über Varianten hinweg: Während Base- und Instruction-tuned Modelle breite schichtweise Attributionsmuster teilen, ändern sich die spezifischen spärlichen Kanten, die am wichtigsten sind, nach dem Instruction Tuning. Der Transfer über Varianten hinweg ist weniger zuverlässig, insbesondere bei niedrigen Anker-Kontrasten und spärlichen Schaltkreisen.

Ergebnisse

Faithfulness: EAP-IG (Edge Attribution Patching mit Integrated Gradients) erwies sich als die treueste Lokalisierungsmethode und erreichte CPR-Scores von oft über 0,90 über verschiedene Modelle und Bedingungen hinweg. Im Gegensatz dazu schnitten Node-Level-Methoden (NAP) signifikant schlechter ab (z. B. 0,36–0,67).
Verankerungsstruktur:
- Niedrig- und Hochanker-Schaltkreise innerhalb eines einzelnen Modells sind in ihrer schichtweisen Tiefenverteilung nahezu identisch (Pearson-Korrelation > 0,99) und teilen etwa zwei Drittel ihrer top-gerankten Kanten.
- Instruction Tuning bewahrt die allgemeine Tiefe der Attribution, verändert aber die spezifischen spärlichen Kanten, die den Effekt antreiben. Beispielsweise sank in Qwen-7B die Cross-Variant-Faithfulness für niedrige Anker-Kontraste von 0,917 (gematcht) auf 0,291, wenn die Instruction-tuned Rangfolge verwendet wurde.
Modellunterschiede: Qwen-Modelle zeigen ein stärkeres behaviorales Anchoring und eine spätere Schicht-Attribution im Vergleich zu Llama-Modellen, die eine frühere Konzentration zeigen.

Bedeutung und Behauptungen

Die Arbeit beansprucht, eine mechanistische Erklärung dafür zu liefern, wie Signale für die Verankerung innerhalb von Sprachmodellen transportiert werden. Indem sie Verankerung als ein Schaltkreis-Lokalisierungsproblem rahmt, gehen die Autoren über die bloße Messung dessen hinaus, dass ein Bias auftritt, hin zu dem Verständnis, wie dieser berechnet wird.

Die Autoren ziehen folgende wesentliche Implikationen:

Pfad vs. Komponente: Verankerung ist ein Phänomen auf Pfadebene; das Isolieren spezifischer „voreingenommener“ Knoten ist weniger effektiv als die Identifizierung des Informationsflusses zwischen den Komponenten.
Gemeinsame Mechanismen: Der starke Transfer zwischen niedrigen und hohen Ankern deutet auf einen gemeinsamen internen Mechanismus für die Anker-Sensitivität hin, statt auf unterschiedliche Fehlermodi für verschiedene Anker-Richtungen.
Post-Training Sensitivität: Die reduzierte Transferierbarkeit zwischen Base- und Instruction-tuned Modellen zeigt, dass Post-Training-Änderungen die spezifischen Pfade beeinflussen, die für diesen Bias kritisch sind, was impliziert, dass Minderungsstrategien nach dem Fine-Tuning neu bewertet werden müssen.
Methodischer Beitrag: Die Arbeit demonstriert die Nützlichkeit der Anwendung von Circuit Localization auf kognitive Biases und bietet einen Rahmen, um von der behavioralen Beobachtung zum mechanistischen Verständnis von prompt-induzierten Biases zu gelangen.

Die Autoren bleiben bescheiden und merken an, dass ihre Ergebnisse spezifisch für die Multiple-Choice-Formulierung und einen bestimmten Datensatz (OpAQ) sind und dass die identifizierten Schaltkreise den Mechanismus für die validierte Logit-Differenz-Metrik darstellen, nicht jedoch jede mögliche Manifestation von Verankerung in der offenen Generierung.