🤖 machine learning

Logit-Contribution Scoring Identifies Non-Literal Retrieval Heads

Dieses Paper führt Logit-Contribution Scoring (LOCOS) ein, eine neuartige Methode, die nicht-literale Retrieval-Heads in großen Sprachmodellen identifiziert, indem sie den Beitrag des Output-Value-Circuits dieser Heads zu Antwort-Token misst, wobei demonstriert wird, dass die Ablation dieser spezifischen Heads die Synthese-Leistung bei langen Kontexten signifikant verschlechtert, während andere Fähigkeiten erhalten bleiben.

Ursprüngliche Autoren: Aryo Pradipta Gema, Beatrice Alex, Pasquale Minervini

Veröffentlicht 2026-07-02

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Aryo Pradipta Gema, Beatrice Alex, Pasquale Minervini

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich ein großes Sprachmodell (LLM) wie einen brillanten, überarbeiteten Bibliothekar vor, der das gesamte Internet gelesen hat. Wenn Sie eine Frage stellen, sucht dieser Bibliothekar nicht einfach nach einem zufälligen Fakt, den er auswendig gelernt hat, sondern scannt die riesige Bibliothek (den „Kontext“), um das spezifische Buch oder die spezifische Seite zu finden, die die Antwort enthält.

Lange Zeit glaubten Forscher genau zu wissen, wie der Bibliothekar diese Antworten findet. Sie glaubten, der Bibliothekar würde einfach mit dem Finger auf die exakten Wörter im Buch zeigen, die die Antwort enthalten, und diese dann abschreiben. Dies wird als literale Retrieval bezeichnet.

Die Autoren dieser Arbeit haben jedoch entdeckt, dass der Bibliothekar eigentlich viel klüger ist. Oft ist die Antwort keine direkte Kopie der Wörter im Buch. Stattdessen liest der Bibliothekar einen Satz, versteht dessen Bedeutung und schreibt dann eine neue Antwort basierend auf diesem Verständnis. Dies ist nicht-literales Retrieval.

Das Problem: Der falsche Detektiv

Das Paper argumentiert, dass bisherige Methoden, um herauszufinden, welcher Teil des Gehirns des Bibliothekars (ein sogenannter „Attention Head“) die Arbeit verrichtet, wie ein Detektiv waren, der nur darauf achtet, wohin der Bibliothekar mit dem Finger zeigt, aber nicht, was er aufschreibt.

Der alte Weg (Attention-basiert): Stellen Sie sich einen Detektiv vor, der den Bibliothekar beobachtet. Wenn der Bibliothekar auf die Worte „Eiffelturm“ zeigt, um die Frage „Wer lebt in Paris?“ zu beantworten, sagt der Detektiv: „Großartig! Dieser Head erledigt die Arbeit.“
Die Realität: Manchmal zeigt der Bibliothekar auf „Eiffelturm“, schreibt aber „Yuki“ auf (weil im Text stand, dass Yuki in der Nähe des Eiffelturms wohnt). Der alte Detektiv übersieht dies, weil das Zeigen (Attention) und das Schreiben (die Antwort) nicht überebereinstimmen. Die alte Methode denkt, der Bibliothekar würde nur kopieren, nicht verstehen.

Die Lösung: LOCOS (Der „schreibbewusste“ Detektiv)

Die Autoren führen eine neue Methode namens LOCOS (Logit-Contribution Scoring) ein. Denken Sie an LOCOS als einen Detektiv, der sowohl das Zeigen als auch das Schreiben beobachtet.

LOCOS fragt: „Hat dieser spezifische Teil des Gehirns tatsächlich geholfen, die richtige Antwort zu schreiben?“

Es betrachtet den „Output-Value“ (OV)-Schaltkreis. Dies ist der Mechanismus, der die Informationen, die der Bibliothekar gelesen hat, nimmt und sie in die endgültige Antwort transformiert.
Wenn ein Head auf „Eiffelturm“ zeigt, aber seine „Schreibmaschine“ (OV-Schaltkreis) erfolgreich das Wort „Yuki“ auf das Antwortblatt drückt, gibt LOCOS diesem Head eine hohe Punktzahl.
Wenn ein Head auf „Eiffelturm“ zeigt, aber seine Schreibmaschine ein zufälliges Wort oder gar nichts drückt, ignoriert LOCOS ihn, selbst wenn das Zeigen stark war.

Das Experiment: Der „Stille“-Test

Um ihre Theorie zu beweisen, ließen die Forscher einen „Stille-Test“ an mehreren verschiedenen KI-Modellen (wie Qwen, Gemma und OLMo) durchführen.

Das Setup: Sie nahmen die Top 50 Heads, die von LOCOS identifiziert wurden, und „schalteten sie aus“ (Ablation), also deaktivierten sie sie im Gehirn der KI.
Das Ergebnis:
- Als sie die LOCOS-Heads ausschalteten, brach die Fähigkeit der KI, nicht-literale Fragen zu beantworten, zusammen (Crash). In einem Test sank der Wert von einem gesunden 0,40 auf 0,00 (vollständiger Ausfall).
- Wenn sie die Heads ausschalteten, die durch die alten Methoden identifiziert wurden, funktionierte die KI immer noch einigermaßen gut (sie erreichte etwa 0,29).
- Die Analogie: Es ist wie der Versuch, ein Auto zu fahren. Wenn man den Motor entfernt (LOCOS-Heads), bleibt das Auto stehen. Wenn man die Seitenspiegel entfernt (alte Methode Heads), kann man immer noch fahren, nur etwas unbeholfener.

Warum das wichtig ist (laut dem Paper)

Das Paper behauptet, dass LOCOS eine verborgene Gruppe von „Retrieval Heads“ gefunden hat, die die alten Methoden völlig übersehen haben. Dies sind die spezifischen Teile der KI, die die schwere Arbeit des Synthetisierens von Bedeutung leisten, statt nur Text zu kopieren.

Spezifität: Als sie diese Heads ausschalteten, hörte die KI auf, Kontextfragen zu beantworten, konnte aber immer noch Matheaufgaben lösen oder allgemeine Fakten abrufen (wie „Paris liegt in Frankreich“). Dies beweist, dass diese Heads besonders sind für das Abrufen von Informationen aus dem Text, nicht für die allgemeine Intelligenz.
Die „Nicht-Literale“ Lücke: Die alten Methoden fanden nur die Heads, die Copy-Paste betreiben. LOCOS fand die Heads, die tatsächlich über den Text nachdenken, um eine neue Antwort zu konstruieren.

Zusammenfassung

Kurz gesagt: Dieses Paper sagt: „Wir haben einen besseren Weg gefunden, um die Teile einer KI zu identifizieren, die Informationen aus einem langen Text tatsächlich verstehen und synthetisieren. Der alte Weg sah nur die Teile, die Copy-Paste betreiben. Indem wir die neuen ‚schlauen‘ Teile ausschalteten, die wir gefunden haben, verliert die KI die Fähigkeit, Fragen basierend auf dem Kontext zu beantworten, was beweist, dass diese Teile die wahren Motoren des Verständnisses langer Kontexte sind.“

Technisches Resümee: Logit-Beitrag-Scoring identifiziert nicht-literale Retrieval-Heads

1. Problemstellung

Große Sprachmodelle (LLMs) synthetisieren Antworten häufig aus der semantischen Bedeutung eines relevanten Kontextspans, anstatt Token lediglich wörtlich zu kopieren. Während die bisherige mechanistische Interpretierbarkeit Forschung „Retrieval-Heads“ identifiziert hat, die für den Kontextzugriff verantwortlich sind, sind aktuelle Detektionsmethoden fundamental auf literales Retrieval beschränkt.

Bestehende Detektoren (z. B. Wu et al., 2025; Fu et al., 2025) stützen sich auf Aufmerksamkeitsgewicht-Observablen. Sie belohnen Heads, bei denen das aufmerksame Quell-Token mit dem generierten Antwort-Token übereinstimmt. Dieses „Token-Matching“-Kriterium identifiziert erfolgreich Heads, die Informationen kopieren und einfügen (literales Retrieval), scheitert jedoch daran, Heads zu detektieren, die nicht-literales Retrieval betreiben. In nicht-literalen Szenarien kann ein Modell auf eine Quellphrase (z. B. „Eiffelturm“) achten, aber ein anderes Antwort-Token (z. B. „Yuki“) über seinen Output-Value (OV)-Schaltkreis synthetisieren. Die auf Aufmerksamkeit basierende Bewertung erfasst zwar, wo ein Head liest, ignoriert aber, was er schreibt, und übersieht damit den entscheidenden Mechanismus, durch den nicht-literale Synthese erfolgt.

2. Methodik: Logit-Contribution Scoring (LOCOS)

Die Autoren führen Logit-Contribution Scoring (LOCOS) ein, einen „schreibbewussten“ Detektor, der Attention-Heads basierend auf ihrem Beitrag zum finalen Antwort-Logit bewertet, anstatt auf ihrer Aufmerksamkeitsverteilung.

Kernmechanismus

LOCOS zerlegt die Operation eines Attention-Heads in zwei Schaltkreise:

QK-Schaltkreis: Bestimmt, wo der Head liest (Aufmerksamkeitsgewichte $\alpha$ ).
OV-Schaltkreis: Bestimmt, was der Head in den Residual-Stream schreibt (Output-Projektion $W_O v$ ).

Die Methode bewertet einen Head $(l, h)$ , indem sie den Output des OV-Schaltkreises auf die Unembedding-Richtung des korrekten Antwort-Tokens ( $u_{y_t}$ ) projiziert.

Das dreistufige Verfahren

Pro-Position Logit-Beitrag:
Für einen Dekodierungsschritt $t$ , der das Token $y_t$ generiert, wird der Beitrag einer Quellposition $j$ durch den Head $(l, h)$ wie folgt berechnet:
$\phi^{(l,h)}_{t,j} = u_{y_t}^\top o^{(l,h)}_{t,j} = \alpha^{(l,h)}_{t,j} \cdot u_{y_t}^\top W^{(l,h)}_O v^{(l,h)}_{t,j}$
Dieser Skalar $\phi$ erfasst die vollständige Pipeline: Ein Head kann eine hohe Aufmerksamkeit ( $\alpha$ ) aufweisen, aber einen Beitrags-Wert von nahezu Null haben, wenn sein OV-Output orthogonal zur Antwort-Richtung ist. Umgekehrt kann ein Head mit moderater Aufmerksamkeit einen hohen Beitrag leisten, wenn sein OV-Schaltkreis die aufmerksame Repräsentation in einen antworten-ausgerichteten Vektor transformiert.
Räumlicher Kontrast:
Um retrieval-spezifische Signale zu isolieren, vergleicht LOCOS die Beiträge von Needle-Positionen (das relevante Kontextspan $[s_\tau, e_\tau)$ ) mit Off-Needle-Positionen.
$\Phi^{(l,h),+}_t = \sum_{j \in \text{needle}} \phi^{(l,h)}_{t,j}$
$\Phi^{(l,h),-}_t = \frac{e_\tau - s_\tau}{N_t - (e_\tau - s_\tau)} \sum_{j \notin \text{needle}} \phi^{(l,h)}_{t,j}$
Der Reskalierungsfaktor stellt sicher, dass die Off-Needle-Summe hinsichtlich der Länge mit der Needle-Summe vergleichbar ist. Der Score für einen einzelnen Schritt ist die Differenz: $\Phi^{(l,h),+}_t - \Phi^{(l,h),-}_t$ . Dieser räumliche Kontrast (Needle vs. Off-Needle innerhalb eines einzelnen Schritts) ersetzt den zeitlichen Kontrast (Antwort vs. Nicht-Antwort-Schritte), der in vorangegangenen Arbeiten verwendet wurde.
Aggregation:
Der endgültige Score $S_{l,h}$ ist der Mittelwert dieser räumlichen Kontraste über alle Dekodierungsschritte, in denen das Modell eine korrekte Antwort generiert, aggregiert über alle erfolgreichen Versuche eines Benchmarks. Negative Scores deuten auf Heads hin, deren Beiträge zum Antwort-Logit primär aus Off-Needle-Positionen stammen.

3. Zentrale Beiträge

Schreibbewusste Detektion: Die Arbeit etabliert, dass die Identifizierung nicht-literaler Retrieval-Heads die Messung des Outputs des OV-Schaltkreises erfordert, nicht nur der Aufmerksamkeitsgewichte.
LOCOS-Algorithmus: Eine Single-Forward-Pass-Methode, die Heads durch ihre projektierte Projektion auf das Antwort-Logit bewertet, wobei Needle- und Off-Needle-Quellen kontrastiert werden.
Kausale Validierung: Durch Mean-Ablation-Experimente demonstrieren die Autoren, dass LOCOS Heads identifiziert, die kausal kritisch für nicht-literales Retrieval sind, während aufmerksamkeitsbasierte Baselines dies nicht tun.

4. Experimentelle Ergebnisse

Die Methode wurde auf dem NoLiMa-Benchmark (eine nicht-literale Needle-in-a-Haystack-Aufgabe) über drei Modellfamilien hinweg evaluiert: Qwen3 (8B, 14B, 32B), Gemma-3 (12B, 27B) und OLMo-3.1 (32B).

Ablationsleistung (NoLiMa)

Überlegene Degradation: Das Mean-Ablation der Top- $k$ LOCOS-Heads verursacht einen steileren Rückgang von ROUGE-L im Vergleich zu allen aufmerksamkeitsbasierten Baselines (Wu/NIAH-scored, Wu/NoLiMa-scored und Random-Heads).
Qwen3-8B Fallstudie: Das Ablation der Top 50 LOCOS-Heads lässt ROUGE-L von 0,401 auf 0,000 kollabieren. Im Gegensatz dazu behält die stärkste aufmerksamkeitsbasierte Baseline (Wu/NIAH) bei gleicher Tiefe einen ROLGE-L von 0,292 bei.
Spezifität: Das Ablation der LOCOS-Heads verschlechtert das kontextuelle Retrieval massiv, lässt jedoch die parametrische Erinnerung (z. B. Stadt-Land-Assoziationen) und die arithmetische Argumentation intakt. Dies bestätigt, dass die identifizierten Heads retrieval-spezifisch sind und nicht generell wichtig für den Modell-Output.

Literales vs. Nicht-Literales Spezifität

Das Ablation der Top- $k$ LOCOS-Heads verschlechtert sowohl das nicht-literale (NoLiMa) als auch das literale (NIAH) Retrieval.
Der Abfall ist jedoch bei NoLiMa signifikant steiler. Dies deutet darauf hin, dass LOCOS zwar Heads erfasst, die für beide Regime relevant sind, aber einzigartig jene Teilmenge von Heads identifiziert, die für die nicht-literale Synthese verantwortlich sind, welche von Token-Matching-Detektoren übersehen wird.

Downstream-Transfer

Bei Downstream-Long-Context-Benchmarks (MuSiQue und BABILong) verschlechtert das Ablation der Top-50 LOCOS-Heads die Leistung erheblich, insbesondere bei der Qwen3-Familie (z. B. sinkt die MuSiQue-Genauigkeit bei Qwen3-8B von 0,55 auf 0,08).
Das Ranking von LOCOS gegenüber aufmerksamkeitsbasierten Baselines variiert je nach Benchmark, was darauf hindeutet, dass Multi-Hop-QA-Aufgaben sowohl literale als auch nicht-literale Retrieval-Schaltkreise rekrutieren.

Schichtverteilung

LOCOS-Scores sind bei der Qwen3-Familie und Gemma-3-27B stark in den späten Schichten konzentriert.
Die Autoren merken an, dass diese Konzentration durch die „Direct-Path-Annahme“ (Heads, die näher am Output liegen, haben einen direkteren Einfluss auf die Logits) beeinflusst sein könnte, aber Causal-Patching-Experimente legen nahe, dass das Muster der späten Schichten kein bloßes Artefakt ist.

5. Bedeutung und Ansprüche

Das Paper behaupten, dass LOCOS die erste mechanistische Identifizierung von nicht-literalen Retrieval-Heads liefert.

Limitierung vorangegangener Arbeiten: Bestehende Detektoren sind für nicht-literales Retrieval „blind“, da sie Heads belohnen, bei denen das aufmerksame Token mit dem generierten Token übereinstimmt. Dies übersieht Heads, die auf eine Quelle achten und ein anderes Antwort-Token synthetisieren.
Mechanistischer Einblick: Durch die Messung der Projektion des OV-Schaltkreises auf die Antwort-Richtung erfasst LOCOS die „Schreib“-Operation, die für die Synthese essenziell ist.
Praktischer Nutzen: Die identifizierten Heads sind kausal entscheidend für das Reasoning in langen Kontexten. Diese Erkenntnis hat Auswirkungen auf:
- Interpretierbarkeit: Bereitstellung einer genaueren Karte darüber, wie LLMs Kontext zugreifen und synthetisieren.
- Effizienz: Ermöglichung eines gezielteren KV-Cache-Compressions, indem nur die spezifischen Heads erhalten bleiben, die für das Retrieval verantwortlich sind, statt einheitlicher oder aufmerksamkeitsbasierter Heuristiken.
- Halluzinationsminderung: Angebot eines Mechanismus, um Heads zu identifizieren und einzugreifen, die den relevanten Kontext nicht korrekt abrufen.

Die Autoren bleiben bescheiden hinsichtlich der Generalisierbarkeit und merken an, dass ihre Ergebnisse spezifisch für die getesteten Architekturen (Standard-Decoder-only Transformer) und den NoLiMa-Benchmark sind. Sie behaupten nicht, dass LOCOS alle Retrieval-Mechanismen identifiziert, sondern dass es erfolgreich die Teilmenge isoliert, die von Token-Matching-Kriterien verpasst wird.