💬 NLP

Attributing Response to Context: A Jensen-Shannon Divergence Driven Mechanistic Study of Context Attribution in Retrieval-Augmented Generation

Diese Arbeit stellt ARC-JSD vor, eine neue, effiziente Methode zur Kontextattribution in Retrieval-Augmented Generation (RAG), die mittels Jensen-Shannon-Divergenz ohne zusätzliches Training arbeitet und durch eine mechanistische Analyse Aufschluss über die internen Prozesse von LLMs gibt.

Ursprüngliche Autoren: Ruizhe Li, Chen Chen, Yuchen Hu, Yanjun Gao, Xi Wang, Emine Yilmaz

Veröffentlicht 2026-02-12

📖 3 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Ruizhe Li, Chen Chen, Yuchen Hu, Yanjun Gao, Xi Wang, Emine Yilmaz

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das Problem: Der „Schummelnde Assistent“

Stell dir vor, du hast einen extrem schlauem Assistenten (das ist die KI oder das LLM). Um Fragen zu beantworten, gibst du ihm immer einen Stapel Akten (das ist der Kontext oder RAG), in denen die Antworten stehen sollen.

Das Problem: Manchmal behauptet der Assistent etwas, das zwar wahr klingt, aber in den Akten gar nicht steht. Er „halluziniert“. Oder noch schlimmer: Er gibt dir eine richtige Antwort, aber wenn du ihn fragst: „Wo genau in diesem riesigen Stapel Akten hast du das gelesen?“, dann fängt er an zu stammeln. Er kann nicht sagen, welche Seite wirklich wichtig war und welche nur unnötiges Papier ist.

Bisherige Methoden, um das zu prüfen, waren wie ein Detektiv, der jede einzelne Seite der Akten einzeln durchliest, sie mit der Antwort vergleicht und dabei so lange Zeit braucht, dass der Kaffee schon kalt ist (das ist die hohe Rechenlast).

Die Lösung: Das „JSD-Radar“ (ARC-JSD)

Die Forscher haben jetzt ein neues Werkzeug erfunden: das ARC-JSD.

Stell dir das wie ein hochmodernes Wärmebild-Radar vor. Anstatt jede Seite mühsam zu lesen, macht das Radar einen schnellen Scan.

So funktioniert die Analogie:
Stell dir vor, die Antwort des Assistenten ist ein helles Licht. Das Radar schaut sich nun den Aktenstapel an. Es nimmt eine Seite weg und schaut sofort: „Wird das Licht der Antwort jetzt dunkler oder bleibt es gleich hell?“

Die Test-Methode (Ablation): Wenn wir eine Seite aus dem Stapel reißen und die Antwort plötzlich „erlischt“ oder ganz schwach wird, dann wissen wir: Diese Seite war der Brennpunkt! Sie war die wichtigste Quelle.
Der mathematische Trick (JSD): Um zu messen, wie sehr sich das „Licht“ (die Wahrscheinlichkeit der Antwort) verändert, nutzen sie die sogenannte Jensen-Shannon-Divergenz (JSD). Das ist wie ein Sensor, der extrem präzise misst, wie sehr die Stimmung im Raum umschlägt, wenn man eine Person aus dem Zimmer schickt. Es ist schnell, es ist genau und es ist nicht so kompliziert wie die alten Methoden.

Die Entdeckung: Das „Gehirn“ der KI verstehen

Die Forscher sind noch einen Schritt weitergegangen. Sie haben nicht nur geschaut, welche Seite wichtig ist, sondern auch, wo im Kopf des Assistenten das passiert.

Sie haben das Gehirn der KI wie ein Schaltbild untersucht. Dabei fanden sie heraus:

Es gibt bestimmte „Denk-Zentren“ (Attention Heads und MLP-Schichten), die wie spezialisierte Postboten funktionieren.
Diese Postboten nehmen die Information aus der richtigen Aktenseite und „flüstern“ sie in den Denkprozess der KI, damit die Antwort korrekt wird.
Die Forscher konnten sogar zeigen: Wenn wir diese speziellen „Postboten“ kontrollieren, können wir die KI dazu bringen, weniger zu lügen (Halluzinationen reduzieren).

Warum ist das wichtig? (Das Fazit)

Das Paper ist ein Durchbruch, weil es drei Dinge gleichzeitig schafft:

Schnelligkeit: Es ist wie ein Blitzlicht statt einer stundenlangen Untersuchung. Man spart massiv Zeit und Computerleistung.
Ehrlichkeit: Wir können jetzt ganz genau prüfen, ob eine KI wirklich auf Fakten basiert oder nur „schlau daherredet“.
Kontrolle: Wir verstehen die „innere Mechanik“. Wir wissen jetzt, welche Schalter im Gehirn der KI wir umlegen müssen, um sie zuverlässiger zu machen.

Kurz gesagt: Die Forscher haben dem Assistenten nicht nur beigebracht, seine Quellen zu nennen, sondern sie haben auch ein Röntgengerät gebaut, mit dem wir sehen können, wie er diese Quellen in seinem Kopf verarbeitet.

Technische Zusammenfassung: ARC-JSD

1. Problemstellung

In Retrieval-Augmented Generation (RAG) Systemen ist die Kontext-Attribution eine kritische Herausforderung: Es muss verifiziert werden, welche Teile des bereitgestellten externen Kontexts (Dokumente, Artikel) tatsächlich die Grundlage für eine generierte Antwort bilden. Dies ist essenziell, um Halluzinationen zu minimieren und die Vertrauenswürdigkeit zu erhöhen.

Bestehende Methoden zur Attribution leiden unter zwei Hauptproblemen:

Rechenintensität: Methoden, die auf Gradienten-Berechnungen (Feature Attribution) oder umfangreichem Fine-Tuning basieren, sind extrem teuer.
Komplexität der Surrogate-Modellierung: Ansätze, die lineare Ersatzmodelle (Surrogate Models) nutzen, erfordern hunderte von Vorwärtsläufen (Forward Calls) pro Kontext-Antwort-Paar, um die Relevanz zu schätzen.

2. Methodik: ARC-JSD

Die Autoren führen ARC-JSD (Attribute Response to Context via Jensen–Shannon Divergence) ein. Der Kernansatz basiert auf der Annahme, dass das Entfernen eines entscheidenden Kontextsegments die Wahrscheinlichkeitsverteilung der generierten Antwort signifikant verändert.

Der technische Ablauf:

Ablation: Für jedes Satzsegment $c_i$ im Kontext wird eine Variante des Inputs erstellt, bei der dieser Satz entfernt wurde ( $C_{ABLATE(c_i)}$ ).
JSD-Berechnung: Anstatt nur die Wahrscheinlichkeit eines einzelnen Tokens zu betrachten, berechnet die Methode die Jensen–Shannon-Divergenz (JSD) zwischen der Antwortverteilung des vollständigen Kontexts $P(R|C, Q)$ und der Verteilung des abgelateten Kontexts $P(R|C_{ABLATE(c_i)}, Q)$ .
Ranking: Sätze werden basierend auf ihrem JSD-Score gerankt. Ein hoher JSD-Wert signalisiert, dass der Satz für die Modellentscheidung (die Verteilung der Antwort-Tokens) essenziell war.

Vorteile der JSD gegenüber anderen Metriken:

Symmetrie & Begrenztheit: Im Gegensatz zur KL-Divergenz ist die JSD symmetrisch und auf $[0, \log 2]$ begrenzt, was einen direkten Vergleich zwischen verschiedenen Schichten (Layers) ermöglicht.
Stabilität: Sie ist weniger anfällig für numerische Instabilitäten (wie bei KL-Divergenz bei Null-Wahrscheinlichkeiten) und liefert präzisere Signale als die Total Variation (TV) Distanz, da sie die Verschiebung der Wahrscheinlichkeitsmasse innerhalb der Verteilung besser erfasst.

3. Mechanistische Analyse

Ein wesentlicher Teil der Arbeit ist die Untersuchung der internen Funktionsweise von RAG-Modellen mittels der Logit Lens-Methode. Die Autoren nutzen ARC-JSD, um zu lokalisieren, welche internen Komponenten für die Kontext-Attribution verantwortlich sind:

Attention Heads & MLP-Layer: Durch die Anwendung von JSD auf die Ausgaben einzelner Attention-Heads und MLP-Schichten konnten sie zeigen, dass die für die Attribution kritischen Komponenten vorwiegend in den höheren und mittleren Schichten des Modells liegen.
Verifizierung: Die Ergebnisse wurden durch eine "Semantic Gain"-Metrik validiert, die misst, wie stark eine Komponente die Ähnlichkeit der internen Repräsentation zum korrekten Antwort-Token erhöht. Es zeigte sich eine starke Korrelation zwischen JSD-Scores und dem semantischen Gewinn.

4. Hauptergebnisse

Genauigkeit: ARC-JSD übertrifft bestehende Baselines (wie ContextCite oder MIRAGE) um durchschnittlich über 10 % in der Kontext-Attributionsgenauigkeit auf Benchmarks wie TyDi QA, Hotpot QA und MuSiQue.
Effizienz: Die Methode erreicht eine bis zu dreifache Beschleunigung gegenüber gradientenbasierten oder surrogate-basierten Methoden, da sie keine Backpropagation oder aufwendiges Training benötigt.
Kontrolle von Halluzinationen: Durch die Manipulation (Gating) der identifizierten Attention-Heads und MLPs mittels JSD-Scores konnte die Halluzinationsrate um ca. 39 % gesenkt werden, ohne die faktische Genauigkeit (F1-Score) zu beeinträchtigen.

5. Bedeutung und Relevanz

Die Arbeit leistet einen wichtigen Beitrag zur Interpretierbarkeit und Sicherheit von LLMs.

Praktische Integration: Da ARC-JSD rein auf Inferenz basiert, kann es ohne zusätzliches Training in bestehende RAG-Pipelines integriert werden.
Mechanistisches Verständnis: Die Studie liefert tiefe Einblicke darüber, wie Wissen in MLPs gespeichert und durch Attention-Mechanismen aus dem Kontext in die Antwort integriert wird.
Transparenz: Die Methode ermöglicht es, RAG-Systeme "auditierbar" zu machen, indem sie präzise nachweist, warum ein Modell eine bestimmte Information generiert hat.