💬 NLP

Quantifying Retriever-Generator Alignment in RAG with Local Explanations

Dieses Paper führt RAG-E ein, ein Framework zur Erklärbarkeit, das die oft fehlgeleitete Interaktion zwischen Retrievern und Generatoren in Retrieval-Augmented-Generation-Systemen unter Verwendung neuartiger Attributionsmethoden und der Weighted Attribution-Relevance Gap (WARG)-Metrik quantifiziert, um transparentere und zuverlässigere Implementierungen zu ermöglichen.

Ursprüngliche Autoren: Korbinian Randl, Guido Rocchietti, Aron Henriksson, Ziawasch Abedjan, Tony Lindgren, John Pavlopoulos

Veröffentlicht 2026-07-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Korbinian Randl, Guido Rocchietti, Aron Henriksson, Ziawasch Abedjan, Tony Lindgren, John Pavlopoulos

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen sehr klugen, aber etwas zerstreuten Forschungsassistenten (den Generator), der versucht, Ihre Fragen zu beantworten. Um ihm zu helfen, stellen Sie einen Bibliothekar (den Retriever) ein, dessen Aufgabe es ist, die besten Bücher aus einer riesigen Bibliothek zu finden und sie dem Assistenten zu überreichen.

In einer perfekten Welt überreicht der Bibliothekar die relevantesten Bücher und der Assistent liest sie sorgfältig, um die perfekte Antwort zu schreiben. Doch in der Realität geht oft etwas schief: Der Bibliothekar überreicht vielleicht die falschen Bücher, oder der Assistent ignoriert die guten und erfindet stattdessen eine Antwort basierend auf einer zufälligen Seite, die er zuvor gefunden hat.

Dieses Paper stellt ein neues Werkzeug namens RAG-E (Retrieval-Augmented Generation Explainer) vor, das als „Black Box“-Inspektor fungiert. Es wirft Licht darauf, was genau der Bibliothekar und der Assistent denken, und zeigt auf, wie gut sie tatsächlich zusammenarbeiten.

Hier ist eine Aufschlüsselung ihrer Erkenntnisse unter Verwendung einfacher Analogien:

1. Das Problem: Die „stille Diskrepanz“

Die Autoren fanden heraus, dass der Bibliothekar und der Assistent oft unterschiedliche Sprachen sprechen.

Der Bibliothekar (Retriever): Dieser Teil des Systems ist wie ein Keyword-Jäger. Wenn Sie fragen: „Wo wurde Marie Curie geboren?“, scannt der Bibliothekar nach den Wörtern „Marie Curie“ und „geboren“. Er schnappt sich die Dokumente, die genau diese Wörter enthalten, selbst wenn der Kontext nicht perfekt ist.
Der Assistent (Generator): Dies ist die KI, die die Antwort schreibt. Die Autoren fanden heraus, dass der Assistent Dokumente auf eine binäre Weise behandelt: Er hält ein Dokument entweder für „Super Wichtig“ (und nutzt es intensiv) oder für „Völligen Lärm“ (und ignoriert es komplett). Er kümmert sich eigentlich nicht um die Rangfolge des Bibliothekars.

Das Ergebnis: Der Assistent ignoriert oft die Nummer-1-Wahl des Bibliothekars (wodurch der Aufwand des Bibliothekars verschwendet wird) oder lässt sich von einem Dokument ablenken, das der Bibliothekar als irrelevant eingestuft hat (Noise Distraction/Lärm-Ablenkung). In vielen Fällen tritt diese Diskrepanz bei über 70 % der Top-Suchergebnisse auf.

2. Die Lösung: RAG-E (Der Inspektor)

Um dies zu beheben, entwickelte das Team RAG-E, ein Framework, das wie eine Lupe für das Gehirn der KI fungiert.

Für den Bibliotheken: Sie verwendeten eine Technik namens Integrated Gradients. Stellen Sie sich vor, man dreht langsam die Lautstärke jedes Wortes in einem Dokument leiser, um zu sehen, welche Wörter „laut“ genug waren, um den Bibliothekar dazu zu bringen, dieses Buch auszuwählen. Sie entdeckten, dass die Verwendung eines spezifischen „unbekannten“ Tokens (wie ein Platzhalter für fehlende Informationen) als Baseline das klarste Bild davon lieferte, worauf der Bibliothekar achtete.
Für den Assistenten: Sie verwendeten eine Methode namens PMCSHAP (eine schicke, stabilisierte Version von Shapley-Werten). Stellen Sie sich ein Spiel vor, bei dem man nach und nach ein Buch nach dem anderen aus dem Stapel des Assistenten entfernt, um zu sehen, wie stark sich die endgültige Antwort dadurch verändert. Wenn das Entfernen eines Buches die Antwort drastisch verändert, war dieses Buch entscheidend. Sie fanden heraus, dass das wiederholte Durchführen dieses Vorgangs (im Monte-Carlo-Stil) eine viel stabilere und genauere Messung ergab als bisherige Methoden.

3. Die neue Bewertung: WARG

Das Team entwickelte eine neue Metrik namens WARG (Weighted Alignment between Retriever and Generator).

Die Analogie: Stellen Sie sich vor, der Bibliothekar reicht Ihnen einen Stapel von 10 Büchern, sortiert von „Best“ bis „Worst“. Der Assistent schreibt dann eine Antwort. WARG fragt: „Hat der Assistent tatsächlich die Bücher verwendet, die der Bibliothekar für am besten hielt?“
Warum es besser ist: Alte Wege, dies zu messen, waren so, als würde man versuchen, zwei Listen von Zahlen mit einer geraden Linie (Pearson-Korrelation) abzugleichen. Da der Assistent Dokumente jedoch entweder als „Genutzt“ oder „Ignoriert“ behandelt, funktioniert eine gerade Linie nicht. WARG ist wie ein spezialisiertes Lineal, das nur den Abstand zwischen den „besten“ Büchern und den „ignorierten“ Büchern misst, was einen viel klareren Score darüber liefert, wie gut das Team abgestimmt ist.

4. Was sie herausgefunden haben

Fehlende Abstimmung ist häufig: Der Bibliothekar und der Assistent sind häufig uneins. Der Assistent ignoriert oft die am höchsten bewerteten Dokumente oder verlässt sich auf niedriger bewertete Dokumente.
Keyword-Jagd: Der Bibliotheker ist immer noch stark von der Übereinstimmung exakter Wörter (Nomen und Namen) abhängig, anstatt die tiefe Bedeutung des Satzes zu verstehen.
Der Score zählt: Wenn der WARG-Score hoch ist (was bedeutet, dass Bibliothekar und Assistent synchron sind), ist die endgültige Antwort viel wahrscheinlicher korrekt. Wenn sie nicht synchron sind, ist die Antwort oft falsch.

Zusammenfassung

Dieses Paper sagt nicht nur „KI ist undurchsichtig“. Es baut ein Werkzeug (RAG-E), um exakt zu messen, wie die Such- und Schreibteile der KI nicht übereinstimmen. Sie fanden heraus, dass diese beiden Teile oft gegeneinander arbeiten, und entwickelten einen neuen Score (WARG), um diese Fehlabstimmung zu erkennen, was Ingenieuren helfen kann, zuverlässigere KI-Systeme zu bauen, die die ihnen gegebenen Informationen auch tatsächlich nutzen.

Technisches Resümee: Quantifizierung der Retriever-Generator-Ausrichtung in RAG mit lokalen Erklärungen

Problemstellung

Retrieval-Augmented Generation (RAG)-Systeme kombinieren dichte Retriever (RET) und Large Language Models (GEN), um Ausgaben auf externen Dokumenten zu begründen. Während diese Architektur die Opazität von LLMs durch die Bereitstellung von Quellmaterial reduziert, bleibt die Interaktion zwischen dem Retriever und dem Generator opak. Bestehende RAG-Systeme weisen oft einen Mangel an Transparenz hinsichtlich des Informationsflusses zwischen den Komponenten auf. Speziell zeigen bestehende Erklärbarkeitsmethoden häufig eine mangelnde Transparenz darüber, wie Informationen zwischen den Komponenten fließen. Konkret analysieren bestehende Methoden RET oder GEN isoliert, was dazu führt, dass sie die Ausrichtung zwischen ihnen nicht quantifizieren können. Dies schafft Herausforderungen für den Einsatz in Hochrisikodomänen, in denen das Verständnis darüber, ob ein Generator tatsächlich die relevantesten abgerufenen Dokumente nutzt, entscheidend ist. Die Autoren identifizieren eine signifikante „Fehlausrichtung“ (Misalignment), bei der Generatoren häufig die am höchsten bewerteten Dokumente ignorieren (Wasted Retrieval) oder sich auf Dokumente verlassen, die als weniger relevant eingestuft wurden (Noise Distraction).

Methodik: Das RAG-E Framework

Die Autoren schlagen RAG-E vor, ein End-to-End-Erklärbarkeitsframework, das darauf ausgelegt ist, die Interaktion zwischen den RET- und GEN-Komponenten zu auditieren. Das Framework verwendet unterschiedliche Attributionsmethoden, die auf die spezifischen Merkmale der jeweiligen Komponente zugeschnitten sind:

Retriever-Analyse (Integrated Gradients):
- Das Framework wendet Integrated Gradients (IG) auf dichte Retriever an.
- Eine zentrale Designentscheidung betrifft das Baseline-Embedding. Durch empirische Analysen fanden die Autoren heraus, dass der Ersatz von Nicht-Spezial-Token-Embeddings durch das [unk]-Token des Modells die Treue (gemessen durch die Area Inside the Perturbation Curves, AIPC) im Vergleich zu Standard-Baselines wie [pad] oder [mask] signifikant verbessert.
- IG wurde für RETs gewählt, da diese voll differenzierbar sind, was intrinsische, gradientenbasierte Erklärungen ermöglicht, die nicht schlecht mit der Anzahl der Input-Token skalieren.
Generator-Analyse (Stabilisierte Shapley-Werte):
- Für autoregressive Generatoren verwendet das Framework Shapley-Werte (SV), um generierte Token bestimmten Kontextdokumenten zuzuordnen.
- Um die rechnerische Unbehandbarkeit exakter SVs ( $O(2^{|D|})$ ) und die Instabilität von Standard-Kernel-SHAP (KSHAP)-Approximationen zu adressieren, führen die Autoren PMCSHAP (Paired Monte Carlo Stabilized SHAP) ein.
- PMCSHAP kombiniert Monte-Carlo-Sampling mit komplementärem Sampling (Paarung von Input-Output-Sets), um präzisere und reproduzierbarere Approximationen von Shapley-Werten als natives KSHAP zu erreichen, während die Rechenkosten handhabbar bleiben.
- Das Framework verwendet Constrained Token Generation, um sicherzustellen, dass die Ausgabe des Generators bei der Evaluierung perturbierter Dokumentensubsets ( $D'$ ) mit der ursprünglichen Ausgabe vergleichbar bleibt, indem die Generierungssequenz basierend auf dem ursprünglichen Prompt und den vorherigen Token eingeschränkt wird.
Alignment-Metrik: WARG:
- Um die Forschungsfrage zu beantworten, wie die RET-GEN-Übereinstimmung quantifiziert werden kann, schlagen die Autoren die Weighted Attribution-Relevance Gap (WARG) vor.
- WARG misst die normalisierte Differenz der mittleren RET-Wichtigkeitswerte zwischen Dokumenten, die der Generator als „relevant“ (hohe Attribution) erachtet, und solchen, die er als „irrelevant“ einstuft.
- Es verwendet einen Schwellenwert ( $\tau = 1.5$ ), um generationsrelevante Dokumente zu identifizieren, normalisiert die Attributionen und weist binäre Gewichte zu.
- Die Metrik wird auf $[-1, 1]$ begrenzt, wobei höhere Werte eine bessere Ausrichtung anzeigen (der Generator konzentriert sich auf Dokumente, die der Retriever hoch bewertet hat).

Kernergebnisse

Experimente wurden auf drei Open-Domain-Datensätzen (PopQA, QAMPARI, TREC CAST) mit zwei dichten Retrievern (DRAGON, Arctic Embed 2) und drei Generator-Modellen (Llama 3.1, Qwen 2.5, Gemma 3) durchgeführt.

Systematische Fehlausrichtung: Die Studie zeigt eine erhebliche Fehlausrichtung zwischen RET und GEN. Je nach Modell und Einstellung ignorieren Generatoren häufig die am höchsten bewerteten Dokumente. Für die Top-3-Dokumente betrifft die Fehlausrichtung (Wasted Retrieval oder Noise Distraction) in einigen Konfigurationen über 70 % der Abfragen.
Retrieval-Verhalten: Quantitative Analysen zeigen, dass selbst dichte Retriever stark auf Keyword-Matching angewiesen sind, insbesondere auf Nomen und Eigennamen, anstatt auf tiefem semantischem Verständnis.
Generator-Verhalten: Generatoren zeigen ein nahezu binäres Attributionsmuster: Relevante Dokumente erhalten konsistent hohe Scores, während irrelevante Dokumente nahe Null clustern.
Überlegenheit der Metrik: WARG übertrifft Standard-Pearson- und Spearman-Korrelationen bei der Erfassung der RET-GEN-Ausrichtung. Im Gegensatz zu Korrelationen ist WARG robust gegenüber der nahezu binären Struktur der Generator-Wichtigkeit und dem Rauschen in den Tail-Verteilungen.
Leistungskorrelation: Hohe WARG-Scores korrelieren mit der Performance in Downstream-Aufgaben. Antworten, die Ground-Truth-Labels enthalten, sind mehr als doppelt so wahrscheinlich, einen hohen WARG-Score ( $>0.5$ ) zu erreichen, im Vergleich zu solchen, die dies nicht tun.

Bedeutung und Ansprüche

Das Paper behauptet, dass RAG-E und WARG ein praktisches Framework zur Auditierung von RAG-Systemen bieten, welches eine Lücke schließt, in der frühere Arbeiten sich auf Komponenten isoliert konzentrierten. Die Bedeutung dieser Arbeit liegt in:

Transparenz: Die Interaktion zwischen Retrieval und Generation explizit und messbar zu machen, was für Hochrisikodomänen wie das Gesundheitswesen und das Recht entscheidend ist.
Diagnostische Kapazität: Identifizierung spezifischer Fehlermodi (Wasted Retrieval, Noise Distraction), die Standardmetriken möglicherweise übersehen.
Optimierungspotenzial: Die Autoren schlagen vor, dass WARG als Indikator für die RAG-Performance dienen und potenziell die Systemoptimierung leiten kann, etwa durch die Reduzierung der Rechenkosten durch das Abrufen weniger Dokumente, falls die Ausrichtung als schlecht bekannt ist.
Methodischer Beitrag: Die Einführung von PMCSHAP zur Stabilisierung von Shapley-Wert-Approximationen in autoregressiven Modellen und die Validierung des [unk]-Tokens als überlegene Baseline für Integrated Gradients in Retrieval-Aufgaben.

Die Autoren bewahren Bescheidenheit hinsichtlich ihrer Ansprüche und merken an, dass ein hoher WARG-Score zwar mit korrekten Antworten korreliert, aber keine mathematische Garantie für faktische Korrektheit darstellt. Sie räumen auch Einschränkungen ein, einschließlich der Rechenkosten von PMCSHAP für sehr große Pipelines und des aktuellen Fokus auf Standard-RAG-Architekturen ohne Reranker oder hybride Retrieval-Systeme.