💬 NLP

Rule-Based Explanations for Retrieval-Augmented LLM Systems

Die Autoren stellen einen neuartigen Ansatz vor, der durch optimierte, apriori-ähnliche Pruning-Verfahren effiziente Wenn-dann-Regeln generiert, um die Ausgabe von Retrieval-Augmented-Generation-Systemen (RAG) durch die Nachvollziehbarkeit der verwendeten Informationsquellen zu erklären.

Ursprüngliche Autoren: Joel Rorseth, Parke Godfrey, Lukasz Golab, Divesh Srivastava, Jarek Szlichta

Veröffentlicht 2026-03-20

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Joel Rorseth, Parke Godfrey, Lukasz Golab, Divesh Srivastava, Jarek Szlichta

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen extrem klugen, aber manchmal etwas verwirrten Assistenten (eine KI, genauer gesagt ein Large Language Model oder LLM). Dieser Assistent kann fast alles beantworten, aber manchmal erfindet er Dinge oder gibt falsche Ratschläge.

Um ihn sicherer zu machen, geben wir ihm einen Rucksack voller Notizen (das nennt man RAG – Retrieval-Augmented Generation). Wenn er eine Frage bekommt, schaut er erst in seinen Rucksack, sucht die besten Notizen heraus und beantwortet die Frage dann basierend darauf.

Das Problem: Manchmal ist in diesem Rucksack eine falsche Notiz versteckt, die den Assistenten in die Irre führt. Wir wollen herausfinden: Welche genau dieser Notizen ist schuld daran, dass er eine falsche Antwort gibt?

Hier kommt die Idee dieses Papers ins Spiel: Regelbasierte Erklärungen.

1. Das Problem: Der "Suche-und-Zerstöre"-Ansatz

Stellen Sie sich vor, Sie haben 10 Notizen in Ihrem Rucksack. Um herauszufinden, welche davon die falsche Antwort verursacht, müssten Sie theoretisch den Assistenten 1024 Mal (alle möglichen Kombinationen von Notizen) fragen:

"Was passiert, wenn ich nur Notiz A nehme?"
"Was passiert, wenn ich Notiz A und B nehme?"
"Was passiert, wenn ich Notiz A, B und C nehme?"

Das wäre wie der Versuch, einen Nadelhaufen zu durchsuchen, indem man jede einzelne Nadel einzeln mit einem Magneten prüft. Das dauert ewig und ist ineffizient.

2. Die Lösung: Der "Kluge Detektiv" (Der Regel-Miner)

Die Autoren dieses Papers haben einen klugen Detektiv entwickelt, der nicht jede einzelne Kombination prüft, sondern Muster erkennt.

Stellen Sie sich vor, Sie suchen nach dem Übeltäter in einer Gruppe von Verdächtigen. Ein normaler Detektiv würde jeden einzeln verhören. Unser "Regel-Detektiv" macht etwas Cleveres:

Der Trick mit dem "Aussortieren" (Pruning):
Der Detektiv beginnt mit der größten Gruppe (alle 10 Notizen). Wenn die Gruppe alle 10 Notizen eine falsche Antwort liefert, prüft er nicht sofort jede Untergruppe. Er fragt sich: "Wenn ich eine Notiz weglasse, wird es besser?"

Wenn er merkt, dass eine bestimmte Notiz (sagen wir, Notiz X) immer zu einer falschen Antwort führt, sobald sie im Rucksack ist, dann weiß er: "Aha! Notiz X ist der Übeltäter!"

Jetzt muss er nicht mehr prüfen, ob Notiz X zusammen mit Notiz Y und Z auch falsch ist. Er weiß schon, dass Notiz X allein ausreicht. Er kann also alle Kombinationen, die Notiz X enthalten, einfach übergehen. Das spart enorm viel Zeit. Es ist wie beim Suchen nach einem Schlüssel im Haus: Wenn Sie wissen, dass der Schlüssel nicht im Schlafzimmer ist, müssen Sie nicht jeden einzelnen Schrank im Schlafzimmer öffnen.

3. Die zwei Arten von Regeln

Der Detektiv kann auf zwei Arten arbeiten, je nachdem, was Sie wissen wollen:

Die "Behalte-Regel" (Retention Rule):
- Frage: "Welche Notizen muss ich behalten, damit der Assistent eine falsche Antwort gibt?"
- Ergebnis: "Wenn Notiz X und Notiz Y im Rucksack sind, dann gibt der Assistent immer eine falsche Antwort."
- Nutzen: Sie können diese Notizen aus dem Rucksack entfernen, um Fehler zu vermeiden.
Die "Entferne-Regel" (Omission Rule):
- Frage: "Welche Notizen muss ich wegwerfen, damit der Assistent eine falsche Antwort gibt?"
- Ergebnis: "Wenn ich Notiz Z weglasse, dann gibt der Assistent eine falsche Antwort."
- Nutzen: Das zeigt Ihnen, welche Notizen essenziell für eine korrekte Antwort sind. Ohne Notiz Z ist der Assistent hilflos.

4. Ein echtes Beispiel aus dem Papier

Stellen Sie sich vor, ein Arzt nutzt die KI, um eine Behandlung für "Long COVID" zu finden.

Der Assistent schlägt vor: "Nimm Calcium-Präparate!" (Das ist falsch und gefährlich).
Der Arzt fragt den Detektiv: "Warum?"
Der Detektiv prüft die Notizen im Rucksack und findet eine Regel: "Wenn Notiz D2 und Notiz D4 gleichzeitig im Rucksack sind, dann schlägt die KI immer Calcium vor."
Erkenntnis: Der Arzt kann jetzt genau diese beiden Notizen überprüfen und korrigieren. Er muss nicht den ganzen Rucksack neu sortieren.

5. Warum ist das so wichtig?

Geschwindigkeit: Statt 1024 Versuche braucht der Detektiv oft nur 50 oder 100. Das ist wie der Unterschied zwischen einem Fußmarsch und einem Flugzeug.
Vertrauen: Statt nur zu sagen "Die KI hat einen Fehler gemacht", sagt der Detektiv: "Der Fehler passiert immer, wenn diese spezifischen Informationen vorhanden sind." Das ist eine klare, handlungsanweisende Erklärung.
Sicherheit: In Bereichen wie Medizin oder Recht ist es lebenswichtig zu wissen, warum eine KI eine Entscheidung trifft. Diese Regeln geben uns die "Landkarte" der KI-Entscheidungen.

Zusammenfassung in einem Satz

Die Autoren haben einen intelligenten Suchalgorithmus entwickelt, der wie ein erfahrener Detektiv funktioniert: Er findet heraus, welche spezifischen Informationen in einer KI genau dann zu falschen Ergebnissen führen, wenn sie zusammenkommen, und spart dabei massiv Zeit, indem er ganze Gruppen von Möglichkeiten sofort ausschließt, sobald das Muster klar ist.

1. Problemstellung

Die Arbeit adressiert das wachsende Problem der Erklärbarkeit (Explainability) bei Retrieval-Augmented Generation (RAG) Systemen, die auf Large Language Models (LLMs) basieren.

Herausforderung: RAG-Systeme erweitern das statische Wissen eines LLMs um dynamisch abgerufene externe Quellen (Dokumente) zum Inferenzzeitpunkt. Dies erschwert die Nachverfolgung der Provenienz (Herkunft) von Informationen in der Antwort des LLMs.
Limitationen bestehender Methoden:
- Feature-Attribution: Methoden wie LIME oder SHAP sind oft nicht handlungsorientiert (nicht „actionable") und können irreführend sein.
- Counterfactual Explanations: Diese zeigen minimale Änderungen, die das Ergebnis ändern würden, können aber für Endnutzer überwältigend sein, da es viele minimale Gegenbeispiele gibt.
- Fehlende Regelbasierte Ansätze: Bisher gab es keine Methode, um RAG-Systeme durch If-Then-Regeln zu erklären, die den Zusammenhang zwischen dem Vorhandensein oder Fehlen spezifischer Abrufquellen und dem LLM-Ausgang klar definieren.

2. Methodik und Formulierung

Die Autoren schlagen einen neuen Rahmen für regelbasierte Erklärungen vor, der auf dem Konzept der Feature-Ablation (Entfernung von Eingabedaten) basiert.

A. Regel-Formulierung

Eine regelbasierte Erklärung ist eine Konjunktion von Prädikaten über die Eingabemerkmale (die RAG-Quellen), die garantiert, dass bei Erfüllung dieser Prädikate eine bestimmte Ziel-Ausgabebedingung (Output Predicate) erfüllt ist.
Es werden zwei Varianten definiert:

Retention Rules (Beibehaltungsregeln): Wenn eine bestimmte Teilmenge von Quellen $s'$ $s^{'}$ beibehalten wird, führt das LLM immer zu einem bestimmten Ergebnis (z. B. einer falschen Antwort).
- Formal: $\forall t \in P(s), s' \subseteq t \Rightarrow O(M(t, c)) = 1$ .
Omission Rules (Auslassungsregeln): Wenn eine bestimmte Teilmenge von Quellen $s'$ $s^{'}$ weggelassen wird, führt das LLM immer zu einem bestimmten Ergebnis.
- Formal: $\forall t \in P(s), (t \cap s' = \emptyset) \Rightarrow O(M(t, c)) = 1$ .

Die Autoren definieren die Gültigkeit einer Regel rekursiv: Eine Regel ist nur gültig, wenn sie für alle ihre „Vorfahren" (Supersets bei Beibehaltung, Subsets bei Auslassung) ebenfalls gilt. Dies ermöglicht eine effiziente Suche im Suchraum.

B. Suchalgorithmen (Rule Mining)

Da der Suchraum alle Teilmengen der Quellen umfasst (Potenzmenge, $2^{|s|}$ ), ist eine brute-force-Suche ineffizient. Die Autoren entwickeln zwei optimierte Algorithmen, inspiriert vom Apriori-Algorithmus aus dem Data-Mining, aber angepasst für LLMs:

Mono Rule Miner:
- Sucht nach Regeln eines einzigen Typs (entweder Beibehaltung oder Auslassung) in einem Durchlauf.
- Nutzt einen Top-Down-Breite-zuerst-Suchansatz (BFS) durch das Lattice (Gitter der Teilmengen).
- Optimierungen:
  - Dynamic Programming: Zwischenspeicherung der Gültigkeit von Elternknoten, um Berechnungen zu vermeiden.
  - Early Termination (Pruning): Wenn ein Knoten (eine Teilmenge) ungültig ist, können alle seine Nachkommen (Teilmengen) sofort ausgeschlossen werden, da die Gültigkeit rekursiv von den Vorfahren abhängt. Dies nutzt die „Downward Closure Property" (Apriori-Eigenschaft).
- Raumkomplexität: $O(\binom{|s|}{\lfloor |s|/2 \rfloor})$ durch Caching nur zweier Ebenen.
Dual Rule Miner:
- Sucht gleichzeitig nach beiden Regeltypen (Beibehaltung und Auslassung) in einem Durchlauf.
- Nutzt eine Masken-Repräsentation, um jede Teilmenge dual zu interpretieren (True = Beibehalten für Regel A, True = Auslassen für Regel B).
- Trade-off: Weniger Pruning-Möglichkeiten als Mono, da ein Knoten nur dann abgeschnitten wird, wenn er für beide Regeltypen ungültig ist. Dies ist jedoch effizienter als zwei separate Mono-Läufe.

3. Wichtige Beiträge

Erste regelbasierte Erklärung für RAG: Einführung eines neuen Paradigmas, das Bedingungen für das Vorhandensein oder Fehlen von RAG-Quellen mit spezifischen LLM-Ausgaben verknüpft.
Effiziente Suchalgorithmen: Entwicklung von Mono und Dual Rule Minern, die durch Pruning und rekursive Validierung den Suchraum drastisch reduzieren.
Praktische Anwendbarkeit: Demonstration, wie diese Regeln Entwicklern, Auditoren und Politikern helfen können, problematische Dokumente zu identifizieren (z. B. Fehlinformationen in medizinischen Datenbanken) oder Sicherheitslücken (Prompt Injection) aufzudecken.

4. Experimentelle Ergebnisse

Die Autoren evaluieren ihre Algorithmen qualitativ und quantitativ:

Qualitative Fallstudien:
- Gesundheitswesen: Identifikation von Dokumentkombinationen, die zu medizinischen Fehlinformationen über Long-COVID-Behandlungen führen. Die Regeln zeigten, dass die Kombination spezifischer Dokumente ( $D2, D4$ ) konsistent zu falschen Antworten führte, obwohl einzelne Dokumente dies nicht taten.
- AI Safety (Red Teaming): Aufdeckung von Prompt-Injection-Szenarien, bei denen bestimmte Kombinationen von adversarialen Quellen eine Sicherheitslösung umgehen. Ein Divide-and-Conquer-Ansatz ermöglichte die Skalierung auf 50 Quellen.
Quantitative Evaluation (Effizienz & Skalierbarkeit):
- Daten: HotpotQA-Datensatz (Multi-Hop-Fragen) und synthetische Daten.
- Pruning-Effizienz: Die Algorithmen besuchen deutlich weniger Knoten als ein naiver Ansatz ( $2^{|s|}$ $2^{∣ s ∣}$ ).
  - Mono Miner prunt bis zu 70% der Knoten (je nach Regeltyp und Setting).
  - Dual Miner ist effizienter als zwei separate Mono-Läufe, insbesondere bei kleineren Quellmengen.
- Skalierbarkeit: Bei $|s| \le 10$ (typisch für RAG-Top-10-Ergebnisse) sind die Regeln in wenigen Minuten berechenbar. Bei $|s| > 10$ wird die exponentielle Komplexität zum Engpass, wobei Divide-and-Conquer-Strategien empfohlen werden.
Robustheit:
- Tests mit verschiedenen kommerziellen LLMs (GPT-5, Gemini, Claude) zeigten, dass trotz der Stochastik der Modelle präzise Regeln gefunden werden können, insbesondere durch Mehrheitsvoting über mehrere Inferenzläufe.
- Die „LLM-as-a-Judge"-Komponente zur Bewertung der Antwortkorrektheit erreichte eine Präzision von ~99% und einen Recall von 100% im Vergleich zu Expertenurteilen.

5. Bedeutung und Ausblick

Handlungsorientierung: Im Gegensatz zu reinen Attributions-Scores bieten diese Regeln konkrete Handlungsempfehlungen (z. B. „Entferne Dokument X, um die falsche Antwort zu verhindern").
Garantierte Korrektheit: Die Regeln sind exakt (100% Konfidenz), nicht approximativ, was für kritische Anwendungen (Medizin, Recht, Sicherheit) essenziell ist.
Zukunftspotenzial: Die Autoren schlagen vor, die Formulierung auf approximative Regeln (mit Mindestkonfidenz) zu erweitern, um die Nicht-Deterministik von LLMs besser zu modellieren, und nutzen die HotpotQA-Daten als Benchmark für die Evaluierung von RAG-Systemen.

Zusammenfassend stellt diese Arbeit einen fundamentalen Schritt dar, um die „Black Box" von RAG-Systemen zu öffnen und nachvollziehbare, mathematisch fundierte Erklärungen für deren Verhalten zu liefern.