💬 NLP

CompactRAG: Reducing LLM Calls and Token Overhead in Multi-Hop Question Answering

CompactRAG ist ein kosteneffizientes Framework für Multi-Hop-Fragenbeantwortung, das LLM-Aufrufe und Token-Overhead minimiert, indem es die Offline-Korpus-Umstrukturierung in eine atomare QA-Wissensdatenbank von einer Online-Argumentationsphase entkoppelt, die auf dichter Retrieval und Antwortextraktion basiert und das LLM unabhängig von der Komplexität der Argumentation nur zweimal aufruft.

Ursprüngliche Autoren: Hao Yang, Zhiyu Yang, Xupeng Zhang, Wei Wei, Yunjie Zhang, Lin Yang

Veröffentlicht 2026-02-06

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Hao Yang, Zhiyu Yang, Xupeng Zhang, Wei Wei, Yunjie Zhang, Lin Yang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein komplexes Rätsel zu lösen, wie zum Beispiel herauszufinden, wer der Regisseur eines bestimmten Films ist, aber die Antwort ist nicht an einem einzigen Ort zu finden. Sie müssen ein Buch über den Film lesen, den Namen des Regisseurs finden, dann die Biografie dieses Regisseurs nachsehen, um herauszufinden, wo er geboren wurde, und schließlich eine Landkarte prüfen, um die Stadt zu sehen.

Das ist das, was Multi-Hop Question Answering ist: das Lösen eines Puzzles, das erfordert, zwischen verschiedenen Informationsteilen zu springen (Hops), um die endgültige Antwort zu erhalten.

Das Problem: Der „überarbeitete Bibliothekar“

Aktuelle Systeme (genannt RAG oder Retrieval-Augmented Generation) versuchen dies zu lösen, indem sie eine superintelligente KI (ein Large Language Model oder LLM) die Arbeit machen lassen. Die Art und Weise, wie sie dies jedoch tun, ist ineffizient.

Stellen Sie sich die aktuelle Methode wie das Einstellen eines sehr teuren, hochbezahlten Bibliothekars vor, um Ihr Rätsel zu lösen.

Sie stellen dem Bibliothekar eine Frage.
Der Bibliothekar rennt zu den Regalen, schnappt sich ein Buch, liilt es und schreibt eine Notiz.
Der Bibliothekar rennt zurück zu Ihnen, liest Ihre Notiz und sagt: „Okay, jetzt muss ich wissen, wo der Regisseur geboren wurde.“
Sie fragen erneut. Der Bibliothekar rennt erneut zu den Regalen, schnappt sich ein anderes Buch, liest es und schreibt eine weitere Notiz.
Er wiederholt diesen Prozess für jeden einzelnen Schritt des Rätsels.

Das Ergebnis? Der Bibliothekar wird müde, der Prozess dauert ewig und Sie müssen eine riesige Rechnung (in „Tokens“ oder Rechenleistung) bezahlen, weil der Bibliothekar so viele Wege hin und her macht. Außerdem kann es vorkommen, dass der Bibliothekar bei der zweiten Phase verwirrt ist, worauf sich das Wort „er“ bezieht, was zu falschen Antworten führt.

Die Lösung: CompactRAG (Die „vorverpackte Wissensbox“)

Die Autoren dieser Arbeit, CompactRAG, schlagen einen klügeren Weg vor. Anstatt den teuren Bibliothekar jedes Mal zur Arbeit rennen zu lassen, wenn Sie eine Frage stellen, organisieren sie die Bibliothek neu, bevor Sie überhaupt auftauchen.

Schritt 1: Die Offline-Vorbereitung (Der „einmalige Aufbau“)

Bevor ein Benutzer eine Frage stellt, nutzt das System eine KI, um die gesamte Bibliothek der Dokumente ein einziges Mal zu lesen.

Es zerlegt jedes Dokument in winzige, perfekte, in sich geschlossene „Fakten-Karten“.
Anstatt eines ganzen Absatzes, der sagt: „Der Film wurde 1953 von Arthur Crabtree gedreht“, erstellt es eine spezifische Karte, die besagt: „Frage: Wer hat ‚The Wedding of Lilli Marlene‘ gedreht? Antwort: Arthur Crabtree.“
Dies geschieht für jeden Fakt in der Bibliothek. So entsteht eine kompakte Wissensbasis.

Analogie: Stellen Sie sich vor, anstatt einer chaotischen Bibliothek haben Sie eine riesige, perfekt organisierte Box mit Indexkarten. Jede Karte hat eine spezifische Frage auf der Vorderseite und die exakte Antwort auf der Rückseite. Kein unnötiges Gerede, keine zusätzlichen Wörter.

Schritt 2: Das Online-Reasoning (Die „Zwei-Touren-Regel“)

Wenn ein Benutzer nun eine komplexe Frage stellt, arbeitet das System wie folgt:

Die Zerlegung (Tour 1): Der teure Bibliothekar (LLM) wird ein einziges Mal gerufen, nur um das große Rätsel in kleine, einfache Schritte zu zerlegen.
- Nutzer: „Wo wurde der Regisseur des Films geboren?“
- LLM: „Okay, Schritt 1: Wer hat den Film gedreht? Schritt 2: Wo wurde diese Person geboren?“
Die Suche (Kein Bibliothekar nötig): Das System ruft den teuren Bibliotheker nicht erneut auf. Stattdessen nutzt es einen billigen, schnellen Roboter, um die Antworten in der vorab erstellten „Fakten-Karten-Box“ nachzuschlagen.
- Der Roboter findet die Karte für „Wer hat ... gedreht“ und erhält „Arthur Crabtree“.
- Der Roboter schreibt dann die nächste Frage um, damit sie klar ist: „Wo wurde Arthur Crabtree geboren?“ (Dies verhindert die Verwirrung durch das Wort „er“).
- Der Roboter findet die Karte für „Wo wurde Arthur Crabtree geboren?“ und erhält „London“.
Die endgültige Antwort (Tour 2): Sobald der Roboter alle kleinen Antworten gesammelt hat, wird der teure Bibliothekar ein letztes Mal gerufen, um die Teile zusammenzufügen und Ihnen die endgültige Antwort zu geben.

Die Magie: Der teure Bibliothekar wird pro Frage nur zweimal gerufen, egal wie viele Schritte (Hops) das Rätsel umfasst. Ob das Puzzle 2 Schritte oder 10 Schritte hat, die Kosten bleiben gleich.

Warum das wichtig ist

Spart Geld: Sie hören auf, den teuren Bibliothekar dafür zu bezahlen, hin und her zu rennen. Sie bezahlen ihn nur zweimal.
Spart Zeit: Der Prozess ist viel schneller, da die „Fakten-Karten“ leicht zu finden und zu lesen sind.
Weniger Fehler: Indem das System die Fragen unter Verwendung spezifischer Namen umschreibt (wie „Arthur Crabtree“ statt „er“), lässt es sich nicht darüber im Unklaren lassen, über wen gerade gesprochen wird.

Die Ergebnisse

Die Autoren testeten dies an drei schwierigen Puzzle-Datensätzen (HotpotQA, 2WikiMultiHopQA und MuSiQue).

Genauigkeit: CompactRAG war bei der Lösung der Puzzles genauso gut wie die alten, teuren Methoden.
Effizienz: Es verbrauchte signifikant weniger „Tokens“ (die Währung der KI-Rechenleistung). In einigen Fällen wurden weniger als die Hälfte der Ressourcen der anderen Methoden benötigt.

Zusammenfassung

CompactRAG ist wie die Umwandlung einer chaotischen, teuren Hin-und-Her-Ermittlung in eine gestraffte, vorverpackte Operation. Es erledigt die schwere Arbeit der Organisation des Wissens einmal im Vorfeld, sodass das Lösen jedes neuen Rätsels zu einem schnellen, günstigen und zweistufigen Prozess wird.

Technisches Resümee: CompactRAG

Problemstellung

Retrieval-Augmented Generation (RAG) hat sich als Standardparadigma für wissensintensive Fragenbeantwortung etabliert. Bestehende Multi-Hop-RAG-Systeme stehen jedoch vor erheblichen Ineffizienzen, wenn sie komplexe Anfragen bearbeiten müssen, die eine Integration von Evidenzen aus mehreren Dokumenten erfordern. Aktuelle iterative Ansätze (z. B. Self-Ask, IRCoT, Iter-RetGen) wechseln bei jedem Schritt zwischen Retrieval und LLM-Reasoning ab. Dieses Design führt zu drei primären Problemen:

Skalierbarkeit und Kosten: Der Token-Verbrauch und die Latenz steigen linear mit der Anzahl der Reasoning-Hops aufgrund wiederholter LLM-Aufrufe.
Redundanz: Die abgerufenen Kontexte enthalten oft redundante Informationen, was den Token-Verbrauch aufbläht.
Entity Drift (Entitätsdrift): Die automatische Zerlegung komplexer Fragen in Sub-Fragen kann dazu führen, dass explizite Erwähnungen von Entitäten verloren gehen (z. B. das Ersetzen von „Wo wurde er geboren?“ nachdem „er“ als Wissenschaftler identifiziert wurde). Diese Ambiguität verursacht Retrieval-Fehler und inkonsistente Ergebnisse über die Hops hinweg.

Methodik: CompactRAG

Die Autoren schlagen CompactRAG vor, ein Framework, das die Offline-Korpus-Restrukturierung vom Online-Reasoning entkoppelt, um eine effiziente Multi-Hop-Inferenz zu erreichen. Das System operiert in zwei distinkten Phasen:

1. Offline-Phase: Konstruktion einer atomaren QA-Wissensbasis

Anstatt während der Inferenz rohe Korpus-Passagen abzurufen, verarbeitet CompactRAG den Korpus einmalig offline.

Prozess: Ein LLM liest den rohen Korpus und formuliert den Dokumenteninhalt in eine Menge von atomaren QA-Paaren um.
Granularität: Jedes Paar repräsentiert eine minimale, feingliedrige faktische Einheit (z. B. „Wer hat X regiert?“ $\to$ „Y“).
Entity Anchoring (Entitätsverankerung): Entitäten innerhalb des Korpus werden automatisch annotiert (unter Verwendung von SpaCy) und während der Generierung explizit erzwungen, um semantische Vollständigkeit zu gewährleisten und den Verlust von Referenzen zu verhindern.
Indizierung: Jedes atomare QA-Paar wird mittels Dense Retrieval (Contriever) in einen gemeinsamen semantischen Raum eingebettet. Die Frage und die Antwort werden konkateniert ( $[q; a]$ ), um den vollen faktischen Umfang zu bewahren, was dem Retriever ermöglicht, sowohl Intention als auch Inhalt abzugleichen.

2. Online-Phase: Zwei-Aufruf-Inferenz

Während der Inferenz löst das System komplexe Abfragen über eine feste, leichtgewichtige Pipeline, die das Haupt-LLM unabhängig von der Reasoning-Tiefe nur zweimal aufruft.

Schritt 1: Dekomposition (LLM-Aufruf #1): Die komplexe Anfrage wird in einen Abhängigkeits-geordneten Graphen aus Sub-Fragen zerlegt.
Schritt 2: Iterative Auflösung (Leichtgewichtige Module):
- Retrieval: Sub-Fragen werden verwendet, um die Top- $k$ atomaren QA-Paare aus der vorab erstellten Wissensbasis abzurufen.
- Antwort-Extraktion: Ein leichtgewichtiger, auf RoBERTa basierender Answer Extractor identifiziert den korrekten Antwortspan aus den abgerufenen Paaren, wodurch LLM-Aufrufe für die Extraktion vermieden werden.
- Sub-Fragen-Umschreibung: Ein auf Flan-T5 basierender Sub-Question Rewriter nimmt die extrahierte Antwort-Entität und schreibt die nächste Sub-Frage um, um ambivalente Referenzen explizit zu erden (z. B. die Änderung von „Wo wurde er geboren?“ zu „Wo wurde [Entität] geboren?“). Dies verhindert Entity Drift.
Schritt 3: Synthese (LLM-Aufruf #2): Sobald alle Sub-Fragen aufgelöst und die Evidenzen aggregiert wurden, führt das Haupt-LLM einen einzelnen Syntheseschritt durch, um die finale Antwort zu generieren.

Zentrale Beiträge

Skalierbarkeitsanalyse: Die Arbeit analysiert, wie der Token-Verbrauch und die LLM-Aufrufe in iterativen RAG-Pipelines mit der Reasoning-Tiefe linear skalieren, und identifiziert dies als Engpass für den großflächigen Einsatz.
CompactRAG-Framework: Die Einführung einer Zwei-Aufruf-RAG-Architektur, die eine Offline-atomare QA-Wissensbasis und leichtgewichtige Online-Module (Extractor und Rewriter) nutzt, um effizientes Multi-Hop-Reasoning ohne wiederholte LLM-Aufrufe zu ermöglichen.
Empirische Validierung: Umfassende Evaluierung auf HotpotQA, 2WikiMultiHopQA und MuSiQue, die zeigt, dass CompactRAG eine kompetitive Genauigkeit erreicht und dabei den Token-Verbrauch im Vergleich zu starken iterativen Baselines drastisch reduziert.

Experimentelle Ergebnisse

Evaluierung auf drei Multi-Hop-Benchmarks unter Verwendung von LLaMA-3.1-8B als Backbone-LLM:

Genauigkeit: CompactRAG erzielt eine kompetitive Performance. Auf HotpotQA erreichte es eine Exact Match (EM) von 45,20 % und eine LLM-basierte Genauigkeit von 70,40 %, was vergleichbar mit oder besser als iterative Baselines wie IRCoT (42,80 % EM) und Iter-RetGen (46,80 % EM) ist.
Effizienz: Das System reduziert den Token-Overhead signifikant.
- CompactRAG: ~1,9K Tokens pro Sample.
- Iter-RetGen: ~4,7K Tokens.
- IRCoT: ~10,2K Tokens.
- Self-Ask: ~6,9K Tokens.
Ablationsstudien: Das Entfernen der Sub-Question Rewriter oder Answer Extractor Module führte zu konsistenten Genauigkeitsverlusten (z. B. senkte das Entfernen des Rewriters auf HotpotQA die Genauigkeit von 70,4 % auf 63,2 %), was deren Notwendigkeit zur Aufrechterhaltung der Entitätsbindung und Retrieval-Präzision bestätigt.
Obere Schranke (Upper Bound): Die Verwendung von GPT-4 für die Offline-QA-Konstruktion verbesserte die Genauigkeit weiter (z. B. 49,60 % EM auf HotpotQA), was darauf hindeutet, dass die Qualität der Offline-Wissensbasis die Inferenzleistung direkt beeinflusst.

Bedeutung und Behauptungen

Die Arbeit postuliert, dass CompactRAG eine praktische, kosteneffiziente Alternative zu iterativen RAG-Systemen bietet. Die primäre Bedeutung liegt in:

Fixkosten-Inferenz: Durch die Begrenzung der LLM-Aufrufe auf zwei pro Abfrage (Dekomposition und Synthese) entkoppelt das System die Inferenzkosten von der Reasoning-Tiefe, was es hochgradig skalierbar für tiefe Multi-Hop-Aufgaben macht.
Entkopplung von Retrieval und Reasoning: Das Framework demonstriert, dass hochwertiges Multi-Hop-Reasoning nicht zwingend wiederholte Interaktionen mit dem LLM erfordert. Stattdessen kann die Strukturierung externer Wissens in semantisch abgestimmte, atomare Einheiten und die Nutzung leichter lokaler Module eine vergleichbare Genauigkeit bei deutlich geringerem Rechenaufwand liefern.
Einsetzbarkeit: Im Gegensatz zu Methoden, die auf internen Modellsignalen (z. B. Attention Entropy) beruhen, die in Closed-Weight-Modellen nicht verfügbar sind, ist der architektonische Ansatz von CompactRAG sowohl mit Open- als auch mit Closed-LLMs kompatibel.

Die Autoren kommen zu dem Schluss, dass dieser Ansatz einen Bauplan für die Entwicklung skalierbarer, token-effizienter RAG-Systeme liefert, die für groß angelegte, wissensintensive Anwendungen geeignet sind.