💬 NLP

CompactRAG: Reducing LLM Calls and Token Overhead in Multi-Hop Question Answering

CompactRAG is een kostenefficiënt framework voor multi-hop vraagbeantwoording dat LLM-aanroepen en token-overhead minimaliseert door de offline corpusstructurering te ontkoppelen naar een atomaire QA-kennisbank van een online redeneerfase die vertrouwt op dense retrieval en antwoordextractie, waarbij het LLM slechts twee keer wordt aangeroepen ongeacht de complexiteit van het redeneren.

Oorspronkelijke auteurs: Hao Yang, Zhiyu Yang, Xupeng Zhang, Wei Wei, Yunjie Zhang, Lin Yang

Gepubliceerd 2026-02-06

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hao Yang, Zhiyu Yang, Xupeng Zhang, Wei Wei, Yunjie Zhang, Lin Yang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een complex mysterie probeert op te lossen, zoals uit te zoeken wie de regisseur van een specifieke film is, maar het antwoord staat niet op één plek. Je moet een boek over de film lezen, de naam van de regisseur vinden, dan de biografie van die regisseur opzoeken om te vinden waar hij geboren is, en tot slot een kaart controleren om de stad te zien.

Dit is wat Multi-Hop Question Answering is: het oplossen van een puzzel die vereist dat je tussen verschillende stukjes informatie springt (hops) om tot het uiteindelijke antwoord te komen.

Het Probleem: De "Overwerkte Bibliothecaris"

Huidige systemen (genaamd RAG of Retrieval-Augmented Generation) proberen dit op te lossen door een superintelligente AI (een Large Language Model of LLM) het werk te laten doen. De manier waarop ze dit echter doen, is inefficiënt.

Denk aan de huidige methode als het inhuren van een zeer dure, hoogbetaalde biblicaris om jouw mysterie op te lossen.

Je stelt de biblicaris een vraag.
De biblicaris rent naar de planken, pakt een boek, leest het en schrijft een aantekening.
De biblicaris komt terug naar je toe, leest je aantekening en zegt: "Oké, nu moet ik weten waar de regisseur is geboren."
Je vraagt het opnieuw. De biblicaris rent opnieuw naar de planken, pakt een ander boek, leest het en schrijft weer een aantekening.
Ze herhalen dit proces voor elke stap van het mysterie.

Het resultaat? De biblicaris wordt moe, het proces duurt eeuwig en je krijgt een enorme rekening (in "tokens" of rekenkracht) omdat de biblicaris zoveel keren heen en weer moet reizen. Bovs wordt de biblicaris ook soms in de war over waar "hij" naar verwijst in de tweede stap, wat leidt tot foute antwoorden.

De Oplossing: CompactRAG (De "Kant-en-klare Kennisdoos")

De auteurs van dit paper, CompactRAG, stellen een slimmere manier voor. In plaats van de dure biblicaris telkens naar de bibliotheek te laten rennen wanneer je een vraag stelt, reorganiseren zij de bibliotheek voordat je überhaupt verschijnt.

Stap 1: De Offline Voorbereiding (De "Eenmalige Setup")

Voordat een gebruiker een vraag stelt, gebruikt het systeem een AI om de volledige bibliotheek met documenten één keer door te nemen.

Het breekt elk document af in kleine, perfecte, op zichzelf staande "fact cards" (feitencartes).
In plaats van een hele paragraaf die zegt: "De film werd in 1953 gemaakt door Arthur Crabtree," maakt het een specifieke kaart aan die zegt: "Vraag: Wie regisseerde 'The Wedding of Lilli Marlene'? Antwoord: Arthur Crabtree."
Dit doet het voor elk feit in de bibliotheek. Dit creëert een Compact Knowledge Base.

Analogie: Stel je voor dat je in plaats van een rommelige bibliotheek een gigantische, perfect georganiseerde doos met indexkaarten hebt. Elke kaart heeft een specifieke vraag op de voorkant en het exacte antwoord op de achterkant. Geen franje, geen extra woorden.

Stap 2: De Online Redenering (De "Twee-Ritten-Regel")

Wanneer een gebruiker nu een complexe vraag stelt, werkt het systeem als volgt:

De Afbraak (Rit 1): De dure biblicaris (LLM) wordt slechts één keer aangeroepen om het grote mysterie op te splitsen in kleine, eenvoudige stappen.
- Gebruiker: "Waar is de regisseur van de film geboren?"
- LLM: "Oké, Stap 1: Wie regisseerde de film? Stap 2: Waar is die persoon geboren?"
De Zoektocht (Geen Bibliothecaris Nodig): Het systeem roept de dure biblicaris niet opnieuw aan. In plaats daarvan gebruikt het een goedkope, snelle robot om de antwoorden op te zoeken in de vooraf gemaakte doos met "fact cards".
- De robot vindt de kaart voor "Wie regisseerde..." en krijgt "Arthur Crabtree".
- De robot herschrijft vervolgens de volgende vraag zodat deze duidelijk is: "Waar is Arthur Crabtree geboren?" (Dit voorkomt de verwarring over "hij").
- De robot vindt de kaart voor "Waar is Arthur Crabtree geboren?" en krijgt "Londen".
Het Eindantwoord (Rit 2): Zodra de robot alle kleine antwoorden heeft verzameld, wordt de dure biblicaris voor de laatste keer aangeroepen om de stukjes samen te voegen en je het definitieve antwoord te geven.

De Magie: De dure biblicaris wordt, ongeacht hoeveel stappen (hops) het mysterie heeft, slechts twee keer aangeroepen. Of de puzzel nu 2 stappen of 10 stappen heeft, de kosten blijven gelijk.

Waarom Dit Ertoe Doet

Bespaart Geld: Je betaalt de dure biblicaris niet meer om steeds heen en weer te rennen. Je betaalt hen slechts twee keer.
Bespaart Tijd: Het proces is veel sneller omdat de "fact cards" makkelijk te vinden en te lezen zijn.
Minder Fouten: Door de vragen te herschrijven zodat ze specifieke namen bevatten (zoals "Arthur Crabtree" in plaats van "hij"), raakt het systeem niet in de war over wie er wordt besproken.

De Resultaten

Het paper testte dit op drie moeilijke puzzel-datasets (HotpotQA, 2WikiMultiHopQA en MuSiQue).

Nauwkeurigheid: CompactRAG was net zo goed in het oplossen van de puzzels als de oude, dure methoden.
Efficiëntie: Het gebruikte aanzienlijk minder "tokens" (de munteenheid van AI-rekenkracht). In sommige gevallen gebruikte het minder dan de helft van de middelen van de andere methoden.

Samenvatting

CompactRAG is als het omzetten van een chaotisch, duur en heen-en-weer lopend onderzoek in een gestroomlijnde, kant-en-klare operatie. Het doet het zware werk van het organiseren van de kennis één keer vooraf, zodat het oplossen van elk nieuw mysterie een snelle, goedkope en tweestaps-proces wordt.

Technische Samenvatting: CompactRAG

Probleemstelling

Retrieval-Augmented Generation (RAG) is een standaardparadigma geworden voor kennisintensieve vraagbeantwoording. De huidige multi-hop RAG-systemen kampen echter met aanzienlijke inefficiënties bij het verwerken van complexe queries die integratie van bewijs uit meerdere documenten vereisen. Huidige iteratieve benaderingen (bijv. Self-Ask, IRCoT, Iter-RetGen) wisselen bij elke stap af tussen retrieval en LLM-redenering. Dit ontwerp leidt tot drie primaire problemen:

Schaalbaarheid en Kosten: Tokenverbruik en latentie groeien lineair met het aantal redeneerhops door herhaalde LLM-aanroepen.
Redundantie: De opgehaalde contexten bevatten vaak redundante informatie, wat het tokenverbruik opblaast.
Entity Drift (Entiteitsdrift): Automatische decompositie van complexe vragen in sub-vragen kan expliciete entiteitsvermeldingen verliezen (bijv. het vervangen van "Waar werd hij geboren?" nadat "hij" is geïdentificeerd als een wetenschapper). Deze ambiguïteit veroorzaakt retrieval-fouten en inconsistente resultaten over de hops heen.

Methodologie: CompactRAG

De auteurs stellen CompactRAG voor, een framework dat offline corpus-restructuring ontkoppelt van online redenering om efficiënte multi-hop inferentie te bereiken. Het systeem werkt in twee afzonderlijke fasen:

1. Offline Fase: Constructie van een Atomaal QA Kennisbestand

In plaats van tijdens de inferentie ruwe corpus-passages op te halen, verwerkt CompactRAG het corpus eenmalig offline.

Proces: Een LLM leest de ruwe corpus en herformuleert de documentinhoud naar een set van atomaire QA-paren.
Granulariteit: Elk paar vertegenwoordigt een minimale, fijnmazige feitelijke eenheid (bijv. "Wie regisseerde X?" $\to$ "Y").
Entity Anchoring (Entiteitsverankering): Entiteiten binnen het corpus worden automatisch geannoteerd (met behulp van SpaCy) en expliciet afgedwongen tijdens de generatie om semantische volledigheid te waarborgen en referentiële verliezen te voorkomen.
Indexing (Indexering): Elk atomair QA-paar wordt ingebed in een gedeelde semantische ruimte middels dense retrieval (Contriever). De vraag en het antwoord worden geconcateneerd ( $[q; a]$ ) om de volledige feitelijke reikwijdte te behouden, waardoor de retriever zowel de intentie als de inhoud kan matchen.

2. Online Fase: Two-Call Inferentie

Tijdens de inferentie lost het systeem complexe queries op via een vaste, lichtgewicht pipeline die de hoofd-LLM slechts twee keer aanroept, ongeacht de diepte van de redenering.

Stap 1: Decompositie (LLM Call #1): De complexe query wordt gedecomponeerd in een graph van sub-vragen met een afhankelijkheidsvolgorde.
Stap 2: Iteratieve Resolutie (Lichtgewicht Modules):
- Retrieval: Sub-vragen worden gebruikt om top- $k$ atomische QA-paren op te halen uit het vooraf opgebouwde kennisbestand.
- Antwoordextractie: Een lichtgewicht RoBERTa-gebaseerde Answer Extractor identificeert de juiste antwoordspan uit de opgehaalde paren, waardoor LLM-aanroepen voor extractie worden vermeden.
- Sub-vraag Herformulering: Een Flan-T5-gebaseerde Sub-Question Rewriter neemt het geextraheerde antwoord-entiteit en herschrijft de volgende sub-vraag om ambigue referenties expliciet te gronden (bijv. het veranderen van "Waar werd hij geboren?" naar "Waar werd [Entiteit] geboren?"). Dit voorkomt entity drift.
Stap 3: Synthese (LLM Call #2): Zodra alle sub-vragen zijn opgelost en het bewijs is geaggregeerd, voert de hoofd-LLM een enkele synthesestap uit om het definitieve antwoord te genereren.

Belangrijkste Bijdragen

Schaalbaarheidsanalyse: Het paper analyseert hoe tokenverbruik en LLM-aanroepen in iteratieve RAG-pipelines schalen met de diepte van de redenering, en identificeert dit als een bottleneck voor grootschalige implementatie.
CompactRAG Framework: De introductie van een two-call RAG-architectuur die gebruikmaakt van een offline atomisch QA-kennisbestand en lichtgewicht online modules (extractor en rewriter) om efficiënte multi-hop redenering mogelijk te maken zonder herhaalde LLM-aanroepen.
Empirische Validatie: Uitgebreide evaluatie op HotpotQA, 2WikiMultiHopQA en MuSiQue, waarbij wordt aangetoond dat CompactRAG een concurrerende nauwkeurigheid bereikt terwijl het de tokenconsumptie drastisch vermindert vergeleken met sterke iteratieve baselines.

Experimentele Resultaten

Geëvalueerd op drie multi-hop benchmarks met LLaMA-3.1-8B als backbone LLM:

Nauwkeurigheid: CompactRAG bereikt concurrerende prestaties. Op HotpotQA bereikte het een Exact Match (EM) van 45,20% en een LLM-gebaseerde nauwkeurigheid van 70,40%, wat vergelijkbaar is met of beter is dan iteratieve baselines zoals IRCoT (42,80% EM) en Iter-RetGen (46,80% EM).
Efficiëntie: Het systeem vermindert de token-overhead aanzienlijk.
- CompactRAG: ~1,9K tokens per sample.
- Iter-RetGen: ~4,7K tokens.
- IRCoT: ~10,2K tokens.
- Self-Ask: ~6,9K tokens.
Ablatiestudies: Het verwijderen van de Sub-Question Rewriter of Answer Extractor modules resulteerde in consistente dalingen in nauwkeurigheid (bijv. het verwijderen van de rewriter op HotpotQA verlaagde de nauwkeurigheid van 70,4% naar 63,2%), wat hun noodzaak bevestigt voor het behoud van entiteitsgronding en retrieval-precisie.
Upper Bound: Het gebruik van GPT-4 voor de offline QA-constructie verbeterde de nauwkeurigheid verder (bijv. 49,60% EM op HotpotQA), wat suggereert dat de kwaliteit van het offline kennisbestand de prestaties tijdens de inferentie direct beïnvloedt.

Betekenis en Claims

Het paper stelt dat CompactRAG een praktisch, kostenefficiënt alternatief biedt voor iteratieve RAG-systemen. De primaire betekenis ligt in:

Vaste Kosten voor Inferentie: Door de LLM-aanroepen te beperken tot twee per query (decompositie en synthese), ontkoppelt het systeem de inferentiekosten van de diepte van de redenering, wat het zeer schaalbaar maakt voor diepe multi-hop taken.
Ontkoppeling van Retrieval en Redenering: Het framework demonstreert dat hoogwaardige multi-hop redenering niet strikt herhaalde interacties met een LLM vereist. In plaats daarvan kan het structureren van externe kennis in semantisch uitgelijnde, atomaire eenheden en het gebruik van lichtgewicht lokale modules vergelijkbare nauwkeurigheid opleveren met aanzienlijk lagere computationele overhead.
Inzetbaarheid: In tegenstelling tot methoden die vertrouwen op interne modelsignalen (bijv. attention entropy) die niet beschikbaar zijn in closed-weight modellen, is de architecturale aanpak van CompactRAG compatibel met zowel open als closed LLMs.

De auteurs concluderen dat deze aanpak een blauwdruk biedt voor het ontwikkelen van schaalbare, token-efficiënte RAG-systemen die geschikt zijn voor grootschalige, kennisintensieve toepassingen.