Dissecting Agentic RAG: A Component Ablation for Multi-Hop QA with a Local 7B Model

Technische Samenvatting: Het ontleden van Agentic RAG via Component Ablatie

Probleemstelling
Agentic Retrieval-Augmented Generation (RAG) systemen zijn opgekomen als een oplossing voor Multi-Hop Question Answering (QA), waarbij gebruik wordt gemaakt van iteratieve redeneerlussen, query-decompositie en adaptieve retrieval om feiten over meerdere documenten heen te koppelen. De specifieke bijdrage van elk component blijft echter onvoldoende begrepen, met name in omgevingen met beperkte middelen die uitsluitend vertrouwen op lokale Large Language Models (LLMs). Veel bestaande ontwerpen gaan ervan uit dat toegevoegde complexiteit — zoals adaptieve retrieval-routing en diepe iteratieve lussen — noodzakelijkerwijs de prestaties verbetert. Dit paper onderzoekt of deze aannames standhouden wanneer een lokale 7B-parameter model wordt gebruikt, met als doel de waarde van individuele componenten te isoleren zonder afhankelijk te zijn van propriëtaire API's of grootschalige rekenkracht.

Methodologie
De auteurs voerden een gecontroleerde component-niveau ablatie-studie uit op een volledige agentic RAG-pipeline met behulp van het Qwen2.5-7B-Instruct model, lokaal geserveerd via Ollama op een NVIDIA RTX A6000. De evaluatie werd uitgevoerd op een vaste willekeurige steekproef van 5.000 vragen uit de HotpotQA distractor development set.

De systeemarchitectuur bestaat uit vier stadia:

1. Query Decomposition: Een LLM breekt de invoervraag af in een sequentie van sub-vragen.
2. Iterative Retrieval Loop: Een "plan-and-execute" ontwerp waarbij de lus iterereert over sub-vragen. Bij elke stap wordt een retrieval-strategie geselecteerd, worden passages opgehaald en verfijnt een cross-encoder reranker de top-kandidaten.
3. Adaptive Retrieval: Een regelgebaseerde heuristiek stuurt queries naar Dense (BGE-small-en-v1.5), Sparse (BM25) of Hybrid (Reciprocal Rank Fusion) strategieën op basis van de aanwezigheid van benoemde entiteiten, datums of getallen.
4. Synthese: Een laatste LLM-call genereert het antwoord op basis van de verzamelde bewijslast.

De studie vergeleek de volledige pipeline met een single-pass dense retrieval baseline en acht specifieke ablatie-condities:

• Dieptevariaties: Retrieval-lussen beperkt tot 1, 2 of 3 stappen (tegenover de standaard 5).
• Componentverwijdering: Het uitschakelen van query-decompositie (no-decomp) of cross-encoder reranking (no-reranker).
• Strategiefixatie: Het vervangen van de adaptieve router door vaste Dense, Sparse of Hybrid retrieval.

Statistische significantie werd beoordeeld met behulp van gepaarde testen (McNemar's exact test voor Exact Match en de Wilcoxon signed-rank test voor F1) en 95% bootstrap betrouwbaarheidsintervallen.

Belangrijkste Resultaten
De volledige agentic pipeline behaalde een Exact Match (EM) van 53,2% en een F1 van 61,6%, waarmee het de single-pass baseline (EM 43,1%, F1 54,0%) significant versloeg. De ablatie-studie onthulde echter contra-intuïtieve bevindingen met betrekking tot de effectiviteit van de componenten:

1. Fixed Hybrid Retrieval > Adaptive Routing: De "hybrid-only" variant (die voor alle queries vaste Reciprocal Rank Fusion gebruikt) presteerde beter dan de volledige adaptieve pipeline met +1,8 EM en +1,9 F1 ($p < 0,001$). De regelgebaseerde router bleek gebrekkig; de heuristiek (het triggeren op benoemde entiteiten) zorgde ervoor dat de router 79,2% van de sub-queries naar BM25 stuurde. Omdat multi-hop sub-vragen inherent entiteiten bevatten, vertrouwde de router te veel op sparse retrieval, waardoor het complementaire dense signaal werd weggegooid.
2. Verminderde meeropbrengst bij Iteratiediepte: Het reduceren van de retrieval-lus van 5 stappen naar 2 stappen vangt 95% van de prestatiewinst ten opzichte van de baseline. Het verschil tussen 2 stappen en 5 stappen was statistisch verwaarloosbaar ($\pm 0,0$ EM), terwijl het reduceren naar 1 stap een significante daling veroorzaakte (-7,1 EM). Dit suggereert dat de primaire waarde voortkomt uit het draaien van een lus, niet uit een diepe lus.
3. Significante maar kostbare componenten:
   • Query Decomposition: Het verwijderen van decompositie resulteerde in een daling van -1,4 EM ($p=0,004$), maar halveerde ook de latentie (van ~5,6s naar ~2,5s) omdat het de multi-step loop inkortte tot een enkele retrieval.
   • Cross-Encoder Reranking: Het verwijderen van de reranker veroorzaakte een daling van -1,7 EM ($p < 0,001$) met een verwaarloosbare impact op de latentie, wat het een hoogwaardige, laag-kostende component maakt.
4. Strategische Equivalentie: Binnen de iteratieve lus presteerden vaste Dense, Sparse en Hybrid strategieën bijna identiek (EM ~53,0%), wat suggereert dat herhaalde retrieval over sub-vragen de blinde vlekken van een enkele strategie compenseert.

Significantie en Claims
Het paper claimt dat voor lokale 7B-modellen eenvoud en vaste keuzes vaak superieur zijn aan adaptieve complexiteit. De auteurs stellen dat de "agentic" winsten in multi-hop QA primair worden gedreven door het bestaan van een iteratieve retrieval-lus, in plaats door geavanceerde routing-heuristieken of excessieve iteratiediepte.

Specifiek concludeert de studie:

• Adaptieve routing is onnodig en potentieel schadelijk in deze context vanwege selectiebias in de routing-heuristieken.
• Twee retrieval-iteraties zijn voldoende om het overgrote deel van de prestatiewinst te vangen, wat een efficiënter implementatiepad biedt.
• Fixed hybrid retrieval (het combineren van dense en sparse signalen via RRF) is de meest robuuste retrieval-strategie voor multi-hop QA onder deze beperkingen.

De auteurs benadrukken dat hun bevindingen empirisch zijn, afgeleid van een gecontroleerde ablatie op een lokaal model, en niet vertrouwen op propriëtaire API's. Zij positioneren hun werk als een gids voor praktijkbeoefenaars die agentic RAG-systemen bouwen onder beperkte middelen, waarbij zij pleiten voor fixed hybrid retrieval en ondiepe iteratiedieptes boven complexe adaptieve architecturen.