💬 NLP

When More Documents Hurt RAG: Mitigating Vector Search Dilution with Domain-Scoped, Model-Agnostic Retrieval

Dit artikel behandelt het probleem van "vector search dilution" in Retrieval-Augmented Generation (RAG), waarbij het opschalen naar grote, heterogene documentcollecties de nauwkeurigheid verslechtert, door MASDR-RAG voor te stellen, een domein-specifieke, model-agnostische retrieval-benadering die gebruikmaakt van organisatorische metadata om de precisie aanzienlijk te verbeteren en de valkuilen van over-geengineerde multi-agent orchestratie te vermijden.

Oorspronkelijke auteurs: Nabaraj Subedi, Ahmed Abdelaty, Shivanand Venkanna Sheshappanavar

Gepubliceerd 2026-06-11

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Nabaraj Subedi, Ahmed Abdelaty, Shivanand Venkanna Sheshappanavar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: Het "Bibliotheek van Babel"-effect

Stel je voor dat je een briljante bibliothecaris (de AI) hebt die heel goed is in het beantwoorden van vragen. Je geeft hem een kleine, nette bibliotheek van 54 boeken over wegenbouw. Hij kan bijna direct de juiste pagina vinden en geeft je een perfect antwoord.

Stel je nu voor dat je plotseling 1.000 boeken meer in die bibliotheek dumpt. Deze nieuwe boeken gaan over alles: verkeersongelukken, brugontwerpen, jaarbudgetten en veiligheidsrapporten. De bibliotheek is nu enorm groot (meer dan 88.000 "chunks" tekst).

Het paper beargumenteert dat het groter maken van de bibliotheek de bibliothecaris juist slechter maakte.

Wanneer de bibliothecaris op zoek gaat naar een antwoord over "beton mengen", kijkt hij niet alleen naar de bouwboeken. Omdat de bibliotheek zo vol zit, raakt de bibliothecaris in de war door boeken die er vergelijkbaar uitzien, maar over het verkeerde onderwerp gaan (zoals een boek over "verkeersveiligheid" dat "mengen" vermeldt in een andere context). De bibliothecaris pakt de verkeerde pagina's, raakt overweldigd en geeft een fout antwoord.

De auteurs noemen dit "Vector Search Dilution" (Verwatering van de Vectorzoekopdracht). Het is also kind als je probeert een specifie af naald in een hooiberg te vinden, maar iemand blijft steeds meer hooi toevoegen dat precies op de naald lijkt, waardoor het onmogelijk wordt om te zien welke echt is.

De Oplossing: Het "Specialistische Bureau"-systeem

In plaats van de bibliothecaris de hele enorme bibliotheek te laten doorzoeken voor elke vraag, hebben de auteurs een nieuw systeem gebouwd genaamd MASDR-RAG.

Denk hierbij aan een groot kantoorgebouw met veel verschillende afdelingen:

Het Bouwdesk
Het Veiligheidsdesk
Het Budgetdesk

De Oude Manier (Monolithische Zoekopdracht):
Je vraagt: "Hoe meng ik beton?" De bibliothecaris rent naar het gehele gebouw en schreeuwt je vraag naar iedereen. Hij pakt een stapel papieren van het Veiligheidsdesk, het Budgetdesk en het Bouwdesk, mengt ze allemaal door elkaar en overhandigt ze aan jou. Je raakt in de war omdat de helft van de papieren over veiligheidshelmen gaat, en niet over beton.

De Nieuwe Manier (Domein-afgebakende Zoekopdracht):
Het systeem vraft eerst: "Wat voor soort vraag is dit?"

Als je iets vraagt over beton, sluit het systeem direct de deuren van het Veiligheidsdesk en het Budgetdesk.
Het stuurt de bibliothecaris alleen naar het Bouwdesk.
De bibliothecaris doorzoekt alleen die specifieke bestanden.

Het Resultaat:
Door de zoekopdracht te beperken tot het juiste "bureau" (met behulp van metadata-tags zoals "Document Type"), vond het systeem de juiste informatie 86% van de tijd, omhoog van 77%. Het is alsof je tegen de bibliothecaris zegt: "Zoek niet in het hele gebouw; kijk alleen in de kamer van de Wegenbouw."

De Twist: De "Precisie versus Getrouwheid" Paradox

Hier wordt het lastig. De auteurs probeerden het systeem nog slimmer te maken door een "Manager" toe te voegen die meerdere bibliothecarissen coördineert (Multi-Agent Orchestration). Ze dachten: "Als we een team van experts hebben die met elkaar praten, krijgen we het beste antwoord."

Wat gebeurde er?

Met Open-Source AI (zoals Llama of Qwen): Het team werkte prima.
Met Commerciële AI (zoals Claude of GPT): Het systeem stortte in.

De auteurs ontdekten een "Precision-Faithfulness Paradox" (Precisie-Getrouwheid Paradox).

Precisie: Het systeem vond de juiste documenten (de precisie ging omhoog).
Getrouwheid (Faithfulness): Het systeem vertrouwde die documenten niet meer en begon dingen te verzinnen of bewijs te negeren (de getrouwheid daalde van 61% naar 35%).

De Analogie:
Stel je een groep detectives voor (de AI-agents) die de perfecte aanwijzingen vinden (hoge precisie). Maar omdat ze met elkaar discussiëren en proberen te veel rapporten tegelijk te synthetiseren, raken ze in de war en beginnen ze een verhaal te schrijven dat niet overeenkomt met de aanwijzingen die ze vonden (lage getrouwheid).

Het paper ontdekte dat voor commerciële AI-modellen het hebben van te veel "agents" die met elkaar praten, voor ruis zorgt. De AI raakt afgeleid door zijn eigen interne debat en vergeet zich aan de feiten te houden.

Het Praktische Advies: "Eerst Afbaken, Dan Synthetiseren"

Het paper concludeert met een simpele regel voor het bouwen van deze systemen:

Eerst Afbaken (Scope First): Voordat je de AI iets vraagt, filter je de documenten. Als de vraag over "Bruggen" gaat, laat de AI dan alleen de "Brug" documenten zien. Laat het de "Verkeer" of "Budget" documenten niet zien. Dit is de belangrijkste stap.
Houd het Simpel: Zodra je de juiste documenten hebt, vraag de AI dan om het antwoord in één enkele stap te schrijven.
- Laat de AI niet een complex, meerstaps onderzoek uitvoeren (zoals een "ReAct" loop), tenzij je een zeer specifiek type open-source model gebruikt.
- Voor de meeste commerciële modellen is een enkele, gerichte zoekopdracht gevolgd door één antwoord beter dan een complex multi-agent team.

Samenvatting van de Bevindingen

Meer documenten = Meer verwarring. Het toevoegen van meer data aan een RAG-systeem zonder het te organiseren, maakt de AI slechter in het vinden van de waarheid.
Metadata is de sleutel. Het gebruik van bestaande tags (zoals "Document Type") om de zoekruimte te filteren, is de beste manier om dit op te lossen.
Complexiteit schaadt. Het proberen te gebruiken van een team van AI-agents om een probleem op te lossen, zorgt er vaak voor dat de AI minder eerlijk is (minder getrouw) aan de brontekst, vooral bij krachtige commerciële modellen.
Het Optimale Punt (The Sweet Spot): Filter de zoekopdracht naar het juiste onderwerp en vraag de AI vervolgens om het antwoord één keer te schrijven. Simpel is beter.

De auteurs testten dit op echte documenten van het Wyoming Department of Transportation en ontdekten dat deze simpele "eerst filteren" aanpak het probleem oploste zonder dat er dure of complexe nieuwe technologieën nodig waren.

Technische Samenvatting: Wanneer meer documenten de RAG schaden

Probleem: Vector Search Dilution (Verwatering van de Vectorzicht)
Het paper identificeert een kritieke foutmodus in Retrieval-Augmented Generation (RAG) die vector search dilution wordt genoemd. Naarmate RAG-systemen opschalen naar grote, heterogene enterprise-corpora, verliest dense retrieval zijn onderscheidend vermogen. Zelfs wanneer Approximate Nearest Neighbor (ANN) indices de mathematisch "ware" dichtstbijzijnde buren teruggeven, zijn deze buren vaak semantisch vergelijkbaar met de query maar contextueel irrelevant omdat ze afkomstig zijn uit het verkeerde domein of de verkeerde documentcategorie.

De auteurs demonstreren dit empirisch aan de hand van het Wyoming Department of Transportation (WYDOT) corpus. Het opschalen van het corpus van 54 naar 1.128 documenten (een toename van enkele duizenden naar 88.907 chunks) zorgde ervoor dat de retrieval-accuratesse op standaard specificatie-queries kelderde van 75% naar onder de 40%. Het kernprobleem is dat hoog-densiteit documentcategorieën (bijv. Traffic & Crash reports) de vectorruimte domineren, waardoor laag-densiteit maar relevante categorieën (bijv. Design Manuals) uit de top- $k$ retrieval-resultaten worden gedrukt. De auteurs formaliseren dit als dilution ( $\delta$ ), gedefinieerd als het gat tussen globale precisie en gescoped precisie.

Methodologie: Domain-Scoped Retrieval en Multi-Agent Orchestratie
Om dilatatie aan te pakken, stellen de auteurs MASDR-RAG (Multi-Agent Scoped Domain Retrieval for RAG) voor en een lichtgewicht variant, HYBRID-ROUTED.

Domain Scoping: In plaats van het gehele corpus te doorzoeken, beperkt het systeem de retrieval tot specifieke organisatorische scopes die worden gedefinieerd door metadata (bijv. document_series in een Neo4j kennisgraaf). Dit vermindert de effectieve zoekruimte met 85–98% per query.
Hybrid Routing: Een routing-mechanisme stuurt queries naar de passende domein-agent. Dit maakt gebruik van een snelle regex-matcher als eerste stap, met een fallback naar een zero-shot LLM-classifier als de regex faalt.
Orchestratie:
- MASDR-RAG: Een multi-agent framework waarbij een enkele reasoning agent tot vijf tool-calls orkestreert over negen domeinspecifieke agents.
- HYBRID-ROUTED: Een lichtgewicht variant die één routing-call uitvoert, gevolgd door één synthese-call, om iteratieve loops te vermijden.
Evaluatie-opzet: Het framework werd geëvalueerd over vijf LLM-backbones (Qwen2.5-7B, Llama-3-8B, en commerciële modellen zoals Claude-Haiku en GPT-5-mini), zes corpora (waaronder WYDOT, Composite-9, HotpotQA, en anderen) en twee index-stacks (FAISS en Neo4j HNSW).

Belangrijkste Resultaten

Retrieval Precisie: Domain scoping verbetert de kwaliteit van de retrieval aanzienlijk. Op het WYDOT-corpus steeg de $P@10$ van 0.77 (monolithische zoekopdracht) naar 0.86 ( $p < 0.05$ ) bij gebruik van scoped retrieval.
De Precisie–Trouw Paradox: Hoewel MASDR-RAG de retrieval-precisie verbeterde, veroorzaakte het een ernstige degradatie in faithfulness (de mate waarin het antwoord wordt ondersteund door de opgehaalde context) wanneer het werd gekoppeld aan commerciële LLM-backbones. Op de Gemini-stack daalde de faithfulness van 0.61 (monolithisch) naar 0.35 met MASDR-RAG. De auteurs schrijven dit toe aan de moeilijkheid die commerciële modellen ervaren bij het synthetiseren van antwoorden uit meerdere gefragmenteerde bronnen, met name wanneer de opgehaalde bewijslast bijna-duplicaten bevat.
Orchestratiekosten: Iteratieve multi-agent orchestratie (bijv. ReAct-stijl) bleek kostbaar en vaak contraproductief. Op Llama-3-8B vereiste ReAct 5,5× meer tokens en 2,2× hogere latentie dan single-call scoped systemen, zonder een corresponderende winst in correctheid.
Generalisatie: Het dilatatie-effect en de voordelen van scoping werden waargenomen over alle drie de DOT-corpora (WYDOT, Caltrans, CDOT) en publieke datasets. Echter, de optimale "scope-as" hangt af van de corpusstructuur; voor Caltrans, waar documenten massieve omnibus-PDF's waren, was scoping op section vereist, terwijl document_series volstond voor WYDOT en CDOT.
Backbone Sensitiviteit: De faithfulness-instorting was specifiek voor commerciële generatoren (Claude, GPT). Open-source backbones (Qwen, DeepSeek) behielden of verbeterden de faithfulness onder multi-agent orchestratie, wat suggereert dat het probleem configuratie-afhankelijk is in plaats van intrinsiek aan multi-agent RAG.

Betekenis en Aanbevelingen
Het paper betoogt dat voor enterprise-schaal RAG, domain scoping de primaire hefboom is voor het verbeteren van prestaties, niet complexe orchestratie. De auteurs concluderen dat de "load-bearing" beslissing is om eerst de retrieval te scopen met behulp van organisatorische metadata.

Hun praktische aanbeveling is:

Scope eerst: Beperk de zoekruimte tot het relevante domein vóór de retrieval.
Synthetiseer één keer: Gebruik waar mogelijk een enkele synthese-call.
Reserveer multi-agent orchestratie: Gebruik alleen volledige multi-agent loops voor genuist echt multi-domein vragen in combinatie met open-source backbones die sterke native tool-calling capaciteiten hebben.

Het werk benadrukt dat het toevoegen van meer documenten zonder structurele beperkingen de RAG-prestaties verslechtert, en dat "meer agents" niet automatisch gelijkstaat aan "betere antwoorden", maar vaak een precisie–faithfulness trade-off introduceert die kan worden vermeden met eenvoudigere, scoped architecturen.