DeepSieve: Information Sieving via LLM-as-a-Knowledge-Router

In dit paper wordt DeepSieve voorgesteld, een agentisch RAG-framework dat complexe vragen opsplitst en via een LLM als kennisrouter doorlopend relevante informatie filtert, waardoor de precisie en diepgang van redenering op multi-hop vragen aanzienlijk verbetert ten opzichte van bestaande methoden.

De kern

🕵️‍♂️ DeepSieve: De Slimme Sifter voor Je AI

Stel je voor dat een Grote Taalmodel (LLM) zoals een zeer intelligente, maar soms vergetelijke bibliothecaris is. Hij kent heel veel feiten uit zijn hoofd, maar als je hem vraagt over iets dat gisteren is gebeurd, of over een heel specifiek geheim dossier in zijn archief, raakt hij in de war. Hij begint dan te "hallucineren" (d.w.z. hij verzint antwoorden die klinken alsof ze waar zijn, maar dat niet zijn).

Om dit op te lossen, gebruiken we RAG (Retrieval-Augmented Generation). Dit is alsof je de bibliothecaris een zoekmachine geeft. Als hij een vraag krijgt, zoekt hij eerst in de boeken en gebruikt dan die informatie om te antwoorden.

Maar hier zit een addertje onder het gras:
Stel je voor dat je bibliothecaris moet zoeken in drie verschillende soorten bronnen:

1. Een oude, rommelige stapel kranten (on gestructureerde data).
2. Een strakke Excel-tabel met personeelsgegevens (gestructureerde data).
3. Een privé-database waar hij niet zomaar bij kan zonder een sleutel (privé data).

De huidige systemen gooien al die bronnen in één grote, modderige plas. Ze zoeken blindelings in alles tegelijk. Dat is alsof je probeert een specifiek speldje te vinden in een hele berg hooi, terwijl je niet weet of het speldje in het hooi, in de Excel-tabel of in de privé-kast ligt. Het resultaat? Verkeerde antwoorden, veel tijdverspilling en een verwarde bibliothecaris.

🧼 Wat is DeepSieve dan?

DeepSieve is de oplossing. De naam komt van "Sieving" (zeven). Het is een slim systeem dat de vraag zeeft voordat het antwoord geeft.

Het werkt in vier stappen, alsof je een complexe taak uitpakt met een team van specialisten:

1. De Vraag Opsplitsen (Decompositie)

In plaats van de hele vraag in één keer te stellen, breekt DeepSieve hem op in kleine, makkelijke stukjes.

• Voorbeeld: Vraag: "In welk land is de geboorteplaats van Erik Hort?"
• DeepSieve denkt: "Oké, eerst moet ik weten: Waar is Erik Hort geboren? En daarna: In welk land ligt die plaats?"
• Analogie: Het is alsof je een grote, zware koffer niet in één keer probeert te tillen, maar hem eerst uitpakt in kleinere dozen.

2. De Slimme Router (LLM-as-a-Knowledge-Router)

Dit is het hart van het systeem. Voor elk klein stukje vraag kijkt DeepSieve: "Waar moet ik dit zoeken?"

• Moet ik kijken in de Excel-tabel (voor personeelsgegevens)?
• Moet ik kijken in de algemene encyclopedie (voor landen)?
• Moet ik een API aanroepen (voor live weerdata)?
• Analogie: Stel je voor dat je een postbode bent. Als je een brief voor de postbode hebt, loop je niet naar de verkeerde wijk. Je kijkt op het adres en loopt direct naar het juiste huis. DeepSieve is die slimme postbode die elke vraag naar het juiste "huis" (bron) stuurt.

3. Het Zeefproces (Information Sieving)

Het systeem haalt het antwoord op. Is het antwoord goed?

• Ja: Geweldig, bewaar het.
• Nee (of onvolledig): Dan gaat het systeem in de Reflectie-modus. Het denkt: "Hm, dit klopt niet. Misschien heb ik op de verkeerde plek gezocht. Laten we het proberen op een andere manier of in een ander boek."
• Analogie: Het is alsof je een net (zeef) door het water trekt. Als je alleen modder vangt, gooi je het terug en trekt je het net opnieuw, maar dan op een andere plek of met een ander gaas. Je gooit de modder weg en houdt alleen de visjes (de juiste feiten) over.

4. Het Samenvoegen (Fusion)

Als alle kleine stukjes zijn gevonden en gecontroleerd, plakt DeepSieve ze netjes aan elkaar tot één perfect antwoord.

• Analogie: Een chef-kok die alle losse ingrediënten (die hij van verschillende boeren heeft gehaald) combineert tot één heerlijke maaltijd.

Waarom is dit zo geweldig?

1. Geen rommel meer: Omdat het systeem precies weet waar het moet zoeken, vindt het geen onzin. Het vermijdt dat je een antwoord krijgt gebaseerd op een verkeerd boek.
2. Snelheid en Kosten: Het gebruikt minder "energie" (rekenkracht) omdat het niet zomaar in alles zoekt. Het is gericht.
3. Flexibiliteit: Het maakt niet uit of de bronnen verschillend zijn (SQL-databases, PDF's, APIs). DeepSieve kan met alles omgaan zonder dat je alles eerst in één groot bestand hoeft te stoppen.

Conclusie

Kortom: DeepSieve is een slimme tussenpersoon voor AI. Het neemt een complexe vraag, bakt hem in kleine hapklare brokjes, stuurt elk brokje naar de juiste specialist (bron), controleert of het antwoord klopt, en geeft dan pas het eindresultaat.

Het zorgt ervoor dat AI niet meer raadt, maar weet. En dat is precies wat we nodig hebben voor betrouwbare antwoorden in een wereld vol verschillende soorten informatie.

Technische samenvatting

1. Het Probleem

Grote Taalmodellen (LLMs) presteren uitstekend in redeneertaken, maar kampen met fundamentele beperkingen bij kennisintensieve vragen die actuele of domeinspecifieke informatie vereisen. Hoewel Retrieval-Augmented Generation (RAG) een veelbelovende oplossing biedt door externe bronnen te koppelen, vertonen bestaande RAG-methoden twee kritieke tekortkomingen:

• Gebrek aan fijnmazige controle: Bestaande systemen behandelen gebruikersvragen vaak als atomische eenheden zonder ze te ontleden. Dit leidt tot oppervlakkig redeneren en mislukte multi-hop vragen (vragen die meerdere stappen vereisen).
• Heterogeniteit van bronnen: Kennisbronnen in de praktijk zijn divers (gestructureerde databases, API's, privé-data, ongestructureerde documenten) en vaak niet samenvoegbaar tot één index vanwege privacy of formatverschillen. Bestaande RAG-systemen halen vaak uit een vlakke, uniforme index, wat resulteert in irrelevante retrievals, "hallucinaties" en inefficiëntie.

Er is dus behoefte aan een systeem dat niet alleen informatie ophaalt, maar deze actief zeeft (filtert) en dynamisch routeert naar de meest geschikte bron.

2. Methodologie: DeepSieve

DeepSieve is een nieuw RAG-framework dat informatiezeefing implementeert via een LLM als kennisrouter. Het systeem doorloopt een iteratief, modulair proces bestaande uit vier fasen:

1. Query Decompositie (Ontleding):
   Een complexe inputvraag ($Q$) wordt door een LLM-gebaseerde planner ontbonden in een reeks gestructureerde subvragen. Deze worden weergegeven als een gericht acyclisch graf (DAG), waarbij knopen atomische redeneerstappen voorstellen en randen de afhankelijkheden tussen deze stappen aangeven. Dit fungeert als een "semantische zeef".

2. Kennisrouting (LLM-as-a-Knowledge-Router):
   Voor elke subvraag ($q_i$) selecteert een router-LLM de meest geschikte bron uit een pool van tool-korpusparen $S = \{(T_k, C_k)\}$.

   • De router kijkt naar de semantiek van de subvraag, de metadata van de bronnen (bijv. domein, privacy, formaat) en een geschiedenis van eerdere mislukte pogingen.
   • Dit stelt het systeem in staat om dynamisch te kiezen tussen bijvoorbeeld een SQL-database voor specifieke personeelsgegevens en een RAG-korpus voor algemene kennis.

3. Observatie en Reflexie:
   Na het ophalen van een antwoord ($a_i$) evalueert het systeem of dit voldoende is.

   • Als het antwoord onvolledig, irrelevant of dubbelzinnig is, activeert het systeem een reflexie-lus.
   • In plaats van de vraag zelf te wijzigen, wordt de subvraag opnieuw gerouteerd naar een alternatieve bron of wordt de actieplan herzien. Dit proces herhaalt zich totdat een geldig antwoord is gevonden of een time-out optreedt.

4. Antwoordfusie:
   Zodra alle subvragen zijn opgelost, worden de geldige antwoorden samengevoegd tot een coherent eindantwoord. De fusie-module houdt rekening met de DAG-structuur om tegenstrijdige bewijzen op te lossen en een logisch consistent verhaal te genereren.

3. Belangrijkste Bijdragen

• Innovatieve Architectuur: DeepSieve introduceert voor het eerst het concept van een LLM als kennisrouter die dynamisch subvragen toewijst aan heterogene bronnen, in plaats van alles uit één index te halen.
• Modulariteit en Uitbreidbaarheid: Het framework is ontworpen als "plug-and-play". Het ondersteunt diverse tools (SQL, API's, zoekmachines) en back-ends (Naive RAG, GraphRAG) zonder de kernlogica te wijzigen.
• Superieure Prestaties: Experimenten tonen aan dat DeepSieve niet alleen beter presteert in multi-source omgevingen, maar ook in standaard single-source scenario's, dankzij de diepere redeneerstructuur.

4. Resultaten

De auteurs evalueerden DeepSieve op drie multi-hop QA-benchmarks: MuSiQue, 2WikiMultiHopQA en HotpotQA, gebruikmakend van LLMs zoals DeepSeek-V3 en GPT-4o.

• Nauwkeurigheid: DeepSieve behaalde de hoogste gemiddelde F1-scores (58.9 met DeepSeek-V3 en 51.2 met GPT-4o), wat een significante verbetering is ten opzichte van state-of-the-art baselines zoals IRCoT, HippoRAG, ReAct en Reflexion.
• Efficiëntie: Ondanks de complexiteit van het proces, gebruikt DeepSieve aanzienlijk minder tokens dan andere agentische methoden (bijv. Reflexion gebruikt ~37k tokens per query, terwijl DeepSieve er ~3.9k gebruikt) terwijl het hogere nauwkeurigheid levert.
• Ablatie-studies:
  • Decompositie en Reflexie bleken de meest kritieke componenten voor nauwkeurigheid.
  • Routing alleen presteerde soms slechter, maar in combinatie met de andere modules verbeterde het de robuustheid aanzienlijk, vooral bij heterogene bronnen.
• Real-world Toepassing: In een experiment met gemengde medische (MedQA) en juridische (CaseHOLD) bronnen, overtrof DeepSieve Naive RAG met +50% in Exact Match, wat aantoont dat het "contextvervuiling" effectief voorkomt door domeinen te isoleren.

5. Betekenis en Toekomstperspectief

DeepSieve markeert een verschuiving in RAG-ontwikkeling van statische, "flat" retrieval naar dynamische, gestructureerde kennisintegratie.

• Oplossing voor Heterogeniteit: Het biedt een praktische oplossing voor organisaties die met versnipperde data werken (bijv. gescheiden SQL-databases en documenten) zonder deze te hoeven samenvoegen.
• Interpreteerbaarheid: Door het proces te ontleden in subvragen en routing-beslissingen, wordt het redeneerproces transparanter en makkelijker te debuggen dan bij "black-box" RAG-systemen.
• Toekomst: De auteurs wijzen op kansen voor personalisatie (gebruikersspecifieke routing), fijnmazigere tool-parametrisatie en het toepassen van het systeem in interactieve omgevingen zoals digitale tweelingen of computer-gebruiksagenten.

Kortom, DeepSieve bewijst dat het actief zeven en routeren van informatie essentieel is voor het oplossen van complexe, multi-hop vragen in realistische, heterogene data-omgevingen.