💬 NLP

Don't Retrieve, Navigate: Distilling Enterprise Knowledge into Navigable Agent Skills for QA and RAG

Dit paper introduceert Corpus2Skill, een methode die een documentcorpus omzet in een hiërarchische structuur van navigeerbare vaardigheden, waardoor een LLM-agent in plaats van passief te zoeken actief door de kennis kan navigeren en zo superieure prestaties behaalt op enterprise QA-benchmarks.

Oorspronkelijke auteurs: Yiqun Sun, Pengfei Wei, Lawrence B. Hsieh

Gepubliceerd 2026-04-17

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yiqun Sun, Pengfei Wei, Lawrence B. Hsieh

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme bibliotheek binnenstapt, maar in plaats van boeken op een plank te vinden, liggen er miljoenen losse bladzijden door elkaar op de vloer. Als je vraagt: "Hoe verander ik mijn bedrijf van eenmanszaak naar een BV?", gooit de bibliothecaris (de traditionele AI) je een handvol bladzijden toe die de woorden "BV" en "bedrijf" bevatten.

Het probleem? Die bladzijden vertellen je misschien niet dat je überhaupt geen BV kunt worden zonder eerst contact op te nemen met de klantenservice. De AI ziet de losse bladen, maar niet de indeling van de bibliotheek. Ze weet niet welke afdeling waar ligt, en ze kan niet terugkrabbelen als ze op een doodlopende weg zit.

Dit artikel introduceert CORPUS2SKILL, een slimme nieuwe manier om kennis te vinden. In plaats van te zoeken (retrieval), laat het de AI navigeren (navigeren).

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Oude Manier: "De Blinden"

Stel je voor dat je een zoekmachine gebruikt die alleen kijkt naar de titel van een boek. Als je zoekt op "recept voor taart", krijg je misschien een recept voor een cake, maar mist het boek dat uitlegt dat je eerst eieren moet kopen. De AI is als een blinde die in het donker naar muren tikt. Het ziet de structuur van de bibliotheek niet, alleen de muren waar het tegenaan loopt.

2. De Nieuwe Manier: De "Digitale Wegwijzer"

CORPUS2SKILL doet iets heel anders. Voordat de AI überhaupt een vraag krijgt, wordt er een groot, digitaal navigatiesysteem gebouwd.

De Bibliotheek wordt een Boom: De duizenden documenten worden niet meer als losse bladen behandeld. Ze worden in groepjes geplaatst, net als in een goed georganiseerd archief.
- Bovenste laag: Grote vakken zoals "Verkoop", "Marketing" en "Betalingen".
- Middenlaag: Sub-vakken zoals "Creditcards" of "Facturatie".
- Onderste laag: De specifieke documenten zelf.
Samenvattingen als Wegwijzers: Bij elke stap in deze boom hangt er een bordje (een samenvatting) dat precies zegt: "Hier vind je alles over betalingen" of "Hier gaan we over terugbetalingen".

3. De AI als Verkenner (De "Agent")

Nu komt de AI niet meer als een blinde, maar als een verkenner met een kaart.

De Vogelperspectief: De AI kijkt eerst naar de grote indeling (de "boom"). Ze ziet direct: "Ah, mijn vraag gaat over het veranderen van een bedrijfstype. Dat zit waarschijnlijk in het vak 'Betalingen' of 'Bedrijfsvoering', niet in 'Marketing'."
Het Afdalen: Ze loopt niet blindelings. Ze leest het bordje bij "Betalingen". "O, hier staan 87 documenten, waaronder één over 'Bedrijfsstructuur veranderen'."
Terugkrabbelen: Als ze merkt dat ze in het verkeerde vakje zit (bijvoorbeeld bij 'Verkoop' in plaats van 'Betalingen'), kan ze direct terugkrabbelen en een andere tak van de boom kiezen. Traditionele systemen kunnen dit niet; ze blijven vastzitten in de eerste fout.
De Schat vinden: Pas als ze precies weet waar ze moet zijn, pakt ze het specifieke document eruit en leest het.

Waarom is dit zo slim?

Geen gokken: De AI hoeft niet te raden welke zoektermen ze moet gebruiken. Ze volgt gewoon de logische indeling van de kennis.
Het grote plaatje: Omdat de AI de hele structuur ziet, kan ze dingen combineren. Als een vraag twee onderwerpen combineert (bijv. "Hoe betaal ik voor mijn online cursus?"), ziet de AI dat dit twee verschillende takken van de boom raakt en zoekt ze in beide.
Geen vector-database nodig: Je hoeft geen ingewikkelde, dure databases te onderhouden om dit te laten werken. Het is gewoon een slimme manier van bestanden ordenen, zoals een mens dat zou doen in een goed georganiseerd bureaublad.

Het Resultaat

In tests (met vragen van klanten van Wix) bleek deze methode veel beter te zijn dan de oude zoekmethodes. De AI gaf nauwkeurigere antwoorden, maakte minder fouten en vond de juiste informatie sneller, omdat ze wist waar ze moest kijken in plaats van alleen te zoeken.

Kortom:
In plaats van de AI een zak met losse puzzelstukjes te geven en te hopen dat ze het plaatje ziet, geven we haar de puzzelkist met de afbeelding op de deksel. Ze kan nu zelf beslissen welk stukje ze eerst pakt, en als ze ziet dat het niet past, legt ze het terug en probeert een ander stukje. Dat is de kracht van navigeren in plaats van zoeken.

1. Het Probleem

Traditionele Retrieval-Augmented Generation (RAG) systemen behandelen Large Language Models (LLM's) als passieve consumenten van zoekresultaten.

Beperkte context: Het LLM ontvangt alleen de top- $k$ passages die het dichtst bij de query liggen, maar ziet niet hoe de kennisbank als geheel is georganiseerd.
Gebrek aan overzicht: Het model weet niet welke onderwerpen niet zijn opgehaald, wat het vermogen beperkt om terug te gaan (backtracken) of bewijsmateriaal uit verspreide bronnen te combineren.
Agente RAG tekortkomingen: Bestaande "agente" RAG-systemen die iteratief zoeken, opereren zonder een kaart van de corpusstructuur. Ze moeten zoektermen raden en missen het vermogen om systematisch van brede onderwerpen naar specifieke documenten te navigeren.
Hiërarchische systemen: Systemen zoals RAPTOR of GraphRAG bouwen hiërarchieën, maar deze blijven tijdens de query onzichtbaar voor het LLM; het model gebruikt nog steeds vectorzoekopdrachten in plaats van de structuur zelf te doorlopen.

2. Methodologie: CORPUS2SKILL

Het paper introduceert CORPUS2SKILL, een raamwerk dat een documentcorpus omzet in een navigabele hiërarchie van vaardigheden (skills) die een LLM-agent actief kan verkennen. Het proces verloopt in twee fasen:

A. Compile-fase (Offline)

In deze fase wordt het ruwe documentcorpus omgezet in een browsbare skill-tree zonder dat er een vectorindex nodig is tijdens het gebruik.

Document Laden & Embedden: Documenten worden geïdentificeerd en geëmbet met een sentence-embedding model.
Iteratieve Hiërarchische Clustering: Een bottom-up proces (geïnspireerd door RAPTOR) clusteren documenten in groepen.
- Elke cluster wordt samengevat door een LLM (generatie van een beschrijving van het onderwerp, vraagtypes en sleuteltermen).
- Deze samenvattingen worden opnieuw geëmbet en opnieuw geclusterd totdat een hiërarchie van $K$ top-niveau clusters ontstaat.
Materialisatie als Bestandsysteem: De hiërarchie wordt omgezet in een bestandsstructuur (een "skill directory"):
- Root-clusters worden hoofd-skill-mappen met een SKILL.md bestand (samenvatting en lijst van subgroepen).
- Sub-clusters worden submappen met INDEX.md bestanden (lijst van verdere subgroepen of document-ID's met korte samenvattingen).
- Leaf-documenten worden opgeslagen in een extern documents.json bestand, toegankelijk via een unieke ID.
Progressive Disclosure: De agent ziet eerst alleen metadata (namen en korte beschrijvingen). Volledige inhoud wordt pas geladen wanneer de agent een specifiek bestand selecteert.

B. Serve-fase (Online)

Tijdens het beantwoorden van een query navigeert de LLM-agent door deze hiërarchie:

Tools: De agent gebruikt twee tools:
1. code_execution: Om bestanden (SKILL.md, INDEX.md) te bekijken en de structuur te verkennen.
2. get_document(doc_id): Om de volledige tekst van een geselecteerd document op te halen.
Navigatie-Workflow:
1. De agent begint met een "vogelperspectief" van de kennisbank via de vooraf geladen skill-beschrijvingen.
2. De agent kiest een relevante skill, leest de SKILL.md en drilt naar binnen in de juiste subgroep (INDEX.md).
3. Op het bladniveau selecteert de agent specifieke document-ID's en haalt de volledige tekst op.
4. De agent synthetiseert het antwoord gebaseerd op de opgehaalde documenten, met de mogelijkheid om terug te keren naar een andere tak als een pad niet productief is.

3. Belangrijkste Bijdragen

Identificatie van Navigatie: De auteurs identificeren "corpus-navigeerbaarheid" als een onderbelichte dimensie in RAG. LLM's missen een gestructureerd overzicht, wat hun redeneervermogen beperkt.
Het CORPUS2SKILL Framework: Een "compile-then-navigate" aanpak die een corpus omzet in een hiërarchische skill-directory via iteratieve clustering en LLM-samenvattingen. Dit vereist geen vectordatabase tijdens de query-uitvoering.
Van Procedureel naar Informatief: Het repurposen van het "skill"-concept (vaak gebruikt voor workflows) om de inhoud van een corpus te coderen in plaats van hoe een taak wordt uitgevoerd.
Empirische Validatie: Uitgebreide evaluatie op de WixQA-benchmark (enterprise klantenservice), met ablatiestudies over hiërarchiestructuur, exploratiebudget en modelkeuze.

4. Resultaten

De evaluatie vond plaats op de WixQA-dataset (6.221 artikelen, 200 expertvragen) en vergeleek CORPUS2SKILL met BM25, Dense Retrieval, Hybrid, RAPTOR en een Agente RAG-baseline.

Kwaliteit: CORPUS2SKILL behaalde de hoogste scores op alle kwaliteitsmetrics (Token F1, BLEU, ROUGE, Factuality, Context Recall).
- Voorbeeld: Token F1 van 0.460 (vs. 0.388 voor Agente RAG en 0.363 voor Dense Retrieval).
- Context Recall was significant hoger (0.652 vs. 0.481 voor Agente RAG), wat aangeeft dat de navigatie meer relevant materiaal vindt dan vectorzoekopdrachten.
Kosten: De kosten per query zijn hoger dan bij single-shot RAG (door de input tokens voor het lezen van samenvattingen), maar lager dan bij complexe multi-turn agente systemen die veel zoekopdrachten doen.
- Kosten: ~$0.17 per query (vs. $0.098 voor Agente RAG, maar met veel betere kwaliteit).
Ablatie-studies:
- Structuur: Smellere bomen (minder kinderen per cluster) presteerden iets beter dan brede bomen, omdat de samenvattingen specifieker waren.
- Modelkeuze: Een goedkoper model (Claude Haiku) kon bijna dezelfde kwaliteit bereiken met de helft van de kosten, wat aantoont dat de kwaliteit van de compilatie (de hiërarchie) belangrijker is dan de complexiteit van het navigatiemodel.

5. Betekenis en Toekomst

Paradigmaverschuiving: Het paper stelt voor om rekenkracht te investeren in de compile-tijd om een corpus navigeerbaar te maken, in plaats van alleen in de query-tijd om het zoekbaar te maken.
Transparantie: Het geeft het LLM-agent een expliciete kaart van de kennisbron, waardoor het kan redeneren over waar het moet zoeken, kan terugkeren van dode hoeken en bewijs uit verschillende takken kan combineren.
Beperkingen:
- Kosten: De input-tokenkosten zijn hoger door het lezen van navigatiebestanden.
- Single-path Clustering: Documenten die op meerdere onderwerpen vallen, worden maar in één tak geplaatst, wat kan leiden tot routing-fouten als de query een ander onderwerp raakt.
- Updates: Het systeem vereist een volledige recompilatie bij het toevoegen van nieuwe documenten (geen incrementele updates).

Conclusie: CORPUS2SKILL demonstreert dat het geven van een LLM-agent een gestructureerd, browsbaar overzicht van een documentcorpus leidt tot aanzienlijk betere antwoorden dan traditionele retrieval-methoden, vooral voor complexe, multi-hop vragen in enterprise-omgevingen.