💬 NLP

W-RAG: Source-Aware Retrieval for Enterprise Document Generation from Heterogeneous Knowledge Bases

Dit artikel introduceert W-RAG, een bronbewuste retrieval-framework dat de beperkingen van globale rangschikking in heterogene enterprise kennisbanken aanpakt door middel van ontologiegestuurde retrieval en bronniveau-weging om de documentdekking en generatiekwaliteit te verbeteren.

Oorspronkelijke auteurs: Hridya Dhulipala, Rajesh Ombase, Michael Wang, Tien N. Nguyen

Gepubliceerd 2026-08-25

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Hridya Dhulipala, Rajesh Ombase, Michael Wang, Tien N. Nguyen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de moderne werkomgeving vereist het schrijven van complexe documenten, zoals beleidsmanuals, fusierapporten of productlanceringplannen, vaak het samenbrengen van informatie uit veel verschillende bronnen. Een team moet bijvoorbeeld tegelijkertijd interne bedrijfsregels, wetenschappelijke onderzoeksartikelen, overheidsvoorschriften en marktnieuws raadplegen. Om dit te vergemakkelijken, hebben computerwetenschappers systemen ontwikkeld waarmee kunstmatige intelligentie feiten kan opzoeken voordat het een zin schrijft. Deze aanpak, bekend als retrieval-augmented generation (verrijkte generatie door middel van gegevensopvraging), werkt als een digitale assistent die een bibliotheek aan documenten leest en die aantekeningen gebruikt om een reactie op te stellen. Het doel is om de AI nauwkeuriger en steviger verankerd in de realiteit te maken, om te voorkomen dat het feiten verzint. Er ontstaat echter een aanzienlijk probleem wanneer deze systemen proberen informatie te verzamelen uit verschillende soorten bibliotheken tegelijkertijd.

De uitdaging is dat niet alle informatiebronnen gelijk zijn en dat ze niet allemaal dezelfde rol spelen in een enkel document. Een standaard systeem behandelt elke tekst die het vindt vaak alsof deze deelneemt aan één enkele race, waarbij de beste resultaten worden gekozen op basis van hoe nauw de woorden overeenkomen met de vraag van de gebruiker. In een zakelijke omgeving schiet deze methode vaak tekort. Het kan honderden pagina's aan algemeen nieuws ophalen omdat ze de juiste trefwoorden bevatten, terwijl het een enkele, cruciale paragraaf uit een specifieke overheidsverordening of een technische veiligheidsrichtlijn volledig negeert. Het resultaat is een concept dat vloeiend klinkt, maar de essentiële, gespecialiseerde details mist die nodig zijn om het document juridisch of technisch geldig te maken. De context van de AI wordt gedomineerd door één type bron, waardoor de diverse bewijslast die nodig is om een compleet beeld te vormen, wordt weggelaten.

Onderzoekers Hridya Dhulipala, Rajesh Ombase, Michael Wang en Tien N. Nguyen zetten zich in om dit specifieke probleem op te lossen. Ze stelden een nieuw framework voor genaamd W-RAG, wat staat voor source-aware retrieval (bronbewuste gegevensopvraging). In plaats van alle documenten uit alle bibliotheken tegen elkaar te laten strijden in één grote vijver, organiseert dit nieuwe systeem het zoekproces. Het identificeert eerst de specifieke thema's die voor het document vereist zijn, zoals "gegevensprivacy" of "financiële naleving", en gebruikt een gestructureerde kaart van concepten om relevante passages te vinden. Vervolgens, in plaats van alles gezamenlijk te rangschikken, rangschikt het de beste documenten binnen elke specifieke bibliotheek afzonderlijk. Ten slotte wijst het een specifiek budget toe aan elke bibliotheek, waarbij wordt bepaald hoeveel ruimte in het definitieve document precies moet worden ingevuld door bedrijfsrapporten, hoeveel door wetenschappelijke artikelen en hoeveel door juridische teksten. Dit zorgt ervoor dat het definitieve concept een gebalanceerde compositie van bewijs is, die de werkelijke behoeften van de taak weerspiegelt in plaats van alleen het volume van de beschikbare tekst.

Om te testen of deze aanpak daadwerkelijk werkte, creëerde het team een nieuwe dataset die specifiek is ontworpen voor dit soort zakelijk schrijven. Ze construeerden honderd realistische scenario's, variërend van het opstellen van gezondheidsbeleid tot het voorbereiden van fusie- en overnameverslagen. Voor elk scenario bouwden ze vier afzonderlijke bibliotheken met informatie: één met bedrijfsverslagen en operationele handleidingen, een andere met wetenschappelijk onderzoek, een derde met juridische en regelgevende teksten, en een vierde met marktnieuws en sectorrapporten. Vervolgens lieten ze de AI documenten schrijven op basis van deze gemengde bronnen. De onderzoekers ontdekten dat standaard systemen, die simpelweg de topresultaten uit een globale lijst selecteren, aanzienlijk moeite hadden. Deze systemen produceerden vaak documenten die weliswaar vloeiend waren, maar incompleet, omdat ze de verplichtingen van de taak niet hadden voldaan omdat ze de kleinere, gespecialiseerde bibliotheken hadden genegeerd.

De resultaten toonden een duidelijk verschil wanneer de nieuwe bronbewuste methode werd gebruikt. Door het systeem te dwingen de onderscheidende rollen van elke kennisbank te respecteren, verbeterde de kwaliteit van de gegenereerde documenten drastisch. De nieuwe aanpak verhoogde de voldoening van de documentvereisten met meer dan vijftig procent vergeleken met de voorheen beste methoden, en met meer dan honderd procent vergeleken met standaard systemen. Het zorgde er ook voor dat de informatie die werd gebruikt om het document te schrijven, afkomstig was uit de juiste mix van bronnen, in plaats van scheef getrokken te worden naar de grootste of meest tekstrijke bibliotheek. De studie suggereert dat voor complexe, real-world schrijftaken de manier waarop informatie wordt geselecteerd en gebalanceerd net zo belangrijk is als het vermogen om het te vinden. Door de compositie van bewijsmateriaal zorgvuldig te beheren, kan het systeem concepten produceren die niet alleen feitelijk onderbouwd zijn, maar ook structureel compleet zijn, en zo voldoen aan de diverse behoeften van het moderne zakelijke schrijven.

Technische Samenvatting: W-RAG – Bronbewuste Retrieval voor Enterprise Documentgeneratie

Probleemstelling
Retrieval-Augmented Generation (RAG) heeft de feitelijke onderbouwing van Large Language Models (LLM's) verbeterd door externe kennis te integreren. Echter, bestaande RAG-pipelines vertrouwen op een globaal rankingsmechanisme dat ervan uitgaat dat bewijsmateriaal uit meerdere heterogene repositories kan worden geëvalueerd met behulp van een enkele gelijkenis-functie. Deze aanname geldt voor open-domain retrieval, maar faalt bij enterprise documentgeneratie. In bedrijfsomgevingen dienen kennisbanken (KB's) zoals beleidsregels, regelgeving, technische specificaties en afdelingsrichtlijnen verschillende rollen. Globale ranking heeft de neiging om grotere, dichtere of lexicaal dominante bronnen te bevoordelen, waardoor kleinere maar cruciale repositories worden onderdrukt. Dit leidt tot ongebalanceerde contextvensters waarbij het gegenereerde document tekortschiet aan noodzakelijk bewijs uit specifieke domeinen, wat resulteert in onvolledige concepten die niet voldoen aan complexe enterprise-eisen.

Methodologie: W-RAG Framework
De auteurs stellen W-RAG voor, een bronbewust retrieval-framework dat ontworpen is om de compositie van bewijsmateriaal over heterogene KB's te reguleren. Het systeem werkt in drie afzonderlijke stadia:

Ontologie-gestuurde Kandidaat-retrieval:
In plaats van uitsluitend te vertrouwen op semantische gelijkenis, gebruikt W-RAG een domein-ontologie om gestructureerde onderwerpen uit de input-query te extraheren. Het haalt kandidaat-tekstfragmenten op uit elke KB met behulp van een hybride scoringfunctie:
$R(c_{jk}) = f_{sim}(q, c_{jk}) + \lambda f_{ont}(T, c_{jk})$
waarbij $f_{sim}$ de semantische gelijkenis meet (cosine similarity van embeddings) en $f_{ont}$ de afstemming met de geëxtraheerde ontologie-onderwerpen meet. Dit zorgt ervoor dat kandidaten niet alleen lexicaal relevant zijn, maar ook thematisch zijn afgestemd op de vereisten van het doeldocument.
Schatting van Bronweging:
In plaats van alle kandidaten samen te voegen in één globale rangschikking, schat W-RAG een specifieke weging ( $w_j$ ) voor elke KB in. Deze wordt in realtime berekend door de input-topicset te vergelijken met de topic-index van de KB. De score combineert:
- Topical Overlap: De primaire drijfveer, die meet hoe goed de KB overeenkomt met de input-topics.
- Documentbeschikbaarheid: Een zwakke prior die voorkeur geeft aan KB's met een bredere dekking.
- Category Bonus: Een beloning voor grove domein-afstemming.
  Deze scores worden genormaliseerd om te bepalen welk percentage van het totale contextbudget ( $T_{total}$ ) elke KB moet bijdragen.
Gewogen Contextconstructie:
De geschatte gewichten worden omgezet in token-budgetten ( $T_j$ ) voor elke KB. Het systeem selecteert de best gerangschikte fragmenten uit elke lokaal gerangschikte kandidaat-set totdat het specifieke budget voor die KB is uitgeput. Deze fragmenten worden samengevoegd in een Single Context Window (SCW), wat garandeert dat de uiteindelijke prompt een gebalanceerde compositie van bronnen reflecteert in plaats van de dominantie van één enkele repository.

Belangrijkste Bijdragen

Probleemformulering: Het artikel identificeert een kritieke foutmodus in bestaande RAG-systemen: globale ranking over heterogene KB's faalt in het behoud van de broncompositie die nodig is voor volledige enterprise documentgeneratie.
Methodologische Innovatie: W-RAG introduceert een framework dat ontologie-gestuurde retrieval, lokale ranking binnen elke KB en bron-niveau weging combineert om de compositie van bewijsmateriaal te reguleren.
Nieuwe Dataset en Benchmark: De auteurs introduceren een nieuwe dataset voor retrieval-gebaseerde enterprise documentgeneratie. Deze bevat 100 vereisten-documenten van vier typen (Beleid, Productlancering, M&A Due Diligence, Academische Programma's) en vier domeinen (AI/Digitale Media, Gezondheidszorg, Klimaat/Duurzaamheid, Financiën). De dataset is gekoppeld aan vier heterogene KB's (Corporate, Wetenschappelijk, Regelgevend, Markt/Nieuws) om synthese van bewijsmateriaal uit meerdere bronnen te testen.

Experimentele Resultaten
De auteurs evalueerden W-RAG tegenover een standaard Vanilla RAG en een Ontology-Guided RAG (OG-RAG) baseline, waarbij GPT-4.1 werd gebruikt als generator en Claude Sonnet 4.6 als LLM-as-a-judge. De belangrijkste bevindingen zijn:

Prestatiewinst: W-RAG presteerde significant beter dan de baselines. Ten opzichte van OG-RAG verbeterde het de Vereiste-tevredenheid (Requirement Satisfaction) met 58,1% en de Context-relevantie met 39,1%. Vergeleken met Vanilla RAG waren de verbeteringen respectievelijk 109,2% en 96,4%.
Brongetrouwheid: De studie mat de "Realized Knowledge Base Fidelity" om te bepalen of het gegenereerde document de beoogde distributie van bronnen reflecteerde. W-RAG vertoonde een sterke afstemming tussen de voorgeschreven retrieval-gewichten en de werkelijke bronattributie in de gegenereerde tekst, waarbij Jensen-Shannon Divergence-scores duidden op een matige tot sterke overeenkomst.
Retrieval versus Generatie: De resultaten geven aan dat een hoge kwaliteit van retrieval alleen niet garandeert dat de documentkwaliteit hoog is; de compositie van bewijsmateriaal uit meerdere bronnen is cruciaal voor het voldoen aan enterprise-vereisten.

Significantie en Claims
Het artikel claimt dat standaard RAG-aannames slecht aansluiten bij de taak van enterprise documentgeneratie. Door expliciet te beheren hoe de opgehaalde context over kennisbanken wordt verdeeld, maakt W-RAG een trouwere en volledige documentgeneratie mogelijk. De auteurs stellen dat in multi-source enterprise-omgevingen de "bewijskompositie op documentniveau" even belangrijk is als de "rankingkwaliteit op fragmentniveau". Het werk suggereert dat het bewegen van globale gelijkenis-ranking naar bronbewuste allocatie noodzakelijk is voor betrouwbare synthese van beleid, contracten en technische documentatie.

Beperkingen
De auteurs erkennen dat hun evaluatie steunt op een relatief kleine, synthetische dataset die de schaal en ruis van echte enterprise-omgevingen mogelijk niet volledig vangt. Daarnaast bevat de evaluatie deels subjectieve elementen, en de aanpak is nog niet gevalideerd in open-domain of minder gestructureerde retrieval-omgevingen.

Meer zoals dit