🤖 AI

One Retrieval to Cover Them All: Co-occurrence-Aware Knowledge Base Reorganization for Session-Level RAG

Dit artikel stelt een methode voor voor de reorganisatie van kennisbases die rekening houdt met co-occurrentie, wat de dekking en efficiëntie op sessieniveau voor enterprise RAG-systemen aanzienlijk verbetert door gerelateerde documenten te clusteren en query-kandidaten uit te breiden, waarbij wordt beargumenteerd dat dekking op sessieniveau de primaire evaluatiemethode moet vervangen voor recall op enkelvoudige queries.

Oorspronkelijke auteurs: Shivam Ratnakar, Yixuan Zhu, Cecilia Cheng, Chaya Vijayakumar

Gepubliceerd 2026-07-01

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Shivam Ratnakar, Yixuan Zhu, Cecilia Cheng, Chaya Vijayakumar

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een complex probleem met je website probeert op te lossen, zoals het opzetten van een nieuwe webshop. Je moet vier dingen doen: je domeinnaam koppelen, een designtemplate kiezen, betalingen instellen en e-mail configureren.

In een standaard AI-systeem (genaamd RAG) gedraagt de computer zich als een bibliothecaris die alleen boeken kan vinden die precies lijken op de vraag die je stelt.

Je vraagt: "Hoe koppel ik mijn domein?"
De bibliothecaris vindt drie artikelen over domeinen.
Het Probleem: De bibliothecaris beseft niet dat je op dit moment ook de artikelen over templates en betalingen nodig hebt. Die artikelen staan op volledig andere planken in de bibliotheek. Om die te krijgen, moet je vier aparte vragen stellen, wachten tot de bibliothecaris ze telkens opnieuw heeft gevonden, en hopen dat hij het elke keer goed doet.

De auteurs van dit artikel noemen dit een "blind spot" (blinde vlek). Ze ontdekten dat een standaard systeem slechts ongeveer 41% van de informatie die je daadwerkelijk nodig hebt, in één keer vindt.

De Oplossing: Een Nieuwe Manier om de Bibliotheek te Organiseren

De onderzoekers stellen een slimme truc voor: reorganiseer de bibliotheek op basis van wat mensen samen doen, niet alleen op hoe de boeken eruitzien.

Denk aan een supermarkt.

Standaard Systeem: Het plaatst "Melk" naast "Kaas" omdat ze beide witte zuivelproducten zijn (semantische gelijkenis).
Dit Nieuwe Systeem: Het merkt op dat mensen die "Melk" kopen, ook bijna altijd "Ontbijtgranen" en "Aardbeien" kopen (co-occurrence), ook al lijken melk en aardbeien niet op elkaar. Daarom verplaatst het de Ontbijtgranen en de Aardbeien naar dezelfde gang als de Melk.

Hoe het werkt (De Eenvoudige Stappen)

Offline Reorganisatie (De "Nachtdienst"): Voordat er iemand een vraag stelt, bekijkt het systeem duizenden eerdere gebruikerssessies. Het ziet dat wanneer mensen vragen over domeinen, ze vaak ook hulp nodig hebben bij templates en betalingen. Het groepeert deze ongerelateerde onderwerpen samen in "clusters" of "buurten".
Online Retrieval (De "Dagdienst"): Wanneer jij je vraag stelt, doet het systeem twee dingen:
- Het vindt het meest voor de hand liggende antwoord (zoals de standaard bibliothecaris).
- De Magische Stap: Het kijkt onmiddellijk naar de "buurt" waar dat antwoord leeft en pakt de andere items uit die cluster (de templates en betalingen), zelfs als ze niet op je vraag lijken.
Het Resultaat: In plaats van je alleen de artikelen over het domein te geven, geeft het je de artikelen over het domein plus de artikelen over de template en de betalingen in één enkel antwoord.

Waarom dit Belangrijk is

De onderzoekers hebben dit getest op een echte enterprise kennisbank met meer dan 6.000 artikelen. Dit is wat ze vonden:

Eén oproep, meer antwoorden: In plaats van vier aparte vragen nodig te hebben om alle informatie te krijgen, dekt een enkele vraag nu 58% van de behoeften van de gebruiker (omhoog van 41%).
Minder stappen: Om 70% van de informatie die je nodig hebt te verkrijgen, hebben gebruikers nu 34% minder vragen nodig. Het is alsolijk je boodschappenronde in één keer afronden in plaats van in vier.
Kleinere Bibliotheek: Omdat het systeem zaken efficiënt groepeert, kan het de effectieve grootte van de kennisbank verkleinen tot 20% van de oorspronkelijke grootte, terwijl het nog steeds de juiste antwoorden vindt.
Werkt Overal: Deze truc werkte ongeacht welk "brein" (AI-model) ze gebruikten om de woorden te begrijpen, en het werkte over zes verschillende soorten onderwerpen heen (zoals betalingen, e-mail en design).

De Afweging

De auteurs geven toe dat er een kleine prijs aan verbonden is. Omdat ze een breder net uitwerpen, is het soms zo dat het allereerste antwoord iets minder perfect is dan voorheen (een daling in precisie van 96% naar 93%). Ze argumenteren echter dat dit een goede afweging is. Het is veel beter om 58% van de oplossing direct voor je te hebben, dan het "perfecte" enkele antwoord te hebben en vervolgens nog drie vragen te moeten stellen om de rest te krijgen.

Wat Ze Niet Beweren

Ze beweren niet dat dit werkt voor eenmalige vragen waarbij geen vervolg volgt (zoals een quizvraag).
Ze beweren niet dat dit het uiteindelijke geschreven antwoord van de AI perfect maakt; ze hebben alleen gemeten of de juiste documenten werden gevonden.
Ze hebben geen echte gebruikerslogs gebruikt voor de training (vanwege privacy), maar in plaats daarvan expert-gelabelde data en gesimuleerde gebruikerspaden gebruikt om het systeem te leren hoe het dingen moet groeperen.

Kortom: dit paper suggereert dat we voor complexe, echte problemen niet alleen de AI moeten vragen om het "meest gelijkaardige" document te vinden. We moeten de AI leren om de "meest behulpzame groep" documenten te vinden op basis van hoe mensen ze samen gebruiken.

Technische Samenvatting: One Retrieval to Cover Them All

Probleemstelling

Huidige Retrieval-Augmented Generation (RAG) systemen zijn geoptimaliseerd voor relevantie per enkele query, waarbij documenten worden opgehaald die semantisch overeenkomen met een geïsoleerde gebruikersvraag. Echter, zakelijke gebruikers interageren met kennisbanken (KB's) via sessies: coherente episodes van gerelateerde vragen die zich uitstrekken over semantisch verre delen van de KB.

Het onderzoek identificeert een kritieke "sessie-dekkingskloof": standaard RAG-systemen slagen er niet in om de volledige set documenten die een gebruiker nodig heeft in een enkele sessie op te halen, omdat die documenten vaak in verschillende semantische buurten verblijven. Bijvoorbeeld: een gebruiker die een website instelt, heeft artikelen nodig over domeinconfiguratie, sjabloontemplates en betalingsverwerking. Hoewel deze functioneel gerelateerd zijn, zijn deze documenten semantisch gezien ver uit elkaar verwijderd.

Het blinde vlek: Standaard retrieval-metrieken (bijv. Recall@k) optimaliseren voor het vinden van het beste enkelvoudige document voor een enkele vraag, waarbij ze informatiebehoeften over meerdere documenten heen negeren.
Het gevolg: Op de WixQA-benchmark dekt een standaard RAG-systeem slechts 41% van de sessie-niveau informatiebehoefte van een gebruiker met een enkele retrieval-oproep ( $k=8$ ). Gebruikers moeten meerdere vervolgvragen stellen om toegang te krijgen tot de resterende kennis, wat leidt tot hogere latentie, API-kosten en gebruikersfrictie.

Methodologie

De auteurs stellen Co-occurrence-Aware Knowledge Base Reorganization voor, een pre-retrieval aanpak die de KB offline herstructureert om af te stemmen op gebruikersgedragspatronen in plaats van enkel op semantische gelijkenis. De methode bestaat uit twee fasen:

1. Offline: Co-occurrence-Aware Clustering

Het systeem leert een nieuwe embedding-ruimte op basis van co-occurrence patronen van documenten (documenten die samen in sessies worden geraadpleegd) in plaats van louter semantische tekstgelijkenis.

Sequentieconstructie: Co-occurrence-sequenties worden opgebouwd uit drie bronnen:
1. Ground-truth: Door experts gelabelde queries met meerdere relevante artikel-ID's.
2. Embedding-neighborhood walks: Random walks door de semantische gelijkenis-grafiek met een hoge sprongkans (40%) om cross-neighborhood relaties te vangen.
3. QA-gestuurde sequenties: Synthetische vraag-antwoordparen en hun brondocument-buren.
Embedding Learning: Document-ID's worden behandeld als tokens, en de sequenties als zinnen. Een Word2Vec (CBOW) model wordt getraind om co-occurrence embeddings ( $z_d$ ) te genereren. Dit legt functionele verwantschap vast: documenten die samen in een sessie nodig zijn, liggen dicht bij elkaar in de $z$ -ruimte, zelfs als ze semantisch ver uit elkaar liggen.
Hiërarchische Clustering: Agglomeratieve clustering wordt toegepast op de co-occurrence embeddings om documenten in clusters te groeperen. Het doel is om de effectieve grootte van de KB te reduceren tot 20% van de oorspronkelijke omvang (bijv. 6.221 documenten $\to$ 1.244 clusters).

2. Online: Hybride Retrieval met Cluster Expansie

Tijdens de query-tijd voert het systeem een hybride retrieval-proces uit:

Vanilla Retrieval: Haal de top- $k_v$ (bijv. 3) documenten op op basis van standaard semantische gelijkenis (met behulp van een willekeurige encoder).
Cluster Expansie: Verzamel voor elk opgehaalde document alle andere documenten binnen zijn vooraf berekende cluster als expansie-kandidaten.
Re-ranking: Herrangschik de unie van de vanilla-resultaten en de expansie-kandidaten op basis van de oorspronkelijke query-document gelijkenis om de uiteindelijke top- $k$ (bijv. 8) resultaten terug te geven.

Deze aanpak is encoder-agnostisch (de clusterstructuur wordt onafhankelijk van de query-encoder geleerd) en pre-retrieval (de KB wordt één keer offline geherorganiseerd).

Belangrijkste Bijdragen

Sessie-niveau Evaluatiemetrieken: Het paper introduceert Single-Query Session Coverage (het deel van de sessie-documenten dat in één oproep wordt opgehaald) en Calls to $\tau$ -Coverage (het aantal oproepen dat nodig is om een specifiek deel van een sessie te dekken). Deze metrieken verschuiven de focus van de evaluatie van single-query recall naar holistische sessie-tevredenheid.
Co-occurrence-Aware KB Reorganisatie: Een nieuwe methode die de KB offline herorganiseert met behulp van co-occurrence patronen om cluster-geëxpandeerde hybride retrieval mogelijk te maken.
Empirische Validatie: Demonstratie van consistente winst over vier verschillende embedding-modellen, zes functionele domeinen en variërende sessiecomplexiteiten op een enterprise benchmark.

Resultaten

Geëvalueerd op WixQA (6.221 enterprise support artikelen) en een E-Commerce Support corpus:

Sessie-dekking: De voorgestelde methode verhoogt de single-query sessie-dekking van 41,4% (Vanilla RAG) naar 59,1% bij $k=8$ (+17,7% absoluut; 95% CI: [14,1, 20,4]).
Retrieval Efficiëntie: Om een sessie-dekking van 70% te bereiken, vermindert de methode het gemiddelde aantal retrieval-oproepen van 4,0 (Vanilla) naar 2,6, een reductie van 34%.
Encoder Robuustheid: De methode verbetert de dekking over alle vier de geteste embedding-modellen (MiniLM, BGE, GTE, E5) met absolute winsten variërend van +17,1% tot +20,6%.
Domein Generalisatie: De winst is consistent over zes verschillende functionele domeinen (bijv. Bookings, Apps, Editor), met verbeteringen tussen de +12,7% en +21,5%.
KB Compressie: De clustering reduceert de effectieve grootte van de KB tot 20% van de oorspronkelijke omvang, terwijl de dekking wordt verbeterd.
Precisie Trade-off: De first-hit precisie (Hits@K) daalt licht (96,0% naar 93,0%), wat de auteurs beschouwen als een acceptabele trade-off voor aanzienlijk bredere sessie-dekking.
Randvoorwaarden: De methode vertoont geen winst op HotpotQA, wat bevestigt dat de verbetering rust op persistente kennisbanken met documenthergebruik over sessies heen, en niet op de expansie-mechanisme zelf.

Betekenis en Claims

Het paper betoogt dat sessie-niveau dekking, en niet single-query recall, de primaire metriek moet zijn voor de evaluatie van enterprise RAG. De betekenis van dit werk ligt in:

Het overbruggen van de Semantische Kloof: Het toont aan dat semantische gelijkenis en de informatiebehoeften van gebruikers verschillende signalen zijn. Documenten die samen nodig zijn, zijn niet altijd semantisch gelijk; uitsluitend vertrouwen op embedding-gelijkenis mist cruciale context.
Efficiëntie en Kosten: Door de juiste documenten in de eerste oproep op te halen, vermindert de methode het aantal API-oproepen, de latentie en de gebruikersfrictie die nodig zijn om complexe supportproblemen op te lossen.
Complementariteit: De aanpak is orthogonaal aan query-herwriting of post-retrieval compressie. Het kan worden gecombineerd met bestaande query-zijde optimalisaties (zoals multi-query rewriting) of post-retrieval methoden (zoals EDC2-RAG) voor end-to-end sessie-optimalisatie.
Praktische Bruikbaarheid: De offline reorganisatie is computationeel efficiënt (minder dan 20 minuten voor 6k documenten) en de online overhead is verwaarloosbaar, wat het levensvatbaar maakt voor productie-implementatie.

De auteurs concluderen dat hoewel hun co-occurrence sequenties momenteel worden afgeleid van synthetische en embedding-gebaseerde bronnen, de methode een kader schept waar co-occurrence patronen een krachtig, complementair signaal kunnen dienen voor de semantische embeddings van enterprise RAG-systemen.