Technische Samenvatting: Query-Adaptieve Semantische Chunking voor Retrieval-Augmented Generation

1. Probleemstelling

Retrieval-Augmented Generation (RAG)-systemen zijn sterk afhankelijk van de kwaliteit van documentchunking om relevante context op te halen voor downstream-generatie. Traditionele benaderingen maken voornamelijk gebruik van chunking met vaste grootte, waarbij documenten worden opgedeeld in uniforme eenheden, ongeacht de semantische structuur of de intentie van de gebruiker. Deze rigiditeit creëert een onoplosbare afweging: kleinere chunks verbeteren de precisie, maar lopen het risico bredere context te verliezen, terwijl grotere chunks context behouden maar relevantie verdunnen met overbodig materiaal.

Bestaande geavanceerde methoden, zoals semantische chunking (gebaseerd op inbeddingsimilariteit) en agentische chunking (gebaseerd op intentie), adresseren structurele coherentie, maar delen een fundamentele beperking: ze zijn query-agnostisch. Ze voeren segmentatie uit als een voorverwerkingsstap die onafhankelijk is van de specifieke gebruikersquery. Bijgevolg wordt een document op identieke wijze opgedeeld, ongeacht of de gebruiker op zoek is naar methodologie, resultaten of een specifiek technisch concept, waardoor een kritieke kans wordt gemist om relevantie bij de bron te optimaliseren.

2. Methodologie: Query-Adaptieve Semantische Chunking (QASC)

Het artikel stelt Query-Adaptieve Semantische Chunking (QASC) voor, een dynamische strategie die de gebruikersquery direct integreert in het segmentatieproces. QASC werkt via een pijplijn die menselijk leesgedrag nabootst: het identificeren van punten van belang, het verzamelen van omringende context, het evalueren van collectieve relevantie en het synthetiseren van coherente eenheden.

De methodologie bestaat uit vier kernmechanismen:

1. Selectie van Zaadsentences via Similariteitsscore:

   • Het document $D$ wordt opgesplitst in zinnen $S = \{s_1, ..., s_n\}$.
   • Zin-inbeddingen $e(s_i)$ en de query-inbedding $e(q)$ worden berekend met behulp van een vooraf getraind model (bijvoorbeeld Sentence-BERT).
   • Cosinesimilariteit wordt berekend voor alle zinnen ten opzichte van de query.
   • Adaptieve Drempelwaarde: In plaats van een vaste drempelwaarde wordt een percentielgebaseerde drempelwaarde $\tau$ (bijvoorbeeld het 75e percentiel van similariteitsscores) gebruikt om "zaadsentences" te selecteren. Dit zorgt ervoor dat het aantal zaden op natuurlijke wijze schaalt met de documentlengte en de specificiteit van de query.

2. Contextuele Vensteruitbreiding:

   • Voor elke zaadsentence wordt een contextueel venster geconstrueerd door $m$ zinnen voor en na de zaadsentence op te nemen.
   • Dit kan een vaste straal zijn of adaptief, waarbij het venster naar buiten uitbreidt totdat de similariteit van grenszinnen onder een secundaire drempelwaarde daalt. Dit zorgt ervoor dat zaden niet geïsoleerd worden opgehaald, maar worden begeleid door voldoende context voor interpreteerbaarheid.

3. Aggregatie van Scores op Chunk-niveau:

   • Om het ophalen van geïsoleerde hoogscorende zinnen omringd door irrelevante ruis te voorkomen, berekent QASC een geaggregeerde relevantiescore voor elk kandidaatvenster.
   • Deze score is een gewogen gemiddelde van de similariteitsscores van alle zinnen in het venster, waarbij de gewichten exponentieel afnemen met de afstand tot de zaadsentence ($\alpha_i = \exp(-\lambda \cdot |i - r|)$).
   • Chunks worden alleen behouden als hun geaggregeerde score een drempelwaarde overschrijdt (bijvoorbeeld $0,6 \times \tau$), waardoor holistische relevantie wordt gewaarborgd.

4. Oplossing van Grenzen en Samenvoegen:

   • Overlappende of aangrenzende kandidaatvensters worden iteratief samengevoegd om redundantie te minimaliseren.
   • De uiteindelijke chunkgrenzen worden aangepast om uit te lijnen met natuurlijke taalkundige breuklijnen (alinea's, secties) om een logische stroom en zelfstandigheid te waarborgen.

Het algoritme werkt op query-tijd, wat betekent dat chunking dynamisch wordt uitgevoerd voor elke specifieke query in plaats van vooraf te worden berekend tijdens het indexeren.

3. Belangrijkste Bijdragen

Het artikel schetst vier primaire bijdragen:

1. Algoritmedesign: Een query-adaptief algoritme dat cosinesimilariteit gebruikt om zaadsentences te identificeren en contextuele vensters uitbreidt om relevantie-geoptimaliseerde chunks te vormen.
2. Scoremechanisme: Een aggregatiemechanisme op chunk-niveau dat de holistische relevantie van een passage evalueert in plaats van te vertrouwen op individuele zinsscores, waardoor het risico op contextloos ophalen wordt verminderd.
3. Coherentieprotocol: Een protocol voor samenvoegen en grensoplossing dat overlappende vensters afhandelt en soepele overgangen garandeert, waardoor documentniveau-coherentie wordt behouden.
4. Uitgebreide Evaluatie: Een rigoureuze empirische evaluatie tegenover zeven baselines (waaronder vijf vaste granulariteiten, recursieve splitsing, semantische chunking en agentische chunking) over 100 technische documenten en 200 diverse queries.

4. Experimentele Resultaten

De evaluatie werd uitgevoerd op een corpus van 100 technische documenten (academisch, software en domeinrapporten) met behulp van 200 queries over vier typen: Factoid, Topisch, Comparatief en Multi-hop.

• Prestatiemetingen: QASC behaalde een F1-score van 0,85, wat vertegenwoordigt:
  • Een relatieve verbetering van 18–27% ten opzichte van baselines met vaste chunking (beste vaste: 0,72).
  • Een relatieve verbetering van 8–12% ten opzichte van baselines voor semantische en agentische chunking (semantisch: 0,76; agentisch: 0,74).
• Betrouwbaarheid: QASC behaalde de hoogste betrouwbaarheidsscore (0,87), wat wijst op een significante reductie in gehallucineerde of niet-onderbouwde claims in vergelijking met baselines. Dit wordt toegeschreven aan de hogere relevantiedichtheid van de opgehaalde chunks.
• Latentie: QASC introduceerde extra latentie (380 ms) in vergelijking met vaste chunking (110–120 ms) vanwege verwerking op query-tijd, maar bleef vergelijkbaar met inbedding-gebaseerde semantische chunking (340 ms) en ruim binnen sub-seconden interactieve drempels.
• Menselijke Evaluatie: Drie onafhankelijke annotatoren (Cohen's $\kappa = 0,82$) beoordeelden QASC significant hoger dan alle baselines in Relevantie (4,4/5), Coherentie (4,2/5), Volledigheid (4,3/5) en Antwoordkwaliteit (4,3/5).
• Robuustheid: QASC toonde consistente relatieve verbeteringen (+9 F1-punten) over documenten van variërende complexiteit (laag, medium, hoog) en querytypen.

5. Betekenis en Claims

Het artikel beweert dat QASC een paradigmaverschuiving vertegenwoordigt van "chunk dan ophalen" naar "query dan chunk dan ophalen."

• Oplossing van Afwegingen: Door de relevantie-filterfunctie te verschuiven van het ophaalstadium naar het chunking-stadium, lost QASC de inherente spanning tussen precisie en recall in vaste chunking op. Het filtert kandidaten vooraf zodat de ophaaler "vooraf geselecteerde naalden" rangschikt in plaats van naar naalden te zoeken in een hooiberg van irrelevant materiaal.
• Contextuele Uitlijning: De methode lijnt documentverwerking uit met het fundamentele doel van informatieretrieval: het leveren van de juiste informatie, in de juiste context, voor de juiste vraag.
• Praktijktoepasbaarheid: Hoewel het query-tijd-latentie introduceert, betoogt het artikel dat dit een noodzakelijke afweging is voor hoogwaardige generatie. Het suggereert hybride architecturen (voor-chunking voor initiële ophaling, gevolgd door QASC-herchunking op topkandidaten) als een haalbare weg voor schaalbaarheid in productie.

De auteurs concluderen dat chunking niet mag worden behandeld als een nagedachte voorverwerking, maar als een kritieke, eerste-klass designbeslissing in RAG-systemen. Door gebruikersintentie direct te integreren in segmentatie, verbetert QASC aanzienlijk de ophaalkwaliteit, de generatieprecisie en de systeembetrouwbaarheid.