CHOP: Chunkwise Context-Preserving Framework for RAG on Multi Documents

Probleemstelling

Retrieval-Augmented Generation (RAG)-systemen ondervinden aanzienlijke moeilijkheden wanneer ze werken met grote verzamelingen van vergelijkbare documenten (bijvoorbeeld technische handleidingen voor verschillende producten). De huidige benaderingen, die vaak gebaseerd zijn op vaste lengtes of simpele semantische splitsing, leiden tot de volgende problemen:

• Verlies van context: Het opsplitsen van documenten in losse "chunks" breekt coreferenties (bijv. "deze methode", "Figuur 3") en lokale verwijzingen, wat de interpretatie bemoeilijkt.
• Semantische conflicten: In multi-document omgevingen met veel overlap (bijv. handleidingen voor verschillende modellen van hetzelfde product) veroorzaken vergelijkbare tekstfragmenten verwarring in de vectordatabase. Dit leidt tot onnauwkeurige retrievals, hallucinaties en feitelijke fouten.
• Onafhankelijke verwerking: Bestaande methoden behandelen chunks vaak als geïsoleerde eenheden, waardoor discursieve afhankelijkheden en topic-shifts tussen documenten worden genegeerd.

Methodologie: Het CHOP Framework

CHOP (Chunkwise Context-Preserving) is een raamwerk dat is ontworpen om de continuïteit van context te behouden tijdens het indexeren en ophalen van informatie. Het framework verwerkt documenten sequentieel en verrijkt elke chunk met contextbewuste metadata voordat deze wordt ingebed. Het bestaat uit twee kerncomponenten:

1. CNM-Extractor (Category–Noun–Model Extractor)

Deze module genereert een compacte "handtekening" (signature) voor elke chunk, genaamd CNM, die als prefix aan de chunk wordt toegevoegd. De CNM is een triplet bestaande uit:

• Category: De brede productfamilie (bijv. camera, airconditioner).
• Nouns: 1 tot 2 kernwoorden die het doel of de actie beschrijven (bijv. "airconditioner filter").
• Model: De specifieke model- of seriesnaam (bijv. "225B", "X-SERIES").

Deze informatie wordt gegenereerd door een Large Language Model (LLM) dat de chunk analyseert volgens een strikt sjabloon (JSON-formaat). Zelfs als een chunk op zichzelf wordt verwerkt, zorgt deze prefix voor stabilisatie van het contextkader.

2. Continuity Decision Module

Deze module bepaalt of twee opeenvolgende chunks ($C_i$ en $C_{i+1}$) tot hetzelfde thematische verloop behoren of dat er een onderwerpsswitch plaatsvindt.

• Logica: Een LLM-classificator analyseert de overgang tussen chunks.
  • Als TRUE (continuïteit): De volgende chunk erft de CNM van de vorige chunk. Dit behoudt de semantische samenhang.
  • Als FALSE (topic shift): Een nieuwe CNM wordt geëxtraheerd voor de nieuwe chunk.
• Doel: Dit voorkomt dat metadata uit een ander document "verontreinigt" de huidige context en zorgt voor een consistente representatie binnen een thematisch blok.

Constructie van de Vector Database

Voor elke chunk $C_i$ wordt een geoptimaliseerde tekst $x_i$ gegenereerd door de CNM ($M_i$) als prefix toe te voegen:
$$x_i = [ \text{PFX}(M_i) \parallel C_i]$$
Deze tekst wordt vervolgens ingebed tot een vector $e_i$ en opgeslagen in de vectordatabase. Hierdoor wordt de embeddingruimte "geregulariseerd", wat semantische botsingen tussen vergelijkbare documenten vermindert zonder dat de retriever zelf opnieuw getraind hoeft te worden.

Kernbijdragen

1. Contextbewuste Chunking: In plaats van statische splitsing, gebruikt CHOP een dynamisch proces dat discursieve continuïteit bewaakt en metadata (CNM) sequentieel toewijst.
2. Semantische Differentiatie: Door het toevoegen van specifieke product- en modelmetadata als prefix, kan de retriever beter onderscheid maken tussen zeer vergelijkbare tekstfragmenten uit verschillende documenten.
3. Schaalbare Architectuur: Het framework vereist geen hertraining van de onderliggende retriever of embedding-modellen; het werkt als een voorverwerkingslaag die de kwaliteit van de index direct verbetert.

Resultaten

Het framework is getest op het MRAMG-Bench, een dataset afgeleid van producthandleidingen, en vergeleken met baselines zoals Naive-500T (vaste lengte) en Cosine-Chunking (dynamisch op basis van zinslengte).

• Retrieval Performance:
  • CHOP behaalde een Top-1 Hit Rate van 90,77%, wat aanzienlijk hoger is dan Naive-500T (81,28%) en Cosine-Chunking (70,77%).
  • CHOP presteerde ook superieur op rangschikkingskwaliteitsmetrieken zoals MRR (Mean Reciprocal Rank) en NDCG, wat aangeeft dat niet alleen het juiste antwoord wordt gevonden, maar dat dit ook hoger in de lijst staat.
• Generatie Performance:
  • De verbeterde retrievals vertaalden zich direct in betere antwoordkwaliteit. CHOP toonde consistente verbeteringen in F1-score, ROUGE-L en BERTScore vergeleken met de baselines.
  • De resultaten tonen aan dat CHOP irrelevante informatie beter filtert en hallucinaties reduceert door de juiste context te prioriteren.

Betekenis en Conclusie

CHOP biedt een praktische en schaalbare oplossing voor een van de grootste uitdagingen in RAG-systemen: het handelen van grote verzamelingen van technisch vergelijkbare documenten. Door de contextbewuste prefixing en de continuïteitsbeslissingen:

• Wordt de retrieval-accuraatheid aanzienlijk verhoogd in omgevingen met hoge overlap.
• Wordt de betrouwbaarheid van de gegenereerde antwoorden verbeterd door hallucinaties te onderdrukken.
• Biedt het een efficiënte route om hoogwaardige kennisbanken te bouwen zonder de kosten van het opnieuw trainen van complexe modellen.

De auteurs concluderen dat CHOP een nieuwe standaard kan vormen voor RAG-systemen in real-world scenario's en plannen voor toekomstig werk gericht op adaptieve prefixing en het verminderen van de rekentijd van de LLM-componenten.