Chunking German Legal Code

Technische Samenvatting: Chunking van de Duitse Wetboeken

Probleemstelling
De toenemende adoptie van Large Language Models (LLM's) in juridische diensten vereist robuuste Retrieval-Augmented Generation (RAG)-systemen om hallucinaties te mitigeren. Effectieve retrieval wordt echter gehinderd door het "lost in the middle"-fenomeen en beperkingen van het contextvenster, waardoor opgehaalde informatie klein en highly relevant moet zijn. Een kritieke uitdaging in juridische domeinen, specifiek met het Duitse Burgerlijk Wetboek (Bürgerliches Gesetzbuch, BGB), is dat standaard chunking-strategieën vaak de bewuste hiërarchische structuur van wettekst doorbreken. Juridische normen zijn georganiseerd in specifieke eenheden (paragrafen, subparagrafen, zinnen) waarvoor voorwaarden en gevolgen nauw met elkaar verbonden zijn. Traditionele vaste venstergroottes of semantische aggregaties riskeren deze logische grenzen te verbreken, wat leidt tot een verlies aan context dat essentieel is voor nauwkeurig juridisch vraag-en-antwoord (QA). Bovendien introduceren geavanceerde chunking-methoden aanzienlijke rekenkundige overhead in termen van bouwtijd van de index, query-latentie en opslagvereisten.

Methodologie
De auteurs evalueren een uitgebreid scala aan segmentatiestrategieën op het BGB-corpus, genormaliseerd tot 2.455 hiërarchische paragrafen. De evaluatie maakt gebruik van een juridisch QA-dataset (gerlayqa-bgb-paraphrased) met 525 vragen van leken, voorzien van gouden labels op paragraafniveau. De studie vergelijkt de volgende benaderingen:

1. Structuurbehoudende Baselines:
   • Vaste Venstergroottes: Overlappende vensters van variërende token-groottes (bijv. 16/4 tot 256/64).
   • Basis-eenheden: Het splitsen van tekst bij natuurlijke juridische grenzen: Paragrafen (§), Subparagrafen (Absätze), Zinnen (Sätze) en Proposities (zelfstandige juridische uitspraken).
2. Geavanceerde/LLM-intensieve Strategieën:
   • Lumber-stijl Chunking: Gebruikt een LLM om dynamisch semantische grenzen te identificeren, waardoor variabele lengte-chunks ontstaan die meerdere juridische paragrafen kunnen overspannen.
   • Contextuele Chunking: Verrijkt basis-eenheden met door een LLM gegenereerde contextuele voorvoegsels (hiërarchie en volledige paragraaftekst) voordat ze worden ingebed.
   • Semantische Clustering: Groepeert semantisch vergelijkbare basis-eenheden met KMeans, waarbij embeddings worden samengevoegd tot enkele cluster-vectoren.
   • RAPTOR: Een hiërarchische retrieval-methode die chunks recursief clusterd en samenvat tot een boomstructuur, waarbij queries via samenvattingsknooppunten worden gerouteerd naar bladknooppunten.

Evaluatiemetrics
De studie meet vier sleuteldimensies:

• Recall@10: Het vermogen om de correcte top-10 distincte paragrafen op te halen die overeenkomen met de gouden labels.
• Query Latentie: Online zoektijd en aggregatietijd (exclusief initiële embedding).
• Bouwtijd Index: Offline rekenkosten om de index te construeren.
• Opslagvereisten: Persistent geheugengebruik van de index en metadata.

Belangrijkste Resultaten

• Retrievalprestaties: Strategieën die zijn afgestemd op de inherente juridische structuur behaalden de hoogste recall. Retrieval op subparagraafniveau presteerde het beste (Recall@10 ≈ 0,47), gevolgd door retrieval op paragraafniveau (≈ 0,46). Retrieval op zinnen- en propostieniveau vormde de volgende tier. Daarentegen presteerden methoden die de juridische structuur negeren slechter: Lumber-stijl en Vaste Venstergroottes leverden de laagste recall op, waarbij de grofste vaste instelling (256/64) het slechtst presteerde. Semantische clustering en RAPTOR bezetten een middentier en presteerden over het algemeen onder de structurele baselines.
• Latentie: RAPTOR was de snelste methode (ongeveer 2,0–2,3 ms) door hiërarchische pruning van de zoekruimte. Semantische clustering en Lumber waren het langzaamst (13–16 ms) door uitgebreide consolidatie na retrieval. Onder de vlakke baselines schaalde de latentie als volgt: Paragraaf ≈ Propositie < Zin < Subparagraaf, aangezien fijnere eenheden corresponderen met minder distincte ouderparagrafen, wat de aggregatie-overhead verlaagt.
• Bouwtijd: Deterministische vlakke indexen (Vaste Venstergroottes, Paragraaf) waren het snelst (minder dan 1 minuut). RAPTOR en Lumber vereisten aanzienlijk meer tijd (3–11 uur) door recursieve LLM-aanroepen voor samenvatting en grensdetectie. Contextuele chunking liep ook hoge kosten op (38–51 minuten) door LLM-voorverwerking.
• Opslag: Vaste Venstergroottes (256/64) en Semantische Clustering waren het meest compact (ongeveer 15 MB) door vectorreductie. Opslag nam monotoon toe voor vlakke baselines naarmate de granulariteit toenam (Paragraaf < Subparagraaf < Zin < Propositie). RAPTOR vereiste meer ruimte dan vlakke baselines vanwege de opslag van zowel blad- als samenvattingsknooppunten.

Betekenis en Aanspraken
Het artikel demonstreert een kritieke afweging tussen semantische verrijking en operationele efficiëntie. De auteurs stellen dat voor gecodificeerde wettekst zoals het BGB, het behoud van domeinspecifieke structuur effectiever is dan het proberen de tekst semantisch te verrijken of te herschikken via complexe door LLM's gedreven methoden.

• Structurele Integriteit: De bewuste grenzen die door de wetgever zijn getrokken (paragrafen en subparagrafen) groeperen voorwaarden en gevolgen op natuurlijke wijze. Retrieval op deze granulariteit sluit aan bij zowel de intentie van de wetgever als de evaluatie-gouden labels, terwijl methoden die bepalingen poolen op basis van thematische gelijkenis (Semantische Clustering) of voorspelde coherentie (Lumber) de neiging hebben specifieke juridische onderscheidingen te vervagen, wat de recall verlaagt.
• Efficiëntie versus Complexiteit: Eenvoudigere, structuurbehoudende methoden bieden superieure of vergelijkbare retrieval-nauwkeurigheid met aanzienlijk lagere rekenkosten (bouwtijd, latentie en opslag) in vergelijking met LLM-intensieve technieken zoals RAPTOR en Lumber.
• Beperkingen: De studie erkent dat de resultaten specifiek zijn voor het BGB en vragen van leken. Het adresseert geen oplossen van kruisreferenties (expliciete of impliciete links tussen paragrafen), wat een potentieel pad blijft voor toekomstige verbetering. De evaluatie richt zich op retrieval-correctheid in plaats van downstream generatieve prestaties.

Concluderend betogen de auteurs dat voor juridische informatieretrieval op gestructureerde wetboeken, de "eenvoudigste" aanpak – het respecteren van de native hiërarchie van de code – vaak de meest robuuste en efficiënte is, wat de aanname uitdaagt dat complexere semantische segmentatie altijd superieur is.