Technische Samenvatting: Injecteren of Navigeren? Token-efficiënte Retrieval voor LLM-analyse van Transactionele Juridische Documenten

Probleemstelling

Het paper behandelt de uitdaging van het beantwoorden van vragen over een corpus van transactionele juridische documenten (bijv. overeenkomsten, amendementen, zijbrieven, bijlagen). De baseline-aanpak, getiteld inject, houdt in dat het volledige corpus in het contextvenster van het Large Language Model (LLM) wordt geplaatst voor elke query. Hoewel dit de retrieval-recall maximaliseert door ervoor te zorgen dat geen enkele informatie wordt gemist, lijdt het aan twee kritieke beperkingen naarmate het corpus groeit:

1. Token Footprint: De kosten schalen met de omvang van het corpus in plaats van met de vraag, wat inefficiënt is voor grote documentensets.
2. Long-Context Degradatie: LLM's vertonen een ongelijke aandacht over lange inputs, waarbij informatie die zich in het midden van het contextvenster bevindt, vaak verloren gaat.
3. Contextvensterlimieten: Juridische zaken overschrijden vaak het maximale contextvenster van huidige modellen, waardoor volledige injectie onmogelijk wordt gemaakt.

Bestaande benchmarks (bijv. CUAD, ContractNLI) opereren doorgaans op enkelvoudige documenten en slagen er niet in de cross-instrument afhankelijkheden (bijv. gedefinieerde termen, kruisverwijzingen, amendementen) te vatten die inherent zijn aan transactionele juridische analyse.

Methodologie

De auteurs evalueerden twee gestructureerde retrieval-strategieën tegenover de inject baseline met behulp van een door Syntheia ontwikkelde, op structuur gebaseerde chunking-methode. De evaluatie werd uitgevoerd op een benchmark van 20 vragen (18 documentgebonden met geverifieerde grondwaarheid, 2 out-of-scope controles) over zes juridische documenten.

Evaluatieprotocol

• Judge: Een positie-bias-gecontroleerde, referentie-verankerde pairwise judge (gebruikmakend van claude-opus-4-7) vergeleken antwoorden van de baseline en de retrieval-methode. Een "gelijkspel" (tie) werd alleen toegekend als beide richtingen van de vergelijking instemden, wat certificeerde dat beide antwoorden even consistent waren met de grondwaarheid.
• Metrieken: De studie volgde de token footprint (totaal aantal tokens waarnaar het model kijkt, inclusief gecachte context) en dollarkosten (operationele uitgaven, rekening houdend met kortingen op prompt caching). Deze werden als aparte metrieken behandeld omdat caching de kosten verlaagt zonder het aantal tokens te verminderen dat het model moet verwerken.

De Drie Modi

1. Inject (Baseline): Het volledige corpus wordt voor elke query in het contextvenster geplaatst.
2. Navigate-Embeddings (navembed): Documenten worden vooraf ingebed in een boom van knopen. Op het moment van de query worden de top-$k$ meest gelijkaardige knopen opgehaald via cosine similarity (met optionele cross-encoder reranking) en in de context geplaatst.
3. Navigate-Index (navindex): Een vectorloze aanpak waarbij een LLM een compacte, gestructureerde index navigeert. De index bevat:
   • Booleaanse semantische vlaggen: (bijv. isDefinition, hasMoney, hasLiabilityLimit).
   • Structurele metadata: Koppen, clausereferenties en expliciete kruisverwijzing-/gedefinieerde-termen-grafen.
   • Navigatieproces: De LLM scant de index (S1) om tot 10 node-ID's te selecteren op basis van booleaanse filters en samenvattingen, en haalt vervolgens deterministisch de letterlijke tekst voor die knopen op (S2) om het antwoord te genereren (S3).

Belangrijkste Resultaten

Inject vs. navembed

• Prestaties: De sterkste configuratie (Semantische retrieval + reranking, RUN-012) werd beoordeeld als gelijk aan inject op 16 van de 18 documentgebonden vragen (inject geprefereerd op 2).
• Efficiëntie: Deze configuratie verminderde de input token footprint met 17,3× (188K tokens vs. 3,26M tokens).
• Kosten: Het bereikte een lagere dollarkost dan inject in alle gevalideerde runs.
• Foutmodus: Een hybride BM25-configuratie (RUN-011) leed aan "lengtebias", wat de payload opblas en de kosten niet effectief wist te verlagen.

Inject vs. navindex

• Prestaties: De token-geoptimaliseerde configuratie (Config 6) werd beoordeeld als gelijk aan inject op alle 18 documentgebonden vragen en beide out-of-scope controles. Dit vertegenwoordigt het hoogste enkele tie-percentage in de studie.
• Efficiëntie:
  • Token Footprint: Verminderde de totale input tokens met 1,61×.
  • Antwoordcontext: Verminderde de context waarnaar het model kijkt tijdens de antwoordgeneratie met ~56× (2,9K tokens vs. 163K tokens).
  • Kosten: Registreerde een 25% lagere dollarkost ($1,21 vs. $1,61) vergeleken met inject.
• Mechanisme: Het succes van navindex wordt toegeschreven aan de expliciete codering van structurele signalen (kruisverwijzingen en gedefinieerde termen), die cosine similarity alleen niet kan vangen, waardoor het model de exacte benodigde context kan ophalen zonder enkel te vertrouwen op semantische nabijheid.

Kostenanalyse: De Caching Crossover Regel

Het paper leidt een gesloten regel af voor wanneer gecacheerde inject goedkoper is in dollars dan retrieval:
$$C < 10 \times R$$
Waar $C$ de corpusgrootte is en $R$ de retrieval-payload.

• Implicatie: Gecacheerde inject is alleen goedkoper als het corpus ongeveer 10 keer kleiner is dan de retrieval-payload.
• Realiteit: Voor de geteste 163K-token corpus waren zowel navembed als navindex goedkoper dan gecacheerde inject bij een steady state. Echter, voor zeer kleine corpora (<35K tokens) blijft inject de goedkopere optie.
• Kanttekening: Dit gaat uit van een "warme" sessie waar de cache geldig is (5-minuten TTL). In asynchrone workflows kan de kosten voor het schrijven naar de cache herhaaldelijk worden in rekening gebracht, wat het voordeel van inject ondermijnt.

Belangrijkste Bijdragen

1. Gepaard Evaluatie: Een rigoureuze, op positie-bias gecontroleerde evaluatie van volledige corpus-injectie tegenover gestructureerde retrieval op een juridische QA-set met geverifieerde grondwaarheid.
2. navindex Ontwerp: Het ontwerp van een navigatie-descriptor voor juridische instrumenten die getypeerde booleaanse vlaggen, kruisverwijzingsgrafen en de resolutie van gedefinieerde termen codeert, geoperationaliseerd via specifieke prompts.
3. Caching-Crossover Regel: Een gesloten economische regel die de token footprint scheidt van de dollarkosten, waarbij wordt benadrukt dat reductie van tokens een structureel voordeel is terwijl kostenbesparing sessie-afhankelijk is.
4. Catalogus van Foutmodi: Identificatie van specifieke foutmodi om te vermijden, zoals BM25 lengtebias, titel-alleen overselectie en ongecontroleerde node-selectie.

Betekenis en Claims

Het paper claimt dat gestructureerde retrieval een levensvatbaar en vaak superieur alternatief is voor volledige corpus-injectie voor juridische documentanalyse, mits de retrieval-strategie de structurele afhankelijkheden van juridische teksten respecteert.

• Kwaliteitsbehoud: Gestructureerde retrieval kan de kwaliteit van de antwoorden van volledige injectie evenaren (gemeten door een referentie-verankerde judge), terwijl het de token footprint en de antwoordcontext drastisch vermindert.
• Structurele Getrouwheid: De navindex-aanpak laat zien dat het direct in de index coderen van juridische structurele signalen (kruisverwijzingen, gedefinieerde termen) effectiever is dan het uitsluitend vertrouwen op vector-gelijkenis, vooral voor vragen die de reconciliatie van amendementen en bijlagen vereisen.
• Economische Levensvatbaarheid: Hoewel volledige injectie goedkoper is voor zeer kleine corpora of enkelvoudige queries, is gestructureerde retrieval de economisch superieure keuze naarmate de corpusgrootte groeit of wanneer de retrieval-payload aanzienlijk kleiner is dan het volledige corpus.

De auteurs blijven bescheiden over hun claims, waarbij zij opmerken dat de evaluatie beperkt is tot één modelfamilie, een specifieke set van 20 vragen, en niet direct de retrieval-recall (precisie/recall) meet vanwege het ontbreken van grondwaarheid-node labels. Zij benadrukken dat het "tie"-oordeel de gelijkwaardigheid in consistentie met de grondwaarheid certificeert, en niet absolute correctheid, en dat de resultaten specif kind aan het geëvalueerde corpus en de prompt engineering.