Legal-DC: Benchmarking Retrieval-Augmented Generation for Legal Documents

Probleemstelling

Hoewel Retrieval-Augmented Generation (RAG) veelbelovend is voor juridische documentconsultatie, ondervindt de toepassing in Chinese juridische scenario's twee fundamentele beperkingen:

1. Gebrek aan gespecialiseerde benchmarks: Bestaande benchmarks focussen voornamelijk op de generatie van antwoorden en missen een geïntegreerde evaluatie van de retriever (zoekmachine). Dit komt door het ontbreken van fijnmazige annotaties die vragen expliciet koppelen aan de specifieke referentietekst binnen juridische documenten.
2. Structuur van juridische teksten: Mainstream RAG-systemen slagen er vaak niet in om de gestructureerde aard van juridische bepalingen (zoals artikelen en clausules) adequaat te verwerken, wat leidt tot gebroken context of onnauwkeurige verwijzingen.

Methodologie

De auteurs introduceren twee hoofdcomponenten om deze gaten te dichten: het Legal-DC dataset en het LegRAG-framework.

1. Legal-DC Benchmark Dataset

• Opbouw: De dataset bestaat uit 480 juridische documenten (wetten, administratieve verordeningen, ministeriële regels) die betrekking hebben op marktactiviteiten in China (bijv. markttoezicht, contractbeheer, voedselveiligheid).
• Aantallen: Er zijn 2.475 verfijnde vraag-antwoordparen gegenereerd, elk geannoteerd met clausule-niveau referenties.
• Annotatieproces: Een strikt proces met drie fasen:
  • Generatie: Gebruik van LLMs (ERNIE-4.0 en GPT-3.5) voor kandidaat-paren.
  • Selectie & Annotatie: Handmatige selectie door experts (juristen en informatici) op basis van "significantie" (praktische relevantie) en "kwaliteit" (nauwkeurigheid).
  • Cross-validatie: Een tweede ronde van blind review om subjectiviteit te minimaliseren.
• Structuur: Elk item bevat de vraag, het antwoord, het document, het type vraag (conceptuele uitleg, samenvatting, logisch redeneren) en de exacte referentietekst.
• Evaluatiemetrics: Naast traditionele metrics (Recall@K, MRR@K) worden nieuwe metrics geïntroduceerd:
  • Document Selection Accuracy (DSA): Meet het vermogen van het model om het juiste document uit de geretrieveerde set te selecteren.
  • LLM-Score: Een geautomatiseerde evaluatie via Qwen3-max die rekening houdt met relevantie, juridische nauwkeurigheid, volledigheid en vloeiendheid, met een zware weging voor nauwkeurigheid (40%).

2. Het LegRAG Framework

LegRAG is een RAG-architectuur die specifiek is ontworpen voor juridische documenten. De kerncomponenten zijn:

• Dual-Path Splitting (Indexering): Documenten worden op twee manieren opgesplitst om zowel context als juridische integriteit te behouden:
  • Chunk-based: Op basis van semantische alinea's voor contextuele details.
  • Article-based: Op basis van wettelijke artikelnummers om de integriteit van juridische bepalingen te waarborgen.
• Hybride Retrieval:
  • 1e Fase: Een eerste zoekopdracht die de top-20 relevante chunks terugvindt via een combinatie van vector- (embeddings) en trefwoordzoekopdrachten.
  • 2e Fase: Een her-ranking (reranking) module om de top-5 meest relevante chunks te selecteren.
• Generatie met Zelf-Reflectie:
  • De generator produceert een eerste antwoord op basis van de top-5 chunks.
  • Een Self-Reflection module verifieert dit antwoord: Is het gebaseerd op de gevonden documenten? Zijn de juridische conclusies consistent? Zijn belangrijke punten weggelaten? Bij fouten wordt er een nieuwe zoektocht of herschrijving gestart (gesloten lus).

Belangrijkste Resultaten

Experimentele resultaten op de Legal-DC dataset tonen aan dat LegRAG de state-of-the-art methoden (zoals LightRAG, QAnything, Weknora) overtreft:

• Retrieval Performance: LegRAG bereikte een Recall van 78,02% en een MRR@5 van 50,23%. Dit is een verbetering van respectievelijk 2,16 en 2,67 procentpunten ten opzichte van de sterkste baseline (LightRAG).
• Generatie Performance: De combinatie van LegRAG met de Qwen3-max LLM behaalde de hoogste scores op precisie, F1-score en de geautomatiseerde "LLM-eval" score (81,25%).
• Effect van Strategieën:
  • Het combineren van chunk- en artikel-basering (dual-path) leverde significant betere resultaten op dan het gebruik van slechts één strategie.
  • Zelf-reflectie had een groot positief effect; voor Qwen3-max steeg de F1-score van 65,76% naar 69,28% (+3,52%).
• Vraagtypen: De prestaties variëren per vraagtype. Conceptuele vragen waren het makkelijkst, terwijl logische redeneervragen (die impliciete relaties tussen bepalingen vereisen) het meest uitdagend bleven, hoewel LegRAG hier ook de beste resultaten boekte.

Betekenis en Bijdragen

1. Eerste Gespecialiseerde Benchmark: Legal-DC vult een cruciale leemte door de eerste benchmark te bieden die zowel de zoekmachine als de generator in Chinese juridische RAG-systemen geïntegreerd evalueert, met fijnmazige referentie-annotaties.
2. Praktisch Framework: Het LegRAG-framework biedt een bewezen architectuur voor juridische toepassingen die de integriteit van wetgeving respecteert en fouten door hallucinaties reduceert via zelf-reflectie.
3. Empirische Inzichten: Het onderzoek benadrukt dat de granulariteit van de indexering (chunks vs. artikelen) en de aanwezigheid van een verificatiestap essentieel zijn voor betrouwbare juridische antwoorden. Het toont ook aan dat LLMs gevoelig zijn voor ruis in geretrieveerde documenten, wat leidt tot onjuiste juridische verwijzingen.
4. Open Source: De code en data zijn beschikbaar gesteld, wat de ontwikkeling van Chinese juridische RAG-systemen verder zal stimuleren.

Samenvattend biedt dit paper een robuuste basis voor het bouwen van betrouwbare, juridisch accurate AI-systemen door een combinatie van een hoogwaardige dataset, een gespecialiseerd framework en rigoureuze evaluatiemethoden.