Benchmarking Legal RAG: The Promise and Limits of AI Statutory Surveys

Deze studie toont aan dat hoewel bestaande RAG-modellen en commerciële juridische AI-tools vaak falen bij het benchmarken van Amerikaanse werkloosheidsverzekeringen, een aangepast tool (STARA) aanzienlijk betere resultaten boekt en bovendien blootlegt dat veel vermeende fouten eigenlijk omissies in de menselijke grondwaarheid zijn, wat leidt tot concrete richtlijnen voor de ontwikkeling van nauwkeurige juridische AI-systemen.

De kern

De Wetboek- detectives: Waarom AI-rechters soms de verkeerde antwoorden geven (en hoe we ze kunnen verbeteren)

Stel je voor dat je een enorme bibliotheek hebt met 50 verschillende boeken, elk geschreven door een andere staat in de VS. Elk boek bevat duizenden regels over werkloosheidsuitkeringen. Als je een advocaat bent en je wilt weten: "Kan iemand in Californië een uitkering krijgen als hij of zij een eigen bedrijfje start?", dan moet je al die 50 boeken doorzoeken.

Vroeger deden teams van gespecialiseerde advocaten dit handmatig. Ze zaten maandenlang te lezen, te noteren en tabellen te maken. Dat is als het zoeken naar een naald in een hooiberg, maar dan met 50 hooibergen.

Nu hebben we AI (kunstmatige intelligentie) om ons te helpen. Maar werkt dat? Een nieuw onderzoek van Stanford-universiteit pakt deze vraag aan en komt met een verrassend verhaal.

Het Grote Experiment: De "Werkloosheids-Quiz"

De onderzoekers hebben een enorme quiz gemaakt, genaamd LaborBench. Het bevat 1.647 vragen over werkloosheidswetten in alle 50 staten. Het antwoord moet simpel zijn: Ja of Nee.

Ze hebben drie soorten "AI-detectives" laten meedoen aan deze quiz:

1. De Commerciële Reuzen: Westlaw AI en Lexis+ AI. Dit zijn de dure, beroemde tools die advocatenkantoren gebruiken. Ze beloven je dat ze in "minuten" een overzicht geven van alle 50 staten.
2. De Nieuwe Uitdager: STARA. Een speciaal gebouwd hulpmiddel dat is ontworpen om precies te kijken hoe wetboeken zijn opgebouwd (met hoofdstukken, paragrafen en kruisverwijzingen).
3. De "Gemiddelde" AI: De standaard versies van grote taalmodellen (zoals wat je misschien kent van ChatGPT), maar dan aangepast voor juridische taken.

De Uitslag: Een Schokkend Resultaat

Je zou denken dat de dure, bekende tools (Westlaw en Lexis) de beste zouden zijn. Maar nee. Het was een complete verrassing:

• De Commerciële Reuzen (Westlaw & Lexis): Ze scoorden slecht. Ze maakten veel fouten.
  • Analogie: Stel je voor dat je vraagt: "Is er een stoplicht op dit kruispunt?" en de AI zegt: "Ja!" terwijl er alleen een bordje staat met "Verkeersregelaar". Ze zien wel iets dat op een stoplicht lijkt, maar begrijpen niet wat het echt betekent. Ze gaven vaak "Ja" als antwoord, zelfs als het antwoord "Nee" was. Ze waren te snel en te slordig.
• De Nieuwe Uitdager (STARA): Deze deed het veel beter. Hij scoorde 83% correct.
  • Analogie: STARA is als een detective die niet alleen naar de woorden kijkt, maar ook begrijpt hoe de zinnen in elkaar zitten. Hij leest de kleine lettertjes en ziet de verbanden.

De Grootste Verrassing: De "Meesters" maakten ook fouten

Hier wordt het echt interessant. De onderzoekers keken naar de "fouten" die STARA maakte. Ze dachten eerst: "Oh, STARA heeft het verkeerd." Maar toen ze de wetboeken zelf gingen nakijken, ontdekten ze iets verbazends:

STARA had vaak gelijk, en de menselijke experts van het ministerie (DOL) hadden het fout!

De menselijke experts, die maandenlang hebben gewerkt aan hun tabellen, hadden 135 keer een wet over het hoofd gezien.

• Voorbeeld: In een staat was er een wet die zei: "Je mag een uitkering houden als je een eigen bedrijf start." De menselijke experts hadden dit over het hoofd gezien. STARA zag het wel.
• Conclusie: Als we rekening houden met deze "vergeten" wetten, was STARA eigenlijk 92% correct.

Dit is als een toets maken waarbij de leraar de antwoorden heeft gemaakt, maar de leraar heeft zelf drie vragen verkeerd beantwoord. De leerling die het juiste antwoord gaf, werd eerst als "fout" bestempeld, maar bleek eigenlijk de slimste te zijn.

Waarom maakten de dure tools zulke stomme fouten?

De onderzoekers ontdekten waarom Westlaw en Lexis zo slecht scoorden:

1. Te korte vragen: Westlaw liet de AI maar 300 tekens in de vraag invoeren. Dat is als proberen een complex juridisch probleem uit te leggen in één tweet. De AI miste dan de belangrijke context.
2. Te veel "hallucinaties": De AI's gaven vaak lange lijsten met wetten op, maar veel daarvan hadden niets met de vraag te maken. Het was alsof ze een recept voor pannenkoeken gaven terwijl je om een recept voor soep vroeg, zolang het maar "eten" was.
3. Geen diepgang: Ze keken alleen naar woorden, niet naar de betekenis. Als een wet zegt "dit geldt alleen voor boeren", en de AI ziet alleen het woord "boer", denkt hij: "O, dit is een antwoord!" terwijl het antwoord eigenlijk "Nee" is voor de stad.

Wat betekent dit voor de toekomst?

Deze studie leert ons drie belangrijke dingen:

1. Snelheid is niet alles: De dure tools zeggen: "Wij doen het in minuten!" Maar als je daarna uren moet zitten om te controleren of ze het goed hebben, heb je geen tijd gewonnen.
2. Specifieke tools zijn beter: Een AI die is gebouwd om wetboeken te begrijpen (zoals STARA), werkt beter dan een algemene AI die alles probeert te doen. Je hebt een gespecialiseerde tandarts nodig voor je gebit, niet een algemene dokter.
3. Mensen maken ook fouten: Zelfs de beste menselijke experts kunnen wetten over het hoofd zien. AI kan ons helpen om die gaten op te vullen, mits we de AI goed bouwen en controleren.

Kortom: AI voor juridisch onderzoek is veelbelovend, maar de huidige dure tools zijn nog niet klaar voor de grote show. We hebben slimme, gespecialiseerde systemen nodig die net zo goed lezen als een ervaren advocaat, en misschien zelfs beter, omdat ze niet vermoeid raken na zes maanden werken.

Technische samenvatting

Probleemstelling

Juridisch onderzoek vereist vaak "statutory surveys": het systematisch analyseren van wetgeving over meerdere jurisdicties (bijvoorbeeld alle 50 staten in de VS) om te bepalen hoe regels variëren. Een klassiek voorbeeld is het jaarlijkse werkloosheidsverzekeringsoverzicht (UI) van het Amerikaanse Departement van Arbeid (DOL), dat maandenlang handwerk van teams van advocaten vereist om alle statuten te scannen en te vergelijken.

Hoewel er veel interesse is in het gebruik van AI (zoals Retrieval-Augmented Generation of RAG) om dit proces te automatiseren, ontbreekt het aan rigoureuze benchmarks. Eerdere studies (zoals Hariri en Ho, 2025) toonden aan dat standaard RAG-modellen slecht presteren op complexe juridische vragen (ongeveer 70% nauwkeurigheid), vooral vanwege de hiërarchische structuur van wetboeken, kruisverwijzingen en specifieke juridische terminologie. Er is geen eerdere systematische evaluatie geweest van de nieuwste commerciële AI-tools (zoals Westlaw AI en Lexis+ AI) of gespecialiseerde academische systemen (STARA) op dit specifieke type taak.

Methodologie

De auteurs gebruiken LaborBench, een benchmark bestaande uit 1.647 binaire (waar/onwaar) vragen over complexe statuten voor werkloosheidsverzekeringen in alle 50 Amerikaanse staten. De "ground truth" (de referentie) is gebaseerd op de jaarlijkse compilatie van het DOL, hoewel de auteurs later aantonen dat deze compilatie zelf onvolledig is.

Drie systemen werden geëvalueerd:

1. STARA (Statutory Research Assistant): Een gespecialiseerd academisch tool dat gebruikmaakt van domeinspecifieke preprocessing, behoud van hiërarchische structuur en semantische zoekopdrachten. Het gebruikt optionele RegEx-filters om de zoekruimte te verkleinen en vervolgens een taalmodel voor classificatie.
2. Westlaw AI: Een commercieel platform dat een "Jurisdictional Surveys"-tool aanbiedt met een strenge limiet van 300 tekens voor de invoer (prompt).
3. Lexis+ AI: Een ander commercieel platform (Protege-tool) dat een "full survey" over alle staten toelaat, met een limiet van 5.000 tekens.

De evaluatie omvatte het vergelijken van de output van deze systemen met de DOL-gegevens, gevolgd door een diepgaande foutanalyse. De auteurs handmatig gecontroleerd of fouten (vooral "false positives" bij STARA) daadwerkelijk fouten van het systeem waren of juist ontbrekende informatie in de DOL-compilatie.

Belangrijkste Bijdragen

1. Prestaties van STARA: STARA behaalde aanzienlijke verbeteringen ten opzichte van eerdere modellen, met een nauwkeurigheid van 83% en een F1-score van 81% op de originele benchmark. Dit is een stijging van 14% ten opzichte van de beste eerdere RAG-modellen.
2. Slecht presterende commerciële tools: De commerciële platforms presteerden verrassend slecht. Westlaw AI behaalde een nauwkeurigheid van 58% en Lexis+ AI 64% (F1-scores respectievelijk 64% en 41%). Lexis+ AI scoorde zelfs slechter dan een simpele baseline die "ja" antwoordde op alle vragen (F1 73%).
3. Systematische Foutanalyse: De auteurs identificeerden twee hoofdfouttypen:
   • Retrieval-fouten: Het niet vinden van relevante wetsartikelen.
   • Redeneringsfouten: Verwarring tussen gerelateerde juridische concepten (bijv. "uitgebreide" vs. "alternatieve" basisperiodes) en het verkeerd interpreteren van uitzonderingen.
4. Ontdekking van DOL-ontbrekingen: Een cruciale bevinding is dat veel "fouten" die door de systemen werden gemaakt, eigenlijk correcte bevindingen waren die door het DOL waren over het hoofd gezien. Na handmatige verificatie bleek dat STARA's nauwkeurigheid opstijgt naar 92% (F1 91%), omdat het in staat was om geldige wettelijke bepalingen te vinden die ontbraken in de officiële expert-compilatie.
5. Ontwerpprincipes voor juridische RAG: De auteurs formuleren concrete richtlijnen voor het bouwen van betrouwbare juridische AI-systemen, zoals het belang van precieze vraagstelling, domeinexpertise, strategische selectie van het corpus en transparante citaties.

Resultaten

• Nauwkeurigheid: STARA (83%) > Lexis+ AI (64%) > Westlaw AI (58%).
• Foutverdeling:
  • Westlaw AI had een extreem hoog aantal "false positives" (596), vaak veroorzaakt door het citeren van irrelevante wetsartikelen die wel dezelfde sleutelwoorden bevatten maar geen juridische autoriteit geven voor de specifieke vraag.
  • Lexis+ AI had een laag aantal "false positives" (97) maar een zeer laag herhalingspercentage (recall van 0,29), wat betekent dat het veel geldige antwoorden miste.
  • STARA had een gebalanceerde prestatie. Van de 181 schijnbare "false positives" van STARA bleek 77% (135 gevallen) in werkelijkheid correct te zijn (ontbrekend in de DOL-gegevens).
• Beperkingen van commerciële tools:
  • Westlaw AI: De 300-teken limiet voor prompts maakte het onmogelijk om de noodzakelijke contextuele nuances en definities mee te geven, wat leidde tot fundamentele misinterpretaties.
  • Lexis+ AI: Hoewel het meer context kon verwerken, toonde het een sterke neiging om conservatief te zijn (veel false negatives) en vertoonde het inconsistenties in antwoorden afhankelijk van of er naar één staat of alle staten werd gevraagd.

Betekenis en Conclusie

De studie demonstreert dat gespecialiseerde, domein-specifieke architecturen (zoals STARA) superieur zijn aan generieke of commercieel gemarkeerde AI-tools voor complexe, multi-jurisdiktionele juridische taken.

De belangrijkste implicaties zijn:

1. Betrouwbaarheid van "Ground Truth": Zelfs expert-compilaties van federale agentschappen (zoals het DOL) zijn vatbaar voor fouten en omissies. AI-systemen die grondig doorzoeken kunnen deze lacunes opvullen, wat de waarde van AI voor juridisch onderzoek onderstreept, mits de output correct wordt geïnterpreteerd.
2. Risico's van Commerciële AI: De marketingclaims van grote juridische platforms over "50-staten surveys in minuten" worden niet ondersteund door de feiten. De systemen vertonen systematische redeneringsfouten en missen cruciale context door technische beperkingen (zoals token-limieten).
3. Toekomstrichting: Voor betrouwbare juridische AI is transparantie, traceerbaarheid van citaten en het vermogen om complexe juridische structuren te doorgronden essentieel. De auteurs pleiten voor onafhankelijke benchmarks om de prestaties van deze tools te verifiëren voordat ze worden ingezet voor hoog-risico juridisch werk.

Kortom, terwijl AI veel potentie heeft om juridisch onderzoek te stroomlijnen, zijn de huidige commerciële oplossingen nog niet klaar voor complexe, nauwkeurige multi-jurisdiktionele analyses zonder menselijke supervisie en verbeterde systematische ontwerpen.