Technische Samenvatting: Benchmarking van Detectie van Juridische Hallucinaties

Probleemstelling

De snelle adoptie van Large Language Models (LLMs) in de juridische praktijk heeft de fabricage van juridische citaties getransformeerd van een zeldzame individuele fout naar een systemisch probleem. Hoewel eerdere aannames suggereerden dat nieuwere modellen minder zouden hallucineren of dat gerechtelijke sancties nalatige indieners zouden afschrikken, wijst empirisch bewijs op het tegendeel: het aantal gerechtelijke processtukken met gefabriceerde citaties groeit jaar na jaar, en de hallucinatiecijfers in nieuwere modellen (bijv. GPT-5.1) nemen niet consistent af ten opzichte van iteraties uit het midden van 2024.

Deze trend creëert een cumulatieve verificatielast. Nieuwere modellen genereren meer citaties per document en putten uit een bredere, minder canonieke set zaken, waardoor individuele verificatie moeilijker wordt. Deze last treft pro se litiganten onevenredig hard, aangezien zij geen toegang hebben tot commerciële juridische databases (bijv. Westlaw, LexisNexis) en het minst uitgerust zijn om hallucinaties te detecteren. Momenteel is het verifiëren van citaties een handmatig proces dat wordt uitgevoerd door advocaten, griffiers of rechters, wat aanzienlijke juridische middelen consumeert. Er is een kritiek gat in de literatuur: terwijl eerder onderzoek evalueert of LLM's juridisch correcte verklaringen of samenvattingen produceren, evalueert geen enkel voorafgaand benchmark de effectiviteit van AI-systemen bij het automatisch verifiëren van juridische citaties.

Methodologie

1. Taxonomie van Juridische Citatiehallucinaties

De auteurs stellen een taxonomie voor die gebaseerd is op werkelijke processtukken, waarbij hallucinaties worden gecategoriseerd in vijf verschillende typen:

• Niet-bestaande citatie: De citatie verwijst naar een zaak die niet bestaat (bijv. een gewijzigd volume of paginanummer in de reporter).
• Naam van de zaak komt niet overeen: De reporter-citatie en de naam van de zaak verwijzen naar twee verschillende, bestaande zaken.
• Onjuiste pincite: De citatie verwijst naar de juiste zaak, maar het specifieke paginanummer ondersteunt de geciteerde stelling niet.
• Letterlijke verkeerde weergave: De geciteerde tekst verschijnt niet exact zoals geschreven in de geciteerde zaak (bijv. substitutie van synoniemen).
• Inhoudelijke misrepresentatie: De geciteerde zaak bestaat, maar ondersteunt de juridische stelling waarvoor deze wordt aangehaald niet.

2. De LEPHANTOMCITE Dataset

Om benchmarking mogelijk te maken, hebben de auteurs LEPHANTOMCITE geconstrueerd, een dataset van 1.300 fragmenten uit juridische pleitnota's:

• 1.000 fragmenten uit echte federale beroepsprocesstukken (vóór 2022) waarin systematisch geïnjecteerde hallucinaties zijn toegevoegd die alle vijf de categorieën van de taxonomie dekken.
• 300 vermeldingen uit de "Large Legal Fiction" dataset (Dahl et al., 2024), handmatig geverifieerd en geherformatteerd om realistische voorbeelden van inhoudelijke misrepresentatie te bieden.
• De dataset bevat in totaal 4.499 citatie-instanties, waarvan 1.107 hallucinaties bevatten.

3. Agentic Verification Framework

De studie evalueert citatieverificatie met behulp van een agentic systeem gebaseerd op het Bayesian Optimal Experimental Design (BOED) framework (Zheng et al., 2026). In tegen tegenstelling tot niet-agentische baselines die een enkele respons genereren, houdt de agent een expliciete, op taal gebaseerde overtuigingsstaat (belief state) bij die wordt bijgewerkt na elke actie.

• Acties: De agent kan juridische database-zoekopdrachten uitvoeren (CourtListener, Westlaw), webzoekopdrachten uitvoeren en informatie extraheren.
• Proces: De agent extraheert citaties, bepaalt strategieën voor informatieverzameling en werkt iteratief zijn overtuigingsstaat bij (correct, gehallucineerd, of in afwachting) totdat een beslissing is genomen of het stappenbudget is uitgeput.
• Geëvalueerde modellen: Vijf modellen werden getest in zowel agentic als niet-agentische settings: GPT-5, GPT-OSS-120B, Qwen3-8B, Qwen3.5-27B en Gemini-2.5-flash. Een productie-waardige Claude Code agent (Opus 4.8) werd eveneens geëvalueerd voor vergelijking.

Belangrijkste Resultaten

Prestatie-indicatoren

De studie meet prestaties met behulp van Precisie, Recall en F1-score, waarbij citatieverificatie wordt behandeld als een retrieval-taak met versoepelde matchingscriteria.

• Agentic vs. Niet-agentic: Agentic frameworks presteerden consequent beter dan niet-agentische baselines. Voor GPT-5 verbeterde het agentic framework de recall met 19,7% (van 63,1% naar 82,8%).
• Beste algemene prestatie: GPT-5 in een agentic setting behaalde de hoogste recall (82,8%) en F1-score (60,5%).
• Claude Code: De Claude Code agent behaalde de hoogste precisie (76,1%) en F1-score (68,8%), hoewel met een lagere recall (62,8%) dan GPT-5. Het maakte efficiënter gebruik van tool calls (gemiddeld 15,4 calls per fragment versus het hogere volume van GPT-5).

Prestaties per type hallucinatie

• Hoge Recall: Modellen presteerden over het algemeen goed bij het detecteren van niet-bestaande zaken en mismatches in de naam van de zaak.
• Lage Recall: Alle modellen hadden aanzienlijke moeite met onjuiste pincites (recall zo laag als 18,2% voor GPT-5). Dit wordt toegeschreven aan het feit dat paginanummerinformatie vaak alleen beschikbaar is in commerciële databases (Westlaw/Lexis) en afwezig is in gratis publieke repositories zoals CourtListener.
• Inhoudelijke misrepresentatie: De prestaties varieerden per modelsterkte; GPT-5 detecteerde meer dan 80% van deze fouten, terwijl zwakkere modellen rond de 50% detecteerden.

Foutanalyse

• Beperkingen in informatie-toegang: Een aanzienlijk deel van de fout-positieven kwam voort uit het feit dat modellen de afwezigheid van een zaak in gratis databases (CourtListener) interpreteerden als een hallucinatie, in plaats van een dekkingsgat.
• Uitputting van middelen: 25% van de fout-negatieven ontstond doordat agents de limiet van 30 stappen bereikten voordat alle citaties waren geverifieerd.
• Redundantie: Agents verspillden vaak stappen aan redundante queries of het opnieuw uitvoeren van zoekopdrachten die al een doodlopend spoor hadden bereikt.
• Onverwachte nuttigheid: De agent identificeerde succesvol meer dan 10 door mensen gemaakte citatiefouten in pre-LLM briefs die aanwezig waren in de originele documenten.

Betekenis en Claims

Het artikel betoogt dat juridische citatiehallucinatie geen tijdelijk artefact is van vroege LLM's, maar een hardnekkige, groeiende uitdaging die niet zal zelfcorrigeren naarmate modellen verbeteren. De auteurs claimen de volgende bijdragen:

1. Empirisch Bewijs: Longitudinale data over acht ChatGPT-generaties laten zien dat hallucinatiecijfers niet consistent dalen, terwijl het volume van gehallucineerde processtukken groeit.
2. Benchmarking Infrastructuur: De introductie van LEPHANTOMCITE en de bijbehorende taxonomie biedt de eerste gestandaardiseerde dataset voor het evalueren en auditeren van geautomatiseerde tools voor juridische citatiecontrole.
3. Haalbaarheid van Agentic Verificatie: De studie demonstreert dat agentic systemen de recall aanzienlijk kunnen verbeteren ten opzichte van statische modellen, wat een structurele weg biedt om de verificatielast voor rechtbanken te verminderen.
4. Beleid implicaties: De resultaten benadrukken dat informatietoegang een bindende beperking is op de verificatieprestaties. Het onvermogen van geautomatiseerde tools om pincites te verifiëren zonder toegang tot commerciële databases creëert een ongelijkheid die pro se litiganten en het publiek benadeelt. De auteurs suggereren dat het verbeteren van de publieke toegang tot juridische data (bijv. officiële paginering) een noodzakelijke voorwaarde is voor effectieve geautomatiseerde verificatie, in plaats van enkel te vertrouwen op modelverbeteringen of reactieve sancties.

De auteurs concluderen dat verantwoorde AI-implementatie in de rechtspraak vereist dat verificatie als een "first-class problem" wordt behandeld, wat een fundament legt voor het bouwen en auditeren van de instrumenten die nodig zijn om de integriteit van het juridische proces te waarborgen.