💬 NLP

Citation Grounding: Detecting and Reducing LLM Citation Hallucinations via Legal Citation Graphs

Dit artikel introduceert "Citation Grounding", een nieuwe metriek en een raamwerk voor het detecteren en verminderen van hallucinaties in juridische citaties in grote taalmodellen door gebruik te maken van een massieve Oekraïense grafiek van gerechtelijke uitspraken om de nauwkeurigheid van citaten te evalueren en een preferentieleermethode (CG-DPO) toe te passen om modellen te trainen om geldige citaten te onderscheiden van gecorrumpeerde citaten.

Oorspronkelijke auteurs: Volodymyr Ovcharov

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Volodymyr Ovcharov

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer intelligente, snel pratende juridische assistent inhuurt om een rapport voor je te schrijven. Deze assistent heeft miljoenen boeken gelezen en weet heel veel feiten. Maar er is een addertje onder het gras: wanneer de assistent wordt gevraagd om specifieke wetten aan te voeren om hun argumenten te onderbouwen, verzint de assistent soms ook wel eens wat. Ze verzinnen een wet die niet bestaat, citeren een wet die jaren geleden al is ingetrokken, of citeren een wet uit een ander land. In de juridische wereld wordt dit een "hallucinatie" genoemd.

Dit artikel introduceert een nieuwe manier om deze leugens te betrappen en een methode om de assistent te leren ze niet te vertellen.

Het Probleem: De "Nepwet"-generator

De auteurs ontdekten dat zelfs de meest geavanceerde AI-modellen, wanneer ze gevraagd worden over de Oekraïense wetgeving te schrijven, 13% tot 21% van de tijd nep juridische citaties verzinnen. Het is alsof een student een essay schrijft en paginanummers opzoekt voor een tekstboek dat niet bestaat.

De Oplossing: De "Citation Grounding" Test

Om dit op te lossen, hebben de onderzoekers een enorme digitale kaart gebouwd die een Citation Graph wordt genoemd. Denk aan deze grafiek als een gigantische, supernauwkeurige bibliotheekcatalogus, gebouwd op basis van 100 miljoen echte rechtszaken. Het bevat elke keer dat een echte rechter een specifieke wet heeft geciteerd in een echte zaak.

Ze hebben een test ontwikkeld genaamd Citation Grounding (CG). Zo werkt het:

De Kaart: Ze hebben de "waarheidskaart" (de grafiek van echte rechtszaken).
De Test: Ze vragen een AI om een juridisch antwoord te schrijven.
De Controle: Ze controleren elke wet die de AI noemt via de kaart.
- Bestond de wet? (Precisie)
- Was het de juiste wet voor deze specifieke situatie? (Relevantie)
- Was de wet op die specifieke datum daadwerkelijk van kracht? (Temporaliteit)

Als de AI een wet citeert die niet op de kaart staat, of de wet in de verkeerde context citeert, markeert de test dit als een hallucinatie.

Wat ze vonden

Ze testten vijf verschillende AI-systemen op 100 juridische vragen.

De Resultaten: De meeste AI's hadden ongeveer 80% van hun citaties correct. De rest waren nep.
De "RAG"-winnaar: Eén systeem gebruikte een speciale truc genaamd RAG (Retrieval-Augmented Generation). Stel je voor dat deze AI niet alleen vertrouwt op zijn geheugen; hij gaat daadwerkelijk naar de bibliotheek, zoekt de echte boeken op en leest ze voordat hij antwoordt. Dit systeem maakte de minste fouten en citeerde de minste wetten in totaal, wat bewees dat "minder meer is" wanneer je daadwerkelijk de feiten opzoekt.
Het Verrassende Patroon: Ze verwachtten dat AI-modellen die méér wetten citeren, ook méér fouten zouden maken. Dat was echter niet het geval. Sommige modellen citeerden veel wetten en waren nog steeds accuraat; andere citeerden minder wetten en waren nog steeds fout. Het hangt volledig af van hoe de AI is gebouwd, en niet alleen van hoeveel hij praat.

De "Zelfleer"-methode (CG-DPO)

De grootste doorbraak in het artikel is hoe ze van plan zijn de AI te verbeteren zonder een team van dure menselijke advocaten in te huren om elk antwoord te controleren.

Normaal gesproken moeten mensen de antwoorden van een AI lezen en zeggen: "Dit is goed" of "Dit is slecht" om de AI te leren eerlijk te zijn. Dit is traag en duur.

De onderzoekers realiseerden zich dat hun Citation Graph het werk van de mens kon overnemen. Ze creëerden een spel:

Neem een echte rechtszaak met correcte citaties.
Corrumpeer het: Ze gebruikten een computerprogramma om wetten te vervangen, nep artikelen te verzinnen of verouderde wetten te gebruiken (zoals een wet uit 2020 te veranderen in een wet uit 2025 die nog niet bestond).
De Les: Ze lieten de AI twee versies zien: de "Echte" versie en de "Gecorrumpeerde" versie. De AI leerde de voorkeur te geven aan de Echte versie.

Omdat de "waarheid" al in de grafiek zat, hadden ze geen mensen nodig om de data te labelen. Ze lieten de grafiek simpelweg de beoordeling doen. Ze trainden een model met deze methode, en dat model werd 98,5% accuraat in het herkennen van het verschil tussen een echte citatie en een nep citatie.

De Kern van het Verhaal

Dit artikel laat zien dat:

AI liegt vaak over wetten, maar we kunnen dit betrappen door de antwoorden te vergelijken met een enorme kaart van de echte rechtsgeschiedenis.
RAG-systemen (die feiten opzoeken voordat ze antwoorden) momenteel het beste zijn in het vermijden van deze leugens.
We AI kunnen leren om niet te liegen door de kaart zelf te gebruiken om "correcte versus incorrecte" voorbeelden te genereren, waardoor het saaie werk van menselijke juristen om elke enkele citatie te controleren, overbodig wordt.

De auteurs hebben hun "kaart", hun testinstrumenten en hun trainingsdata beschikbaar gesteld voor iedereen, in de hoop de juridische AI betrouwbaarder te maken voor iedereen.

Technische Samenvatting: Citation Grounding voor het Detecteren en Verminderen van LLM-Citatiehallucinaties

1. Probleemstelling

Large Language Models (LLM's) vertonen een systematisch betrouwbaarheidsprobleem in juridische domeinen: citatiehallucinatie. Dit houdt het genereren in van plausibele maar gefabriceerde referenties naar wetten, het citeren van ingetrokken bepalingen, het verwarren van jurisdicties, of het construeren van ongeldige juridische redeneerketens. Hoewel LLM's goed presteren op juridische redeneerbenchmarks (bijv. bar-examens), richten bestaande evaluatiekaders (LEXTREME, LexGLUE, LegalBench) zich op classificatietaken en ontbreken er metrieken om de nauwkeurigheid van citaties in generatieve outputs te meten of te detecteren. Handmatige verificatie door juridische experts is momenteel de standaard, maar schaalt niet naar continue monitoring of talen met beperkte middelen.

2. Methodologie

2.1 De Ground-Truth Citatiegrafiek

De basis van de voorgestelde aanpak is een massieve, bipartiete citatiegrafiek $G = (V, E)$ geëxtraheerd uit het Unified State Register of Court Decisions (EDRSR) van Oekraïne.

Schaal: 100,8 miljoen beslissingsnodes ( $V_d$ ), 21.736 unieke wetgevingsnodes ( $V_n$ ), en 502,2 miljoen citatie-edges ( $E$ ).
Structuur: Edges verbinden een rechtbankbeslissing met de specifieke wetsartikelen die zij citeert.
Temporele reikwijdte: De grafiek beslaat de periode 2005–2026 en dekt drie verschillende juridische tijdperken (vredestijd, hybride oorlog en grootschalige invasie/staat van beleg), wat mogelijk maakt om temporele geldigheid te controleren.

2.2 Citation Grounding (CG) Metriek

De auteurs stellen Citation Grounding (CG) voor, een metriek die de door LLM gegenereerde citaties verifieert tegen de ground-truth grafiek $G$ . Het is gedecomposeerd in drie componenten om een differentiële diagnose van typen hallucinaties mogelijk te maken:

Citation Precision (CP): Verifieert existentie. Bestaat de geciteerde wetgevingsnode in $V_n(G)$ ?
Citation Relevance (CR): Verifieert contextuele geschiktheid. Wordt het geciteerde artikel gebruikt in beslissingen die semantisch vergelijkbaar zijn met de query? (Berekend via XLM-RoBERTa embeddings).
Citation Temporality (CT): Verifieert temporele validiteit. Was de wet van kracht op de datum van de relevante juridische gebeurtenis?

De samengestelde Citation Quality ($CQ$) wordt berekend als het gemiddelde van het product van CP en het gemiddelde van CR en CT. Een niet-bestaande wet (CP=0) resulteert in een kwaliteit van nul, wat de juridische standaard weerspiegelt dat een enkele gefabriceerde citatie een document ongeldig maakt.

2.3 Citation Grounding DPO (CG-DPO)

Om hallucinaties te verminderen zonder menselijke annotatie, introduceert het paper CG-DPO, een methode voor het algoritmisch construeren van Direct Preference Optimization (DPO) trainingsparen.

Mechanisme: Vertrekkend vanuit geverifieerde rechtbankbeslissingen in $G$ , creëert het systeem "gecorrumpeerde" versies van de tekst door citaties te wijzigen.
Corruptiestrategieën:
1. Artikel Wissel (Article Swap): Vervangt een artikel door een ander artikel uit hetzelfde wetboek (target CP).
2. Wet Wissel (Law Swap): Vervangt het wetboek terwijl het artikelnummer behouden blijft (target CR).
3. Hallucinatie Injectie (Hallucination Injection): Vervangt een echt artikel door een niet-bestaand artikel (target CP).
4. Anachronisme (Anachronism): Vervangt een wet door een wet die na de datum van de beslissing is ingevoerd (target CT).
Training: De originele tekst met correcte citaties dient als de geprefereerde respons ( $y_w$ ), en de gecorrumpeerde tekst dient als de afgewezen respons ( $y_l$ ). Dit elimineert de noodzaak voor menselijke annotatoren.

3. Experimentele Opstelling en Resultaten

3.1 Empirische Evaluatie

De auteurs evalueerden vijf systemen op 100 Oekraïense juridische queries over zeven domeinen (Civiel, Strafrecht, Administratief, Arbeidsrecht, Familierecht, Constitutioneel, Militair):

Systemen: Vier commerciële LLM's via AWS Bedrock (Claude Haiku 4.5, Mistral Pixtral Large, Amazon Nova Pro, Amazon Nova Lite) en één RAG-geaugmenteerd productiesysteem (LEX Chat, gebaseerd op Claude Sonnet 4).
Bevindingen:
- Hallucinatiecijfers: CG-scores varieerden van 0,791 tot 0,873, wat aangeeft dat 13–21% van de citaties gehallucineerd waren.
- RAG Superieuriteit: Het RAG-geaugmenteerde systeem behaalde de hoogste CG (0,873) met de laagste citatiedichtheid (2,9 citaties/respons), wat suggereert dat retrieval modellen beperkt tot bewijsgebaseerde citaties.
- Correlatie Dichtheid-Nauwkeurigheid: Onder de ruwe modellen was de correlatie tussen citatiedichtheid en nauwkeurigheid zwak ( $\rho = -0,12$ ), wat de hypothese van een universele trade-off tegenspreekt.
- Domein Variantie: Constitutioneel recht bereikte perfecte grounding (CG = 1,0) over alle modellen. Familie- en arbeidsrecht vertoonden de hoogste variantie (CG 0,46–0,90).

3.2 CG-DPO Trainingsresultaten

Een Qwen2.5-7B-Instruct model werd gefinetuned met LoRA op een dataset van 2.244 rechtbankbeslissingen met algoritmisch geconstrueerde voorkeursparen.

Prestaties: Het model behaalde een gemiddelde validatienauwkeurigheid van 98,5% in het onderscheiden van correcte van gecorrumpeerde citaties over drie willekeurige seeds.
Stabiliteit: De reward margin was +14,9 met een standaarddeviatie van < 0,3 procentpunt.
Convergentie: De training convergeerde snel en bereikte bijna perfecte nauwkeurigheid binnen de eerste epoch.

4. Belangrijkste Bijdragen

Citation Grounding Metriek: Een nieuwe, decomponeerbare metriek (CP, CR, CT) voor het meten en diagnosticeren van juridische citatiehallucinaties op schaal, gebruikmakend van een citatiegrafiek met 502 miljoen edges.
Grootschalige Evaluatie: Een empirische studie van vijf LLM's op het Oekraïense recht, die aantoont dat RAG-systemen beter presteren dan ruwe modellen in citatienauwkeurigheid en dat hallucinatiecijfers significant variëren per juridisch domein.
CG-DPO: Een methode voor het algoritmisch genereren van DPO-trainingsparen vanuit een citatiegrafiek, waardoor de afhankelijkheid van dure menselijke juridische annotatie voor citatie-alignment wordt weggenomen.

5. Betekenis en Claims

Het paper claimt dat een grootschalige citatiegrafiek een tweeledig doel dient: fungeren als een evaluatie-orakel om hallucinaties te detecteren en als een trainingssignaal om modellen te aligneren zonder menselijke tussenkomst.

Gesloten Lus: De aanpak sluit de cirkel van detectie naar mitigatie zonder handmatige annotatie in welke fase dan ook.
Schaalbaarheid: CG-DPO demonstreert dat signalen afgeleid van grafieken voldoende zijn voor citatie-alignment, wat een schaalbare oplossing biedt voor juridische AI in omgevingen met beperkte middelen.
Validiteit van de Metriek: De auteurs valideren CG als een conservatieve metriek; hoewel het fout-positieven kan produceren (het markeren van echte maar zelden geciteerde wetten door hiaten in de grafiekdekking), produceert het geen fout-negatieven met betrekking tot gefabriceerde bepalingen.
Open Bronnen: De citatiegrafiek, het evaluatiekader en de CG-DPO dataset worden als open bronnen vrijgegeven om verder onderzoek te faciliteren.

De auteurs merken beperkingen op, waaronder de afhankelijkheid van de grafiek van bestaande rechtbankbeslissingen (dekkingstekorten voor nieuwe wetten), de huidige implementatie van temporaliteit (het controleren van existentie in plaats van specifieke versievaliditeit), en de focus op civil law-systemen, wat wijst op toekomstig werk voor de adaptatie naar common law en end-to-end generatie-evaluatie.