🤖 machine learning

Calibrated Trust, Not Sharper Prediction: An Empirical Test of Uncertainty Fusion

Deze empirische studie naar zaken bij het Europees Hof voor de Rechten van de Mens toont aan dat het combineren van onzekerheidstools met geavanceerde LLM's de voorspellingsnauwkeurigheid niet verbetert en vaak de kalibratie verslechtert, maar in plaats daarvan operationele waarde biedt door hoogwaardige geautomatiseerde casusfiltering mogelijk te maken via gekalibreerd vertrouwen en selectieve voorspelling.

Oorspronkelijke auteurs: Surya Saka

Gepubliceerd 2026-08-18

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Surya Saka

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de hooggestoken wereld van de rechtspraak, waar een enkele verkeerd ingeschatte clausule een cliënt zijn vrijheid of een fortuin kan kosten, is de belofte van kunstmatige intelligentie verleidelijk. De hoop is dat machines duizenden pagina's aan juridische geschiedenis kunnen lezen en de uitkomst van een nieuwe zaak met perfecte nauwkeurigheid kunnen voorspellen, waardoor menselijke advocaten worden bevrijd van het zwoegen van het beoordelen. Om dit te bereiken, proberen onderzoekers al lang complexe systemen te bouwen die verschillende wiskundige instrumenten combineren, in de hoop dat het samenvoegen ervan een superintelligente voorspeller zou creëren. Deze instrumenten omvatten methoden die overtuigingen bijwerken wanneer er nieuw bewijs arriveert, technieken die onzekere informatie wegen, en statistische bewakers die ervoor zorgen dat een systeem weet wanneer het aan het gokken is. De heersende theorie is geweest dat het stapelen van deze instrumenten het zicht van de machine zou verscherpen, waardoor het een betere rechter wordt dan welk enkel model dan ook alleen zou kunnen zijn.

Een nieuwe studie daagt dit hele uitgangspunt uit door deze ideeën te testen op echte juridische zaken van het Europees Hof voor de Rechten van de Mens. De onderzoekers namen duizend werkelijke gerechtelijke uitspraken en stelden een eenvoudige, directe vraag: voorspelt deze complexe, multi-tool pijplijn de uitkomsten daadwerkelijk beter dan simpelweg één krachtige kunstmatige intelligentie te vragen de zaak te lezen? Ze vergeleken een ruwe, ongewijzigde AI met een versie van diezelfde AI die gedwongen werd door de complexe fusiepijplijn te lopen, en testten ook een veel simpeler, niet-AI-systeem dat simpelweg telde hoe vaak bepaalde woorden voorkwamen. De resultaten waren verrassend en duidelijk. De complexe pijplijn maakte de AI niet beter in het voorspellen van wie zou winnen of verliezen. Sterker nog, de ruwe AI, aan zijn lot overgelaten, was de meest nauwkeurige voorspeller van allemaal. De uitgebreide machinerie van het combineren van verschillende wiskundige instrumenten maakte de voorspelling niet scherper; het voegde slechts ruis toe.

De studie ging verder door te onderzoeken wat er gebeurde wanneer de AI werd gedwongen deze complexe instrumenten te gebruiken. De onderzoekers ontdekten dat het fusieproces de AI minder betrouwbaar maakte. Wanneer de initiële oordelen van de AI door de complexe wiskundige filters werden geleid, werd het systeem gevaarlijk overmoedig. Het begon zijn conclusies met absolute zekerheid te formuleren, zelfs wanneer het ongelijk had, wat effectief de foutmarge in de kalibratie verdubbelde. Eén specifiek instrument in de pijplijn, ontworpen om onzekerheid te hanteren door verschillende stukken bewijs te combineren, bleek actief schadelijk te zijn. Wanneer het werd geconfronteerd met lange ketens van juridische feiten, klampte dit instrument zich met vol vertrouwen vast aan het verkeerde antwoord, waarbij het slechter presteerde dan een willekeurige gok. De onderzoekers concludeerden dat dit specifieke onderdeel volledig uit elk juridisch systeem verwijderd zou moeten worden, omdat het een vals gevoel van veiligheid creëert.

Het verhaal eindigt echter niet met een mislukking. Hoewel de pijplijn er niet in slaagde de ruwe nauwkeurigheid van de voorspelling te verbeteren, ontdekten de onderzoekers een andere, waardevollere manier om het te gebruiken. Door de schadelijke componenten te verwijderen en het systeem te herkalibreren, transformeerden ze het tot een krachtig hulpmiddel voor triage. In plaats van te proberen de machine elke zaak te laten beslissen, werd het afgestemde systeem uitstekend in het beslissen welke zaken het moest afhandelen en welke het aan een menselijke advocaat moest doorgeven. Het systeem leerde de gemakkelijke zaken te identificeren die het met bijna perfecte nauwkeurigheid kon oplossen, en de moeilijke, onzekere zaken door te geven voor menselijke beoordeling. In hun laatste tests loste deze afgestemde motor zaken automatisch af met een nauwkeurigheid van 96,8 procent. Belangrijker nog, het ving 96,3 procent van de fouten die het anders zou hebben gemaakt op, en stuurde deze naar een mens voor correctie, terwijl slechts 0,5 procent van de fouten ongecontroleerd door de mazen van het net glipte.

De werkelijke bijdrage van dit werk is niet een machine die de toekomst beter voorspelt, maar een machine die haar eigen grenzen kent. De studie toont aan dat het doel in juridisch werk niet moet zijn om een systeem te bouwen dat altijd gelijk heeft, maar een systeem dat gekalibreerd is om te weten wanneer het gelijk heeft en wanneer het dat niet heeft. Door een statistisch vangnet te gebruiken dat een specif kind niveau van nauwkeurigheid garandeert, kan het systeem het routinematige werk automatiseren met een gedocumenteerde bodem van betrouwbaarheid, waardoor de complexe, risicovolle beslissingen worden overgelaten aan menselijke experts. Deze aanpak transformeert kunstmatige intelligentie van een zwarte doos die een vonnis zou kunnen hallucineren naar een transparant hulpmiddel dat hoorbaar signaleert wanneer een mens moet ingrijpen. De onderzoekers stellen dat deze "gekalibreerde vertrouwensband" — het vermogen om te bewijzen dat de zelfverzekerde beslissingen van een systeem correct zijn — veel waardevoller is voor de juridische professie dan een iets scherpere maar onverifieerbare voorspelling.

Technische Samenvatting: Gecalibreerd Vertrouwen, Geen Scherpere Voorspelling

Probleemstelling

De gemeenschap van juridische kunstmatige intelligentie heeft herhaaldelijk voorgesteld dat het fuseren van meerdere instrumenten voor onzekerheidskwantificatie—specifiek evidence graphs met belief propagation, sequentiële Bayesiaanse odds-updates, Dempster–Shafer massa-combinatie en conformal prediction—een "revolutionaire" pijplijn creëert voor het voorspellen van rechtszaken. De hypothese is dat het combineren van deze instrumenten een kwalitatief superieure voorspeller oplevert vergeleken met het gebruik van een enkel Large Language Model (LLM) of eenvoudigere baselines.

Echter, dit voorstel is zelden onderworpen aan end-to-end empirische tests op echte juridische data met een expliciete verantwoording van wat er verbetert en met hoeveel. Het kernprobleem dat wordt geadresseerd is of een dergelijke fusiepijplijn daadwerkelijk de voorspellende nauwkeurigheid (discriminatie) of kalibratie verbetert, en of het kan worden afgesteld om eenvoudige zaken te automatiseren terwijl complexe zaken naar menselijke beoordeling worden geëscaleerd (triage).

Methodologie

De studie voert een adversariële empirische evaluatie uit op 1.000 echte zaken van het Europees Hof voor de Rechten van de Mens (EHRM), afkomstig uit de LexGLUE en FairLex benchmarks. De taak is binaire classificatie: het voorspellen of het Hof ten minste één schending van het Verdrag heeft vastgesteld, uitsluitend op basis van de feitelijke paragrafen van de zaak.

Experimentele Architectuur

De geëvalueerde systemen volgen een tweetrapsstructuur:

Reader: Brengt feitelijke paragrafen in kaart naar een score die wijst op een schending $[0, 1]$ $[0, 1]$ .
- LLM Readers: Anthropic Claude Opus 4.8 en OpenAI GPT-5.5.
- Term-Frequency Reader: Een TF-IDF vectorizer met L2-regulariserende logistische regressie (geen LLM).
Aggregator: Combineert scores per feit tot een beslissing op zaakniveau.
- Baselines: Gemiddelde (Mean) en Maximum (Max) van de scores.
- Fusiemethoden: Bayesiaanse odds-updating, Belief propagation (met damping), en Dempster–Shafer combinatie.
Conformal Layer: Omhult de aggregator om garanties te bieden voor dekking bij eindige steekproeven, wat selectieve voorspelling mogelijk maakt (beslissen tussen "Proceed" of "Review").

Experimentele Armen

De studie isoleert drie effecten door middel van ongeveer 4.750 gecontroleerde tests:

Arm A (Raw LLM): Directe LLM-output zonder fusie.
Arm B (LLM + Combination): LLM-scores die door de fusiepijplijn worden gerouteerd.
Arm C (TF-IDF + Combination): Term-frequentie scores die door de identieke fusiepijplijn worden gerouteerd (no-LLM controle).
Controls: Varianten die eenvoudige gemiddelde-aggregatie gebruiken om de waarde van de fusie-wiskunde zelf te isoleren.

Evaluatiemetrieken

Discriminatie: AUROC met bootstrap betrouwbaarheidsintervallen.
Kalibratie: Brier score en Expected Calibration Error (ECE).
Selectieve Prestatie: Risk-coverage curves, Area Under the Risk-Coverage Curve (AURC), en Selective Accuracy Constraint (SAC).
Triage Metrieken: Auto-clear rate, escaped-error rate (foutieve beslissingen die automatisch werden afgehandeld), en caught-error rate (fouten die werden geëscaleerd voor menselijke beoordeling).

Belangrijkste Bijdragen en Bevindingen

1. Geen Verbetering in Discriminatie

De fusiepijplijn verbetert de voorspellende nauwkeurigheid niet ten opzichte van eenvoudigere alternatieven.

De sterkste discriminator over alle systemen heen was een frontier LLM die direct werd gebruikt (GPT-5.5 raw AUROC $\approx 0.85$ ).
Het routeren van de LLM door de fusiepijplijn verlaagde de discriminatie (naar $\approx 0.78$ ).
De term-frequentie baseline gerouteerd door de fusiepijplijn kwam overeen met de prestaties van de rauwe LLM ( $\approx 0.83$ ), wat aangeeft dat de fusiewiskunde geen additionele discriminerende kracht toevoegt.

2. Destructie van Kalibratie door Prior Mismatch

Het componeren van een LLM met Bayesiaanse odds- en Dempster–Shafer-fusie meer dan verdubbelt de kalibratiefout (ECE stijgt van $\approx 0.16$ naar $\approx 0.46$ ).

Mechanisme: De Bayesiaanse update injecteert de hoge prior van de trainingsset (89,8% schendingspercentage) opnieuw in scores gegenereerd op een gebalanceerde steekproef, waardoor de posterieure waarschijnlijkheden richting de meerderheidsklasse worden getrokken en de link tussen vertrouwen en nauwkeurigheid wordt verbroken.
Correctie: Een single-parameter herkalibratie (temperature scaling) herstelt de kalibratie.

3. Actieve Schade door Dempster–Shafer

Dempster–Shafer fusie is actief onveilig bij lange bewijsketens.

Het stort in tot bijna toevalsnauwkeurigheid (AUROC $\approx 0.54$ ) op de volledige testset.
Cruciaal is dat het met hoog vertrouwen onjuiste labels toekent aan een significant deel van de zaken (nauwkeurigheid onder het niveau van toeval bij singleton voorspellingen).
Aanbeveling: Verwijder Dempster–Shafer volledig uit juridische pijplijnen.

4. Waarde in Triage, Niet in Voorspelling

De werkelijke waarde van de pijplijn is operationeel, niet voorspellend.

Wanneer gerouteerd door een conformal selective-prediction laag, wordt het systeem aanzienlijk beter in het beslissen welke zaken geautomatiseerd kunnen worden en welke menselijke beoordeling vereisen.
Resultaten van de getunede engine: Na het verwijderen van Dempster–Shafer, het herkalibreren en het toepassen van class-conditional risk control:
- Auto-clear nauwkeurigheid: 96,8% (tegenover 85,9% voor de ongetunede baseline).
- Escaped errors: 0,5% (tegenover 3,8%).
- Caught errors: 96,3% van de potentiële fouten wordt geëscaleerd voor menselijke beoordeling (tegenover 72,1%).
- Kosten: De auto-clear rate daalt naar 14% (tegenover 29%), wat een bewuste afweging reflecteert voor een gecertificeerd nauwkeurigheidsplafond.

Betekenis en Claims

Het artikel betoogt dat de bijdrage van bewijs-fusiepijplijnen in de rechtspraak moet worden geherformuleerd van "scherpere voorspelling" (wat niet werd waargenomen) naar "gekalibreerd vertrouwen."

Gecalibreerd Vertrouwen: Het systeem biedt een controleerbare, op garanties gebaseerde mogelijkheid om onderscheid te maken tussen zaken die een systeem alleen kan beslissen en zaken die menselijke escalatie vereisen. Dit is cruciaal in juridische contexten met een hoog risico, waar een met vol vertrouwen genomen onjuiste beslissing professionele aansprakelijkheid met zich meebrengt.
Deployment Architectuur: De auteur stelt een "dunne" engine voor bestaande uit een capabele reader, een eerlijke gekalibreerde aggregator en een risicogestuurde conformal gate, die potentieel kan worden ingezet binnen een kostenbewuste cascade (goedkope reader $\to$ LLM re-scoring $\to$ menselijke beoordeling).
Governance: Het nauwkeurigheidsplafond, buiten de steekproef gecertificeerd via conformal risk control, dient als een governance-instrument dat aan toezichthouders of verzekeraars kan worden gepresenteerd, waarbij subjectief vertrouwen wordt omgezet in een statistische garantie (bijv. "vertrouwde beslissingen zijn in maximaal $r$ gevallen onjuist").

De studie concludeert dat hoewel de specifieke fusiewiskunde (Bayesiaanse odds, Dempster–Shafer) de voorspelling niet verbetert en zelfs schadelijk kan zijn, de integratie van conformal prediction met hergekallibreerde scores een veilige, selectieve automatiseringspolitiek mogelijk maakt die de menselijke beoordelingslast vermindert zonder het risico te vergroten.