💻 computer science

Liability in Motion: A retrieval-augmented LLM application in road traffic liability apportionment

Deze studie presenteert een retrieval-augmented taalmodel dat de proportionele verdelingen van verkeersaansprakelijkheid in het Duitse recht voorspelt door taxonomische juridische metadata en relevantie-geordende demonstraties te integreren, waardoor buitengerechtelijke schikkingen worden gefaciliteerd door middel van gerationaliseerde, op rechtvaardigheid gebaseerde algoritmische voorspellingen.

Oorspronkelijke auteurs: Felix Riechmann

Gepubliceerd 2026-08-10

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Felix Riechmann

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een wereld voor waarin de wet niet slechts een stoffige bibliotheek van oude boeken is, maar een levende, ademende conversatie tussen een rechter en een superintelligente robot. Dit is de grens van Legal Judgment Prediction (voorspelling van juridische uitspraken), een veld waar wetenschappers computers leren om rechtszaken te lezen en te raden hoe een echte rechter een geschil zou beslechten. Maar hier is de crux: de meeste van deze robots zijn als studenten die zich haastig voorbereiden op een meerkeuzetoets. Ze kunnen je vertellen of een verdachte wint of verliest (een "ja" of "nee"), maar ze worstelen met de rommelige, echte nuances van hoeveel iemand de schuld heeft. Om dit op te lossen, gebruiken onderzoekers Retrieval-Augmented Generation (RAG). Denk hierbij niet aan een robot die een tekstboek uit het hoofd leert, maar aan een robot met een magische bibliotheekpas. Wanneer de robot voor een nieuw probleem staat, raadt hij niet alleen; hij bladert direct door duizenden eerdere zaken om de gevallen te vinden die er het meest op lijken, leest ze, en gebruikt vervolgens die verse informatie om een slimmere, beter geïnformeerde voorspelling te doen.

Waarom is dit belangrijk? Omdat het rechtssysteem verdrinkt in papierwerk. Miljoenen kleine verkeersongevallen vinden elk jaar plaats, wat de rechtbanken verstopt en middelen uitput. Als we mensen kunnen helpen om deze geschillen eerlijk en snel te beslechten voordat ze ooit een voet in een rechtszaal zetten, kunnen we iedereen tijd, geld en stress besparen. Dit artikel stelt een cruciale vraag: Kunnen we een robot bouwen die niet alleen "schuldig" of "onschuldig" zegt, maar die daadwerkelijk het exacte percentage schuld voor elke bestuurder in een verkeersongeval kan berekenen, met dezelfde logica die echte advocaten gebruiken?

De Nieuwe Bibliotheek van de Robotadvocaat

De onderzoekers achter deze studie, Felix Riechmann en collega's, besloten de chaotische wereld van Duitse verkeersongevallen aan te pakken. In Duitsland bepaalt de wet bij een botsing tussen twee auto's niet alleen wie betaalt; de wet verdeelt de schuld. Misschien is Auto A voor 70% schuldig en Auto B voor 30%. Deze verdeling wordt een "aansprakelijkheidspercentage" genoemd. Het team wilde een AI bouwen die deze percentages net zo nauwkeurig kan voorspellen als een menselijke expert.

Om dit te doen, voerden ze de AI niet zomaar willekeurige verhalen. Ze gaven het een zeer specifieke, zeer beroemde boek: een massaal juridisch commentaar genaamd Liability Quotas in Traffic Accidents (Aansprakelijkheidspercentages bij verkeersongevallen). Dit boek is als de "Bijbel" voor Duitse verkeersadvocaten. Het bevat duizenden echte zaken, georganiseerd in een gigantische, gedetailleerde boom van categorieën (zoals "ongevallen tijdens het afslaan" of "ongevallen op snelwegen"). De onderzoekers bouwten een systeem waarbij de AI optreedt als een detective. Wanneer er een nieuw ongeluk gebeurt, vraagt het systeem aan de AI: "Hier zijn de feiten van deze crash; zoek de meest vergelijkbare gevallen in het boek en vertel ons hoe de schuldverdeling moet zijn."

De Grote Bibliotheekzoektocht: De Juiste Aanwijzingen Vinden

De kern van het experiment was het testen hoe de AI moest zoeken naar die vergelijkbare zaken. De onderzoekers probeerden vier verschillende strategieën uit, alsof ze vier verschillende manieren testten om een speld in een hooiberg te vinden:

De Willekeurige Shuffle: Ze lieten de AI volkomen willekeurige zaken pakken. Dit was de "controlegroep", de baseline om te zien of het doen van iets systematischs beter was dan gokken.
De Semantische Zoekopdracht (Ongesuperviseerd): De AI zocht naar zaken die qua klank en betekenis leken. Als het nieuwe ongeval een "blauwe vrachtwagen die een rode auto raakt" betrof, zocht het naar andere verhalen over "blauwe vrachtwagens" en "rode auto's", zelfs als die in totaal andere soorten crashes gebeurden.
De Taxonomie-zoekopdracht (Gesuperviseerd): Dit was de "slimme" zoekopdracht. In plaats van alleen naar woorden te kijken, keek de AI naar de categorie waartoe de zaak behoorde in de inhoudsopgave van het boek. Als de nieuwe zaak een "afslaongeval" was, keek de AI alleen naar andere "afslaongevallen". De rest negeerde hij volledig.
De Hybride Zoekopdracht: Deze combineerde beide. De AI keek tegelijkertijd naar de woorden en de categorie-tags.

Wat de Robot Daadwerkelijk Vond

De resultaten waren verrassend duidelijk en leerden de onderzoekers een paar belangrijke lessen over hoe je juridische AI bouwt.

Ten eerste was de "Willekeurige Shuffle" een ramp. Wanneer de AI willekeurige zaken pakte, presteerde hij slecht. Het was alsof je een wiskundeprobleem probeert op te lossen door een recept voor soep te lezen. Dit bewees dat de AI nodig heeft om de juiste soort voorbeelden te vinden om te kunnen werken.

Ten tweede won de "Slimme" zoekopdracht. De strategieën die gebruikmaakten van de categorieën uit het boek (de Taxonomie en Hybride zoekopdrachten) waren aanzienlijk beter dan de methoden die alleen naar gelijkaardige woorden zochten. Het artikel suggereert dat in de juridische wereld de structuur van de kennis belangrijker is dan alleen de woorden. Weten dat een zaak tot de categorie "snelwegongeval" behoort, is nuttiger dan weten dat het ongeval een "snelle auto" betrof. De Hybride aanpak, die woorden en categorieën combineerde, presteerde het best, waarbij de meest geavanceerde modellen de schuldpercentages binnen ongeveer 19 tot 20 procentpunten van het echte antwoord kregen.

Ten derde doet de volgorde van de aanwijzingen er toe. De onderzoekers testten ook wat er gebeurt als ze de volgorde van de voorbeelden die de AI leest, door elkaar husselen. Ze ontdekten dat als de AI de meest relevante zaken eerst leest, hij het erg goed doet. Maar als je ze willekeurig door elkaar husselt, raakt de AI in de war en maakt hij meer fouten. Het is als het lezen van een mysteryroman: als je de aanwijzingen in de juiste volgorde leest, kun je de misdaad oplossen. Als je het einde eerst leest, dan het begin, en dan het midden, ben je totaal de weg kwijt. Het artikel suggereert dat voor deze juridische robots het essentieel is om de belangrijkste voorbeelden helemaal bovenaan de lijst te houden.

Het Vonnis: Een Instrument voor Vrede, Geen Rechter

Dus, is deze robot klaar om rechters te vervangen? De auteur is hier zeer voorzichtig. Er wordt expliciet gesteld dat dit systeem geen vervanging is voor een menselijke rechter in een rechtszaal. De foutmarges zijn nog steeds te hoog voor dat. In plaats daarvan zien zij dit als een krachtig instrument voor Alternative Dispute Resolution (ADR) (Alternatieve Geschilbeslechting).

Stel je twee bestuurders voor die net een botsing hebben gehad. In plaats van maanden te wachten op een zitting, zouden ze dit systeem kunnen gebruiken. Het systeem bekijkt het ongeval, vindt de meest vergelijkbare eerdere zaken uit de "Bijbel" van de verkeerswetgeving, en zegt: "Op basis van 5.000 vergelijkbare gevallen ben jij waarschijnlijk voor 60% schuldig, en de andere bestuurder voor 40%." Dit geeft beide bestuurders een realistisch beeld van wat er in een rechtszaal zou gebeuren. Het helpt hen om de rekening ter plekke te vereffenen, zonder de stress en kosten van een proces.

Het artikel concludeert dat door een zwaar, gezaghebbend juridisch boek te transformeren tot een "berekenbaar coördinatie-instrument", we mensen kunnen helpen om sneller tot eerlijke uitkomsten te komen. Het vormt geen bedreiging voor de rechtvaardigheid; het helpt mensen juist de rechtvaardigheid te vinden door de regels helder en voorspelbaar te maken. De robot is niet de rechter; het is de scheidsrechter die de spelers helpt om de score af te spreken voordat het spel überhaupt begint.

Technische Samenvatting: Liability in Motion

Probleemstelling

Hoewel systemen voor juridische oordeelsvoorspelling (Legal Judgment Prediction, LJP) hoge nauwkeurigheid hebben bereikt bij binaire classificatietaken (bijv. win/verlies-uitkomsten), blijft hun praktische inzet in reële juridische workflows beperkt. Bestaande systemen schieten vaak tekort in het adresseren van de specifieke behoeften van hoog-volume massale geschillen, zoals kleine verkeersongevallen, die de rechtbanken verstoppen en het proces van buitengerechtelijke onderhandelingen onder druk zetten. Bovormatig richt huidig LJP-onderzoek zich voornamelijk op common law-jurisdicties of binaire uitkomsten, waardoor er een gat ontstaat bij het toepassen van deze technologieën op civielrechtelijke stelsels waar aansprakelijkheid wordt bepaald door continue, proportionele verdelingen (aansprakelijkheidsquota) in plaats van categorische vonnissen. De uitdaging ligt in het overbruggen van de kloof tussen de technische mogelijkheden van natuurlijke taalverwerking en de normatieve vereisten van materiële rechtvaardigheid, met name in pre-litigatie Alternative Dispute Resolution (ADR).

Methodologie

De studie stelt een Retrieval-Augmented In-Context Learning (RALM) architectuur voor, die specifelt is afgestemd op het voorspellen van aansprakelijkheidsquota bij Duitse verkeersongevallen. Het systeem voert geen fine-tuning uit op het generatieve model, maar vertrouwt in plaats daarvan op het ophalen van relevante juridische precedenten om de context van het model te informeren.

Databron

De kennisbank is afgeleid van Liability Quotas in Traffic Accidents (Grüneberg, 2025), een toonaangevend Duits juridisch commentaar dat 5.575 gevallen bevat, georganiseerd in een fijnmazige taxonomische boom. De dataset is beperkt tot ongevallen met twee partijen om ervoor te zorgen dat de proportionele aansprakelijkheidsverdelingen samen 100% vormen. Het commentaar biedt:

Feitelijke samenvattingen: Korte beschrijvingen van de omstandigheden van het ongeval.
Aansprakelijkheidsquota: De proportionele schalen van nalatigheid van de betrokken partijen.
Taxonomische metadata: Hiërarchische hoofdstukkoppen (bijv. "Ongevallen bij het afslaan") en voorlopige opmerkingen die de heersende juridische doctrine uiteenzetten.
Ex-post metadata: Rechtbankinstantie, jaar en locatie (voornamelijk gebruikt voor descriptieve analyse).

Modelarchitectuur

Het systeem maakt gebruik van een standaard Large Language Model (LLM) als generator en een retrieval-component om demonstraties (in-context voorbeelden) te selecteren.

Generatoren: Een reeks open-source LLM's (inclusclusief Llama-3, Llama-4, Qwen3 en GPT-oss varianten) variërend van 17B tot 405B parameters.
Retrieval-strategieën: Vier verschillende retrieval-configuraties werden geëvalueerd:
1. Random Retrieval: Dient als baseline.
2. Unsupervised Retrieval (KATE): Gebruikt de cosinus-gelijkenis van ruwe tekst-embeddings (via jina-embeddings-v4) om de top- $k$ meest semantisch gelijkaardige casussamenvattingen te selecteren.
3. Supervised Retrieval: Maakt gebruik van de hiërarchische taxonomie van het commentaar. Het haalt zaken op uit exact hetzelfde hoofdstuk als de query, waarbij recursief naar boven wordt uitgebreid naar ouderhoofdstukken als het beoogde aantal demonstraties ( $k$ ) niet wordt behaald. Dit zorgt ervoor dat de opgehaalde context overeenkomt met specifieke juridische doctrines.
4. Hybrid Retrieval: Concateneert de hiërarchische hoofdstukkoppen met de feitelijke ongevalsbeschrijving tot één enkele tekstsequentie vóór embedding en retrieval, waarbij zowel semantische als structurele informatie wordt gecombineerd.

Experimenteel Ontwerp

Taak: Het voorspellen van het aansprakelijkheidsquota voor één partij in een ongeval met twee partijen.
Hyperparameter ( $k$ ): Het aantal opgehaalde demonstraties varieerde van 0 tot 300 om de effecten van contextvolume te bestudeden.
Ordening: Demonstraties werden gepresenteerd ofwel in een dalende volgorde van relevantie (standaard), ofwel in een willekeurige volgorde (shuffled) om voor positionele bias te testen.
Evaluatiemethode: De absolute fout in procentpunten tussen het voorspelde quota en de grondwaarheid (ground truth). Een baseline (50/50 splitsing) werd gebruikt voor vergelijking.

Belangrijkste Resultaten

1. Effectiviteit van de Retrieval-strategie

Systematisch vs. Random: Alle systematische retrieval-methoden (Unsupervised, Supervised, Hybrid) presteerden significant beter dan de random retrieval baseline.
Integratie van Metadata: Benaderingen die juridische taxonomie incorporeerden (Supervised en Hybrid) presteerden significant beter dan de puur semantische Unsupervised benadering. Dit bevestigt dat het afstemmen van de retrieval op juridische doctrine cruciaal is voor nauwkeurigheid.
Hybrid vs. Supervised: Er werd geen statistisch significant verschil gevonden tussen de Supervised en Hybrid benadering. De Hybrid methode, die minder complexe pipeline-engineering vereist (geen recursieve filtering), wordt gesuggereerd als de meer efficiënte ontwerpkeuze.

2. Modelprestaties

Foutmarges: De best presterende configuratie (Qwen3-235B met Hybrid retrieval) bereikte een gemiddelde fout van ongeveer 19 procentpunten, met een mediaan van 17 procentpunten.
Baseline Vergelijking: Alle RALM-varianten (behalve één klein model met random retrieval) presteerden significant beter dan de baseline (50/50 splitsing), die een gemiddelde fout van ~30 punten had.
Context Volume ( $k$ ): Er werd een parabolische prestatietrend waargenomen. Het verhogen van het aantal demonstraties verbetert de nauwkeurigheid aanvankelijk, maar een excessief volume leidt tot context-verzadiging en prestatievermindering.

3. Gevoeligheid voor Ordening

Impact van Shuffling: De studie bevestigde dat de ordening van demonstraties de prestaties aanzienlijk beïnvloedt.
Relevantie-ordening: Wanneer demonstraties werden gesorteerd op relevantie, behield het model een stabiele prestatie, zelfs naarmate de contextlengte toenam.
Random Shuffling: Wanneer demonstraties willekeurig werden gehusseld, verslechterde de prestatie aanzienlijk naarmate $k$ toenam, wat een duidelijke parabolische daling vertoonde. Dit suggereert dat relevantie-ordening de negatieve effecten van context-verzadiging mitigeert.

Betekenis en Claims

Het artikel claimt verschillende bijdragen aan het veld van Legal AI:

Verschuiving van Binair naar Continu Voorspellen: De studie demonstreert dat LLM's effectief continue, proportionele aansprakelijkheidsverdelingen kunnen voorspellen, waarmee ze verder gaan dan de binaire classificaties die gebruikelijk zijn in de bestaande LJP-literatuur.
Toepassing in Civiel Recht: Het biedt een kader voor LJP in civielrechtelijke jurisdicties, waar juridische commentaren (in plaats van bindende precedenten) de primaire bron van doctrine vormen. Het onderzoek toont aan dat het transformeren van gezaghebbende juridische teksten naar berekenbare coördinatie-instrumenten haalbaar is.
Doctrinaire Afstemming boven Model Schaal: De resultaten suggereren dat de effectiviteit van juridische AI meer afhangt van de architecturale afstemming met juridische doctrine (via gestructureerde retrieval) dan van de parameter-schaal van het onderliggende generatieve model.
Praktisch Nut voor ADR: Het systeem wordt niet gepositioneerd als een vervanging voor rechters, maar als een instrument voor pre-litigatie Alternative Dispute Resolution (ADR). Door een gestandaardiseerde, doctrinaal afgestemde baseline te bieden, kan het model de verwachtingen van litiganten rationaliseren, informatie-asymmetrie verminderen en buitengerechtelijke schikkingen faciliteren zonder de materiële rechtvaardigheid in gevaar te brengen.
Mitigatie van Context-verzadiging: De studie biedt praktische ontwerpimplicaties door aan te tonen dat op relevantie geordende demonstraties essentieel zijn om de degradatie van prestaties in long-context juridische toepassingen te voorkomen.

De auteur neemt een bescheiden standpunt in en erkent dat de dataset bestaat uit gecureerde, complexe beroepszaken in plaats van routinematige zaken in eerste aanleg. Bijgevolg kunnen de gerapporteerde foutmarges de werkelijke potentie van het model in scenario's met een hoog volume, waar uitkomsten vaak voorspelbaarder zijn, onderschatten. Het artikel concludeert dat hoewel de technologie veelbelovend is voor het rationaliseren van verwachtingen in massale geschillen, de inzet ervan in formele gerechtelijke procedures extreme voorzichtigheid vereist vanwege normatieve en ethische grenzen.