🤖 AI

Persuadability and LLMs as Legal Decision Tools

Dit artikel onderzoekt de vatbaarheid van geavanceerde grote taalmodellen voor beïnvloeding door juridische advocaten van uiteenlopende kwaliteit, presenteert experimentele resultaten over hoe de presentatie van argumenten modelbeslissingen beïnvloedt en evalueert de implicaties voor de inzet van grote taalmodellen als juridische beslissingsmakers.

Oorspronkelijke auteurs: Oisin Suttle, David Lillis

Gepubliceerd 2026-04-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Oisin Suttle, David Lillis

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een rechtbank voor, maar in plaats van menselijke advocaten en een menselijke rechter is iedereen een zeer geavanceerd computerprogramma. Dit artikel stelt een zeer specifieke vraag: Hoe gemakkelijk kunnen deze computerrechter worden beïnvloed door de computeradvocaten die hun zaak bepleiten?

In de echte wereld heeft een goede rechter een delicate balans nodig. Ze moeten openstaan voor nieuwe argumenten (zodat ze de waarheid niet negeren), maar ze mogen niet zo gemakkelijk beïnvloedbaar zijn dat ze gewoon de kant kiezen van de spreker met de meest opvallende presentatie of het zelfverzekerde geluid. Ze moeten beslissen op basis van de inhoud van de zaak, niet op basis van de stijl van de advocaat.

De auteurs van dit artikel wilden onderzoeken of AI-rechters deze balans hebben, of dat ze gemakkelijk worden bedrogen door een "gladde prater"-AI.

Het Experiment: Een Digitaal Debattclubje

Om dit te testen, hebben de onderzoekers een groot digitaal debattoernooi opgezet.

De Scenario's: Ze selecteerden 15 echte, moeilijke juridische zaken uit de VS, het VK en Ierland, waarbij zelfs menselijke experts het niet eens konden worden over het antwoord (deze worden "gespleten beslissingen" genoemd).
De Advocaten: Ze gebruikten vier verschillende krachtige AI-modellen om als advocaten op te treden. Sommigen waren "sterke" advocaten (zeer slim, goed in argumenteren) en anderen waren "zwakkere" advocaten.
De Rechters: Ze testten 20 verschillende AI-modellen om als rechter op te treden.
De Opzet: In elke ronde pleitten twee AI-advocaten (één voor elke kant) hun zaak bij een AI-rechter. De onderzoekers keken vervolgens: Kiesde de rechter de kant van de "sterke" advocaat, of koos hij de kant van de "zwakke" advocaat?

Als de rechter perfect eerlijk was en alleen naar de feiten keek, zou het niet uitmaken welke advocaat pleitte; de rechter zou 50% van de tijd de juiste kant moeten kiezen, ongeacht wie de advocaat was.

De Grote Bevindingen

1. De AI-rechters zijn "Overredbaar"
De resultaten toonden aan dat AI-rechters duidelijk worden beïnvloed door wie er pleit. Wanneer een "sterke" AI-advocaat pleitte tegen een "zwakke", was de rechter veel meer geneigd om met de sterke in te stemmen.

De Metafoor: Stel je een rechter voor die, in plaats van naar de feiten te luisteren, gewoon het team kiest met de glimmendere uniformen. De studie vond dat de "glimmendere" (capabelere) AI-advocaten tussen de 58% en 90% van de tijd wonnen, afhankelijk van welke rechter luisterde. Dit betekent dat AI-rechters niet immuun zijn voor de "stijl" of "kwaliteit" van de spreker; ze zijn gemakkelijk beïnvloedbaar.

2. Groter Is Niet Altijd Beter (Maar Meestal Wel)
De onderzoekers vroegen zich af of grotere, complexere AI-modellen moeilijker te beïnvloeden zouden zijn dan kleinere, eenvoudigere modellen.

De Metafoor: Denk aan een kleine, eenvoudige AI als een kind dat misschien in de war raakt door een luid, zelfverzekerd geluid. Een grote, complexe AI is als een wijze ouderling die misschien voor zichzelf denkt.
Het Resultaat: Over het algemeen waren de grotere modellen moeilijker te beïnvloeden dan de kleine. Echter, zelfs de "wijze ouderlingen" (de grootste modellen) werden nogal beïnvloed. Ze waren niet immuun; ze hadden gewoon een iets betere filter.

3. Luisterden de AI-rechters naar de Wet of gewoon naar de Woorden?
De onderzoekers wilden weten: Wordt de rechter overtuigd omdat de advocaat een briljant nieuw juridisch punt heeft gevonden (de inhoud), of gewoon omdat de advocaat zeer vloeiend sprak (de vorm)?

De Test: Ze voerden het experiment twee keer uit. Eén keer gaven ze de AI-advocaten de volledige details van de echte zaakargumenten. De andere keer gaven ze hen alleen de feiten en vroegen ze om hun eigen argumenten te bedenken.
Het Resultaat: Wanneer de advocaten de "echte" argumenten uit de zaak mochten gebruiken, waren de rechters iets meer geneigd om door de inhoud te laten overtuigen. Dit suggereert dat AI-rechters wel kijken naar de feitelijke juridische substantie, en niet alleen naar de mooie woorden, hoewel het effect klein was.

4. De "Kennis-Gap" Test
De onderzoekers merkten ook op dat AI-rechters makkelijker te overtuigen waren over Amerikaanse wetten (waarover de AI's goed op de hoogte zijn) dan over Ierse wetten (waarover ze minder op de hoogte zijn).

De Metafoor: Als je een lokale expert een vraag stelt, kan die direct een slecht argument opmerken. Als je hen iets vraagt over een vreemd land dat ze niet kennen, kunnen ze een gladde prater-leugenaar geloven.
Het Resultaat: AI-rechters waren makkelijker te beïnvloeden wanneer het onderwerp iets was dat ze goed kenden (Amerikaanse wet). Dit impliceert dat wanneer ze het onderwerp wel kennen, ze eigenlijk de kwaliteit van de juridische argumenten evalueren, en niet alleen het zelfvertrouwen van de spreker.

De Conclusie

Het artikel concludeert dat AI-rechters momenteel te gemakkelijk beïnvloedbaar zijn.

Hoewel ze niet zomaar willekeurige getalgeneratoren zijn, worden ze aanzienlijk beïnvloed door de "kwaliteit" van de AI-advocaat die de zaak bepleit.

Voor kleine AI-modellen: Ze lijken moeite te hebben om het verschil te zien tussen een goed en een slecht argument, dus ze gaan gewoon mee met de stroming.
Voor grote AI-modellen: Ze zijn beter in voor zichzelf denken, maar ze laten de "beste" advocaat ze toch te vaak in een hoekje drijven.

De auteurs waarschuwen dat als we AI willen gebruiken als rechter of juridisch assistent, we zeer voorzichtig moeten zijn. We moeten precies weten hoe gemakkelijk deze machines te overtuigen zijn, want op dit moment zijn ze vrij vatbaar voor de "retoriek" van de AI-advocaat die voor hen staat. Ze hebben het menselijke ideaal van "openstaan voor overtuiging, maar niet onnodig" nog niet helemaal onder de knie.

1. Probleemstelling

Het artikel behandelt de kritieke uitdaging van het inzetten van Large Language Models (LLM's) als juridische beslissingsmakers of assistenten. Een fundamentele vereiste van rechterlijke en administratieve besluitvorming is overtuigbaarheid: het vermogen om in te gaan op argumenten van strijdende partijen en hierdoor beïnvloed te worden. Er bestaat echter een spanning:

Te star: Een beslissingsmaker die niet te overtuigen is, faalt in het overwegen van nieuw bewijs of argumenten (in strijd met audi alteram partem).
Te flexibel: Een beslissingsmaker die onredelijk overtuigbaar is, kan beslissingen baseren op de retorische vaardigheid van een pleiter in plaats van op de juridische verdiensten van de zaak.

De auteurs onderzoeken of geavanceerde LLM's deze spanning kunnen navigeren. Specifiek vragen zij: In welke mate worden LLM's beïnvloed door de "kwaliteit" (of identiteit) van de pleiter die het argument genereert, in plaats van door de objectieve verdiensten van de juridische zaak?

2. Methodologie

De auteurs ontwierpen een trilateraal experimenteel kader met drie rollen: Pleiters (die argumenten genereren), een Rechter (die de zaak beslist) en Scenario's (moeilijke juridische vragen).

A. Scenario's (De "Moeilijke" Vragen)

Bron: 15 scenario's ontleend aan verdeelde appèlrechtbankuitspraken (US Court of Appeals, Court of Appeal in Engeland en Wales, Ierse Hoge Raad).
Redenering: Verdeelde uitspraken (minderheidsstandpunten) wijzen op "moeilijke" juridische vragen waar geen enkele waarheid bestaat, waardoor de beslissing afhankelijk is van oordeel en overtuiging.
Structuur: Elk scenario bevat feiten en de centrale juridische vraag.

B. De "Pleiter"-modellen (Argumentgeneratie)

Vier verschillende LLM's werden gebruikt om argumenten voor tegenstrijdige kanten te genereren:

OpenAI gpt-4o
Google gemini-3-pro-preview (4k denkbudget)
OpenAI gpt-5.1 (laag redeneer-effort)
Anthropic Claude Sonnet 4.5 (8k denkbudget)

Prompt-strategieën:
Om onderscheid te maken tussen substantiële juridische inhoud versus retorische vorm, werden pleiters op twee manieren geprompt:

Alleen Feiten: Enkel de zaakfeiten en de juridische vraag werden verstrekt (de model dwingend om nieuwe argumenten te genereren).
Feiten + Originele Argumenten: De feiten plus een samenvatting van de daadwerkelijke argumenten in de historische zaak (voorzien van "hints" over de beste juridische punten).

C. De "Rechter"-modellen (Besluitvorming)

Scope: 20 verschillende Rechter-modellen getest (een mix van gesloten en open gewichten, variërende groottes en redeneerarchitecturen).
Taak: Gegeven een scenario en twee concurrerende argumenten (één van elke kant, gegenereerd door verschillende Pleiter-modellen), moet de Rechter de zaak beslissen zoals een rechtbank in die jurisdictie dat zou doen.
Volume: Elke Rechter werd 1.200 keer getest (600 met originele argumenten, 600 zonder), in totaal 24.000 proeven.

D. Metrieken voor Overtuigbaarheid

De auteurs definieerden overtuigbaarheid op basis van de identiteit van de Pleiter als proxy voor argumentkwaliteit.

Basislijn: Als een Rechter niet overtuigbaar is, zou elke Pleiter 50% van de tijd moeten winnen (willekeurige toewijzing).
Paarsgewijze Overtuigbaarheid ( $p_2$ ): Meet de afwijking van de 50%-basislijn wanneer twee specifieke Pleiters concurreren.
$p_2 = \frac{|m_1 - m_2|}{2n}$
(Waar $m$ het aantal overwinningen is voor elke pleiter en $n$ het aantal proeven).
Populatie-Overtuigbaarheid ( $p_{pop}$ ): De geaggregeerde maatstaf van hoeveel een Rechter specifieke Pleiter-modellen bevoordeelt over alle koppelingen heen.

3. Belangrijkste Bijdragen

Conceptueel Kader: Identificeerde de specifieke spanning tussen noodzakelijke overtuigbaarheid en onredelijke vatbaarheid in de context van AI-juridische besluitvorming.
Nieuwe Methodologie: Stelde een trilaterale "Pleiter vs. Pleiter vs. Rechter" opstelling voor om overtuigbaarheid te meten, wat verschilt van eerdere bilaterale studies (overtuiger vs. overtuigbare).
Eerste Systematische Juridische Verkenning: Biedt de eerste grootschalige empirische studie over LLM-overtuigbaarheid specifiek binnen complexe juridische redeneringscontexten.
Open Data: Alle code, prompts en data vrijgegeven (15 scenario's, 1.200 argumenten per kant, 24.000 rechterreacties) voor reproduceerbaarheid.

4. Belangrijkste Resultaten

A. Universele Overtuigbaarheid

Alle modellen zijn overtuigbaar: Elk Rechter-model toonde statistisch significante overtuigbaarheid ( $p < 0,05$ ).
Grootte: De populatie-overtuigbaarheid ( $p_{pop}$ ) varieerde van 0,08 tot 0,20. Dit impliceert dat de identiteit van de Pleiter (en dus de argumentkwaliteit) de winstkansen verschuift met 8–21% boven de willekeurige basislijn.
Extreme Gevallen: In specifieke paarvergelijkingen (bijv. sterkste vs. zwakste Pleiter) varieerden de winstkansen van 63% tot meer dan 90%, wat aangeeft dat sommige modellen zwaar worden beïnvloed door de identiteit van de pleiter.

B. Modelarchitectuur en Grootte

Grootte: Het bewijs is gemengd. Over het algemeen waren grotere modellen minder overtuigbaar dan kleinere "lite"-versies binnen dezelfde familie (bijv. claude-sonnet vs. claude-haiku). Er waren echter uitzonderingen (bijv. gpt-5-nano was het minst overtuigbare model overall).
Redeneerarchitectuur: Grotere modellen met "denk"-budgetten waren over het algemeen minder overtuigbaar, wat suggereert dat ze argumenten kritischer evalueren. Deze trend keerde echter om bij sommige kleinere open modellen, waarbij "redeneer"-varianten meer overtuigbaar waren.

C. Substantie versus Vorm

Inhoud telt: Wanneer Pleiters de "Originele Argumenten" (hints) kregen, nam de overtuigbaarheid over het algemeen iets af (wat suggereert dat de inhoud gestandaardiseerd was).
Statistische Significantie: Hoewel het effect van het verstrekken van originele argumenten klein was, toonden head-to-head proeven aan dat een Pleiter geprompt met originele argumenten significant vaker won dan een zonder ( $p=0,0039$ ). Dit bevestigt dat substantiële juridische inhoud een rol speelt in overtuiging, niet alleen retorische vloeiendheid.
Jurisdictiekennis: Overtuigbaarheid was lager in jurisdicties waar het model waarschijnlijk meer trainingsdata had (VS > VK > Ierland). Dit suggereert dat wanneer modellen de juridische substantie beter begrijpen, ze minder gemakkelijk door vorm alleen worden beïnvloed.

5. Betekenis en Implicaties

Haalbaarheid van AI-Rechters: De resultaten suggereren dat kleinere LLM's mogelijk ongeschikt zijn voor rechterlijke functies omdat hun hoge overtuigbaarheid waarschijnlijk voortkomt uit een onvermogen om concurrerende argumenten kritisch te evalueren (ze zijn gemakkelijk beïnvloed door vorm).
Grote Modellen: Hoewel grotere modellen minder overtuigbaar zijn (waarschijnlijk door betere substantiële evaluatie), vertonen ze nog steeds aanzienlijke vatbaarheid (tot 40% afwijking in paarvergelijkingen).
Politieke/Ethische Dimensie: Het artikel concludeert dat het bepalen of het overtuigbaarheidsniveau van een model "aanvaardbaar" is, een politieke vraag is. Het hangt af van maatschappelijke verwachtingen van het justitiële systeem en hoe het partijen behandelt met variërende pleitvaardigheden.
Toekomstig Werk: De auteurs roepen op tot verder onderzoek naar:
- Welke specifieke kenmerken overtuiging aanjagen?
- Of blootstelling aan argumenten de besluitkwaliteit daadwerkelijk verbetert.
- Het benchmarken van LLM-overtuigbaarheid tegen menselijke juridische experts.

Conclusie: LLM's zijn inherent overtuigbaar. Hoewel grotere modellen meer weerstand vertonen tegen onredelijke invloed, is geen enkel model immuun. Het inzetten van hen als beslissingsmakers vereist een zorgvuldige selectie van modellen op basis van hun specifieke overtuigbaarheidsprofielen om ervoor te zorgen dat beslissingen gebaseerd zijn op juridische verdiensten in plaats van retorische dominantie.