Assessing Cognitive Biases in LLMs for Judicial Decision Support: Virtuous Victim and Halo Effects

Dit onderzoek toont aan dat grote taalmodellen, hoewel ze vatbaar zijn voor de 'deugdelijke slachtoffer'-bias en prestige-halo-effecten, deze cognitieve vertekeningen in vergelijking met mensen enigszins minder sterk vertonen, wat wijst op beperkte maar veelbelovende verbeteringen voor justitiële beslissingsondersteuning ondanks nog steeds aanwezige variatie tussen modellen.

De kern

Stel je voor dat je een heel nieuwe soort rechter hebt: een robot die niet uit vlees en bloed bestaat, maar uit code en data. Deze robot, een "Groot Taalmodel" (zoals ChatGPT of Gemini), moet helpen bij het nemen van moeilijke beslissingen in de rechtbank. De grote vraag is: is deze robot eerlijker dan een menselijke rechter, of neemt hij gewoon onze menselijke fouten over?

Dit onderzoek van Sierra Liu (een scholier uit New Jersey) gaat precies daarover. Ze heeft gekeken of deze AI-robots last hebben van dezelfde "denkfouten" (cognitieve vooroordelen) als wij mensen.

Hier is de uitleg in simpele taal, met een paar verhelderende vergelijkingen:

1. Het Experiment: De "Proefpersonen" in de Rechtbank

De auteur heeft vijf verschillende AI-robots getest (zoals ChatGPT, Claude en Gemini). Ze lieten deze robots "rechter" spelen in vijf verschillende fictieve verhalen (vignettes).

Om te voorkomen dat de robots gewoon hun geheugen ophaalden uit hun trainingsdata, had ze de verhalen een beetje aangepast, alsof ze nieuwe, unieke scenario's hadden bedacht. Ze keken naar twee specifieke soorten vooroordelen:

• Het "Virtueuze Slachtoffer"-effect (VVE): De neiging om iemand die een slachtoffer is, automatisch als een heilige of een perfect mens te zien.
• Het "Halo-effect": De neiging om iemand beter te vinden of minder streng te straffen omdat ze een "gladde" buitenkant hebben (bijvoorbeeld: een rijke baan, een prestigieuze universiteit of een bekend bedrijf).

2. De Drie Grote Ontdekkingen

A. De "Heilige Slachtoffer" (VVE)

De Menselijke Fout: Als iemand een slachtoffer is, denken mensen vaak: "Die arme ziel, die is onschuldig en heel goed." Maar als er een klein detail is dat suggereert dat ze eerder wel eens iets hadden afgesproken (bijvoorbeeld in een relatie), dan denken mensen plotseling: "Nou ja, misschien was het niet helemaal hun schuld." Ze straffen het slachtoffer dan harder.
Wat deed de AI?
De robots waren nog sterker in het zien van het slachtoffer als een heilige dan mensen. Ze zagen het slachtoffer als nog "moraler".

• De verrassing: Als er sprake was van "voorafgaande toestemming" (het 'adjacent consent' scenario), straften de robots het slachtoffer niet harder. Ze lieten zich niet beïnvloeden door dat detail. Mensen wel, maar de robots niet.
• Vergelijking: Stel je voor dat een mens een slachtoffer ziet als een engel met een klein vlekje op de vleugel. De AI ziet het slachtoffer als een engel met een stralende aureool, en het vlekje maakt voor hen niets uit.

B. De "Prestige-Bril" (Halo-effect)

De Menselijke Fout: Mensen zijn vaak strenger voor iemand met een simpele baan (zoals een receptionist) en zachter voor iemand met een prestigieuze baan (zoals een arts of een werknemer van een groot bedrijf als Goldman Sachs). Ook geloven mensen meer in getuigen van topuniversiteiten (zoals Yale) dan van gewone scholen.
Wat deed de AI?
Hier waren de robots beter dan mensen. Ze lieten zich minder beïnvloeden door de "glitter" van de naam of het bedrijf.

• Het resultaat: Als een rijk bedrijf een fout maakte, eisten de robots minder zware boetes dan mensen zouden doen. Als een arts iets verkeerd deed, waren ze niet zo zachter dan voor een receptionist.
• Uitzondering: Bij de "diploma's" (Yale vs. Ohio State) waren de robots bijna volledig immuniteit voor dit vooroordeel. Mensen geven een diploma van Yale veel meer gewicht; de robots vonden het nauwelijks uit.
• Vergelijking: Mensen kijken door een roze bril naar rijke mensen en een grijze bril naar arme mensen. De AI kijkt door een heldere, neutrale bril.

3. Het Grote Probleem: De "Willekeurige Robot"

Hoewel de AI soms eerlijker was, was er een groot probleem: onvoorspelbaarheid.

• De Vergelijking: Stel je voor dat je een dobbelsteen gooit. Soms komt er een 6, soms een 1. Als je die dobbelsteen 10 keer gooit, zou je een gemiddelde moeten krijgen. Maar deze AI-robots deden soms iets heel anders bij elke poging.
  • Soms gaf een robot een boete van $20 miljoen, en bij de volgende poging (met exact hetzelfde verhaal) gaf hij $300 miljoen.
  • Soms weigerde de robot gewoon om te antwoorden (bijvoorbeeld bij zware misdrijven), terwijl hij bij een ander verhaal wel antwoordde.
• De Conclusie: Je kunt geen robot gebruiken om een levensbelangrijke beslissing te nemen als die robot soms "dwaalt" of "verandert van mening" zonder reden. Het is alsof je een kompas gebruikt dat soms naar het noorden wijst en soms naar de maan.

Samenvatting in één zin

Deze AI-robots zijn minder bevooroordeeld door status en beroep dan mensen (ze zien de "glitter" niet), maar ze zijn te gevoelig voor het idee van een slachtoffer en ze zijn te willekeurig in hun antwoorden om nu al als echte rechter te worden gebruikt.

De les voor de toekomst: AI kan een nuttige hulpmiddel zijn om te checken of een menselijke rechter misschien te bevooroordeeld is, maar we moeten de robot nog niet de sleutel van de rechtbank geven. Hij is eerlijker, maar nog niet betrouwbaar genoeg.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het onderzoekspaper "Assessing Cognitive Biases in LLMs for Judicial Decision Support: Virtuous Victim and Halo Effects" in het Nederlands.

Titel: Evaluatie van Cognitieve Vooroordelen in Grootte Taalmodellen (LLM's) voor Justitiële Beslissingsondersteuning: Het "Deugdzame Slachtoffer"-effect en het Halo-effect

1. Probleemstelling

Justitiële besluitvorming is historisch gezien kwetsbaar voor menselijke cognitieve vooroordelen die de eerlijkheid van vonnissen ondermijnen. Bekende voorbeelden zijn het "hongerige rechter"-effect (beslissingen beïnvloed door maaltijden) en het halo-effect (waarbij irrelevante positieve kenmerken, zoals status of uiterlijk, de beoordeling van schuld beïnvloeden).
Hoewel er pogingen zijn gedaan om impliciete vooroordelen bij rechters te verminderen, zijn deze vaak tijdelijk. Er is groeiende interesse in het gebruik van Kunstmatige Intelligentie (AI) als structurele veiligheidsmaatregel om bias te detecteren of te verminderen. De centrale vraag van dit onderzoek is echter: Repliceren of versterken Large Language Models (LLM's) deze menselijke vooroordelen, of kunnen ze consistentere en minder vooroordeelbelaste beslissingen nemen dan mensen?

Het paper focust specifiek op twee vooroordelen die cruciaal zijn voor justitie:

1. Het "Deugdzame Slachtoffer"-effect (Virtuous Victim Effect - VVE): De neiging om slachtoffers moreel superieur te beoordelen. Dit effect wordt echter vaak verminderd of omgekeerd wanneer er sprake is van "aangrenzend toestemming" (adjacent consent), zoals bij seksuele aanranding waarbij er eerder toestemming was gegeven, wat leidt tot meer schuldgevoel bij het slachtoffer.
2. Het Prestige-gebaseerde Halo-effect: De invloed van statuskenmerken (bedrijfsnaam, beroep, academische credentials) op de beoordeling van schuld en strafmaat.

2. Methodologie

De auteurs hebben een experimenteel ontwerp gebruikt om de bias van LLM's te meten en te vergelijken met menselijke benchmarks uit bestaande psychologische literatuur.

• Geselecteerde Modellen: Vijf representatieve LLM's werden getest:
  • ChatGPT 5 Instant
  • ChatGPT 5 Thinking
  • DeepSeek V3.1
  • Claude Sonnet 4
  • Gemini 2.5 Flash
• Stimulusmateriaal (Vignettes): Er werden zorgvuldig ontworpen scenario's (vignettes) gebruikt, aangepast uit bestaande literatuur om te voorkomen dat modellen hun trainingsdata "herinnerden". Alle details bleven constant, behalve de specifieke manipulatie.
  • VVE Test: Scenario's met minimaal letsel (niet-slachtoffer vs. slachtoffer) en scenario's met ernstig letsel met "aangrenzend toestemming" (consent) vs. zonder toestemming.
  • Halo-effect Test: Drie dimensies:
    1. Bedrijfsprestige: Discriminatiezaak bij een gewone firma vs. een prestigieuze firma (o.a. Goldman Sachs-gebaseerd).
    2. Beroepsprestige: Embezzlement (verduistering) door een arts (hoog prestige) vs. een receptioniste (laag prestige).
    3. Credentials Prestige: Getuigenis van een expert van een Ivy League-universiteit vs. een staatsoniversiteit.
• Evaluatieprocedure:
  • Elke prompt werd 10 keer per model uitgevoerd in aparte chatsessies om cross-run contaminatie te voorkomen.
  • De uitkomsten (morele scores, compensatiebedragen, straftermijnen, kans op doodstraf) werden gemiddeld.
  • Weigeringen (refusals) en niet-numerieke output werden uitgesloten.
  • De resultaten werden vergeleken met menselijke benchmarks uit de literatuur (bijv. hoeveel meer straf mensen opleggen aan hoog-prestige verdachten).

3. Belangrijkste Resultaten

A. Virtuous Victim Effect (VVE)

• Verhoogde Bias: De LLM's vertoonden over het algemeen een sterker VVE dan mensen. Ze beoordeelden slachtoffers significant moreel superieur in vergelijking met niet-slachtoffers (bijv. Gemini 2.5 Flash toonde een stijging van +1,9 punten op een 9-puntsschaal, terwijl mensen +0,5 tonen).
• Geen Straf voor Toestemming: In tegenstelling tot mensen, die slachtoffers met "aangrenzend toestemming" vaak strengere oordelen geven, toonden de modellen geen statistisch significant verschil in morele beoordeling tussen slachtoffers met en zonder toestemming. Ze straften het slachtoffer niet voor de eerdere toestemming.
• Nuance: Modellen zagen scenario's zonder toestemming wel als ernstiger dan die met toestemming, maar de morele "elevatie" van het slachtoffer bleef gelijk.

B. Prestige-gebaseerd Halo-effect

• Bedrijfsprestige: Modellen toonden een halo-effect (hogere compensatie bij prestigieuze bedrijven), maar dit was zwakker dan bij mensen. Mensen eisen vaak 3x meer compensatie; de modellen varieerden tussen 1,5x en 3x, met een gemiddelde reductie in bias van ongeveer 25%.
• Beroepsprestige: De resultaten waren gemengd. DeepSeek V3.1 toonde een menselijke bias (12 maanden langere straf voor artsen), maar andere modellen toonden inconsistente of verwaarloosbare verschillen. Over het algemeen was de bias kleiner dan de menselijke benchmark van 8 maanden.
• Credentials Prestige: Dit toonde de grootste verbetering. De invloed van de academische achtergrond van een getuige op de kans op een doodstraf was zeer gering bij LLM's vergeleken met mensen (menselijke bias: +1,5 punten; modellen: vaak <0,6 punten).

C. Variabiliteit en Betrouwbaarheid

• Er was aanzienlijke variatie tussen de modellen en zelfs binnen de runs van hetzelfde model.
• Gemini 2.5 Flash presteerde het minst consistent met extreme variaties in uitkomsten (bijv. compensatiebedragen die varieerden van $20M tot $325M).
• ChatGPT 5 Instant bleek het meest consistent en het "eerlijkst" van de geteste modellen.
• Claude Sonnet 4 gaf vaak weigeringen (refusals), vooral bij gevoelige onderwerpen zoals seksuele aanranding.

4. Bijdragen en Significatie

• Eerste Systematische Evaluatie: Dit is naar weten het eerste onderzoek dat LLM's systematisch test op VVE en prestige-gebaseerde halo-effecten in een justitiële context.
• Potentieel voor Eerlijkheid: De bevindingen suggereren dat LLM's in staat zijn om bepaalde menselijke vooroordelen (zoals het effect van academische credentials of bedrijfsstatus) te verminderen. Ze zijn minder vatbaar voor het "aangrenzend toestemming"-bias dat slachtoffers vaak benadeelt.
• Risico's voor Implementatie: Ondanks de verbeteringen in sommige domeinen, zijn de resultaten nog niet geschikt voor directe justitiële toepassing. De hoge variabiliteit tussen modellen, de inconsistentie in output, en de versterking van het VVE (wat kan leiden tot een onevenwichtige "pro-slachtoffer" houding) vormen grote risico's voor de rechtszekerheid.
• Aanbevelingen: De auteurs waarschuwen dat een te sterke "pro-slachtoffer" houding van AI ook negatief kan zijn (bijv. door medelijden te vervormen of individuen te reduceren tot één-dimensionale slachtoffers). Verdere onderzoek is nodig naar bias-mitigatiestrategieën en het testen van meer modellen.

Conclusie: LLM's tonen een gemengd profiel: ze verminderen bepaalde status-gebaseerde vooroordelen maar versterken andere morele bias (VVE). Hun huidige variabiliteit maakt ze ongeschikt als autonome rechters, maar ze kunnen potentieel dienen als een "tweede mening" om menselijke bias te detecteren, mits de technische inconsistenties worden opgelost.