Do Judges Behave Like Algorithms?

Stel je een wereld voor waarin elke beslissing wordt genomen door een enorme, onzichtbare rekenmachine. In het wetenschappelijke domein van kunstmatige intelligentie en recht stellen onderzoekers voortdurend de vraag: moeten we computers de grote beslissingen laten nemen, zoals wie naar de gevangenis gaat en wie vrij mag blijven? Om dit te begrijpen, moet je weten over twee manieren van keuzes maken. De eerste is als een strikt recept: "Als je drie strikes hebt, ben je eruit." Het is duidelijk, eerlijk en iedereen krijgt hetzelfde resultum. De tweede is als een chef die een soep proeft: "Het heeft nog wat zout nodig, maar misschien niet als de tomaten te zuur zijn." Dit is flexibel en persoonlijk, maar het hangt af van de stemming en het geheugen van de chef. Decennialang hebben mensen gedebatteerd of rechters het strikte recept of de flexibele proeverij moeten volgen. Nu computers slimmer worden, is het debat verschoven. In plaats van te vragen of we rechters moeten vervangen door robots, stellen wetenschappers een wildere vraag: handelen de rechters al als robots? Als een rechter slechts een verborgen recept volgt, kunnen we dat vinden en repareren. Maar als ze echt de soep proeven op basis van gevoelens die we niet kunnen zien, is dat een veel moeilder probleem op te lossen.

Dit artikel duikt in dat mysterie door in de geesten te kijken van 21 magistraten (rechters) in Harris County, Texas, die beslissen of mensen die beschuldigd worden van kleine misdrijven, vrij mogen komen voor hun proces of vastgehouden moeten worden in de cel. De onderzoekers behandelden deze rechters als 'black boxes' en probeerden hun besluitvormingsproces te reverse-engineeren. Ze vroegen zich af: Kunnen we een eenvoudige, begrijpelijke formule schrijven die voorspelt wat een specifieke rechter zal doen? En als dat kan, gebruiken alle rechters dan dezelfde formule, of heeft elke rechter zijn eigen geheime code?

Het team begon met het opschonen van een enorme dataset van meer dan 22.000 zaken. Eerst moesten ze omgaan met de "glitches". Ze ontdekten dat ongeveer 2% tot 33% van de beslissingen van een rechter niet verklaard kon worden door een logische regel. Toen ze dieper keken, realiseerden ze zich dat dit geen mysterieuze daden van magie of vooroordelen waren; het waren gewoon fouten. Soms werden de computerformulieren verkeerd ingevuld, soms wist de rechter over een misdaad in een ander district die niet in de database stond, of soms hoorden ze een detail in de rechtszaal dat nooit in het schriftelijke verslag terechtkwam. Zodra ze deze "ruisige" gevallen verwijderden, kwam het echte verhaal naar voren.

De onderzoekers ontdekten dat de meeste rechters verrassend genoeg wél als algoritmen handelen. Voor 16 van de 21 rechters kon het team een kleine, eenvoudige beslisboom (een stroomdiagram met slechts een paar stappen) bouen die de beslissing van de rechter met 85% tot 100% nauwkeurigheid voorspelde. Deze formules vertrouwden op een paar duidelijke factoren, zoals de leeftijd van de verdachte, hoeveel openstaande bevelen zij hadden en het specifieke type misdaad waarop zij werden beschuldigd. Het blijkt dat voor veel rechters het "proeven van de soep" eigenlijk het volgen van een zeer specifiek, herhaalbaar recept is.

Hier zit echter de wending: hoewel de rechters als algoritmen handelen, gebruiken ze allemaal verschillende algoritmen. De studie vond dat rechters zeer consistent zijn met zichzelf — wat betekent dat Rechter A meestal 76% van de tijd dezelfde keuze maakt voor soortgelijke zaken. Maar ze zijn vreselijk in het consistent zijn met elkaar. Wanneer de onderzoekers de "receptuur" van Rechter A probeerden te gebruiken om te voorspellen wat Rechter B zou doen, faalde dat jammerlijk en presteerde het niet beter dan willekeurig gokken. Sterker nog, voor sommige paren rechters waren ze het bijna over elke zaak waarbij jongeren (onder de 24) betrokken waren, oneens. De ene rechter ziet een jongere met een bevel en zegt "laat hen vrij," terwijl een andere precies hetzelfde profiel ziet en zegt "houd hen vast."

Het artikel keek ook naar welke variabelen ertoe deden. Hoewel leeftijd en het aantal bevelen belangrijk waren voor bijna iedereen, varieerde het gewicht dat zij aan andere factoren toekenden enorm. Sommige rechters gaven veel om het feit of een verdachte dakloos was of hun geslacht, terwijl anderen die factoren volledig negeerden. Dit suggereert dat de uitkomst van een borgzitting sterk afhangt van welke rechter je krijgt, en niet alleen van de feiten van je zaak.

Uiteindelijk suggereren de auteurs dat we niet moeten proberen rechters te vervangen door computers. In plaats daarvan moeten we deze bevindingen gebruiken om de "verborgen recepten" die rechters al gebruiken te begrijpen. Als we kunnen zien dat Rechter X jongeren altijd anders behandelt dan Rechter Y, of dat de beslissing van een rechter verandert op basis van een ontbrekend stukje data, kunnen we die inconsistenties oplossen. Door deze onzichtbare regels zichtbaar te maken, kunnen we het rechtssysteem rechtvaardiger en voorspelbaarder maken, zodat het "recept" voor iedereen hetzelfde is, ongeacht wie er aan het koken is.