Do Judges Behave Like Algorithms?

Immaginate un mondo in cui ogni decisione è presa da una gigantesca calcolatrice invisibile. Nel campo della scienza noto come intelligenza artificiale e diritto, i ricercatori si chiedono costantemente: dovremmo lasciare che i computer prendano le grandi decisioni, come chi deve andare in prigione e chi resta libero? Per capire questo, bisogna conoscere due modi di prendere decisioni. Il primo è come una ricetta rigorosa: "Se hai tre ammonimenti, sei fuori". È chiaro, equo e tutti ottengono lo stesso risultato. Il secondo è come uno chef che assaggia una zuppa: "Ha bisogno di un po' più di sale, ma forse non se i pomodori sono troppo acidi". È flessibile e personale, ma dipende dall'umore e dalla memoria dello chef. Per decenni, le persone hanno discusso se i giudici dovrebbero seguire la ricetta rigorosa o l'assaggio flessibile. Ora, con i computer che diventano più intelligenti, il dibattito si è spostato. Invece di chiedere se dovremmo sostituire i giudici con i robot, gli scienziati si stanno ponendo una domanda più folle: i giudici si stanno già comportando come robot? Se un giudice sta solo seguendo una ricetta nascosta, potremmo trovarla e correggerla. Ma se stanno davvero assaggiando la zuppa in base a sensazioni che non possiamo vedere, questo è un problema molto più difficile da risolvere.

Questo articolo si addentra in questo mistero sbirciando nella mente di 21 magistrati (giudici) nella Contea di Harris, in Texas, che decidono se le persone accusate di reati minori debbano essere rilasciate prima del processo o trattenute in custodia cautelare. I ricercatori hanno trattato questi giudici come "scatole nere" e hanno cercato di fare l'ingegneria inversa del loro processo decisionale. Si sono chiesti: possiamo scrivere una formula semplice e comprensibile che predica cosa farà un determinato giudice? E se ci riusciamo, tutti i giudici usano la stessa formula, o ogni giudice ha il proprio codice segreto?

Il team ha iniziato pulendo un enorme set di dati di oltre 22.000 casi. Per prima cosa, hanno dovuto gestire i "guasti". Hanno scoperto che circa il 2% o il 33% delle decisioni di un giudice non poteva essere spiegato da alcuna regola logica. Guardando più da vicino, si sono resi conto che queste non erano azioni misteriose di magia o pregiudizio; erano solo errori. A volte i moduli informatici erano compilati male, a volte il giudice conosceva un crimine commesso in un'altra contea che non era presente nel database, o a volte aveva sentito un dettaglio in aula che non era mai finito nel verbale scritto. Una volta rimossi questi casi "rumorosi", la vera storia è emersa.

I ricercatori hanno scoperto che, sorprendentemente, la maggior parte dei giudici si comporta effettivamente come algoritmi. Per 16 dei 21 giudici, il team è riuscito a costruire un albero decisionale minuscolo e semplice (un diagramma di flusso con solo pochi passaggi) che prevedeva la decisione del giudice con un'accuratezza dell'85% o del 100%. Queste formule si basavano su alcuni fattori chiari, come l'età dell'imputato, quanti mandati di cattura pendenti avesse e il tipo specifico di reato per cui era accusato. Si scopre che, per molti giudici, l' "assaggio della zuppa" è in realtà solo il seguire una ricetta molto specifica e ripetibile.

Tuttove, ecco il colpo di scena: sebbene i giudici si comportino come algoritmi, stanno tutti usando algoritmi diversi. Lo studio ha scoperto che i giudici sono altamente coerenti con se stessi — il che significa che il Giudice A di solito prende la stessa scelta per casi simili il 76% delle volte. Ma sono terribili nell'essere coerenti tra di loro. Quando i ricercatori hanno provato a usare la "ricetta" del Giudice A per predire cosa avrebbe fatto il Giudice B, il tentativo è fallito miseramente, non performando meglio di un caso casuale. Infatti, per alcune coppie di giudici, essi erano in disaccordo su quasi ogni caso che riguardava i giovani (sotto i 24 anni). Un giudice poteva vedere un giovane con un mandato di cattura e dire "rilascialo", mentre un altro vedeva esattamente lo stesso profilo e diceva "trattenetelo".

L'articolo ha anche esaminato quali variabili contassero di più. Mentre l'età e il numero di mandati erano importanti per quasi tutti, il peso che davano ad altri fattori variava enormemente. Alcuni giudici tenevano molto al fatto che l'imputato fosse senzatetto o al suo genere, mentre altri ignoravano totalmente questi fattori. Ciò suggerisce che l'esito di un'udienza sulla cauzione dipende fortemente da quale giudice si incontra, non solo dai fatti del caso.

In definitiva, gli autori suggeriscono che non dovremmo cercare di sostituire i giudici con i computer. Invece, dovremmo usare queste scoperte per comprendere le "ricette nascoste" che i giudici stanno già usando. Se possiamo vedere che il Giudice X tratta i giovani in modo diverso rispetto al Giudice Y, o che la decisione di un giudice cambia in base a un dato mancante, possiamo correggere queste incongruenze. Rendendo visibili queste regole invisibili, possiamo aiutare il sistema giudiziario a diventare più equo e prevedibile, assicurando che la "ricetta" sia la stessa per tutti, indipendentemente da chi stia cucinando.