Before Prediction Becomes Punishment: Governing AI in Bangladesh's Criminal Justice System

Immaginate un mondo in cui un programma informatico aiuta a decidere chi debba essere arrestato, chi debba rimanere in carcere prima del processo e quanto debba scontare una condanna. Questa non è fantascienza; è la realtà emergente della giustizia penale in molti luoghi, incluso il Bangladesh. L'idea centrale alla base di questi sistemi è il "policing predittivo" o la "valutazione del rischio". Invece di un agente di polizia o di un giudice che si affidano esclusivamente alla propria memoria o a un singolo fascicolo, utilizzano un software che scansiona enormi quantità di dati — arresti passati, dove vivono le persone, la loro età o la storia familiare — per indovinare chi potrebbe commettere un crimine in futuro o chi ha probabilità di fuggire se rilasciato. La promessa è l'efficienza: catturare i malintenzionati più velocemente e trattare tutti allo stesso modo. Ma il pericolo è altrettanto reale. Se il computer impara dagli errori passati, come una forza di polizia che pattugliava solo i quartieri poveri, dirà semplicemente alla polizia di pattugliare di nuovo quegli stessi quartieri, creando un ciclo in cui i poveri vengono puniti più spesso, non perché siano peggiori, ma perché venivano controllati più attentamente. La domanda che le nazioni affrontano oggi non è se utilizzare questi strumenti, ma come usarli senza trasformare l'ingiustizia storica in una punizione automatizzata.

Una ricercatrice di nome Shanjida Israt Jahan Efat, scrivendo dalla Notre Dame University Bangladesh, ha esaminato esattamente questo momento per il suo paese. Il Bangladesh sta attualmente costruendo le fondamenta digitali per un tale sistema. Il governo ha introdotto dispositivi portatili in grado di scansionare l'impronta digitale di una persona e recuperare istantaneamente la sua identità, il passaporto e la storia criminale. Nuove leggi consentono ora che i registri digitali siano utilizzati come prove in tribunale, e si sta preparando una bozza di politica nazionale per guidare il modo in cui l'intelligenza artificiale debba essere utilizzata dal 2026 al 2030. Tuttavia, il paese non ha ancora regole chiare su quando l'ipotesi di un computer sia abbastanza forte da giustificare la privazione della libertà di una persona. Il lavoro di Efat è una tabella di marcia progettata per impedire al paese di commettere un errore critico: adottare una tecnologia che appare moderna ma che in realtà approfondisce le vecchie disuguaglianze.

Il saggio inizia mappando esattamente dove questi sistemi informatici potrebbero entrare nel processo giudiziario, dal momento in cui la polizia pianifica i propri pattugliamenti fino al giorno del rilascio di un detenuto. La ricercatrice identifica sette fasi chiave in cui le cose potrebbero andare male. Ad esempio, quando la polizia usa un software per prevedere dove potrebbero verificarsi i crimini, il sistema potrebbe semplicemente inviare più agenti nelle aree che sono già pesantemente pattrollate. Questo crea un ciclo in cui più agenti trovano più reati minori, che il computer poi utilizza come prova che l'area è pericolosa, giustificando l'invio di ancora più agenti. Questa non è un'osservazione neutrale del crimine; è una profezia che si autoavvera. Allo stesso modo, quando il software viene utilizzato per identificare i sospetti attraverso il riconoscimento facciale o le impronte digitali, un errore nel sistema può portare a un arresto errato. Il saggio nota che questi sistemi spesso faticano con l'accuratezza per gruppi specifici, come le donne con la pelle più scura o le persone che indossano abbigliamento religioso, portando a una maggiore probabilità di errore per coloro che sono già vulnerabili.

Efat sostiene che le leggi attuali in Bangladesh non siano sufficienti a fermare questi problemi. Sebbene esistano nuove regole sulla protezione dei dati personali, quelle regole presentano un grande vuoto che permette alla polizia di aggirare le protezioni della privacy quando afferma di stare indagando su un crimine. La legge protegge il dato in sé, ma non spiega come un giudice debba trattare la previsione di un computer quando decide se mantenere qualcuno in carcere. La ricercatrice sottolinea che avere semplicemente un essere umano "nel ciclo" — ovvero un essere umano che guarda la risposta del computer prima di prendere una decisione — non è sufficiente. Se un giudice o un agente di polizia si sente pressato a fidarsi della macchina, o se non capisce come la macchina sia giunta alla sua conclusione, la loro presenza non risolve il problema. Un essere umano che si limita ad approvare un punteggio senza comprenderne i limiti non sta fornendo una vera supervisione; è solo un timbro burocratico.

Per risolvere questo, il saggio propone un test rigoroso in cinque fasi, o "cinque cancelli", che qualsiasi nuovo sistema deve superare prima di poter prendere decisioni riguardanti la libertà delle persone. Il primo cancello richiede una legge chiara. Il governo deve avere una regola scritta specifica che stabilisca esattamente cosa il computer è autorizzato a fare, chi può usarlo e quali dati può vedere. Un desiderio generale di "combattere il crimine" non è sufficiente a giustificare la sorveglianza di massa. Il secondo cancello esige la prova della necessità. Le autorità devono dimostrare di avere un problema reale che non può essere risolto con metodi più semplici e meno intrusivi, e che i benefici del nuovo sistema valgano i rischi.

Il terzo cancello è forse il più critico: la validità locale. Un sistema che funziona bene in un paese, o anche in una città, potrebbe fallire completamente in un altro. Il saggio insiste sul fatto che qualsiasi strumento utilizzato in Bangladesh deve essere testato su veri cittadini bengalesi, in condizioni locali, con lingue locali e dati locali. Non si può semplicemente comprare un sistema dall'estero e presumere che funzioni. Il quarto cancello si concentra sull'equità. Il sistema deve essere controllato per vedere se commette più errori per determinati gruppi di persone, come i poveri, le donne o le minoranze etniche. Se il computer è più propenso a accusare falsamente un gruppo specifico, non può essere utilizzato. L'ultimo cancello riguarda il diritto di contestazione. Se l'output di un computer viene utilizzato per arrestare o condannare qualcuno, quella persona deve essere informata di come è stata presa la decisione, deve avere la possibilità di vedere i dati e deve poter chiedere a un essere umano di riesaminare il risultato. Se il sistema è una "scatola nera" segreta che nessuno può mettere in discussione, fallisce questo cancello.

La ricercatrice è chiara su ciò che non dovrebbe accadere. Il saggio si oppone all'uso di computer per prevedere il comportamento futuro di una persona basandosi esclusivamente sulla sua personalità o sul suo background. Argomenta anche contro l'uso di questi strumenti per prendere la decisione finale su arresto, detenzione o sentenza senza una solida e indipendente revisione umana. Il saggio non afferma che l'intelligenza artificiale non abbia posto nella giustizia. Al contrario, suggerisce che questi strumenti potrebbero essere molto utili per compiti non coercitivi, come trovare persone scomparse, rilevare frodi o organizzare enormi pile di prove per trovare documenti che dimostrino l'innocenza di qualcuno. L'obiettivo è usare la tecnologia per aiutare il sistema a funzionare meglio, non lasciare che la tecnologia prenda il sopravvento sul giudizio di ciò che è giusto o sbagliato.

Il saggio conclude con un piano pratico per il Bangladesh per procedere. Suggerisce che il governo debba prima fare un inventario di tutti i sistemi che già possiede o che sta pianificando di acquistare. Dovrebbero congelare qualsiasi uso di tecnologia che violi i cinque cancelli. Successivamente, dovrebbero creare un elenco pubblico di tutti gli algoritmi utilizzati dalla polizia e dai tribunali, affinché i cittadini sappiano cosa viene utilizzato. Infine, devono istituire un gruppo indipendente di esperti — inclusi giudici, avvocati e rappresentanti della comunità — per supervisionare questi strumenti e fermarli se iniziano a causare danni. Il messaggio è di cauta ottimismo. Il Bangladesh ha la possibilità di costruire un sistema di giustizia che sia moderno ed equo, ma solo se mette in atto regole chiare prima che la tecnologia diventi troppo radicata per essere cambiata. Il futuro della giustizia penale non deve essere una scelta tra istituzioni inefficienti e ingiustizia automatizzata; esiste una terza via in cui la tecnologia serve la legge, invece di sostituirla.