Before Prediction Becomes Punishment: Governing AI in Bangladesh's Criminal Justice System

Stel je een wereld voor waarin een computerprogramma helpt beslissen wie wordt gearresteerd, wie in afwachting van zijn proces in de gevangenis blijft en hoe lang iemand een straf uitzit. Dit is geen sciencefiction; het is de opkomende realiteit van de strafrechtspleging in veel plaatsen, waaronder Bangladesh. Het kernidee achter deze systemen is "predictive policing" (voorspellend politiewerk) of "risicoscoring". In plaats van dat een politieagent of rechter uitsluitend vertrouwt op zijn geheugen of één dossier, gebruiken zij software die enorme hoeveelheden data scant—eerdere arrestaties, waar mensen wonen, leeftijd of familiegeschiedenis—om te raden wie in de toekomst een misdaad zou kunnen plegen of wie waarschijnlijk zal vluchten als hij wordt vrijgelaten. De belofte is efficiëntie: slechte actoren sneller vangen en iedereen gelijk behandelen. Maar het gevaar is even reëel. Als de computer leert van fouten uit het verleden, zoals een politiekorps dat alleen arme wijken controleerde, zal het de politie simpelweg vertellen om diezelfde wijken opnieuw te patrouilleren, waardoor een lus ontstaat waarin de armen vaker worden gestraft, niet omdat ze slechter zijn, maar omdat ze nauwer in de gaten werden gehouden. De vraag waar landen vandaag de dag voor staan, is niet of ze deze instrumenten moeten gebruiken, maar hoe ze ze kunnen gebruiken zonder historische onrechtvaardigheid te veranderen in geautomatiseerde bestraffing.

Een onderzoeker genaamd Shanjida Israt Jahan Efat, schrijvend vanuit Notre Dame University Bangladesh, heeft dit exacte moment voor haar land onderzocht. Bangladesh bouwt momenteel de digitale fundering voor een dergelijk systeem. De overheid heeft draagbare apparaten geïntroduceerd die de vingerafdruk van een persoon kunnen scannen en direct hun identiteit, paspoort en strafblad kunnen ophalen. Nieuwe wetten staan nu toe dat digitale records als bewijs in de rechtszaal worden gebruikt, en een concept voor een nationaal beleid wordt voorbereid om te sturen op hoe kunstmatige intelligentie moet worden gebruikt van 2026 tot 2030. Het land heeft echter nog geen duidelijke regels over wanneer de gok van een computer sterk genoeg is om iemands vrijheid af te nemen. Het werk van Efat is een routekaart die bedoeld is om te voorkomen dat het land een cruciale fout maakt: het adopteren van technologie die er modern uitziet, maar eigenlijk oude ongelijkheden verdiept.

Het artikel begint met het in kaart brengen van precies waar deze computersystemen in het rechtsproces kunnen ingrijpen, van het moment dat de politie haar patrouilles plant tot de dag dat een gevangene wordt vrijgelaten. De onderzoeker identificeert zeven cruciale stadia waar het mis kan gaan. Wanneer de politie bijvoorbeeld software gebruikt om te voorspellen waar misdaden zouden kunnen plaatsvinden, kan het systeem simpelweg meer agenten naar gebieden sturen die al zwaar gesurveilleerd worden. Dit creëert een cyclus waarbij meer agenten meer kleine vergrijpen vinden, wat de computer vervolgens gebruikt als bewijs dat het gebied gevaarlijk is, wat weer meer agenten rechtvaardigt. Dit is geen neutrale observatie van criminaliteit; het is een zelfvervullende voorspelling. Op dezelfde manier, wanneer software wordt gebruikt om verdachten te identificeren via gezichtsherkenning of vingerafdrukken, kan een fout in het systeem leiden tot een valse arrestatie. Het artikel merkt op dat deze systemen vaak moeite hebben met nauwkeurigheid voor specifieke groepen, zoals vrouwen met een donkere huidskleur of mensen die religieuze kleding dragen, wat leidt tot een hogere kans op fouten voor diegenen die al kwetsbaar zijn.

Efat betoogt dat de huidige wetgeving in Bangladesh niet voldoende is om deze problemen te stoppen. Hoewel er nieuwe regels zijn over de bescherming van persoonsgegevens, bevatten die regels een grote juridische mazen waardoor de politie de privacybescherming kan omzeilen wanneer zij beweren een misdaad te onderzoeken. De wet beschermt de data zelf, maar legt niet uit hoe een rechter een voorspelling van een computer moet behandelen bij de beslissing of iemand in de gevangenis moet blijven. De onderzoeker wijst erop dat het simpelweg hebben van een mens "in de loop"—wat betekent dat een mens naar het antwoord van de computer kijkt voordat er een beslissing wordt genomen—niet genoeg is. Als een rechter of politieagent druk voelt om de machine te vertrouwen, of als zij niet begrijpen hoe de machine tot haar conclusie is gekomen, lost hun aanwezigheid het probleem niet op. Een mens die simpelweg een score aftekent zonder de beperkingen ervan te begrijpen, biedt geen echt toezicht; die is slechts een rubberen stempel.

Om dit op te lossen, stelt het artikel een strikte vijfstaps-test voor, of "vijf poorten", waar elk nieuw systeem doorheen moet gaan voordat het beslissingen mag nemen over de vrijheid van mensen. De eerste poort vraagt om een duidelijke wet. De overheid moet een specifieke geschreven regel hebben die precies zegt wat de computer mag doen, wie het mag gebruiken en welke data het kan inzien. Een algemene wens om "criminaliteit te bestrijden" is niet genoeg om massale surveillance te rechtvaardigen. De tweede poort eist bewijs van noodzakelijkheid. De autoriteiten moeten aantonen dat zij een echt probleem hebben dat niet kan worden opgelost met eenvoudigere, minder ingrijpende methoden, en dat de voordelen van het nieuwe systeem de risico's waard zijn.

De derde poort is misschien wel de meest kritieke: lokale validiteit. Een systeem dat goed werkt in één land, of zelfs in één stad, kan volledig falen in een ander land. Het artikel stelt dat elk instrument dat in Bangladesh wordt gebruikt, getest moet worden op echte Bangladeshi mensen, onder lokale omstandigheden, met lokale talen en lokale data. Je kunt niet simpelweg een systeem uit het buitenland kopen en ervan uitgaan dat het zal werken. De vierde poort richt zich op eerlijkheid. Het systeem moet worden gecontroleerd om te zien of het meer fouten maakt bij bepaalde groepen mensen, zoals de armen, vrouwen of etnische minderheden. Als de computer eerder geneigd is specifieke groepen onterecht te beschuldigen, kan het niet worden gebruikt. De laatste poort gaat over het recht op bezwaar. Als de output van een computer wordt gebruikt om iemand te arresteren of te veroordelen, moet die persoon te horen krijgen hoe de beslissing tot stand is gekomen, de kans krijgen om de data in te zien, en de mogelijkheid krijgen om een mens om een herziening van het resultaat te vragen. Als het systeem een geheime "black box" is die niemand kan aanvechten, faalt het deze poort.

De onderzoeker is duidelijk over wat niet mag gebeuren. Het artikel pleit tegen het gebruik van computers om het toekomstige gedrag van een persoon te voorspellen op basis van enkel hun persoonlijkheid of achtergrond. Het pleit ook tegen het gebruik van deze instrumenten om de definitieve beslissing over arrestatie, detentie of strafmaat te nemen zonder een sterke, onafhankelijke menselijke beoordeling. Het artikel beweert niet dat kunstmatige intelligentie geen plaats heeft in de rechtspraak. Sterker nog, het suggereert dat deze instrumenten zeer nuttig kunnen zijn voor niet-dwangmatige taken, zoals het opsporen van vermiste personen, het detecteren van fraude, of het organiseren van enorme stapels bewijsmateriaal om documenten te vinden die bewijzen dat iemand onschuldig is. Het doel is om technologie te gebruiken om het systeem beter te laten werken, niet om de technologie de controle te laten overnemen over het oordeel over goed en kwaad.

Het artikel concludeert met een praktisch plan voor Bangladesh om vooruit te gaan. Het suggereert dat de overheid eerst een inventarisatie moet maken van alle systemen die ze al hebben of van plan zijn aan te schaffen. Ze moeten het gebruik van technologie die de vijf poorten schendt, bevriezen. Vervolgens moeten ze een openbare lijst maken van alle algoritmen die door de politie en rechtbanken worden gebruikt, zodat burgers weten wat er wordt gebruikt. Ten slotte moeten ze een onafhankelijke groep experts oprichten—inclusief rechters, advocaten en vertegenwoordigers van de gemeenschap—om deze instrumenten te houden en te stoppen als ze schade beginnen aan te richten. De boodschap is er een van behoedzame optimisme. Bangladesh heeft de kans om een rechtssysteem op te bouwen dat zowel modern als eerlijk is, maar alleen als het duidelijke regels vastlegt voordat de technologie te diep geworteld is om nog te veranderen. De toekomst van de strafrechtspleging moet geen keuze zijn tussen inefficiënte instituten en geautomatiseerd onrecht; er is een derde pad waarbij technologie de wet dient, in plaats van deze te vervangen.