Before Prediction Becomes Punishment: Governing AI in Bangladesh's Criminal Justice System

Imaginez un monde où un programme informatique aide à décider qui doit être arrêté, qui doit rester en prison avant son procès et quelle durée de peine une personne doit purger. Ce n'est pas de la science-fiction ; c'est la réalité émergente de la justice pénale dans de nombreux endroits, y compris au Bangladesh. L'idée centrale derrière ces systèmes est le « maintien de l'ordre prédictif » ou la « notation du risque ». Au lieu qu'un officier de police ou un juge s'appuie uniquement sur sa mémoire ou sur un dossier unique, ils utilisent un logiciel qui analyse de vastes quantités de données — arrestations passées, lieux de résidence, âge ou antécédents familiaux — pour deviner qui pourrait commettre un crime à l'avenir ou qui est susceptible de prendre la fuite si elle est libérée. La promesse est l'efficacité : attraper les acteurs malveillants plus rapidement et traiter tout le monde de la même manière. Mais le danger est tout aussi réel. Si l'ordinateur apprend des erreurs passées, comme une force de police qui n'aurait patrouillé que dans les quartiers pauvres, il dira simplement à la police de patrouiller à nouveau dans ces mêmes quartiers, créant une boucle où les pauvres sont punis plus souvent, non pas parce qu'ils sont pires, mais parce qu'ils ont été surveillés de plus près. La question à laquelle les nations sont confrontées aujourd'hui n'est pas de savoir s'il faut utiliser ces outils, mais comment les utiliser sans transformer l'injustice historique en une punition automatisée.

Une chercheuse nommée Shanjida Israt Jahan Efat, écrivant de l'Université Notre Dame du Bangladesh, a examiné ce moment précis pour son pays. Le Bangladesh construit actuellement le fondement numérique d'un tel système. Le gouvernement a introduit des dispositifs portables capables de scanner l'empreinte digitale d'une personne et de récupérer instantanément son identité, son passeport et ses antécédents criminels. De nouvelles lois permettent désormais d'utiliser des dossiers numériques comme preuves devant les tribunaux, et une ébauche de politique nationale est en préparation pour guider l'utilisation de l'intelligence artificielle de 2026 à 2130. Cependant, le pays ne dispose pas encore de règles claires sur le moment où la supposition d'un ordinateur est assez solide pour justifier la privation de liberté d'une personne. Le travail d'Efat est une feuille de route conçue pour empêcher le pays de commettre une erreur critique : adopter une technologie qui semble moderne mais qui approfondit en réalité les inégalités anciennes.

Le document commence par cartographier exactement là où ces systèmes informatiques pourraient entrer dans le processus de justice, du moment où la police planifie ses patrouilles jusqu'au jour de la libération d'un prisonnier. La chercheuse identifie sept étapes clés où les choses pourraient mal tourner. Par exemple, lorsque la police utilise un logiciel pour prédire où les crimes pourraient se produire, le système pourrait simplement envoyer plus d'agents dans des zones qui sont déjà lourdement policières. Cela crée un cycle où davantage d'agents trouvent davantage d'infractions mineures, que l'ordinateur utilise ensuite comme preuve que la zone est dangereuse, justifiant ainsi encore plus d'agents. Ce n'est pas une observation neutre du crime ; c'est une prophétie auto-réalisatrice. De même, lorsque des logiciels sont utilisés pour identifier des suspects via la reconnaissance faciale ou les empreintes digitales, une erreur du système peut conduire à une arrestation injustifiée. Le document note que ces systèmes éprouvent souvent des difficultés d'exactitude pour certains groupes spécifiques, tels que les femmes à la peau foncée ou les personnes portant des vêtements religieux, entraînant une probabilité d'erreur plus élevée pour ceux qui sont déjà vulnérables.

Efat soutient que les lois actuelles au Bangladesh ne suffisent pas à arrêter ces problèmes. Bien qu'il existe de nouvelles règles sur la protection des données personnelles, ces règles comportent une grande faille qui permet à la police de contourner les protections de la vie privée lorsqu'elle prétend enquêter sur un crime. La loi protège les données elles-mêmes, mais elle n'explique pas comment un juge doit traiter la prédiction d'un ordinateur lorsqu'il décide de maintenir quelqu'un en détention. La chercheuse souligne que le simple fait d'avoir un humain « dans la boucle » — signifiant qu'un humain examine la réponse de l'ordinateur avant de prendre une décision — ne suffit pas. Si un juge ou un officier de police se sent pressé de faire confiance à la machine, ou s'il ne comprend pas comment la machine est parvenue à sa conclusion, sa présence ne règle pas le problème. Un humain qui se contente de valider un score sans en comprendre les limites ne fournit pas une véritable surveillance ; il n'est qu'un tampon administratif.

Pour résoudre cela, le document propose un test strict en cinq étapes, ou « cinq portes », que tout nouveau système doit franchir avant de pouvoir prendre des décisions concernant la liberté des individus. La première porte exige une loi claire. Le gouvernement doit avoir une règle écrite spécifique qui stipule exactement ce que l'ordinateur est autorisé à faire, qui peut l'utiliser et quelles données il peut consulter. Un désir général de « lutter contre le crime » ne suffit pas à justifier une surveillance de masse. La deuxième porte exige une preuve de nécessité. Les autorités doivent démontrer qu'elles font face à un problème réel qui ne peut être résolu par des méthodes plus simples et moins intrusives, et que les bénéfices du nouveau système valent les risques.

La troisième porte est peut-être la plus critique : la validité locale. Un système qui fonctionne bien dans un pays, ou même dans une ville, peut échouer complètement dans un autre. Le document insiste sur le fait que tout outil utilisé au Bangladesh doit être testé sur de vrais Bangladais, dans des conditions locales, avec des langues locales et des données locales. On ne peut pas simplement acheter un système à l'étranger et supposer qu'il fonctionnera. La quatrième porte se concentre sur l'équité. Le système doit être vérifié pour voir s'il commet plus d'erreurs pour certains groupes de personnes, tels que les pauvres, les femmes ou les minorités ethniques. Si l'ordinateur est plus susceptible d'accuser faussement un groupe spécifique, il ne peut pas être utilisé. La dernière porte concerne le droit de contestation. Si le résultat d'un ordinateur est utilisé pour arrêter ou condamner quelqu'un, cette personne doit être informée de la manière dont la décision a été prise, avoir la possibilité de consulter les données et être autorisée à demander à un humain de réviser le résultat. Si le système est une « boîte noire » secrète que personne ne peut remettre en question, il échoue à cette porte.

La chercheuse est claire sur ce qui ne devrait pas arriver. Le document s'oppose à l'utilisation d'ordinateurs pour prédire le comportement futur d'une personne sur la seule base de sa personnalité ou de son origine. Il s'oppose également à l'utilisation de ces outils pour prendre la décision finale sur l'arrestation, la détention ou la condamnation sans un examen humain fort et indépendant. Le document ne prétend pas que l'intelligence artificielle n'a pas sa place dans la justice. En fait, il suggère que ces outils pourraient être très utiles pour des tâches non coercitives, telles que la recherche de personnes disparues, la détection de fraudes ou l'organisation de vastes piles de preuves pour trouver des documents prouvant l'innocence de quelqu'un. L'objectif est d'utiliser la technologie pour aider le système à mieux fonctionner, et non de laisser la technologie prendre le contrôle du jugement du bien et du mal.

Le document conclut par un plan pratique pour que le Bangladesh avance. Il suggère que le gouvernement procède d'abord à un inventaire de tous les systèmes qu'il possède déjà ou qu'il prévoit d'acheter. Il doit geler toute utilisation de technologie qui viole les cinq portes. Ensuite, il doit créer une liste publique de tous les algorithmes utilisés par la police et les tribunaux, afin que les citoyens sachent ce qui est utilisé. Enfin, il doit mettre en place un groupe indépendant d'experts — comprenant des juges, des avocats et des représentants communautaires — pour superviser ces outils et les arrêter s'ils commencent à causer des dommages. Le message est celui d'un optimisme prudent. Le Bangladesh a la possibilité de construire un système de justice qui soit à la fois moderne et équitable, mais seulement s'il met en place des règles claires avant que la technologie ne devienne trop ancrée pour être modifiée. L'avenir de la justice pénale ne doit pas être un choix entre des institutions inefficaces et une injustice automatisée ; il existe une troisième voie où la technologie sert la loi, plutôt que de la remplacer.