Before Prediction Becomes Punishment: Governing AI in Bangladesh's Criminal Justice System

Imagine un mundo donde un programa informático ayuda a decidir quién es arrestado, quién permanece en la cárcel antes de su juicio y cuánto tiempo cumple una sentencia. Esto no es ciencia ficción; es la realidad emergente de la justicia penal en muchos lugares, incluido Bangladesh. La idea central detrás de estos sistemas es el "patrullaje predictivo" o la "calificación de riesgo". En lugar de que un oficial de policía o un juez dependa únicamente de su memoria o de un solo expediente, utilizan un software que escanea vastas cantidades de datos —arrestos pasados, dónde vive la gente, su edad o su historial familiar— para adivinar quién podría cometer un delito en el futuro o quién tiene probabilidades de fugarse si es liberado. La promesa es la eficiencia: atrapar a los malos actores más rápido y tratar a todos por igual. Pero el peligro es igualmente real. Si la computadora aprende de los errores del pasado, como una fuerza policial que solo patrulló vecindarios pobres, simplemente le dirá a la policía que patrulle esos mismos vecindarios nuevamente, creando un bucle donde los pobres son castigados con más frecuencia, no porque sean peores, sino porque fueron vigilados más de cerca. La pregunta que enfrentan las naciones hoy en día no es si usar estas herramientas, sino cómo usarlas sin convertir la injusticia histórica en un castigo automatizado.

Una investigadora llamada Shanjida Israt Jahan Efat, escribiendo desde la Universidad Notre Dame de Bangladesh, ha examinado este momento exacto para su país. Bangladesh está construyendo actualmente la base digital para tal sistema. El gobierno ha introducido dispositivos portátiles que pueden escanear la huella dactilar de una persona y extraer instantáneamente su identidad, pasaporte e historial criminal. Nuevas leyes ahora permiten que los registros digitales se utilicen como evidencia en los tribunales, y se está preparando una política nacional borrador para guiar cómo se debe utilizar la inteligencia artificial de 2026 a 2030. Sin embargo, el país aún no cuenta con reglas claras sobre cuándo la suposición de una computadora es lo suficientemente sólida como para justificar la privación de la libertad de una persona. El trabajo de Efat es una hoja de ruta diseñada para evitar que el país cometa un error crítico: adoptar tecnología que parece moderna pero que en realidad profundiza las viejas desigualdades.

El artículo comienza mapeando exactamente dónde estos sistemas informáticos podrían entrar en el proceso de justicia, desde el momento en que la policía planifica sus patrullajes hasta el día en que un prisionero es liberado. La investigadora identifica siete etapas clave donde las cosas podrían salir mal. Por ejemplo, cuando la policía utiliza software para predecir dónde podrían ocurrir delitos, el sistema podría simplemente enviar más oficiales a áreas que ya están fuertemente patrulladas. Esto crea un ciclo donde más oficiales encuentran más infracciones menores, que la computadora luego utiliza como prueba de que el área es peligrosa, justificando incluso más oficiales. Esto no es una observación neutral del crimen; es una profecía autocumplida. Del mismo modo, cuando se utiliza software para identificar sospechosos a través del reconocimiento facial o las huellas dactilares, un error en el sistema puede conducir a un arresto falso. El artículo señala que estos sistemas a menudo tienen dificultades con la precisión para grupos específicos, como mujeres de piel oscura o personas que usan vestimentas religiosas, lo que genera una mayor probabilidad de error para aquellos que ya son vulnerables.

Efat argumenta que las leyes actuales en Bangladesh no son suficientes para detener estos problemas. Si bien existen nuevas reglas sobre la protección de datos personales, esas reglas tienen un gran vacío legal que permite a la policía eludir las protecciones de privacidad cuando afirman que están investigando un delito. La ley protege los datos en sí, pero no explica cómo debe un juez tratar la predicción de una computadora al decidir si mantener a alguien en la cárcel. La investigadora señala que tener simplemente un humano "en el bucle" —es decir, que un humano revise la respuesta de la computadora antes de tomar una decisión— no es suficiente. Si un juez o un oficial de policía se siente presionado a confiar en la máquina, o si no entiende cómo la máquina llegó a su conclusión, su presencia no soluciona el problema. Un humano que simplemente firma una calificación sin entender sus límites no está proporcionando una supervisión real; es solo un sello de aprobación.

Para resolver esto, el artículo propone una prueba estricta de cinco pasos, o "cinco puertas", que cualquier nuevo sistema debe pasar antes de poder usarse para tomar decisiones sobre la libertad de las personas. La primera puerta exige una ley clara. El gobierno debe tener una regla escrita específica que diga exactamente qué se le permite hacer a la computadora, quién puede usarla y qué datos puede ver. Un deseo general de "combatir el crimen" no es suficiente para justificar la vigilancia masiva. La segunda puerta exige una prueba de necesidad. Las autoridades deben demostrar que tienen un problema real que no puede resolverse mediante métodos más simples y menos intrusivos, y que los beneficios del nuevo sistema valen los riesgos.

La tercera puerta es quizás la más crítica: la validez local. Un sistema que funciona bien en un país, o incluso en una ciudad, puede fallar completamente en otro. El artículo insiste en que cualquier herramienta utilizada en Bangladesh debe ser probada con personas reales de Bangladesh, en condiciones locales, con idiomas locales y datos locales. No se puede simplemente comprar un sistema en el extranjero y asumir que funcionará. La cuarta puerta se centra en la equidad. El sistema debe ser verificado para ver si comete más errores para ciertos grupos de personas, como los pobres, las mujeres o las minorías étnicas. Si la computadora tiene más probabilidades de acusar falsamente a un grupo específico, no puede ser utilizada. La última puerta trata sobre el derecho a impugnar. Si el resultado de una computadora se utiliza para arrestar o sentenciar a alguien, esa persona debe ser informada de cómo se tomó la decisión, se le debe dar la oportunidad de ver los datos y se le debe permitir pedir a un humano que revise el resultado. Si el sistema es una "caja negra" secreta que nadie puede cuestionar, falla en esta puerta.

La investigadora es clara sobre lo que no debe suceder. El artículo argumenta en contra del uso de computadoras para predecir el comportamiento futuro de una persona basándose únicamente en su personalidad o antecedentes. También argumenta en contra del uso de estas herramientas para tomar la decisión final sobre el arresto, la detención o la sentencia sin una revisión humana fuerte e independiente. El artículo no afirma que la inteligencia artificial no tenga lugar en la justicia. De hecho, sugiere que estas herramientas podrían ser muy útiles para tareas no coercitivas, como encontrar personas desaparecidas, detectar fraude u organizar enormes pilas de evidencia para encontrar documentos que demuestren la inocencia de alguien. El objetivo es usar la tecnología para ayudar a que el sistema funcione mejor, no dejar que la tecnología tome el control del juicio sobre lo que es correcto o incorrecto.

El artículo concluye con un plan práctico para que Bangladesh avance. Sugiere que el gobierno debe primero realizar un inventario de todos los sistemas que ya tienen o que planean comprar. Deben congelar cualquier uso de tecnología que viole las cinco puertas. Luego, deben crear una lista pública de todos los algoritmos utilizados por la policía y los tribunales, para que los ciudadanos sepan qué se está utilizando. Finalmente, necesitan establecer un grupo independiente de expertos —incluyendo jueces, abogados y representantes comunitarios— para supervisar estas herramientas y detenerlas si comienzan a causar daño. El mensaje es de un optimismo cauteloso. Bangladesh tiene la oportunidad de construir un sistema de justicia que sea tanto moderno como justo, pero solo si establece reglas claras antes de que la tecnología se vuelva demasiado arraigada para ser cambiada. El futuro de la justicia penal no debe ser una elección entre instituciones ineficientes y la injusticia automatizada; hay un tercer camino donde la tecnología sirve a la ley, en lugar de reemplazarla.