Before Prediction Becomes Punishment: Governing AI in Bangladesh's Criminal Justice System

想象一个这样的世界：一个计算机程序在帮助决定谁会被逮捕、谁在审判前应被羁押，以及谁该服刑多久。这并非科幻小说；这是包括孟加拉国在内的许多地方正在显现的刑事司法现实。这些系统的核心理念是“预测性警务”或“风险评分”。警察或法官不再仅仅依靠记忆或单一卷宗，而是使用软件扫描海量数据——过往逮捕记录、居住地、年龄或家庭背景——来猜测谁可能在未来犯罪，或者谁在释放后可能潜逃。其承诺是效率：更快地抓捕坏人并公平对待每个人。但危险同样真实。如果计算机学习了过去的错误，例如一支只在贫困社区巡逻的警队，它只会简单地告诉警察再次巡逻这些社区，从而创造一个循环：穷人受到惩罚的次数更多，不是因为他们更坏，而是因为他们被观察得更严密。当今各国面临的问题不是是否使用这些工具，而是如何使用它们，而不至于将历史性的不公转化为自动化的惩罚。

来自孟加拉国圣母大学的研究员尚吉达·伊斯拉特·贾汉·埃法特（Shanjida Israt Jahan Efat）针对她的国家正处于的这一时刻进行了研究。孟加拉国目前正在为这样一个系统构建数字基础。政府已经引入了可以扫描个人指纹并即时调取其身份、护照和犯罪记录的便携式设备。新法律现在允许将数字记录作为法庭证据。此外，一份国家政策草案正在制定中，旨在指导 2026 年至 2030 年间人工智能的使用。然而，该国目前还没有明确的规则来规定，计算机的猜测在何时足以构成剥夺一个人自由的正当理由。埃法特的著作是一份路线图，旨在防止该国犯下一个关键错误：采用看起来很现代、实则加深了旧有不平等的技术。

论文首先详细描绘了这些计算机系统可能进入司法程序的各个环节，从警察规划巡逻的那一刻到囚犯获释之日。研究员识别出了可能出现问题的七个关键阶段。例如，当警察使用软件预测犯罪可能发生的位置时，系统可能会仅仅将更多警力派往那些已经被严密管制的区域。这创造了一个循环：更多的警员发现了更多的轻微违法行为，计算机随后将此作为该地区危险的证据，从而证明部署更多警员是合理的。这不是对犯罪的中立观察，而是一个自我实现的预言。同样，当软件通过面部识别或指纹识别嫌疑人时，系统的失误可能导致错误逮捕。论文指出，这些系统在处理特定群体（如肤色较深的女性或穿着宗教服饰的人）时往往难以保证准确性，导致对那些本已脆弱的群体产生更高的出错率。

埃法特认为，目前的法律不足以阻止这些问题。虽然有关于保护个人数据的相关新规，但这些规则存在一个巨大的漏洞，即当警方声称正在调查犯罪时，可以绕过隐私保护。法律保护的是数据本身，但并未解释法官在决定是否羁押某人时，应如何对待计算机的预测。研究员指出，仅仅拥有“人在回路中”（即在做出决策前由人类查看计算机的答案）是不够的。如果法官或警察感到被迫信任机器，或者他们不理解机器是如何得出结论的，那么他们的存在并不能解决问题。一个在不理解其局限性的情况下仅是签字确认分数的执行者，并不是在提供真正的监督；他们只是一个橡皮图章。

为了解决这个问题，论文提出了一个严格的五步测试，或称“五道门槛”，任何新系统在用于做出涉及个人自由的决策之前都必须通过这些测试。第一道门槛要求明确的法律。政府必须有一项具体的书面规则，明确规定计算机被允许做什么、谁可以使用它以及它可以查看哪些数据。“打击犯罪”这种笼统的愿望不足以证明大规模监控的正当性。第二道门槛要求证明必要性。当局必须证明他们面临着一个无法通过更简单、侵入性更低的方法解决的真实问题，并且新系统带来的收益值得承担其风险。

第三道门槛或许是最关键的：局部有效性。一个在某个国家甚至某个城市运行良好的系统，在另一个地方可能会完全失效。论文强调，任何在孟加拉国使用的工具都必须在真实的孟加拉国人身上、在当地条件下、使用当地语言和当地数据进行测试。你不能简单地从国外购买一套系统就假设它能行得通。第四道门槛关注公平性。必须检查系统是否会对特定群体（如穷人、女性或少数族裔）产生更多错误。如果计算机更有可能错误指控特定群体，则不能使用该系统。最后一道门槛是挑战权。如果计算机的输出结果被用于逮捕或判刑，那么该人必须被告知决策是如何做出的，获得查看数据的机会，并被允许要求人类对结果进行审查。如果系统是一个无人可以质疑的秘密“黑箱”，那么它就未能通过这道门槛。

研究员明确了不应发生的情况。论文反对仅根据一个人的性格或背景来使用计算机预测其未来的行为。它也反对在没有强有力的独立人工审查的情况下，使用这些工具对逮捕、拘留或判刑做出最终决定。论文并不主张人工智能在司法领域没有地位。事实上，它建议这些工具对于非强制性任务是非常有帮助的，例如寻找失踪人员、检测欺诈或整理庞大的证据库以寻找证明某人清白的文档。目标是利用技术让系统运作得更好，而不是让技术接管对是非对错的判断。

论文最后为孟加拉国的推进提出了一个切实可行的计划。它建议政府首先应对现有的或计划购买的所有系统进行清查。他们应该冻结任何违反“五道门槛”的技术使用。然后，他们应该创建一个所有用于警察和法院的算法的公开清单，以便公民了解正在使用什么。最后，他们需要建立一个独立的专家小组——包括法官、律师和社区代表——来监督这些工具，并在它们开始造成伤害时制止它们。其传达的信息是谨慎的乐观。孟加拉国有机会建立一个既现代又公平的司法系统，但前提是必须在技术变得过于根深蒂固、难以改变之前，制定出清晰的规则。刑事司法的未来不应是在低效的体制与自动化的不公之间做选择；存在第三条路径，即技术服务于法律，而非取代法律。