Before Prediction Becomes Punishment: Governing AI in Bangladesh's Criminal Justice System

コンピュータープログラムが、誰を逮捕するか、裁判前に誰を勾留するか、そして誰にどの程度の刑期を科すかを決定するのを手助けする世界を想像してみてください。これはサイエンス・フィクションではありません。バングラデシュを含む多くの場所で、現在進行中の刑事司法の現実です。これらのシステムの背後にある核心的な概念は、「予測型ポリシング（予測警察）」または「リスク・スコアリング」です。警察官や裁判官が自身の記憶や単一のファイルだけに頼るのではなく、過去の逮捕歴、居住地、年齢、あるいは家族構成といった膨大なデータをスキャンするソフトウェアを使用し、誰が将来犯罪を犯す可能性があるか、あるいは釈放された場合に逃亡する可能性が高いかを推測するのです。その約束は効率性です。悪質な行為者をより速く捕まえ、すべての人を平等に扱うことです。しかし、その危険性も同様に現実的です。もしコンピューターが、特定の貧困地域ばかりをパトロールしてきた警察組織のような過去の過ちから学習したならば、それは警察に対し、同じ地域を再びパトロールするように指示することになります。その結果、貧しい人々がより多く罰せられるというループが生じます。それは彼らがより悪質だからではなく、単により厳重に監視されていたからに過ぎません。今日、諸国が直面している問いは、これらのツールを使うべきかどうかではなく、歴史的な不公平を自動化された処罰へと変えてしまうことなく、いかにしてそれらを使うかということです。

ノートルデーム大学バングラデシュ校の研究者であるシャンジダ・イスラト・ジャハン・エファト氏は、自身の母国におけるまさにこの瞬間について考察しています。バングラデシュは現在、このようなシステムのデジタルな基盤を構築しています。政府は、個人の指紋をスキャンして、身元、パスポート、および犯罪歴を即座に呼び出すことができる携帯型デバイスを導入しました。新しい法律により、デジタル記録を法廷での証拠として使用することが認められ、2026年から2030年まで人工知能をどのように使用すべきかを導くための国家政策の草案が準備されています。しかし、この国には、コンピューターによる推測が、個人の自由を奪うことを正当化するのに十分な強さを持つのはいつなのかという明確なルールがまだ存在しません。エファト氏の研究は、近代的に見えるが実際には古い不平等を深化させてしまうような技術を採用するという、決定的な過ちを犯さないためのロードマップです。

論文はまず、警察のパトロール計画の段階から囚人の釈放の日まで、コンピューター・システムが司法プロセスにどのように入り込み得るかを正確にマッピングすることから始まります。研究者は、事態が悪化し得る7つの主要な段階を特定しています。例えば、警察がどこで犯罪が発生するかを予測するためにソフトウェアを使用する場合、システムは単に、すでに厳重に警備されている地域にさらに多くの警官を送り込むことになるかもしれません。これは、より多くの警官がより多くの軽犯罪を見つけ出し、それをコンピューターがその地域が危険であることの証拠として利用し、さらなる警官の投入を正当化するという循環を生み出します。これは犯罪に関する中立的な観察ではなく、自己成就的な予言です。同様に、顔認識や指紋を通じて容疑者を特定するためにソフトウェアが使用される場合、システムにおけるミスは誤認逮捕につながる可能性があります。論文は、これらのシステムが特定のグループ、例えば肌の色が濃い女性や宗教的な服装をしている人々に対して精度に苦戦することが多く、それがすでに脆弱な立場にある人々にとってエラーの高い確率をもたらすと指摘しています。

エファト氏は、バングラデシュの現在の法律ではこれらの問題を阻止するには不十分であると主張しています。個人のデータ保護に関する新しい規則は存在するものの、それらの規則には、警察が犯罪捜査を名目にプライバシー保護を回避することを許してしまう大きな抜け穴があります。法律はデータ自体は保護しますが、裁判官が誰かを勾留するかどうかを判断する際に、コンピューターの予測をどのように扱うべきかについては説明していません。研究者は、単に人間が「ループ内（in the loop）」にいること、つまり、意思決定の前に人間がコンピューターの回答を確認しているという事実だけでは不十分であると指摘しています。もし裁判官や警察官が機械を信頼するように圧力を感じたり、あるいは機械がどのようにしてその結論に至ったのかを理解していなかったりする場合、彼らの存在は問題を解決しません。限界を理解せずにスコアに署名するだけの人間は、真の監視を提供しているのではなく、単なる「ゴム印（形だけの承認）」に過ぎないのです。

これを解決するために、論文は、個人の自由に関する決定を下す前に、あらゆる新しいシステムが通過しなければならない厳格な5段階のテスト、すなわち「5つの門（five gates）」を提案しています。第一の門は、明確な法律を求めるものです。政府は、コンピューターが何をすることを許可されているのか、誰がそれを使用できるのか、そしてどのようなデータを見ることができるのかを明記した具体的な成文規則を持たなければなりません。「犯罪と戦う」という一般的な願望だけでは、大量監視を正当化するには不十分です。第二の門は、必要性の証明を要求します。当局は、より単純で侵襲性の低い方法では解決できない現実の問題を抱えていること、そして新しいシステムの利益がリスクに見合うものであることを示さなければなりません。

第三の門は、おそらく最も重要なものです。それは「ローカルな妥当性（local validity）」です。ある国、あるいは一つの都市でうまく機能するシステムが、別の場所では完全に失敗することもあります。論文は、バングラデシュで使用されるいかなるツールも、実際のバングラデシュの人々に対して、現地の条件、現地の言語、そして現地のデータを用いてテストされなければならないと主張しています。海外からシステムを購入して、それがそのまま機能すると想定することはできません。第四の門は、公平性に焦点を当てています。システムは、貧困層、女性、あるいは少数民族といった特定のグループに対して、より多くの間違いを犯していないかを検証されなければなりません。もしコンピューターが特定のグループを誤って告発する可能性が高いのであれば、それは使用できません。最後の門は、異議を申し立てる権利についてです。もしコンピューターの出力が逮捕や判決に使用された場合、その人物にはどのように決定が下されたのかを伝え、データを確認する機会を与え、人間に対して結果の再検討を求めることを許可しなければなりません。もしシステムが誰も疑問を呈することのできない秘密の「ブラックボックス」であるならば、それはこの門を通過できません。

研究者は、起こってはならないことについても明確に述べています。論文は、個人の性格や背景のみに基づいて、その人の将来の行動を予測するためにコンピューターを使用することに反対しています。また、強力で独立した人間によるレビューなしに、逮捕、拘禁、または量刑に関する最終決定を下すためにこれらのツールを使用することにも反対しています。論文は、人工知能が司法において役割を持たないと主張しているわけではありません。実際には、行方不明者の捜索、詐欺の検知、あるいは無実を証明する文書を見つけるための膨大な証拠の整理といった、非強制的なタスクにおいて、これらのツールは非常に有用であると示唆しています。目標は、テクノロジーを、正義の判断を代替させるためではなく、システムをより良く機能させるために活用することです。

論文は、バングラデシュが進むべき実践的な計画で締めくくられています。政府はまず、すでに保有している、あるいは購入を計画しているすべてのシステムの目録を作成すべきであると提案しています。次に、5つの門に違反するテクノロジーの使用を凍結すべきです。それから、警察や裁判所で使用されているすべてのアルゴリズムの公開リストを作成し、市民が何が使用されているのかを知ることができるようにすべきです。最後に、これらのツールを監視し、もし害を及ぼし始めた場合にはそれを停止させるための、裁判官、弁護士、およびコミュニティの代表者を含む独立した専門家グループを設立する必要があります。メッセージは、慎重な楽観主義です。バングラデシュは、近代的ながらも公正な司法制度を構築するチャンスがありますが、それはテクノロジーが定着して変えることができなくなる前に、明確なルールを確立した場合に限られます。刑事司法の未来は、非効率な制度か、あるいは自動化された不当性の間の選択肢であるべきではありません。テクノロジーが法を代替するのではなく、法に従うという第三の道が存在するのです。