Correcting AI-generated false criminal allegations: a human-rights framework for remedial closure

質問に答えたり物語を語ったりするために設計されたコンピュータプログラムが、突如として犯罪を捏造してしまう世界を想像してみてください。それは日付や名前に関する小さな間違いではなく、特定の生存している人物が自分の子供を殺害し、長期の刑期を務めているという物語をでっち上げることです。これはスリラー小説のワンシーンではなく、現代の人工知能によって引き起こされる現実的な可能性です。このような嘘が画面上に現れるだけでも十分に悪質ですが、危険はそれだけでは止まりません。その虚偽の物語はコンピュータのメモリの中に潜み、内部システムを通じて移動し、仕事やローン、あるいは安全性に関する重要な決定を下すためにコンピュータの回答を利用している他の組織へと送られる可能性があります。これにより、ある人が犯罪を犯したからではなく、機械が作り上げ、それを完全に消去しきれなかったために、犯罪者として扱われるという状況が生じます。専門家が直面している核心的な問いは、単に画面から嘘を削除する方法ではなく、その嘘がデジタルシステム全体に広がるのを真に止めたといつ判断できるのかという点です。

研究チームは、単純な修正を超えて、いつ修正が本当に完了したと言えるのかという明確な基準を設けるという、この問題に対する新しい考え方を開発しました。彼らは、コンピュータに嘘を言うのをやめるよう命じるだけでは不十分だと主張しています。代わりに、彼らは、最初の回答から内部記録、そしてその情報を受け取った人々が行った決定に至るまで、嘘が隠れている可能性のあるあらゆる場所をチェックする段階的なプロセスを提案しています。彼らの研究は、修正が真に完了したのは、責任を負う企業が、嘘が移動しうるすべての到達可能な場所をチェックし、そこにある記録を修正し、その嘘を用いて意思決定を行った可能性のあるすべての人々にそれが誤りであることを伝えたことを証明できた時である、と示唆しています。このアプローチは、この問題を単なる削除すべき一つのエラーとしてではなく、あらゆる箇所で被害をもたらす可能性がある「波紋」として扱っています。

研究者たちは、人工知能システムが複雑なネットワークであるという理解に基づいて、このアイデアを構築しました。コンピュータが虚偽の物語を生成すると、その物語はさまざまな方法で保存されます。会話を記憶するためのテンポラリメモリに保存されることもあれば、コンピュータが質問に答えるために使用する事実のリストから引き出されることもあります。また、デジタル接続を通じて他のコンピュータに送られたり、銀行や採用機関によってその人物が信頼できるかどうかを判断するために利用されたりすることもあります。チームは、このような虚偽情報の拡散を「プロパゲーション（伝播）」と呼んでいます。彼らは、間違いを修正するための既存のルールが、ユーザーに示される最終的な回答のみに焦点を当てがちであることを発見しました。しかし、もし虚偽の物語がコンピュータのメモリ内に残っていたり、その情報を受け取った企業の記録に残っていたりすれば、コンピュータは後で再び同じ嘘を語る可能性があり、あるいはその企業は、その無実の人物を犯罪者として扱い続ける可能性があります。

これを解決するために、研究者たちは問題解決のためのチェックリストとして機能するフレームワークを作成しました。第一のステップは、被害を受けた人物が嘘の内容を明確に述べ、それが虚偽である証拠を提示することです。これが完了した後、責任を負う企業は調査を行わなければなりません。彼らは単に「修正しました」と言うだけでは不十分です。彼らは、どこを調べたのかを正確に示す必要があります。これには、メインの回答、内部メモリ、事実のリスト、および他のシステムとの接続の確認が含まれます。もし企業が、その嘘が仕事の拒否やリスクのフラグ立てといった決定に使用されたことを発見した場合、その決定を再検討または変更できるかどうかを確認しなければなりません。目標は、嘘を単に見えないように隠すことではなく、実害をもたらす場所から取り除くことです。

この新しい基準の鍵となるのは、「合理的な終結（reasonable closure）」という概念です。研究者たちは、世界中のすべてのコンピュータをチェックしたり、百万通りの異なる方法で嘘が二度と現れないことを保証したりすることは不可能であると認めています。その代わりに、彼らは、企業が合理的に到達し、制御できるすべての場所をチェックしたとき、その企業は十分な対応をしたとみなされると提案しています。企業は、どの部分のシステムを修正し、どの部分に到達できなかったのかを示しながら、その作業を文書化しなければなりません。もし特定の部分に到達できなかった場合は、なぜそれが困難または不可能であったのかを説明しなければなりません。この文書化は、自らの義務を果たしたことの証明となります。これは、完璧で不可能な保証から、技術の限界を尊重しつつも被害者の権利を守る、実践的で検証可能な努力へと焦点を移すものです。

研究者たちは、人気のチャットボットによってある人物が恐ろしい罪で不当に告発されたという実世界の例を用いて、彼らのアイデアをテストしました。そのケースにおいて、苦情の内容は単にチャットボットが間違ったことを言ったことだけでなく、その嘘がシステム内に生き残り続ける可能性についてでした。この新しいチェックリストを適用することで、研究者たちは、企業がいかにして単に回答を削除する段階から、より徹底的なプロセスへと移行できるかを示しました。これには、嘘がそこに保存されていないことを確認するために内部メモリをチェックすること、嘘が後に呼び出される形で保存されていないことを検証すること、そして虚偽の情報を受け取った可能性のある組織に連絡することが含まれます。もし組織がその嘘を用いて決定を下していた場合、企業はその組織に対し、決定を再考できるようにエラーの内容を理解させる手助けをする必要があります。

このアプローチはまた、誰が何を責任負うべきかを明確にします。多くの異なる企業が関与している可能性のある複雑なシステムにおいて、研究者たちは、各企業は自身が制御する部分に対して責任を負うと述べています。もしある企業が別の企業に虚偽の物語を送った場合、最初の企業はその物語が虚偽であることを第二の企業に伝えなければなりません。しかし、第一の企業は第二の企業の内部システムを修正する責任までは負いません。各企業は、自らが所有する部分を修正しなければなりません。これにより、グローバルなネットワーク全体に対して一人の責任を問おうとする混乱を防ぎつつ、連鎖の各リンクが嘘の拡散を止めるためにそれぞれの役割を果たすことを確実にします。

研究者たちは、この基準がエラーを永遠に消し去る魔法の杖ではないことに注意を払っています。彼らは、テクノロジーが絶えず変化しており、嘘が広がる新しい方法が現れる可能性があることを認めています。彼らの基準は、嘘が新しい形で再浮上した場合にでもレビューができるよう、柔軟性を持たせて設計されています。また、彼らはこのプロセスが、例えば実際の犯罪を報告したり、公的な出来事について議論したりする自由といった、他者の権利を尊重しなければならないことも強調しています。目標は、虚偽で有害な嘘のみを取り除くことであり、歴史を消し去ったり正当な言論を封じ込めたりすることではありません。検証可能で深刻度の高い、実害を伴う嘘に焦点を当てることで、このフレームワークは、システムが過度に重くなったり制限的になったりすることなく、人々を保護することを目指しています。

結局のところ、この研究は混沌とした問題に秩序をもたらす方法を提示しています。それは、「嘘を削除しましたか？」と問うことから、「その嘘がさらなる害をもたらすのを止めたことを証明できますか？」と問うことへと、議論を移行させます。それは企業が従うべき明確な道筋と、規制当局がチェックするための基準を提供します。約束ではなく行動の証明を求めることで、人工知能によって被害を受けた人々に、より確かな正義への道を与えます。彼らの研究は、機械が間違いを犯すことを常に防ぐことはできなくても、その間違いに対して誠実であり、それを徹底的に修正できるシステムを構築できることを示唆しています。これにより、人工知能の力が、その誤りを正すための明確で責任ある方法によって裏打ちされ、機械の幻覚によって個人の名誉が破壊されない未来を築くことができるのです。