Evidence for Whom? Contestability and Socio-Technical Assurance in High-Risk AI Governance
本論文は、現在の高リスクAIガバナンス枠組み（NIST、EU AI法、ISO/IEC 42001）は、異議申し立てに必要なプロセスベースの証拠よりもアーティファクト中心の証拠を優先することで決定的な証拠の空白を生み出しており、この構造的な欠陥は、これらの要件を解釈する際の内在的な曖昧さによって浮き彫りとなり、最終的には統治対象となるステークホルダーの手続的および認識論的権利を損なうものであると主張する。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
コンピューター・プログラムが、誰に仕事を与え、誰にローンを貸し、あるいは誰に仮釈放を認めるかを決定する世界を想像してみてください。これらのシステムは、単に真空の中で動いているコードではありません。それらは、システムを構築する企業、それを使用する組織、そしてその出力によって人生を変えられる人々を含む、より大きな人間的なエコシステムの一部なのです。これらのシステムが間違いを犯したとき、「誰が責任を負うのか」、そして「それをどのように証明するのか」という問いが急務となります。これが人工知能（AI）ガバナンスの領域であり、これらの強力なツールが安全で公平であり、説明責任を果たせるようにすることに専念している分野です。この分野における中心的な概念は「争訟可能性（contestability）」、すなわち、決定の影響を受けた人が、その決定に異議を唱え、なぜそれが起こったのかを理解し、修正を求めることができる能力のことです。これが機能するためには、証拠、つまりシステムがチェックされたこと、意図した通りに動作していること、そして問題が発生した場合に人間が介入できることを示す証明が存在しなければなりません。しかし、決定的な問いが残っています。誰がその証拠を見ることができるのか、そしてその証拠は、それを最も必要としている人々にとって実際に有用なものなのか、という問いです。
アメリカとインドの大学の研究チームは、まさにこの問題を調査するために乗り出しました。彼らは、高リスクAIを規定する3つの主要な規則とガイドラインを精査しました。それは、米国の自主的な枠組み、欧州連合（EU）の拘束力のある法律、そしてAIシステムの管理に関する国際標準です。彼らの目標は、これらの文書における特定の要件と、AIをテストするために使用される実際の技術的手法とを結びつける詳細なマップ、すなわち「クロスウォーク（対応表）」を作成することでした。彼らは、ルールが求める証拠が、実際に決定に異議を唱えるために役立つ種類の証拠であるのか、それとも単に企業や規制当局だけが読める技術報告書の集まりに過ぎないのかを確認しようとしたのです。
研究者たちは、膨大な技術評価手法のコレクションを集めることから始めました。彼らは、新しいデータに対するモデルの正確性をチェックするものから、悪意のある入力によって欺かれるかどうかを確認するもの、さらには学習に使用されたデータの品質を分析するものから、人間がシステムをどの程度監督できるかを研究するものまで、12の明確なテスト・ファミリーを特定しました。次に、これら12のファミリーを、3つの統治文書に見られる22の特定の要件と比較しました。彼らは各組み合わせに対して、「この特定のテストは、この特定のルールを満たすために必要な主要な証明を提供するのか？」という単純かつ深遠な問いを投げかけました。
彼らが発見したのは、著しい不均衡でした。AIモデル自体に関する証拠（モデルの正確性、攻撃に対する堅牢性、統計的な意味での公平性など）を求めるルールについては、十分にサポートされていました。必要な報告書を生成するための技術的テストは豊富に存在していました。しかし、システムが導入された後、現実世界でどのように機能するかについての証拠を求めるルールは、大部分がサポートされていませんでした。これらのルールは、人間による監視者が実際にエラーを検知できるのか、ログが特定の決定を再構成するのに十分な詳細さを持っているのか、そして組織がシステムによる人々への影響を監視していることを証明できるのか、といった事項に関わるものでした。これらの極めて重要な問いに対して、利用可能な技術的手法は、完全に欠落しているか、あるいは極めて弱い二次的なサポートしか提供していないことが、研究者たちによって明らかになりました。
この研究は、AIシステムが安全であることを証明するために生成される証拠が、主に「仲介者」のために設計されていることを明らかにしました。つまり、ソフトウェアを構築する企業、それをチェックする監査人、そして法律を執行する政府の規制当局のためのものです。決定の対象となる人々――拒絶された求職者や、融資を断られた借り手――には、この証拠への直接的なルートがありません。彼らはシステムが何を行ったかという「説明」を受け取ることはあっても、その説明が真実であることを検証したり、決定が正確にどのように下されたのかを理解したりするための基礎となる記録にアクセスすることはできないのです。研究者たちは、これは単なる技術的なギャップやパズルの欠けたピースではなく、正義の体系における根本的な欠陥であると主張しています。決定に異議を唱えるために必要な証拠へのアクセスを拒むことで、現在の枠組みは、影響を受ける人々を、自らの未来を決定するプロセスにおける「能動的な参加者」ではなく、「受動的な対象」として扱っているのです。
研究者たちは、彼らの知見が、利用可能な技術文献と法律のテキストに基づいた特定の分析であることに注意を払いました。彼らは、企業が内部的にこれらのチェックを行っていないと主張しているのではなく、それらのチェックが効果的であることを証明するための手法が、まだ標準化されていないか、あるいはルールを満たす形で広く利用可能ではないことを指摘したのです。また、彼ら自身の作業には一定の解釈が含まれることも強調しました。独立した専門家に彼らのマッピングのレビューを依頼したところ、専門家たちは大まかな方針については同意しましたが、細部については意見が分かれることもありました。これは、現在の要件自体が明確さに欠けていることを示唆しており、著者らは、この不一致こそが問題の本質的な特徴であると述べています。つまり、適切な証拠が確実に生成されることを保証するための要件が、十分に明確ではないということです。
最終的に、論文は現在のAIガバナンスのアプローチは不完全であると結論付けています。それは、テスト結果や技術文書のように、企業の開発パイプライン内部で生成できる証拠に大きく依存しており、システムが現実世界の人々とどのように相互作用するかを観察することによってのみ得られる証拠を軽視しています。著者らは、AIが真に説明責任を果たすためには、ルールが進化し、機械についてだけでなく、社会技術システム全体についての証拠を求める必要があると提案しています。これには、人間による監視が効果的であることの証明、イベントを再構成するのに十分なログが存在すること、そしてシステムによる社会への影響が監視されていることの証明が含まれます。こうした変化がなければ、AIのアカウンタビリティ（説明責任）という約束は、権力を持つ者にのみ向けられた約束であり続け、テクノロジーによって最も影響を受ける人々からは、自らを守るための道具を奪われたままになってしまうのです。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。