Post-Deployment Accountability in AI Governance: A Cross-Regulatory Empirical Analysis of AI Incidents

人工知能（AI）の世界を、病気の診断からローンの承認まであらゆる業務に従事するロボットが雇われている、巨大で賑やかな都市だと想像してみてください。長い間、大きな懸念は、いかにしてこれらのロボットを構築するか、つまり、それらが賢く、公平で、脳内に悪いコードを持っていないようにすることにありました。しかし最近、科学者や弁護士たちは、ロボットを組み立てることは物語の半分に過ぎないということに気づきました。真の課題は、ロボットが働き始めた「後」に何が起こるかです。これは「ポストデプロイメント・ガバナンス（配備後ガバナンス）」と呼ばれています。これは、車を製造することと、実際に道路を運転することの違いのようなものです。工場で完璧な車を作ることができても、毎日ブレーキを点検する整備士がいず、正しく機能するスピードメーターもなく、エンジンに火が出た場合の明確な計画がなければ、その車はすべての人にとって危険なものとなります。

この論文はその「工場の後」のフェーズについて掘り下げています。論文では、政府や組織がAIの安全を守るために作成した3つの大きなルールセットについて考察しています。それは、EU AI法（欧州による厳格な法律）、NIST AIリスク管理フレームワーク（米国による自発的なガイド）、そしてGDPR（個人のデータを保護するためのルールブック）です。大きな問いは、「これらのルールが存在するかどうか」ではなく、「問題が起きたときに、それらが実際に機能するかどうか」です。著者たちは、AIシステムが失敗したとき、責任者は実際に監視し、問題を報告し、修正しているのか、それとも単に誰にも気づかれないことを願っているだけなのかを確認しようとしました。

---

AIの偉大なる現実チェック

あなたが、2020年から2026年の間に480種類の異なるロボットが事故を起こした都市を調査している探偵だと想像してください。あるロボットは誤った医療アドバイスを与え、あるロボットはローン申請を不当に却下し、またあるロボットは交通渋滞を引き起こしました。あなたの仕事は、警察のレポートを調べ、ロボットの所有者が守るべきであったルールブックに従っていたかどうかを確認することです。

この論文の著者たちは、まさにそれを行いました。彼らは480件の実世界のAIの惨劇を調査し、前述の3つの主要なルールブックにある9つの特定のルールと照らし合わせました。彼らは、「誰かがロボットを見守っていたことを示すログブック」、「ロボットが故障した際に提出された報告書」、あるいは「停止計画」といった「証拠」を探しました。

大きな驚き： 「幽霊」ルール
結果は少し恐ろしいものでした。結局のところ、ほとんどの事故において、安全ルールは実質的に「幽霊」となっていたのです。紙の上には存在していましたが、現実の世界ではその形跡を見つけることができませんでした。

• EU AI法： このルールブックは、ハイリスクなロボットには「ポストマーケット・モニター（市場投入後モニタリング）」、つまり製品投入後に24時間体制でロボットを見守るセキュリティカメラが必要であると定めています。調査の結果、事故の**77.1%**において、誰かが監視していたという証拠が全く見つかりませんでした。それは、ブレーキがなく、ダッシュボードもチェックされていない車を運転しているようなものでした。
• GDPR（データ保護）： このルールは、個人のデータをリスクのある方法で使用する場合、「データ保護影響評価（開始前の安全性チェック）」を行わなければならないと定めています。調査の結果、事案の**99.6%**において、この安全性チェックが行われた記録が一度も存在しませんでした。
• NISTフレームワーク： このガイドは、問題が発生した際の修正計画を持つことを推奨しています。一部の企業は最終的に壊れたロボットを停止させてはいましたが（約**57.5%**の割合）、通常は被害が出てニュースがテレビに流れた「後」でした。彼らはプロアクティブ（先回り的）に修正していたのではなく、単に後始末をしていただけでした。

「システム的」な不具合
著者たちは、これらの失敗が単なるランダムなミスなのか、それともシステム全体が壊れているのかも確認しました。彼らは、**9.8%**の事故が、同時に2つ以上のルールブックにおける失敗であったことを発見しました。これは、単に一つのルールブックが悪いのではなく、AIの安全を管理する方法全体に重要な歯車が欠けていることを示唆しています。それは、ブレーキも、ステアリングホイールも、シートベルトもすべて一度に失われた車のようなものです。

秘密兵器： 「内部の探偵」
ここが最も興味深い部分です。研究者たちは、企業の自社チームによって発見された事故と、外部の世界（ジャーナリスト、怒ったユーザー、研究者など）によって発見された事故との間に、大きな違いがあることに気づきました。

• 内部検知： 企業が自ら問題を特定した場合、ルールに従っている可能性が非常に高くなります。EU AI法については、自社で見つけた事故の**87.5%**がコンプライアンス（法令遵守）を示していました。
• 外部検知： 外部の世界が問題を発見した場合、コンプライアンス率はわずか**5.3%**にまで低下しました。

これは、オフィスの中に「探偵」を置き、毎日ロボットを見守っている企業こそが、問題を早期に発見し、ルールに従っているということを示唆しています。ニュースが流れるまで問題を知らない企業は、安全性チェックに失敗しているのです。著者たちは、内部的なモニタリングシステムを持っていることが、企業がうまく機能している大きな手がかりであると考えていますが、それが良い行動の「原因」であることを証明はできない（優れた企業は、たまたま両方を持っているだけかもしれない）とも認めています。

提案される解決策： PAGCF
現在のシステムは主にリアクティブ（反応型／事後対応型）であるため（壊れてから対処する）、著者たちは**PAGCF（プロアクティブAIガバナンス・コンプライアンス・フレームワーク）**と呼ばれる新しい計画を提案しています。これは、ロボットのドライバーのための新しい訓練マニュアルのようなものです。衝突に対して単に反応するのではなく、この計画には4つのステップがあります。

1. デプロイ前アセスメント（配備前評価）： ロボットが稼働する前に、その安全装備をチェックし、計画を立てる。
2. 継続的モニタリング（継続的な監視）： 事故になる前に問題を捉えるため、24時間体制でロボットにライブカメラを向ける。
3. インシデント・プレパレドネス（事態への備え）： 「避難訓練」を用意しておく。ロボットが不具合を起こした際、誰に連絡し、何を伝えるべきかを正確に把握しておく。
4. クロスフレームワーク検証（枠組みを横断した検証）： 一つのルールだけでなく、すべてのルールブックを同時に遵守していることを確認する。

これが私たちにとって何を意味するか
論文は、単にルールを増やして、それが機能することを祈るだけでは不十分であると結論付けています。ルールはすでに存在していますが、誰もそれを使っていないのです。最大の教訓は、AIが壊れたことをニュースが教えてくれるのを待つのをやめる必要があるということです。私たちは、AIが稼働している「間」にそれを監視するシステムを構築する必要があります。著者たちは、もし企業がまずこの「内部モニタリング」を実施すれば、コンプライアンス率をほぼゼロの状態から**85%**以上に引き上げることができる可能性があると示唆しています。

これは魔法の杖ではありません。著者たちは、これが保証された解決策ではなく、あくまでデータから見た観察に基づいていることを慎重に述べています。しかし、メッセージは明確です。もしAIを安全にしたいのであれば、私たちは「後始末をする人」であることをやめ、「トラブルを未然に防ぐ人」にならなければなりません。