あなたはロボットのシェフを作っていると想像してください。あなたは、料理を自分で味見してレシピを調整させることで、ロボットに料理を教えます。もしロボットがトーストを焦がしてしまったら、すぐにそれを察知して火力を下げるようにしたいものです。しかし、もしロボットの味覚センサーが壊れていたらどうでしょう？もしロボットが焦げたトーストを食べて、「うーん、完璧だ！」と思ってしまったら？ロボットはトーストを焦がし続け、キッチンは煙で充満し、家が火事になるまで誰も異変に気づきません。これは現代の人工知能（AI）が抱える恐ろしい現実です。科学者たちは、物語を書き、数学の問題を解き、さらには法的助言さえできる、驚くほど賢いAIシステムを構築しています。しかし、これらのシステムは非常に複雑であり、時として、私たちがチェックに使用しているツールでは検知できない方法で失敗することがあります。これを私たちは「サイレント・フェイラー（静かなる失敗）」と呼んでいます。それは、スピードメーターが故障しており、実際には時速100キロで猛スピードを出していたり、あるいは時速10キロでノロノロ運転していたりするのに、常に「時速60マイル」と表示し続けている車のようなものです。責任者がスピードメーターだけを見ている限り、車が衝突するまでトラブルが起きていることに気づく術はありません。

研究者のプリヤンカ・バジャジ（Priyanka Bajaj）氏によって書かれたこの論文は、「エバリュエーション・ブラインドネス（評価の盲目性）」と呼ばれる特定の種類の不可視の失敗について調査しています。これは、私たちの「健康診断」ツールが特定の不具合に対して盲目であることを意味する、少し難しい言葉です。この論文は、この盲目が、AIが「学習（トレーニング）」している最中と、「デプロイ（実稼働）」されている後の、という二つの全く異なる場所で発生していると論じています。著者は、これら二つの問題を別々の問題として扱ってきたが、実はこれらは同じ構造的な欠陥、つまり、システムが壊れているにもかかわらず、測定ツールが「すべて順調である」と告げてしまうという問題なのだと指摘しています。AIが生成した偽の判例によって弁護士がトラブルに巻き込まれたケースや、航空会社のチャットボットが架空のポリシーを捏造したケースなど、現実世界の災厄を見ることで、この論文は、これらの公的な失敗の半分以上が、誰かが被害を受けるまで標準的な監視システムには完全に不可視であったことを示しています。著者は、これらの失敗を分類するための新しい方法と、「失敗予算（failure budget）」システムを提案しています。これは、そのAIが担う仕事の危険度に応じて、そのAIがどれだけのミスを犯すことが許されるかという安全限界のようなものです。

巨大な不可視のグリッチ

謎の核心に迫りましょう。論文は「エバリュエーション・ブラインドネス（評価の盲目性）」という概念を紹介しています。あなたが学生のエッセイを採点している教師だと想像してください。もし学生が嘘だらけのひどいエッセイを書いたとしても、あなたの採点基準（ルーブリック）が壊れていて、それでも「A」を与えてしまうとしたら、それは「エバリュエーション・ブラインドネス」です。学生は落第しているのに、あなたの測定結果は成功していることになります。

AIの世界では、AIが正しく機能しているかどうかを確認するために使用するコンピュータプログラム（「測定関数」）が、AIが実際に間違ったことをしているにもかかわらず、正常に見える結果を出してしまうときに、これが起こります。論文ではこれを正式に定義しています。もしAIが失敗しているのに、私たちのツールがその失敗と健全な状態の区別ができず、他のアラームも作動しない場合、エバリュエーション・ブラインドネスが発生しているといいます。

著者は、これは単なる一時的なグリッチではなく、AIの生涯における二つの明確な段階で発生しうる構造的な問題であると指摘しています。

1. トレーニング時： これはAIが学習している段階です。学生がテストに向けて勉強している場面を想像してください。もし先生（AIの報酬システム）が、数学を理解している代わりに、解答集を丸暗記したことに対して金メダルを与えてしまったら、その学生は練習テストでは満点を取るかもしれませんが、本番の試験では失敗します。論文では具体的な例を挙げています。人気のあるオープンソースライブラリ（TRL）におけるバグで、数学の計算がわずかに間違っていたケースです。AIのトレーニングは完璧に見えました。つまり「損失（loss：どれだけ間違っているかを示すスコア）」は下がり、報酬は上がりました。しかし、裏側の数学が壊れていたため、AIは実際には間違ったことを学んでいたのです。コードを元の指示書と比較するまで、誰も気づきませんでした。
2. デプロイ時： これはAIが実世界に出て、人々を助けている段階です。ここでは、監視ツールがAIの「脱線」を察知できないときに「盲目」が発生します。例えば、AIが時間の経過とともに少しずつ回答を変え始めたり（ドリフト）、参照しているデータベースが古くなったりした場合、AIは誤った助言を与える可能性があります。しかし、監視システムが単にAIが「オンライン」であるか（クラッシュしていないか）だけをチェックしているなら、その間違いを見逃してしまいます。論文によれば、調査された現実世界の事例において、失敗の53%が完全にサイレント（無音）でした。アラームは鳴らず、エラーメッセージも表示されませんでした。失敗は、人間が被害を受けたり、弁護士が制裁を受けたりするまで発見されなかったのです。

AIが（静かに）間違える6つの方法

これらの不可視の失敗を理解するためにするために、著者は「タクソノミー（分類体系）」を作成しました。これは分類システムの格好した言い方です。彼らは50件の現実世界のAIの失敗を6つのバケット（分類）に整理しました。これらは、ロボットのシェフがセンサーに気づかれずに失敗する6つの異なる方法だと考えてください。

• C1: モデル・ドリフト（緩やかな衰退）： AIの振る舞いが時間の経過とともにゆっくりと変化していく現象です。ラジオ局が徐々に周波数をずらしていき、音楽が変な感じになるようなものです。AIがソフトウェアアップデートを受けたわけではなく、単に「漂流」したのです。これは、AIがまだ「動作」しているため、多くの場合サイレントになります。
• C2: インフラストラクチャ（壊れたオーブン）： AI自体は正常ですが、それが動作しているコンピュータやサーバーに問題が発生しています。オーブンが熱すぎたり、電力が不安定だったりするかもしれません。これらは通常、システムがクラッシュしたり動作が遅くなったりするため、簡単に特定できることが多く、「盲目」にはなりにくいです。
• C3: インテグレーション（下手な翻訳者）： AIが他のシステム（データベースやツールなど）とやり取りをしている際、互いに誤解が生じている状態です。例えば、AIがレシピを求めたのに、データベースが去年の材料リストを返してきたとします。するとAIは古い材料を使って料理を作ることになります。AIは指示通りに動いていると考えているため、これはしばしばサイレントになります。
• C4: エバリュエーション（壊れた定規）： これが最もメタ的で危険なものです。AIをチェックするためのツール自体が壊れています。それは、テーブルの長さを測るために、引き伸ばされた定規を使っているようなものです。もし「品質チェック」が壊れていれば、AIが実際にはひどい状態であっても、完璧であると判断してしまうかもしれません。論文では、このカテゴリーにおける失敗は、定義上100%がサイレントであると述べています。なぜなら、エラーを捉えるはずのものが、まさに壊れているものだからです。
• C5: セーフティ＆コンプライアンス（違法なレシピ）： AIがルールを破る、例えば許可されていない医療アドバイスを行ったり、架空の判例を捏造したりすることです。論文では、弁護士がAIを使って6つの偽の判例を含む準備書面を作成し、問題となった有名な事例を挙げています。AIは指示に従っていましたが、人間が事実確認を行いませんでした。この失敗は、裁判官がそれを発見するまでサイレントでした。
• C6: オペレーショナル（マニュアルの欠如）： AIもコンピュータも正常ですが、運用している人々が、物事がうまくいかない時の対処法を知らない状態です。チェックリストもなければ、アラームもなく、誰に連絡すべきかも分かりません。これは機械の失敗ではなく、プロセスの失敗です。

サイレントな多数派

この論文の最も大きな発見の一つは、少し恐ろしい事実です。調査された現実世界のAIの失敗の53%がサイレントであったということです。これは、システムの半分以上において、システムが「壊れています！」と叫ぶことはなく、ただ黙って間違ったことをやり続け、誰かが被害に気づくまで進行していたことを意味します。

論文は、私たちがAIの失敗を間違った方法で捉えていると主張しています。私たちは「モデルは十分に賢いか？」と考えがちです。しかし、真に問われるべき質問は、「私たちの測定システムは、モデルが間違った時にそれを捉えられるほど賢いか？」ということです。著者は、エンジンのように、監視ツールもシステムの重要な一部として扱う必要があると提案しています。エンジンが素晴らしくても、スピードメーターが壊れていれば、依然として危険な状態です。

「失敗予算（Failure Budget）」

これを解決するために、著者は**「失敗予算（Failure Budget）」**という新しい概念を提案しています。想像してみてください。行っている作業の内容に応じて、一日に許されるミスの回数が決まっているとしたら。

• もし、ローン審査の決定や医療アドバイスなど、危険を伴うこと（意思決定に不可欠な業務：Decision-Critical）を行っているなら、予算は極めて小さくなります。例えば、1,000リクエストにつきミスが1回まで、といった具合です。制限に達したら、停止して修正を行います。
• もし、社内の検索ツールのような、リスクの低いこと（内部生産性向上：Internal Productivity）を行っているなら、もう少し多くのミス、例えば1,000リクエストにつき20回程度までは許容できるかもしれません。
• もし、研究所での実験（実験的用途：Experimental）であれば、誰も傷つくことはないため、1,000リクエストにつき100回程度のミスも許容できるかもしれません。

このフレームワークは、チームに対し、AIを構築する「前」にこう決めることを強制します。「私たちはどの程度のリスクを許容できるのか？」そして「そのレベルのミスを捉えるための適切なツールを持っているか？」これは単にAIを賢くすることではなく、その仕事の危険度に見合った安全網を構築することなのです。

なぜこれが重要なのか

論文は、「エバリュエーション・ブラインドネス（評価の盲目性）」こそが、AIの安全性における隠れた敵であると結論づけています。学習コードのバグによってAIが間違った教訓を学んでしまう場合でも、ルール違反を見逃してしまう監視システムの問題であっても、結果は同じです。システムはサイレントに失敗します。

著者は、AIが破滅に向かっていると言っているわけではありません。代わりに、私たちの考え方を変える必要があると言っています。単にAIをより賢くすることに集中するのではなく、私たちの「健康診断」ツールをより賢くすることに集中しなければなりません。AIが逸脱しているとき、データが古くなっているとき、あるいはルールが破られているときに、それを検知できるシステムを構築する必要があります。そして、学習の最初の一日から、現場での最後の業務に至るまで、あらゆる段階においてこれを行う必要があります。

「失敗予算」を用い、「6つの失敗の種類」を理解することで、私たちはAIが盲目であったことに気づくために災害が起きるのを待つのではなく、未然に防ぐことができるようになります。これは、エンジニア、弁護士、そしてAIを構築するすべての人々への呼びかけです。定規をチェックし、盲点を修正し、そして私たちの安全網が、目に見えない落下をしっかりと受け止められるほど強力であることを確認してください。