Robust Ambiguity Detection (RAD) From Model- and Feature-Space Consistency

あなたは、高額な報酬がかかった法廷にいる裁判官だと想像してください。ただし、一人の裁判官ではなく、10人の専門家によるパネルです。彼らは皆等しく優秀で、全く同じ事件記録を研究し、同じ厳格な試験に合格しています。通常、彼らは皆、判決で一致します。しかし、時として一致しないことがあります。例えば、5人が「有罪」、5人が「無罪」と言うような場合です。それは混乱を招きますが、少なくとも不一致が存在することは分かります。

さて、よりトリッキーなシナリオを想像してみてください。10人の専門家が、特定の被告人に対して判決で一致しています。しかし、もし物語のほんの些細な詳細、例えば「被告人が1秒遅れて到着した」とか「少し違う帽子を被っていた」といった点を変えただけで、パネル全員の投票が突然反対側にひっくり返ってしまったらどうでしょう。あるいは、二人の被告人がほぼ同一の双子であるにもかかわらず、決定線がゆらぎのある不確かな形で引かれているために、一人は「有罪」、もう一人は「無罪」という判決を受けるといった状況です。機械学習の世界において、コンピュータがローン、病気の診断、あるいは大学入試などの決定を下す際、こうした「ゆらぎ」のある予測は危険です。これらは**曖昧性（アンビギュイティ）**と呼ばれます。もしコンピュータのモデルが、少し変化しただけで自分の主張を維持できなくなったり、自身の双子のモデルと意見が食い違ったりするならば、私たちはそれを信頼することができません。この論文は、現実世界で問題を引き起こす前に、それらの不安定で信頼できない予測を見つけ出すための、より優れた方法を構築することについて述べています。

---

「RAD」検出器：ゆらぐ予測を捕らえる

この論文の著者であるアイルランド・ユニバーシティ・カレッジ・ダブリンの Manya Singh、Mark T. Keane、Arjun Pakrashi は、RAD（Robust Ambiguity Detection：頑健な曖昧性検出）と呼ばれる新しいツールを構築しました。RADを、AI予測のストレス・テスト・マシンだと考えてください。RADは単に「AIはどう考えているか？」と問うのではありません。RADは、「入力を少し動かしたら、AIはどう考えるか？ そして、その双子のモデルたちはどう考えるか？」と問いかけるのです。

RADの仕組みを理解するために、「クラブの用心棒」のアナロジー（比喩）を使ってみましょう。

設定：用心棒のパネル

非常に厳格なドア・ポリシー（入店規定）を持つクラブを想像してください。そのポリシーが公平であることを確実にするため、クラブは10人の異なる用心棒（これが等価モデルです）を雇っています。彼らは皆、同じルールに基づいて訓練されており、仕事において等しく有能です。

• 入力： 入ろうとしている人物（これがデータポイントです）。
• 摂動（パータベーション）： 用心棒たちは、その人物の外見にわずかな変化があった場合を想像するように求められます。例えば、その人が違う帽子を被っている、あるいは、左に1インチ立っているといった状況です（これらが局所的摂動です）。

「曖昧性行列」：スコアカード

RADは、何が起こるかを追跡するための巨大なスコアカード（曖昧性行列と呼ばれます）を作成します。

• 行： 10人の用心棒。
• 列： 元の人物と、すべての「想像された」バージョン（近傍点）の人物。
• セル（各マス目）： 各用心棒が、それぞれのバージョンに対して「イエス」と言ったか「ノー」と言ったか。

もし用心棒たちが、元の人物に対しても、そしてすべての「少し変化した」バージョンに対しても「イエス」と言っているなら、その予測は頑健（ロバスト）です。それは確固たるものです。しかし、もし用心棒たちが互いに言い争い始めたり、あるいは人が足を動かしただけで意見を変えてしまったりするなら、それは曖昧性です。

RADプロット：混乱の四隅

論文では、このスコアカードをRADプロットと呼ばれる単純なグラフに変換しています。正方形が4つの角に分割されていることを想像してください。予測がどこに位置するかによって、なぜそれが不安定なのかが正確に分かります。

1. 右上（「盤石」のコーナー）： すべての用心棒が一致しており、さらに人物がゆらいだとしても一致しています。これは**頑固な（ロバストな）**予測です。信頼できます。
2. 左上（「言い争う用心棒」のコーナー）： 用心棒たちは自分自身に対しては一貫していますが（例えば、帽子を被っている場合に「イエス」と言えば、脱いだ場合でも「イエス」と言う）、互いに意見が分かれています。ある用心棒はルールに従えば「イエス」だと考え、別の用心棒は「ノー」だと考えます。これはモデル空間の曖昧性です。問題は人物にあるのではなく、用心棒たちが異なるバージョンのルールを学習してしまったことにあります。
3. 右下（「ゆらぐ用心棒」のコーナー）： すべての用心棒は概ね互いに一致していますが、人物のわずかな動きによって全員が混乱しています。もし人が1インチ動けば、彼らは「イエス」から「ノー」へと豹変します。これは特徴空間の曖昧性です。人物は決定線のちょうど端に立っており、ルールが敏感すぎます。
4. 左下（「完全なる混沌」のコーナー）： 用心棒たちは互いに意見が分かれているだけでなく、人物が動いたときには自分自身の意見に対しても一致できません。これは最悪の種類の曖昧性です。この予測は、あらゆる理由において信頼できません。

彼らは何を発見したのか？

著者らは、2種類のデータを用いてRADをテストしました。

1. 合成データ（擬似データ）： 彼らは、コンピュータ生成の世界を作り出し、「イエス」のグループと「ノー」のグループがどの程度重なり合うかを正確に制御できるようにしました。その結果、グループが混ざり合うにつれて、予測が「盤石」のコーナーから離れ、「ゆらぎ」や「混沌」のコーナーへと移動することを発見しました。これは、RADが物事が混乱している時に実際に検知できることを証明しました。
2. 現実世界のデータ： 彼らは、実際のデータセット（クレジットカードのデフォルト、心臓疾患のリスク、さらにはMNISTデータセットの筆記文字など）を使用しました。これらの複雑なデータセットでは、決定線を直接「見る」ことはできませんが、RADはX線のように機能し、どの予測が不安定である可能性が高いかを示しました。

大きな成果： 「分からない」と言う方法を知ること

この論文で最もエキサイティングな部分は、**棄権（アブステンス）**と呼ばれる実用的な応用です。高額な報酬がかかった状況（学生の入学許可や病気の診断など）では、間違った推測をするよりも、「確信が持てないので、人間が確認すべきです」と言う方が適切です。

著者らは、予測をランク付けするためにRADを使用しました。彼らは、もし「ゆらぎ」や「混沌」のコーナーに位置するサンプル（RADパレート・ランクが低いもの）に対して、単に予測を行うことを拒否すれば、残りの予測の精度が大幅に向上することを発見しました。言い換えれば、RADを使用して混乱したケースをフィルタリングすることで、AIが回答を行うケースにおける信頼性が大幅に高まったのです。

RADが「しない」こと

この論文が「していない」ことも注記しておく必要があります。これはAIを修正したり、用心棒たちを一致させたりすることを主張するものではありません。また、すべてのAIが壊れていると言っているわけでもありません。代わりに、これは診断ツールを提供します。問題がどこにあるのかを教えてくれるのです。

• 問題はモデルが違いすぎるのか？（その場合は、より良く訓練するか、組み合わせる必要があります）。
• 問題はデータが複雑すぎるか、あるいは決定線が鋭すぎるのか？（その場合は、より良いデータや、ルールの定義方法を変える必要があります）。

論文は、モデル空間（モデル同士が一致しているか？）と特徴空間（データは安定しているか？）の両方を見ることで、単一の側面を見るよりもずっと明確な信頼のイメージが得られることを示唆しています。これは、コンピュータが推測しているかもしれない時に盲目的に信頼することをやめ、答えが明確でない時に正しい問いを投げかけるための方法なのです。