Challenges in Evaluating Explanation Methods for Static and Evolving Data

想像してみてください。あなたは、写真を見てそこに何があるかを正確に教えてくれる、超スマートなロボットを作りました。それは素晴らしいものですが、一つ欠点があります。そのロボットは「ブラックボックス」なのです。答えは出してくれますが、どのようにしてその答えに辿り着いたのかは教えてくれません。それは、まるで手品師が帽子からウサギを取り出すのに、その種明かしを拒むようなものです。AI（人工知能）の世界において、これは大きな問題です。もしロボットが、病気の診断や宇宙船の問題発見といった、生死に関わる決定を下しているとしたら、私たちはなぜその選択をしたのかを知る必要があります。この分野は「説明可能なAI（XAI）」と呼ばれ、ブラックボックスをこじ開け、ロボットの思考プロセスを見せようとする試みです。しかし、ここにひねりがあります。私たちは中を覗き見るための新しい方法はたくさん持っていますが、その覗き見が本当に役に立っているのか、それとも単に作り話をしているだけなのかをチェックするのが非常に苦手なのです。それは、暗闇を照らすための懐中電灯を何百個も持っているのに、それらが本当に道を照らしているのか、それともただ目を眩ませているだけなのかを誰もテストしていないようなものです。

この論文は、研究者のイェジ・ステファノフスキによる「警鐘」です。彼は、私たちは適切なテストを行うことなく、新しい説明ツールを発明することに急ぎすぎていると主張しています。彼は、現在の手法の多くが「進歩の錯覚」であると示唆しています。それらは見た目は派手ですが、現実の世界では役に立たない可能性があるのです。論文は、この問題を解決するための2つの主要な方法を探っています。第一に、これらのツールを使って、ロボットが不公平であったり偏っていたり（例えば、たとえそうでなくても、ネクタイを締めている人を男性だと判断してしまうなど）する場合を特定する方法についてです。第二に、周囲の世界が変化し続ける中で学習しなければならない、ロボットが直面する困難な問題に取り組みます。動物を認識することを学んでいるロボットを想像してください。しかし、その後、動物たちが帽子を被り始めたり、照明が変わったりしたとします。ロボットの古い説明は役に立たなくなるかもしれません。著者は、単に説明が紙の上でどれほど「正確」であるかを数えるのではなく、実際に人間に対してそれが理解されているかを問う必要があると述べています。また、一つの「最高の」説明を選ぶのではなく、人々が自分にとって最も納得のいくものを選べるよう、いくつかの異なる選択肢を提供すべきだと提案しています。

ロボットの魔法の手品と壊れた懐中電灯

現代のAIシステムを、非常に有能だが謎めいた手品師だと考えてください。彼らは猫の写真を見て、「それは猫です！」と99%の自信を持って言えます。しかし、「なぜ？」と尋ねると、彼らはただ黙り込んでしまいます。これが「ブラックボックス」問題です。医療や航空宇宙のように、間違いが危険を招く可能性がある分野では、単に手品師を信じるだけでは不十分です。私たちはトリックを見る必要があります。ここで「説明可能なAI（XAI）」が登場します。それは、人間が「なぜ」AIがその決定を下したのかを見ることができるように、ブラックボックスの中に光を当てるための懐中電灯を作る科学なのです。

しかし、論文は私たちの現在のアプローチにおける大きな欠陥を指摘しています。私たちは数十種類の異なる懐中電灯（サリエンシー・マップ、反事実的説明、プロトタイプなどの手法）を発明しましたが、それらが実際に機能するかどうかを十分にテストしてきませんでした。それは、おもちゃ屋が千種類の異なる懐中電灯を売っているのに、それらが実際に暗い部屋を照らしているのか、あるいは壁に奇妙な形を映し出しているだけなのかを誰もテストしていないようなものです。著者は、私たちは真に有用かどうかを確認することなく新しいツールを作り出すサイクルに陥っており、それが「進歩の錯覚」につながっていると主張しています。

偏ったロボットとネクタイの事例

なぜテストが重要なのかを示すために、論文では「DetoxAI」と呼ばれる特定のプロジェクトを取り上げています。顔を認識するように訓練されたロボットを想像してください。あなたは、そのロボットが目や鼻を見ているのだと思うかもしれません。しかし、論文は、ロボットが「ショートカット（近道）」に頼ることがあることを明らかにしています。例えば、有名人のデータセットにおいて、ロボットはネクタイを締めている人はほとんど常に男性であることに気づきました。そのため、顔の特徴を見る代わりに、性別を推測するためのショートカットとして「ネクタイ」を使い始めたのです。これは「バイアス（偏り）」です。ロボットの論理における間違いであり、不公平な結果を招きます。

研究者たちは、XAIツールを使ってロボットの脳に光を当てました。その結果、ロボットが確かにネクタイに強く焦点を当てていたことが分かりました。一度これを見つけることができれば、彼らはその悪い習慣を「学習解除」させ、ネクタイを無視して顔を見るように教え込むことができます。論文は、これらの説明ツールを使用することで、ロボットがどれだけ改善したかを正確に測定できたことを示しています。それは単なる推測ではなく、ロボットがより公平になったことを示す数値がありました。これは、説明が単なる見せかけではなく、壊れたAIを修理するために不可欠であることを証明しています。

人間のテスト：私たちは本当に理解しているのか？

論文の第二部は、シンプルですが難しい問いを投げかけます。「人間は実際にこれらの説明を理解しているのか？」です。著者は、ほとんどの研究が単に「この説明を気に入りましたか？」と聞き、それで終わってしまうと指摘しています。しかし、論文はもっと優れた方法が必要だと主張しています。

これをテストするために、研究者たちはAIの専門家ではない148人の人々（学生および職員）を対象とした調査を実施しました。彼らに動物（シマウマ、トラ、パンダなど）の画像を見せ、ロボットがなぜそれをシマウマだと判断したのかを強調する3種類の異なる「懐中電灯（説明手法）」を見せました。

• 結果： 人々はランダムに選んだわけではありませんでした。彼らは他の手法よりも「ProtoPNet」と呼ばれる手法を好みました。
• 驚き： 人々が最も好んだ手法は、必ずしもコンピュータのテストで数学的に「完璧」だった手法ではありませんでした。それは、人間が重要だと考えていることに一致した手法でした。例えば、トラを見ているとき、人々は縞模様が強調されることを望んでいました。ProtoPNetはこのことを最もよく実現していました。
• 教訓： 論文は、もし説明を有用なものにしたいのであれば、コンピュータのためではなく「人間」のために設計しなければならないと示唆しています。教師が教科書を読むだけでなく、実際の生徒を使って授業計画をテストするように、人間を使ってテストする必要があるのです。

動く標的：世界が変わるとき

論文が取り組む最後の課題は、「動く標的」です。ほとんどのAIの説明は、変化しない世界を前提に設計されています。しかし、現実の世界では物事は変化します。これは「コンセプト・ドリフト（概念漂流）」と呼ばれます。車を認識することを学んでいるロボットを想像してください。もしロボットが2010年の車の写真で訓練されていたとしたら、その後、突然排気管のない電気自動車が主流になった場合、ロボットの古い説明は「排気管があるから車だと知っている」と言うかもしれません。その説明は今や間違っており、混乱を招きます。

論文は、データが変化したときにこれらの説明をどのように更新するかを探っています。単にロボットを再学習させる代わりに、研究者たちは「理由」が時間の経過とともにどのように変化するかを追跡しようとしました。彼らは「反事実的説明（「もし〜だったら？」という問い、例えば「もしこの車に排気管があったら？」という問い）を用いる手法を用いました。彼らは、これらの「もし〜だったら」という答えがどのように変化するかを観察することで、ロボットの論理がいつ、なぜシフトしているのかを正確に特定できることを見出しました。それはコンパスの針の動きを見守るようなものです。もし針が大きく振れすぎれば、磁場（データ）が変わったことが分かります。

大きな教訓

論文は、私たちは現在、ツールが多すぎてテストが足りない段階に停滞していると結論づけています。

• 私たちに必要なこと： 説明がコンピュータ上でどれほど「正確」であるかを測定するのをやめ、それが人間のより良い意思決定を助けるかどうかを測定し始める必要があります。
• 未来： 実在の人々を用いたより多くの実験、変化するデータに対処するためのより良いツール、そして人々が納得できるものを選べるように複数の説明を提供する方法が必要です。

著者は、私たちが問題を解決したと言っているわけではありません。実際には、私たちはまだ表面をなぞっているに過ぎないと示唆しています。しかし、説明を単なる数学の問題としてではなく、人間のためのツールとして扱うことで、私たちはAIシステムを、単に賢いだけでなく、信頼でき、かつ公平なものにすることができるのです。目標は、単にロボットに自分自身を説明させることではなく、その説明が私たちの世界理解を本当に助けるようにすることなのです。