あなたは、天気を予測したり、病気を診断したり、あるいは詩を書いたりすることさえできる、超スマートなロボットを作り上げたところだと想像してください。そのロボットは驚くほどうまく機能していますが、「ブラックボックス」です。ボタンを押せば答えは出てきますが、なぜその答えを選んだのか、その理由は全く分かりません。これが人工知能（AI）の世界です。この謎を解明するために、科学者たちは「説明可能なAI（Explainable AI: XAI）」という分野を生み出しました。XAIを、ロボットの秘密の思考を私たち人間に伝えようとする「翻訳者」だと考えてください。私たちは、文章の中でどの言葉が最も重要だったかを強調したり、写真のどのピクセルがロボットに「猫」だと思わせたのかを特定したりするツールを持っています。しかし、ここには落とし穴があります。ロボットが「翻訳」を提供できるからといって、その翻訳が私たちにとって本当に役に立つものだとは限らないのです。私たちは、それらの説明が信頼できるのか、ロボットの本当の脳と一致しているのか、そして最も重要なこととして、より良い意思決定を行ったり、ロボットが間違ったときに修正したりするのに本当に役立つのかを知る必要があります。

これこそが、ある新しい論文が取り組んでいる問題です。著者たちは、AIコミュニティが「間違った方向に向かってマラソンを走っている」と主張しています。説明の「方法」や「理由」についての強固な基礎を築く代わりに、誰もがブラックボックスに光を当てるための、新しくて派手な「懐中電灯（手法）」を必死に発明することに夢中になっています。この論文は、こうした新しい懐中電灯は確かにクールではあるものの、私たちが「地図」がどのような見た目であるべきか、その地図が正確であることをどう確認すべきか、そして地図を手に入れた後に何をすべきかに合意できていないため、暗闇を進む助けにはなっていない、と示唆しています。

「懐中電灯」問題

著者たちのチーム（トップクラスの大学やテック企業の研究者たち）は、最近のExplainable AIに関する数百の論文を調査し、実際にこれらのツールを実務で使用している数十人の人々に話を聞きました。彼らは、懸念すべきパターンを発見しました。この分野は「新しい手法」を作ることに執着しているのです。実際、彼らが分析した論文の**77%**は、単にAIを説明するための新しい方法を提案しているだけで、**11%**しか「説明」とは具体的に何であるかという明確で形式的な定義を与えようとしていませんでした。

これは、シェフたちが「スープ」とは何かについて合意することなく、新しいレシピを次々と発明しようとしているようなものです。ある人はスープは熱いものであるべきだと言い、ある人は人参が入っていなければならないと言い、またある人は単に何でも鍋に放り込んでスープと呼んでいます。全員が異なる定義を使用しているため、結果はめちゃくちゃです。ある研究者が自分の手法は「忠実（faithful）」（つまり、AIが実際に行っていることに即している）と言う一方で、別の研究者は異なるテストを用いて、同じ手法が「嘘」であると言うかもしれません。論文は、私たちは信頼できるシステムを構築するのではなく、その場しのぎで物事を作り上げるループに陥っていると主張しています。

欠けている4つの柱

著者たちは、新しい懐中電灯を作り続ける前に、4つの具体的な基盤を築くために立ち止まる必要があると言います。彼らはこれらを「4つの課題」と呼んでいます。

1. 定義の問題（説明とは何か？）
現在、「説明」という言葉はあらゆる場面で使用されています。ある時は重要な特徴のリストを意味し、またある時はAIが自分自身に対して語る物語を意味します。論文は、推測するのはもうやめようと主張しています。説明とは、「誰のため」であり、「その人が何を成し遂げるために必要なのか」によって定義されるべきです。もし医師が、なぜ患者の保険が拒否されたのかを知る必要があるなら、その説明は、ロボットエンジニアがバグを修正するために必要なものとは異なるはずです。明確な定義がなければ、自分たちがうまくやれているかどうかを測定することさえできません。

2. 特性の問題（何が良い説明を作るのか？）
私たちはルールに合意する必要があります。優れた説明は「忠実（faithful）」でなければなりません。つまり、単に見栄えが良いだけでなく、実際にAIが行っていることに一致していなければなりません。しかし、忠実さだけでは不十分です。説明には「完全性（complete）」（最も重要な部分を見逃していないこと）と「堅牢性（robust）」（入力をわずかに調整しても劇的に変化しないこと）も必要です。論文は、現在の多くの手法がこれらのテストに失敗していることを指摘しています。例えば、ある手法はテストでは素晴らしく見えるかもしれませんが、人間が意思決定を行うのを助けるという点では失敗することがあります。著者らは、単に数学的に美しく見えるからといって、それらが機能すると仮定するのではなく、これらの特性を厳格にテストする必要があると示唆しています。

3. 評価の問題（それが機能するかどうかをどうテストするか？）
ここが最も混乱している部分です。論文によると、**56%の研究者が自分の説明が「忠実」であると主張していますが、実際に人間と対話している研究者は極めて少数です。彼らがレビューした論文の中で、実在の人間を対象とした研究を含んでいたのはわずか11%**でした。ほとんどの研究者は、コンピュータ・シミュレーションを実行するか、数値が安定しているかどうかを確認しているだけです。しかし、人間が理解できなかったり、信頼できなかったりするなら、その説明は無用です。著者らは、説明を数学の問題として扱うのではなく、一つの「製品」としてテストすべきだと主張しています。つまり、それが人間の仕事をより良くするために実際に役立っているのかどうか、ということです。

4. 行動の問題（説明を使って何をするのか？）
これが最大のギャップです。想像してみてください。医師が、「AIは、患者の年齢に基づいて、この患者が珍しい疾患を持っていると考えています」という説明を受け取ったとします。素晴らしいですが、医師はそれをどう活用するのでしょうか？AIの判断を変えることができるのでしょうか？それとも、追加の検査を求めることができるのでしょうか？論文は、**38.2%**の実務者が、これらの説明を実際のワークフローに統合することに苦労していると指摘しています。現在、説明は多くの場合、見て終わり、そして捨ててしまうだけの「見せ物」になっています。著者らは、説明とは、人間がフィードバックを与え、AIを修正し、システムを改善できるような「ループ」の一部であるべきだと主張しています。これがなければ、説明は単なる装飾品に過ぎません。

データが示すこと

著者たちは、自らの主張を裏付けるために、二つの大きな調査を行いました。第一に、彼らは大規模言語モデル（LLM）を使用して、NeurIPSやICMLといったトップカンファレンスからの617報の論文を読み込ませました。その結果、この分野がほぼ完全に「新しい手法」の論文によって駆動されており、「定義」や「人間によるテスト」への焦点が極めて低いことが判明しました。

第二に、彼らは34名の実務者（実際に仕事でこれらのツールを使用している人々）に調査を行いました。その結果は衝撃的でした。

• 混乱： 実務者の**44.1%**が、説明が良いものであるかどうかをどのようにチェックすればよいのか分からないと答えました。
• 選択の麻痺： **23.5%**がどの手法を選べばよいか分からず、**26.5%**が使用しているツールの適切な設定（パラメータ）の選び方が分からないと認めました。
• 「信頼」の罠： 多くの人々がこれらのツールがAIへの「信頼」に役立つと述べましたが、論文は「理解を伴わない信頼」は危険であると警告しています。実際、実務者の**44.1%**が、最大の課題は、実際に意思決定を行わなければならない人々に対して結果を説明することであると回答しました。

進むべき道

著者たちは、新しいツールを作るのをやめるべきだと言っているのではありません。XAIが永遠に壊れていると言っているわけでもありません。彼らは、優先順位を変える必要があると言っています。100番目の新しい懐中電灯を急いで作る代わりに、私たちは地図がどのような見た目であるべきか、それをどのように正確に描くか、そして目的地に到達するためにそれをどう使うべきかに合意する必要があります。

彼らは、新しい論文を書く人々のためのシンプルなチェックリストを提案しています。論文を発表する前に、自問してください。

1. 目的を定義しましたか？（これは誰のためのもので、その人は何をしようとしているのですか？）
2. その主張は検証可能ですか？（誰かがあなたの主張を間違いであると証明できますか？）
3. 忠実性をテストしましたか？（それは実際にAIの脳と一致していますか？）
4. それは有用ですか？（それは誰かが現実の意思決定を行う助けになりますか？）
5. 人間を使ってテストしましたきましたか？（実在の人々が、実際の状況で使用しましたか？）

論文は、もし私たちがこれらの基礎に焦点を当てることができれば、「クールな科学実験」から、人間と機械が共に働くことを真に助ける「信頼できるツール」へと移行できると結論づけています。そうでなければ、私たちは明るく照らしながらも、同じ場所をぐるぐると回っているだけの懐中電灯を作り続けることになるでしょう。