Rigorous Interpretation Is a Form of Evaluation

料理人を雇う場面を想像してみてください。現在、料理人を評価する方法は、出来上がった料理を味わうことです。スープが美味しければ高得点、まずければ低得点です。これが現在の AI モデルの評価方法です。つまり、モデルが生成する「出力（答え）」を見て、それが正しいか間違っているかをチェックするのです。

この論文の著者たちは、このアプローチは、車のエンジンルームを一度も開けずに、走行速度だけで車を評価するようなものだと主張しています。同じ速度で走行する 2 台の車があっても、一方は強力で信頼性の高いエンジンを持っていますが、もう一方はガムテープと運で繋ぎ止められているかもしれません。「ガムテープ車」が凸凹に当たれば、滑らかな道路では速く走っていたとしても、バラバラに崩れてしまうでしょう。

この論文は、「解釈可能性（モデル内部を見て、どのように思考しているかを明らかにすること）」は単なる好奇心のためのツールであってはならないと提唱しています。むしろ、これを厳密に行うことで、モデルを評価する新たな、より深い方法となるべきだと述べています。

これを実現するために、著者たちは、優れた探偵が働くのと同様に、解釈可能性が以下の 3 つの「科学的基準」を満たす必要があると述べています。

1. 反証可能性：「私を間違っていると証明できますか？」というテスト

比喩： 整備士が「この特定のスパークプラグが原因で車が故障している」と言ったとします。これを信頼するには、そのスパークプラグを取り外して、実際に車が動かなくなるかを確認できなければなりません。テストできないのであれば、それは単なる推測に過ぎません。

論文における内容：

• 目的： モデルが誤りを犯した際、単に症状を応急処置するのではなく、根本原因を特定して修正できるようにするためには、「なぜ」その誤りが起きたのかを知る必要があります。
• 問題点： 現在の多くの AI 説明は、曖昧な推測（「エンジンが熱く感じる」など）のようです。何が起きたかを記述するだけで、検証可能な原因を提示していません。
• 解決策： 私たちは、反証を試みることができる具体的な主張をする説明を必要としています。例えば、「脳のこの特定の部分を無効にすれば、モデルはこの特定の誤りを犯さなくなる」といったものです。
• 現実的な検証： 論文は、一部の現在の手法（「スパース・オートエンコーダ」など）は頼りないと指摘しています。彼らは「スパークプラグ」を指し示すかもしれませんが、それを外そうとすると車は依然として走行するか、あるいは修正が他の部分を壊してしまいます。現時点では、それらを修正の唯一の根拠とするには信頼性が不足しています。

2. 再現性：「毎回機能しますか？」というテスト

比喩： 探偵が「執事がやった」と示す手がかりを見つけたとします。しかし、その手がかりは執事が赤い帽子をかぶっている場合のみ機能します。執事が青い帽子をかぶれば、手がかりは消えてしまいます。それは本当の手がかりではなく、偶然に過ぎません。本当の手がかりは、執事が何の帽子をかぶっていても機能しなければなりません。

論文における内容：

• 目的： 時には、モデルが「間違った理由」で「正解」を出すことがあります（例えば、訓練データで医師は通常男性だと学習したため、医師に対して「男性」と推測するが、それは職業を理解しているからではない、など）。答えが正しく見える場合でも、こうした隠れたバイアスを捉えたいのです。
• 問題点： 説明がテストを繰り返すたびに変わったり、特定の種類の質問でのみ機能したりする場合、それを信頼することはできません。
• 解決策： 安定した説明が必要です。「このニューロンがモデルのバイアスの原因である」と言うなら、そのニューロンは質問を多少変えても、テストするたびに同じように振る舞うはずです。
• 現実的な検証： これがなければ、バイアスを見つけたと思ったとしても、実際には単なるランダムな不具合を見つけてしまった可能性があります。再現性は、私たちが単なるノイズではなく、真の「エンジン」を見ていることを保証します。

3. 予測可能性：「水晶玉」テスト

比喩： 優れた整備士は、車が故障した後に修理するだけでなく、エンジンを見て「泥濘の道を走れば、この部品が折れる」と言います。彼らは故障が発生する前にそれを予測します。

論文における内容：

• 目的： 世間に公開する前に、モデルがどこで失敗するかを特定したいのです。現実世界で誤りを犯すのを待たずに、その弱点を知りたいのです。
• 解決策： モデルの「脳」の配線（内部の幾何学構造）を本当に理解できれば、以下のように予測できます。「このモデルは『医師』と『男性』の概念を記憶の中で混同しているため、女性医師に関する質問でつまずくでしょう」。
• 結果： これにより、モデルが現実世界で問題を引き起こす前に修正できるよう、ラボ内でモデルを破壊するための特別な「ストレステスト」を作成することが可能になります。

全体像

この論文は結論として、現在の AI 評価の大半は単なる「採点（答えが合っていたか）」に過ぎないと述べています。

もし解釈可能性を「科学的（検証可能、一貫性があり、予測可能）」にできれば、それは「メカニズムレベルの評価」となります。これは、「モデルは何をしたか？」という問いから、「モデルはどのように機能しており、その方法は安全か？」という問いへと私たちをシフトさせます。

著者たちは「成績表（表 1）」を提供しており、現在、アテンション・マップやプロービングのような単一の手法が、この 3 つの基準すべてにおいて完璧に機能しているものはないと示しています。これらはすべて、推測は得意だがテストは苦手な整備士のようです。この論文の呼びかけは、これらの科学的テストを真に合格できるより良いツールを構築し、AI の説明を「あれば良いもの」から「厳格な安全性チェック」へと転換することです。