Capability $\neq$ Interpretability: Human Interpretability of Vision Foundation Models

以下は、この論文を平易な言葉と日常的な比喩を用いて解説したものです。

大きな問い：AI の「脳」を理解できるか？

あなたは、猫、車、あるいは信号機を驚くほど正確に識別できる超賢いロボットを持っていると想像してください。その仕事ぶりはあまりにも優れているため、自動運転や医師の病気診断に活用されています。しかし、ここに問題があります：それは実際にはどのようにして世界を「見ている」のでしょうか？

ロボットに「この画像のどの部分が、それが猫だと判断させたのですか？」と尋ねても、ロボットには声がありません。内部には点灯するシグナル（特徴）があるだけです。この論文が問う大きな問題は、普通の人間がそのシグナルを見て、その意味を理解できるでしょうか？ です。

著者たちはこれを**「解釈可能性」**と呼びます。これはロボットがどれほど「賢い」か（能力）ではなく、その思考が私たちにとってどれほど「明確」かについてです。

旧来の方法 vs 新しい方法

旧来の方法（「多肢選択」の罠）：
これまでのテストでは、人間が AI の特徴を理解しているかどうかを確認するために、画像を見せ、「AI のシグナルと一致するのは、この 2 枚の画像のどちらですか？」と尋ねるものでした。

• 欠陥： 著者たちは、この方法にトリックがあることを発見しました。人間は、その特徴が「何であるか」を知らなくても、単に「何でないか」を知るだけで正解にたどり着くことがよくありました。
  • 比喩： 畑の画像とビーチの画像を見せ、「この AI シグナルは『畑』についてではありません」と言われたとします。シグナルが実際には何なのか全く分からなくても、ビーチの方を簡単に選べてしまいます。これは単に誤った答えを消去しているだけで、シグナルを真に理解しているわけではありません。このため、そのテストは不公平で信頼性が低いものでした。

新しい方法（「探偵」フレームワーク）：
著者たちは、謎を解く探偵のように、2 つの部分からなる公平な新しいテストを構築しました。

1. 局所化可能性（「どこ」ゲーム）：

   • 設定： 「謎のシグナル」と、それを引き起こすいくつかの例（例えば、タイヤの画像、シグナルが明るく点灯している場所を示すヒートマップ）を見せます。
   • 課題： 新しい画像を見せられ、そのシグナルがどこで点灯すると考えるかをクリックして指定します。
   • 目標： 画像のどの部分（例えばタイヤ）がシグナルと一致するかを指し示せるでしょうか？

2. 命名可能性（「何」ゲーム）：

   • 設定： 上記と同じ視覚的な手がかりを見せます。
   • 課題： そのシグナルが何を表しているかを短い文章で記述します。
   • 目標： 言葉で説明できるでしょうか？（例：「車のホイールです」または「赤い信号機です」など）。

単に混ざり合ったノイズのあるニューロンではなく、純粋な「特徴」をテストしていることを確認するため、彼らは特別なツール（スパース・オートエンコーダ）を使用して、個々の明確な概念を分離しました。これは、スムージーから個別の材料を取り出すようなものです。

衝撃的な発見：賢いほど明確になるわけではない

研究者たちは 6 つの異なる AI モデルをテストしました。

• 2 つの古いモデル： 従来の教師あり学習で訓練されたもの（教師を持つ生徒のようなもの）。
• 4 つの「基盤モデル」： インターネット全体で訓練され、ほぼ何でもこなせる、新しい巨大で超強力なモデル（DINO や CLIP など）。

結果：
「基盤モデル」は、古く単純なモデルよりも解釈可能性が低かったのです。

• 比喩： 古いモデルは、教科書を暗記して学んだ生徒のようです。「なぜその答えを選んだのですか？」と尋ねれば、明確な理由を答えます。
• 新しい基盤モデルは、人類の知識の全図書館を読んで学んだ天才のようです。彼らはより「賢く」、より難しい問題を解決できますが、その推論を説明するように求めると、曖昧で混乱した答えしか返してきません。彼らの内部の「思考」は、人間が特定するのがより困難なのです。

重要なのは、「賢い」ことが役立たなかったことです。 この論文は、モデルがタスク（物体の識別など）でどの程度うまく機能するかと、人間がその特徴を理解するのがどの程度容易かとの間に、ゼロの関連性があることを発見しました。より良いドライバーであることが、あなたの脳が読み取りやすいことを意味するのと同じではありません。

特徴を理解しやすくするもの

著者たちは、AI の「思考」を人間が理解しやすくする 2 つの具体的な要素を発見しました。

1. 局所性（「スポットライト」効果）：

   • 特徴が狭く特定の場所（例えば車のタイヤだけ）で点灯する場合、人間はそれを簡単に理解できます。
   • 特徴が一度に至る所で点灯する場合（例えば車全体と道路と空）、人間は混乱します。新しい基盤モデルは、広範囲に及ぶこれらの「拡散した」シグナルを持つ傾向があります。
   • 比喩： 特定の人物を見つけるのは、その人が明るい赤い帽子をかぶっている場合（局所的）の方が、単に群衆の「全体的な雰囲気」の一部である場合（拡散的）よりも簡単です。

2. 粗粒度のアライメント（「全体像」の一致）：

   • 人間は「動物」や「乗り物」といった広範なカテゴリで世界を理解しています。AI がその特徴をこれらの大きなカテゴリに合わせるように組織化すれば、人間はそれをよりよく理解できます。
   • AI が蝶の羽の正確な質感を別の蝶と比較するなど、小さく超具体的な詳細に焦点を当てると、人間はむしろそれを理解しにくいと感じます。
   • 比喩： 地図を説明する際、「北アメリカ」と「南アメリカ」を示す（粗粒度）方が、都市のすべての通りの具体的な形状を説明する（微細粒度）よりも簡単です。

唯一の明るい兆候：DINOv3

例外が 1 つありました。DINOv3 というモデルは、非常に高性能でありながら、非常に解釈可能でした。なぜでしょうか？それは、開発者が「局所的」な特徴（特定の場所で点灯するもの）を探すように意図的にプログラムしたからです。これは、私たちが理解しやすいスマートなモデルを構築できることを証明していますが、その目標を意識して設計する必要があります。

まとめ

• 能力 ≠ 解釈可能性： AI が超賢いからといって、その思考を理解できるわけではありません。実際、最新で最も賢いモデルは、最も理解するのが難しい場合が多いのです。
• ギャップ： 「仕事をうまくこなすこと」と「仕事を明確に説明すること」の間には、ギャップが存在します。
• 解決策： AI をより透明にするためには、単に大きくて強力にするのではなく、特定の局所的な詳細に焦点を当て、人間のような広範なカテゴリで知識を組織化するように訓練する必要があります。

この論文は、AI が賢くなるにつれて、自然と理解しやすくなるわけではないと結論付けています。私たちは、最初からその明確さを構築していかなければなりません。