探偵、地図、そして不具合のある脳

あなたはロボットに探偵の仕事を教えようとしていると想像してください。あなたはロボットに散らかった部屋の写真と、「赤い猫は青い椅子の上に座っていますか？」という質問を与えます。これに答えるために、ロボットはただ推測するだけではいけません。一連の思考ステップを実行する必要があります。まず、猫を見つけなければなりません（オブジェクト選択）。次に、その猫が赤いかどうかを確認しなければなりません（属性検証）。最後に、椅子を確認し、それらの間の空間的な関係を理解しなければなりません（推論）。この研究分野は「視覚言語モデリング（Vision-Language Modeling）」と呼ばれ、コンピュータが画像とテキストの両方を同時に理解しようとする試みです。

長い間、これらのロボットは全体的な回答において非常に優れた能力を見せてきました。しかし、一つ問題がありました。彼らは時として「ズル」をしていたのです。実際に写真を見ているのではなく、人間が使う言葉の一般的な組み合わせに基づいて答えを推測していたのです。例えば、「空は通常青いですか？」と聞かれたとき、ロボットは画像を見ることなく「はい」と答えるかもしれません。科学者たちは、これらのロボットが間違えたとき、「なぜ」失敗するのかを知りたいと考えました。それはオブジェクトが見えていないからでしょうか？ それとも関係性を理解できていないからでしょうか？ あるいは、単に画像を完全に無視しているのでしょうか？ これらのロボットを現実世界で信頼できる助手にするためには、どの部分の脳が不具合を起こしているのかを正確に把握することが極めて重要です。

オペレーション・セントリックな検死

この論文において、研究者たちは単に最終的なスコアを見るのをやめ、ロボットの脳に対して「メカニスティックな検死（mechanistic autopsy）」を行うことに決めました。彼らは、レシピのように複数のステップを連鎖させる必要がある質問を含むGQAという特定のデータセットを使用しました。彼らは、視覚コンポーネントを持つ大規模言語モデルであるQwen2.5-VL-3Bというモデルに焦点を当てました。単に「正解したか？」と問うのではなく、「どのようにしてそこに到達したのか、そしてどこで信号が途切れたのか？」を問いかけたのです。

彼らは、ロボットの内部配線をテストするための巧妙な方法を開発しました。ロボットの脳を、2つの主要な組立ラインを持つ工場だと想像してください。一つは、ロボットの「目」が画像をスキャンし、どの部分に集中すべきかを決定する**アテンション・ライン（Attention Line）であり、もう一つは、ロボットが情報を処理し、最終的な思考へと変換するMLPライン（MLP Line/フィードフォワード・ネットワーク）**です。研究者たちは「因果的介入（causal interventions）」を用いました。これは、ロボットの脳の特定の部分を一時的に壊してみて、何が起こるかを見るという、少し凝った手法です。彼らは、特定のオブジェクトを見る能力をブロックしたり、そのオブジェクトの詳細を処理することを止めたりして、それによって答えが変わるかどうかを確認しました。

ロボットが失敗する4つの方法

ロボットの脳を非常に具体的に壊していくことで、著者たちは、単なる「正解」と「不正解」だけではないことを発見しました。実際には4つの明確な失敗パターンが存在し、それぞれの失敗は工場の異なる場所で発生しています。

1. 「ブラインドスポット（盲点）」による失敗（グラウンディングの失敗）:
   これは、ロボットが画像の中からオブジェクトを見つけられないときに起こります。それは、駐車場で特定の赤い車を探そうとしているのに、ロボットの目が閉じられているような状態です。研究者たちは、ロボットがこの問題で間違えるとき、オブジェクトの視覚的な詳細を一度も捉えていないことが分かりました。この失敗は**MLPライン（処理工場）**によって扱われます。もしMLPがオブジェクトを処理することをブロックすると、ロボットは完全に失敗します。これは、ロボットが生の画像データを認識可能な「オブジェクト」として脳内で構築することに苦戦していることを示唆しています。

2. 「オーバーフォーカス（過度な集中）」による失敗（推論の失敗）:
   これは最も興味深く、直感に反するものです。ここでは、ロボットはオブジェクトを完璧に見えていますが、それを見つめたまま動けなくなっています。例えば、ロボットが猫と椅子を見ているものの、「猫は椅子の上にある」と考える代わりに、猫の毛の質感に執着してしまい、椅子と比較することを忘れてしまうような状態です。ロボットは「過剰にグラウンディング（接地）」されています。研究の結果、この特定の失敗は、脳の後半レイヤーにおける**アテンション・ライン（スキャニング機構）**を通じて伝わることが分かりました。ロボットは正しいものを見ていますが、その視覚情報を論理的なつながりに利用できていないのです。

3. 「属性間違い」による失敗（属性抽出の失敗）:
   このシナリオでは、ロボットはオブジェクトを見つけ、それがどこにあるかも正確に把握していますが、詳細を間違えます。黄金色のカートを見ているのに、それを銀色と呼ぶようなケースです。ロボットは視覚信号を持っていますが、その信号を言葉に変換する最終ステップで失敗しています。これもまたMLPラインで起こりますが、特に答えを生成する最終段階で発生します。これは、工場に原材料はあるものの、最終的なラベルを刻印する機械が壊れているような状態です。

4. 「チーター（ズルをする者）」による失敗（言語的バイアスの支配）:
   時として、ロボットは画像を見ることさえしません。もし質問が「鎖は黒いですか、それとも黄色いですか？」であり、ロボットが学習データから「鎖は通常黒い」と知っていれば、画像を確認せずに「黒い」と推測します。研究者たちは、このような種類の質問において、ロボットの視覚的な脳はほとんど活動していないことを発見しました。ロボットは、答えを推測するために、自身の「言語の脳」に完全に依存しています。これは視覚システムを完全にバイパスした状態です。

大いなる経路の分離

この論文における最も重要な発見は、「経路の解離（pathway dissociation）」です。研究者たちは、異なる種類のエラーがロボットの脳内の異なるワイヤーを通っていることを示しました。

• もしロボットがオブジェクトを見つけることに失敗したり（グラウンディング）、オブジェクトを記述することに失敗したり（属性抽出）する場合、問題はMLP処理ラインにあります。
• もしロボットがオブジェクト間の関係を推論することに失敗する場合、問題はアテンション・スキャニング・ラインにあります。

これは非常に重要なことです。なぜなら、すべてのロボットのエラーを一つのツールで修正することはできないからです。もし「推論」のエラーを修正しようとして、オブジェクト処理ラインを調整しても、成功することはありません。エラーが発生している特定のワイヤーを標的にする必要があるのです。

これはすべてのロボットに起こるのか？

研究者たちは、これが別のロボットであるLLaVA-1.5でも当てはまるかどうかを検証しました。彼らは、「チーター」による失敗と「属性間違い」による失敗は両方のロボットで見られたため、これらはロボットが答えを生成する際の根本的な問題であることを示唆しています。しかし、「ブラインドスポット」と「オーバーフォーカス」の失敗は、最初のロボット（Qwen2.5-VL）にのみ現れました。なぜでしょうか？ それは、最初のロボットは、オブジェクトがどこにあるかについての非常に詳細でピクセル単位の正確な情報を保持し続けるビジョンエンコーダーを持っているからです。二番目のロボット（LLaVA）は、画像をより大まかに要約するビジョンエンコーダーを使用しており、細かな空間的詳細を失っています。二番目のロボットは同じレベルの詳細な「地図」を持っていないため、これら特定の「ブラインドスポット」や「オーバーフォーカス」のエラーには悩まされないのです。これは、ある種のエラーは、ロボットが高解像度の地図を持っていて、その中で迷子になったときにのみ発生することを示唆しています。

結論

本論文は、視覚言語モデルを、単に「動くか動かないか」という一つのブラックボックスとして扱うことはもはやできない、と結論付けています。それらは、異なる仕事のために異なる組立ラインを持つ複雑な機械なのです。失敗するとき、彼らは特定の、予測可能な方法で失敗します。時には見ることができず、時には考えることができず、時には単に推測するのです。どの種類の質問に対してどの「ワイヤー」が壊れているのかを特定することで、著者たちは、話す前に実際に画像を見る、より優れた、より信頼できるロボットを構築するためのロードマップを提供しています。