The Illusion of Visual Tool-Use: A Causal Audit of Thinking with Images

技術要約：視覚的ツール使用の錯覚

問題提起
「画像を用いた思考（thinking-with-images）」パラダイムは、マルチモーダル大規模言語モデル（MLLM）に対し、単一の全体的な視点を超えて微細な証拠を収集するための、クロップ・アンド・ズーム（切り出しと拡大）のような能動的な視覚操作を付与するものである。しかし、経験的な観察によれば、これらのツールを利用するモデルは、大幅に高いトークンコストを支払っているにもかかわらず、直接推論と比較して、精度向上がわずかであるか、あるいは負の改善しか得られないという「限界的な改善のパラドックス（marginal improvement paradox）」に直面している。さらに、ツール拡張型のロールアウトは、直接推論では正解できる問いに対しても、無関係な領域を繰り返しクロップしてしまうことなどにより、頻繁に失敗する。ここで検討される中心的な問いは、ツールによって返された視覚的証拠が最終的な予測に因果的に影響を与えているのか、それともツールの使用は単なるパフォーマンスとしての儀式に過ぎないのか、という点である。

手法：因果監査フレームワーク
著者らは、入力画像 $I$、クエリ $Q$、一連のツールアクション $T_{1:n}$、返された観測値 $O_{1:n}$、および最終回答 $Y$ に関する構造的因果モデル（SCM）として、視覚的ツール使用を定式化している。このフレームワークは、入力から出力への2つの因果経路を区別する：

1. 観測媒介経路 ($T \to O \to Y$): 観測の視覚的内容が回答の根拠となる場合。
2. アクション誘発ショートカット ($T \to Y$): 観測の内容に関わらず、ツールアクションの存在自体が回答に影響を与える場合。

これらの経路を監査するために、論文では3レベルの介入プロトコルを提案している：

• ポリシーレベル: ツール有効化ポリシー ($\pi_{tool}$) と直接推論ポリシー ($\pi_{direct}$) を比較し、精度に対する平均処置効果（ATE）を測定する。
• 軌跡レベル: ロールアウト中に返されるすべての観測値 ($O_i$) を動的に破損させる（例：同じ画像内のランダムなクロップに置き換える）ことで、予算の枯渇といった誘発されたポリシーの反応を含め、視覚的証拠を取り除いた際の効果を測定する。
• ステップレベル: **視覚的証拠獲得量（Visual Evidence Gain: VEG）**を導入する。これは反事実的推定量である。特定のステップ $i$ において、モデルの確信度の差を、呼び出し前、実際の観測後、および反事実的な観測（別の場所からのクロップ）後の3点で測定する。$VEG_i = \Delta M^{real}_i - \Delta M^{cf}_i$ は、アクション誘発ショートカットを排除し、特定の視覚的内容の因果的寄与を分離する。

主な貢献

1. 因果的定式化: 論文は、視覚的ツール使用を因果グラフとして定式化し、3レベルの介入プロトコルを通じて、観測媒介的な有用性とアクション誘発ショートカットを分離している。
2. ポリシーの誤校正（Policy Miscalibration）の特定: 本研究は、以下の2つの異なる失敗モードを特徴とする「ポリシーの誤校正」を特定した：
   • 見ずに呼ぶ（Calling Without Looking: CWL）: モデルはツールを呼び出すが、視覚的内容が回答に対して因果的影響を持たない（事前確信度が飽和しているか、構造的に不活性な呼び出しであるため）。
   • 計画せずに見る（Looking Without Planning: LWP）: 視覚的内容は有益であるが、呼び出しのスケジュールが支離滅裂である（例：回答が既に決定されているにもかかわらず呼び出しを継続する、あるいは無情報な領域に予算を使い果たす）。
3. 診断的軌跡分類: 決定論的な分類器を用いて、すべてのロールアウトを「呼び出しなし（No-call）」、「モード1 (CWL）」、「モード2 (LWP)」、「校正済み（Calibrated/効果的な使用）」の4つのグループに分類する。
4. 利得の分解: 著者らは、集計されたポリシーレベルの精度向上をこれらのグループからの寄与へと分解し、改善がほぼ完全に「校正済み」の少数派に集中していることを明らかにしている。

結果
6つの代表的なモデル（DeepEyes, Mini-o3, Qwen3-VL, Thymeを含む）と5つの微細な知覚ベンチマークを用いて評価を行った：

• 限界的な利得: ポリシーレベルのATEはしばしば小さかったり、負であったりする。例えば、DeepEyesは実質的にゼロの改善を示したが、Mini-o3やQwen3-VL-8Bは特定のベンチマークで緩やかな改善を示した。
• 因果的不全: 軌跡レベルの介入（観測の破損）は、Mini-o3やQwen3-VLにおいて大幅な精度低下を引き起こした。これは、これらのモデルが視覚的内容よりもツールインターフェースの構造に依存しているか、あるいはフィードバックが破損した際にプランニングが崩壊することを示唆している。
• VEG分析: ステップレベルの分析では、多くのモデル（DeepEyesなど）において、すべての呼び出しを通じてVEGがゼロに近いことが判明しており、これは視覚的内容が無視されていることを示している。他のモデル（Qwen3-VL-8Bなど）では、モデルが未飽和の状態でのみVEGが高くなるが、モデルは飽和した後も頻繁に呼び出しを継続する（過剰拡張：Over-Extension）。
• 錯覚: 「校正済み」のサブセット（ツールが効果的に使用されているケース）は、ロールアウト全体の少数派（モデルに応じて約20-45%）を占める。ベンチマークで報告される集計された精度向上は、ほぼ独占的にこのサブセットによって駆動されており、大多数のツール呼び出しは、回答からデカップリングされている（CWL）、あるいはスケジューリングが不整合である（LWP）。

意義と主張
本論文は、**「視覚的ツール使用の錯覚」**を暴くことを目的としている。すなわち、ベンチマークで見られる集計された精度向上が、視覚的ツール使用が広く、かつ因果的に効果的であるという誤解を招く印象を与えているという点である。実際には、広範なロールアウトにおいて、返された視覚的証拠は回答を媒介していない。

著者らは、**「RLトラップ（強化学習の罠）仮説」**を提唱している。これは、結果のみに基づく強化学習（最終的な正解のみに報酬を与える手法）が、$T \to Y$ のショートカット（モード1）を強化し、冗長または有害な中間ステップ（モード2）に対して罰則を与えることに失敗することを指摘している。なぜなら、校正された軌跡とモード1の軌跡の両方が同じ最終回答を得た場合、同一の報酬を受け取るからである。

本研究の意義は、評価の焦点を「モデルがツールを呼び出すか？」から「モデルが画像を用いて思考しているか？」へとシフトさせた点にある。提案された診断手法は、インファレンス時の適応（モード1におけるツールのバイパスや、モード2における早期終了）、およびプロセスを考慮したクレジット割り当て（学習の改善）といった、実用的な用途を提供する。著者らは、結論がホワイトボックス的なアクセス（ステップレベルの介入のため）を持つオープンソースモデルに限定されていること、および主にクロップ・アンド・ズーム操作に焦点を当てていることを注記している。