論文「Don't Show Pixels, Show Cues: Unlocking Visual Tool Reasoning in Language Models via Perception Programs」の技術的サマリー

本論文は、マルチモーダル大規模言語モデル（MLLM）が視覚ツール（深度推定、オプティカルフロー、視覚的対応など）の出力を効果的に活用できないという課題に焦点を当て、**「Perception Programs (P2)」**と呼ばれる新しい表現手法を提案するものです。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

---

1. 問題定義：視覚ツールの出力と言語モデルのミスマッチ

近年、MLLM は深度推定やオプティカルフローなどの専門的な視覚ツールと組み合わせることで、視覚推論能力の向上が期待されています。しかし、既存のアプローチには以下の重大な課題があります。

• ピクセルレベルの出力の非効率性: 従来の手法では、視覚ツールから得られた生データ（深度マップやフローベクトルなど）を、高密度なピクセル単位のトークンとしてモデルに入力しています。
• 言語モデルの推論との不整合: 大規模言語モデル（LLM）は本質的に「言語」で推論するように訓練されています。高密度な数値トークン（ピクセル情報）を直接処理させることは、モデルの言語ベースの推論能力とミスマッチを起こし、視覚情報の活用が不十分（Under-utilization）になります。
• 言語事前知識への依存: その結果、モデルは視覚的な証拠を無視し、言語的な事前知識（バイアス）に頼って回答を生成する傾向が強まり、視覚タスクの精度が向上しません。

核心的な問い: 視覚ツールがすでに必要な視覚的手がかりを提供している場合、ボトルネックは「ツールの呼び出し回数」や「モデルのサイズ」ではなく、**「視覚情報の表現方法（Representation）」**そのものではないか？

2. 提案手法：Perception Programs (P2)

本研究は、トレーニング不要かつモデルに依存しない（Model-agnostic）表現手法として、Perception Programs (P2) を提案します。これは、生ツールの出力を、MLLM が直接読み取り推論可能な「コンパクトで構造化された言語ネイティブな要約」に変換するフレームワークです。

2.1 P2 の構造

P2 は、視覚的な手がかりを以下の要素で言語化します。

1. プリミティブ（Primitive）: 画像内の領域（パッチ、点、オブジェクトなど）。
2. 空間的座標（Spatial Coordinate）: 画像内での位置を正規化された座標（例：0-1000 のグリッド）で表現。
3. 読み取り値（Reading）: その領域における視覚情報の数値的または記号的な要約（例：深度の最小・最大値、フローの方向「左/右」、類似度スコアなど）。
4. 関係性（Relations）: 異なるプリミティブ間の関係（例：「A は B より手前」「A は B に隣接」）を述語として記述。

これらは YAML 風のテキストブロックとしてシリアライズされ、モデルへの入力として提供されます。これにより、モデルは「ピクセルの配列」ではなく「意味のある視覚的な事実」を言語として読み取ることができます。

2.2 具体的なモダリティのインスタンス化

論文では、以下の 6 つの視覚タスクに対して P2 を具体化しています。

• 深度推定: 深度マップをグリッド分割し、各セルの深度範囲（最小・最大）と相対的な前後関係（「A は B より手前」）を記述。
• オプティカルフロー: 各グリッドセルの平均水平フローに基づき、「左」または「右」の方向性を記述。
• 視覚的対応（Visual Correspondence）: 参照画像とターゲット画像の対応点の座標を正規化し、対応関係を記述。
• ジグソーパズル: 欠落部分と候補パッチの構造・色・エッジの類似度スコアを記述。
• 物体検出: 検出された物体のクラス、信頼度スコア、バウンディングボックスを記述。
• 意味的対応: 特徴量の類似度スコアに基づき、対応する点を記述。

3. 主要な貢献

1. 統一された表現の導入: 視覚ツールの出力を、視覚的にグラウンディングされた言語ベースの要約（P2）として再定式化するフレームワークを提案。モデルの微調整や追加のツール呼び出しを必要とせず、あらゆるスケール・アーキテクチャの MLLM に適用可能。
2. 包括的な評価: BLINK ベンチマーク（視覚知覚に特化した 14 タスク）のうち、6 つの主要タスク（多視点推論、相対深度、視覚的対応、ジグソー、意味的対応、物体局在）で評価を実施。
3. ボトルネックの解明: 既存のモデルが生のツール出力を解釈できない理由を分析し、視覚情報の「表現形式」こそがボトルネックであることを実証。

4. 実験結果

BLINK ベンチマークにおける評価結果は以下の通りです。

• 大幅な精度向上:
  • GPT-5 Mini をベースモデルとした場合、多視点推論タスクで 41.35% → 86.47%、相対深度タスクで 52.42% → 81.45% と劇的な改善が見られました。
  • 全タスク平均で 19.66% の精度向上を達成し、既存の最先端（SOTA）手法を凌駕しました。
• 小規模モデルへの効果:
  • 比較的小さなオープンソースモデル（InternVL3.5-4B, Qwen3VL-4B）においても、P2 を使用することで 21〜25% の絶対的な精度向上が見られました。
  • 小規模モデルが P2 を用いることで、より大規模なモデル（GPT-5 Mini など）の性能に匹敵する結果を達成しました。
• 既存手法との比較:
  • 既存のツール利用手法（Chain-of-Thought によるツール呼び出し、プログラム合成、強化学習ベースの手法など）と比較しても、P2 を用いた方が高い精度を記録しました。
  • 特に、生のツール出力をそのまま与える場合（Raw Tool）は、場合によっては精度が低下することも示されましたが、P2 に変換することで安定して向上しました。

5. 考察と意義

• 「ピクセル」ではなく「手がかり」を示す: MLLM は、高密度な数値データ（ピクセル）を直接処理するのではなく、言語として構造化された「視覚的な手がかり（Cues）」を提示されたときに、その推論能力を最大限に発揮することが示されました。
• トレーニング不要の汎用性: 追加の学習やモデル構造の変更を一切行わず、既存の MLLM にプラグ＆プレイで導入できる点が大きな利点です。
• 知見の転換: 視覚推論の性能向上には、より多くのツールを呼び出すことやモデルを巨大化することよりも、**「既存のツール出力をどのように言語モデルが理解できる形式に変換するか」**という表現の設計が重要であることを示唆しています。

結論

本論文は、MLLM と視覚ツールの統合における根本的な課題を「表現のミスマッチ」として特定し、それを解決する「Perception Programs (P2)」を提案しました。P2 は、視覚情報を言語モデルが自然に扱える形に変換することで、トレーニングなしで多様な視覚推論タスクにおいて劇的な性能向上を実現し、視覚と言語のインターフェース設計における新たな指針を示しました。