技術要約：学習済みプロキシ・トークンによる忠実なグラウンデッド視覚推論

1. 問題提起

マルチモーダル大規模言語モデル（MLLM）は、視覚的質問応答（VQA）において顕著な成功を収めてきたが、入力から回答へと直接マッピングを行う「ブラックボックス」型のパラダイムの下で動作しており、意思決定プロセスを公開していない。この透明性の欠如は、クリティカルな領域への導入を妨げる要因となっている。

これに対処するため、グラウンデッド視覚推論（GVR）のアプローチは、テキストによる根拠（ラショナール）と、通常はテキスト形式のバウンディングボックス座標 $(x, y, w, h)$ による視覚的グラウンディング情報を結合しようと試みている。しかし、本論文は、現在の座標ベースの手法が根本的な**「意味的・空間的ギャップ（semantic-spatial gap）」**に苦しんでいると主張している。空間的位置を任意のテキスト文字列として扱うことで、これらの手法は基礎となる視覚的特徴との学習可能な意味的リンクを欠いている。その結果、モデルは実際の画像証拠に対応しない座標を「幻覚（ハルシネーション）」として生成することが多く、推論プロセスと視覚的知覚を事実上切り離してしまっている。さらに、既存の評価プロトコルは主に最終的な回答の正確性に依存しており、これが推論の一貫性を隠蔽し、モデルが視覚的証拠に基づいた判断ではなく、言語バイアスに基づいて正解を推測することを許容してしまっている。

2. 手法：Composerフレームワーク

著者らは、意味的・空間的ギャップを埋めることで、忠実かつステップ・バイ・ステップのグラウンデッド推論を強制するように設計されたMLLMであるComposerを導入する。

2.1. 学習済みプロキシ・トークンによる視覚的グラウンディング

従来のテキスト座標を回帰する手法とは異なり、Composerは学習済みプロキシ・トークンに基づく新しいメカニズムを採用している。

• メカニズム: 画像は $N$ 個の視覚的トークン $V = \{v_1, v_2, \dots, v_N\}$ に分解される。これに対応する $N$ 個の学習可能なプロキシ・トークンのセット $R = \{<r_1>, \dots, <r_N>\}$ がLLMの語彙に追加される。
• インデックス付け: 入力シーケンスはこれらのトークンを交互に配置し（$S = [r_1, v_1, r_2, v_2, \dots, Q]$）、各プロキシ・トークンとその視覚的特徴との間に厳密な1対1の対応関係を確立する。
• 集合ベースの操作: 視覚領域は、離散的でアドレス指定可能なプロキシ・トークンの集合として扱われる。これにより、モデルは視覚的な潜在空間上で、集合ベースの操作（積集合、和集合、部分集合の検証など）を直接行うことが可能になる。例えば、「物体Aは物体Bの左にあるか？」といった空間推論は、それぞれのプロキシ・トークン集合の交差の確認（$S_A \cap S_{left} \neq \emptyset$）へと還元される。
• 再帰的推論: モデルは、前の推論ステップで生成されたプロキシ・トークンを参照することができ、それによって視覚的な探索空間を関連するインデックスへと効果的に「縮小」させることができる。

2.2. 学習戦略

Composerは、2段階のデータ戦略を用いて学習される。

1. アライメント事前学習: 多様な視覚・言語タスク（キャプション生成、参照表現理解、および視覚的空間推論）を用いて、モデルに微細なローカリゼーション能力を装備させる。COCOやRefCOCOなどのデータセットからのバウンディングボックス注釈は、プロキシ・トークンの語彙にマッピングされる。
2. マルチステップ推論（ComposerGCoT）: 標準的なデータセットにおける中間的な教師あり学習の欠如に対処するため、著者らはComposerGCoTを合成した。このデータセットは、GQAからシーングラフとファンクショナル・プログラムを蒸留することで派生したものである。各ステップは中間回答と視覚的グラウンディングと共に注釈されており、55,000枚の画像に対して163,000個の推論チェーンを提供している。

2.3. 評価のための構造化出力

厳格な評価を可能にするため、Composerは軽量なXMLスタイルのタグ（例：<objectRecognition>, <spatialLocation>, <attributeColor>）を用いて、<thought> ブロック内にカプセル化された構造化された推論チェーンを出力する。この形式により、最終的な回答だけでなく、各推論ステップの論理的妥当性と空間的精度を独立して検証することが可能になる。

3. 主な貢献

1. Composerモデル: 画像の潜在空間をインデックス化するために学習済みプロキシ・トークンを利用し、任意の座標回帰を離散的で意味的に操作可能なポインタに置き換えたMLLM。
2. ComposerGCoTデータセット: 推論チェーンのあらゆるステップに対して微細な教師あり学習を提供し、推論の一貫性とグラウンディングの忠実度の包括的な評価を可能にする、特化した合成データセット。
3. 評価プロトコル: 回答の正確性、推論の一貫性（タスクシーケンスの正確性）、および視覚的グラウンディングの正確性（IoU）の3つの軸でモデルを評価するフレームワーク。

4. 実験結果

著者らは、Composerを座標ベースのベースライン（B-Composer）およびプロキシ・トークン・バリアント（P-Composer）と比較し、ComposerGCoT検証セットを用いて評価を行った。

• 推論の一貫性: 正しい推論パスと正しい最終回答の間には強い相関がある。P-Composerでは、76.08%の正しい推論パスが正しい回答に導かれており、これは推論ステップが事後的な正当化として機能しているのではなく、予測を駆動していることを示唆している。
• グラウンディングの正確性: P-Composerは、視覚的グラウンディングの精度においてB-Composerを大幅に上回った。
  • 全体的なIoU: +2.7ポイント向上（57.9% vs 55.2%）。
  • 厳密なIoU@0.95: +9.0ポイント向上（15.4% vs 6.4%）。
• 能力の内訳: P-Composerは、空間的位置決め（84.8%）と空間関係（79.2%）において最も高い精度を達成したが、属性の色（66.5%）については、色の属性付与が制約された空間的選択と比較してオープンエンドな性質を持つためか、パフォーマンスが低かった。
• 回答の正確性: Composerは、最終的な回答の正確性において、座標ベースの対照モデルと同等の性能を達成した。これは、新しいグラウンディングメカニズムがタスクのパフォーマンスを損なわないことを示している。

5. 意義と主張

本論文は、離散的な学習済みプロキシ・トークンが、典型的なテキスト座標よりも効果的に空間的意味を捉えると主張している。言語的推論と視覚的特徴の間に明示的かつ学習可能なリンクを確立することで、Composerは**忠実な解釈可能性（faithful interpretability）**を促進する。

著者らは、このアプローチが信頼できるMLLMへの有望な道筋を示すものであると断言している。本研究は、高い回答精度を維持しながら、視覚的グラウンディングの忠実度を大幅に向上させることが可能であり、それによって現在グラウンデッド視覚推論システムを悩ませている「意味的・空間的ギャップ」に対処できることを証明している。この研究は、厳格な評価には、モデルが単に「正解している」だけでなく、「正しい理由で正解しているか」を診断するために、最終的な回答の正確性を超えたものが必要であることを強調している。