技術的概要：視覚的特徴を点ごとに結合する

問題定義

ビジョン・ランゲージモデル（VLM）は標準的なベンチマークで大きな成功を収めていますが、複数の物体が存在するシーンでは持続的な失敗を示し、特に色や形状などの特徴を個々の実体と正確に結びつけることを要するタスクにおいて顕著です。これらの失敗は「結合エラー」として現れ、例えば画像に青い正方形と赤い円が含まれている場合、青い円を誤って特定するといった事態が発生します。著者らはこれを認知科学や神経科学でよく文書化されている課題である結合問題と特定しています。

核心的な問題は構成的表現に起因すると仮説されています。VLM では、特徴は共有リソース（例えば「青」のベクトルと「円」のベクトル）を用いて表現されます。複数の物体を並列処理（フィードフォワードモード）する際、これらの共有リソースが干渉を引き起こし、誤った特徴の結合をもたらします。人間の視覚は逐次処理（干渉を避けるために物体を一つずつ注意を向ける）によってこれを克服しますが、VLM が同様のメカニズムを採用できるかどうか、またどのようにして可能になるかは依然として不明です。

手法

本論文は、「テキストによるポインティング」、すなわちモデル最終回答を生成する前に物体の明示的な空間座標を出力するようにモデルを訓練する手順が、結合問題を解決する内部的な逐次視覚検索ルーチンを誘発するかどうかを調査します。

1. 結合エラーのメカニズム的分析

著者らはまず、表現類似性分析（RSA）を用いて VLM（具体的には Qwen2.5-VL-7B-Instruct）の表現構造を分析しました。彼らはモデルの内部埋め込みを、構成的（共有特徴ベクトル）および結合的（すべての特徴組み合わせに対する固有ベクトル）な表現の理想化された行列と比較しました。

• 発見: モデルの表現は構成的パターンと密接に一致しており（$r=0.9269$）、干渉が重複する特徴コードに起因することを確認しました。
• 注意分析: 視覚検索タスクにおいて、モデルの注意はターゲットと単一の特徴を共有するディストラクターに対して不均衡に集中していることが判明し、注意的な干渉が確認されました。

2. テキストによるポインティングの調査

本研究はポインティング機能で訓練されたMolmo-7Bモデルに焦点を当てました。著者らは、内部注意状態に対する明示的な監督なしに、この訓練が逐次的注意を誘発するかどうかを決定するためにメカニズム的分析を行いました。

• 注意と座標の整合性: 彼らはモデルの内部注意分布の重心と、テキスト出力で生成された座標との間の二乗平均平方根誤差（RMSE）を計算しました。
• 因果媒介分析: 因果関係を確立するために、シーケンス内の異なる点に対する注意マップを交換する介入を行いました。これにより、逐次検索行動を司る特定の注意ヘッドを特定しました。

3. 微調整実験

ポインティングを学習することの効果を分離するために、著者らはQwen2.5-VL-7B-Instruct、Gemma-3-12B、およびLLaVA-1.5-7B-HFを、結合に依存する 2 つのタスクである視覚検索と数え上げで微調整しました。

• 条件: 彼らは、単一のフォワードパスによる直接回答モデルと、各物体の座標を生成してから回答を出力するポインティング・トゥ・アンサーモデルを比較しました。
• 一般化テスト: モデルは限られた分布（例：ターゲット 1 つ、物体 6〜10 個）で訓練され、分布外（OOD）のシナリオ（例：ターゲット 30〜50 個、物体 11〜15 個、実世界の画像）でテストされました。

主要な貢献と結果

1. 「検索ヘッド」の特定

分析により、ポインティングを学習することが特定の内部メカニズムを誘発することが明らかになりました。

• 逐次的注意: モデルの内部注意は、生成された座標と密接に一致するように、一度に一つの物体に焦点を移します（中間層、特に Molmo の Layer 19 で最低の RMSE を示します）。
• 検索ヘッド: 因果媒介分析により、この逐次検索ルーチンを因果的に制御する Layer 19 の特定の注意ヘッドセット（検索ヘッドと称される）が特定されました。これらのヘッドをアブレーションすると性能が著しく低下しましたが、ランダムなヘッドをアブレーションしても影響はありませんでした。
• アルゴリズム的行動: モデルは内在的な順序と数え上げられた物体の記録を維持します。介入実験により、モデルは既に数え上げられた物体をスキップし、順次進行することが示され、物体を追跡する高度なアルゴリズムが実装されていることが示されました。

2. 結合問題の解決

微調整実験は、ポインティング・トゥ・アンサーアプローチが結合問題を効果的に解決することを示しました。

• エラーの排除: 分布外（OOD）の数え上げにおいて 0% の精度に低下し一般化に失敗した直接回答モデルとは異なり、ポインティング・トゥ・アンサーモデルは物体数と多様性の増加に伴い高い精度を維持しました。
• 干渉の低減: 訓練後、ポインティング・トゥ・アンサーモデルはターゲットと特徴を共有するディストラクターへの注意が大幅に減少しましたが、元のモデルはこれらに大きく引きずられました。
• OOD 一般化: ポインティング・トゥ・アンサーモデルは、視覚検索におけるより多くのターゲット数や、実世界の画像におけるより大きな物体数に対して成功裡に一般化しました。これは、統計的ショートカットを利用するのではなく、一般化可能な逐次手順を学習したことを示唆しています。

3. モデル間での一般化性

検索ヘッドの出現と結合性能の向上という現象は、異なるモデルファミリー（Qwen2.5-VL、Gemma-3、LLaVA）全体で観察され、明示的な空間的グラウンディングで訓練された場合、逐次的視覚注意の能力は VLM が学習可能な特性であることを示しています。

意義と主張

本論文は、テキストによるポインティングで VLM を訓練することが結合問題に対する効果的な解決策であるという原理実証を提供すると主張しています。この研究の意義は主に 3 つの領域にあります。

1. メカニズム的説明: 経験的観察を超えて、それを可能にする特定の内部メカニズム（検索ヘッドと逐次注意ルーチン）を特定することで、なぜ逐次的かつグラウンディングされた視覚推論が性能を向上させるのかを説明します。
2. 認知科学と AI の架橋: VLM が人間の視覚に類似した逐次視覚注意の能力を付与され、複数の物体が存在するシーンにおける並列処理の限界を克服できることを示します。
3. 一般化対記憶: 直接回答モデルが統計的規則性を通じてタスクを解決し（一般化に失敗する）可能性があるのに対し、逐次処理は結合問題を回避しつつ構成的表現の恩恵を保持することで、真の構成的一般化を可能にすることを強調します。

著者らは、現在の訓練手順は手続き的に生成されたトレースを用いた教師あり微調整に依存していますが、結果は、より汎用的な訓練手順（例えば強化学習を介して）に逐次視覚注意を組み込むことが、将来の研究にとって有望な方向であることを示唆すると結論付けています。