テクニカル・サマリー：FOCUS – 視覚的サポート制約と方策最適化によるインコンテキスト物体局在化の強制

1. 問題定義と動機

**インコンテキスト物体局在化（In-Context Object Localization: ICOL）**とは、推論時に提供される少数の視覚的サポート例（バウンディングボックス付きの画像）のみに基づき、クエリ画像内の特定のターゲット物体を特定および局在化するタスクである。これには、特定のターゲットに対するパラメータ更新や学習は一切行わない。

ビジョン・ランゲージ・モデル（VLM）は大きく進歩しているが、現実的かつカテゴリに依存しない設定におけるICOLには苦戦している。IPLocなどの既存手法は、純粋な視覚的証拠よりも意味的事前知識（カテゴリ名や疑似ラベルなど）に依存することが多い。これは、以下の2つの決定的な失敗モードを引き起こす：

1. カテゴリ・バイアス： モデルは、サポート例で定義された特定のインスタンス（例：サポートに示された特定の「ボウル」）ではなく、そのカテゴリの最も典型的な、あるいは視覚的に目立つインスタンス（例：あらゆる「ボウル」）を局在化させる傾向がある。
2. 弱い視覚的グラウンディング： 現在のモデルのアテンション機構は、クエリ画像全体に注意を拡散させたり、カテゴリトークンに過度に依存したりすることが多く、サポートのバウンディングボックスが提供する幾何学的および空間的な手がかりに集中できていない。

本論文は、パーソナライズされた視覚検索やインスタンス固有の画像編集といったアプリケーションにおいて、モデルはテキストによるカテゴリラベルから完全に切り離され、視覚的一致（visual correspondence）と空間的推論のみに基づいてターゲットを推論しなければならないと主張している。

2. 手法：FOCUSフレームワーク

著者らは、視覚的グラウンディングを強制し、カテゴリ・バイアスを排除するために設計された2段階の学習フレームワークであるFOCUSを提案している。このアプローチは、カテゴリに依存しない前提で動作する。すなわち、モデルはプロンプトにカテゴリ名を含まず、視覚的入力（サポート画像とそのバウンディングボックス）とクエリ画像のみを受け取る。

ステージ1：アテンションに基づくバウンディングボックス最適化（教師あり微調整）

第1ステージでは、空間的なアノテーションを優先させるために、モデルの潜在的なアテンションマップを明示的に最適化することで、「弱いアテンション」の問題に対処する。

• プロンプトの仕様： 入力は、自然言語の指示、サポート画像とそのバウンディングボックス（テキストトークンとしてシリアライズされたもの）、およびクエリ画像が交互に並んだシーケンスである。極めて重要な点として、カテゴリ名は含まれない。
• アテンション損失 ($L_{bbox}$)： 著者らは、モデルのクエリ画像トークンからのアテンション重みを、サポート画像のバウンディングボックス・アノテーション・トークンに集中させるように強制する損失関数を導入した。
  • バイナリマスクを用いて、BBOXトークンと非BBOXトークンを区別する。
  • この損失はマージンベースのヒンジ損失を最小化し、モデルが非BBOXトークン ($p^-$) よりもBBOXトークン ($p^+$) に高いアテンション質量を割り当てるように促す。
  • これにより、モデルはセマンティックなショートカットに頼るのではなく、サポート例によって提供される幾何学的な制約を「見る」ことを学習する。
• 実装： このステージでは、ベースとなるVLM（例：Qwen2-VL-7B）に対して、LoRA（Low-Rank Adaptation）を用いた教師あり微調整（SFT）を利用する。

ステージ2：グループ相対方策最適化（GRPO）による強化学習

第2ステージでは、予測されるバウンディングボックスの精度を洗練させる。

• 目的： 局在化誤差（IoU）を最小化し、出力の構文的な正当性を確保すること。
• 報酬関数： 以下の組み合わせた報酬 $R$ が使用される：
  1. IoU報酬 ($r_{iou}$)： 予測されたボックスとグランドトゥース（正解）との間のIntersection-over-Union（積集合領域／和集合領域比）。
  2. フォーマット報酬 ($r_{fmt}$)： 出力が要求されるフォーマット（例：<answer>[x_min, y_min, x_max, y_max]</answer>）に従っていることを保証するバイナリ報酬。
• 最適化： 方策を更新するためにGRPOが採用される。PPOとは異なり、GRPOは学習されたクリティック（Critic）を必要とせず、代わりにグループ内のサンプル出力をグループの平均報酬と比較することでアドバンテージを計算する。これにより、フューショット設定での学習が安定し、高品質なアライメントを直接最適化できる。

3. 主な貢献

1. カテゴリに依存しないフレームワーク： 本論文は、プロンプトからすべてのカテゴリ名を排除し、純粋な視覚的外観と幾何学性にのみ依存することを強制する、純粋な視覚的インコンテキスト局在化の設定を導入した。
2. アテンションマップの最適化： VLMがセマンティックな事前知識を優先して空間的な制約を無視する傾向を修正するために、モデルのアテンションをサポートのBBOXトークンに明示的に一致させる新しい損失関数を提案した。
3. GRPOによる洗練： グループ相対方策最適化（GRPO）の統合により、局在化誤差（IoU）を直接最小化し、厳格な出力フォーマットを強制することが可能となった。
4. 効率性とスケーラビリティ： 著者らは、これらの目的で訓練された7Bパラメータのモデルが、大幅に大きなモデル（最大72Bパラメータ）を凌駕することを実証しており、コンテキストを考慮した局在化の目的が単なるモデルのスケーリングよりも重要であることを証明している。

4. 実験結果

著者らは、TAO、GOT-10k、LaSOT、PerSeg、PerMIRSを含む多様なベンチマークでFOCUSを評価した。

• ベースラインとの比較： FOCUS（Qwen2-VL-7Bベース）は、IPLoc (7B)、Qwen2-VL-72B、InternVL2-76Bといった強力なベースラインを大幅に上回る最先端（SOTA）の結果を達成した。
  • GOT-10k（ゼロショット・カテゴリ汎化）において、FOCUSは82.6%（4-shot）を達成し、72BパラメータのQwen2-VLモデル（59.9%）を大幅に上回った。
  • TAO（オープンワールド、マルチオブジェクト）において、FOCUSは68.5%（4-shot）に達し、Qwen2-VL-72Bの55.6%と比較して高い数値を示した。
• 汎化性能： モデルは未知のカテゴリやドメインシフト（例：PerSegにおける合成データ）に対して堅牢な汎化性能を示し、カテゴリ依存型のモデルがインスタンスの判別に失敗する場面でも高いパフォーマンスを維持した。
• アブレーション研究：
  • アテンション損失を除去すると、パフォーマンスが大幅に低下し、BBOXトークンへのアテンションを強制することの必要性が確認された。
  • SFT + アテンション損失の上にGRPOを追加することで、TAOの4-shot設定においてさらに**11.4%**の利得が得られた。
  • アテンション損失をトランスフォーマーの最初の5層に適用することが、グラウンディングにおいて最も効果的であることが判明した。これは、初期層が空間的な対応関係を確立するために重要であることを示唆している。

5. 意義と主張

本論文は、FOCUSがインコンテキスト局在化を、セマンティックな検索タスクではなく、視覚的推論タスクへと再定義することに成功したと主張している。カテゴリによる監督を排除し、アテンション制約と方策最適化を通じて厳格な視覚的一致を強制することにより、本手法は堅牢なインスタンスレベルのグラウンディングを実現している。

著者らは、彼らのアプローチが、単にモデルのサイズを拡大することよりも、特化した訓練目的の方が優れた性能をもたらすことを示している。FOCUSを用いた7Bモデルが72Bモデルを凌駕するという事実は、コンテキストを考慮した局在化の目的が、単なる膨大なパラメータ数に頼るよりも、カテゴリに依存しない物体局在化の問題を解決するためのより効率的な道であることを強調している。本研究は、ユーザー主導のインスタンス固有のアプリケーションにおいて、モデルはセマンティックな事前知識を無視し、厳密に視覚的証拠に集中するように訓練される必要があることを示唆している。