技術概要：Vision-OPD

問題定義

マルチモーダル大規模言語モデル（MLLM）は、現在、微細な視覚理解において重大なボトルネックに直面しています。これらのモデルは一般的なシーン理解において優れていますが、画像のごく一部を占める小さく決定的な詳細に依存する回答が必要な場合、しばしば失敗します。著者らは、地域から全体への知覚のギャップを特定しました。すなわち、MLLM は証拠に焦点を当てた切り抜き（地域入力）を条件として与えられた場合、微細な質問に正しく回答できることが多い一方で、対応する完全な画像（全体入力）を条件として与えられた場合には失敗することがあります。

この観察結果は、その失敗が局所的な認識能力の欠如によるものではなく、高密度なグローバルな視覚コンテキスト内で関連する証拠に焦点を当てる能力の欠如によるものであることを示唆しています。「Thinking-with-Images」エージェントモデルなどの既存の解決策は、推論中に切り抜きやズームを行うツールを MLLM に装備することでこの問題を解決しようとしています。しかし、これらの手法は、画像エンコーディングとモデル呼び出しの繰り返しにより、多大な推論オーバーヘッドをもたらします。本論文が取り組む核心的な課題は、視覚的ズームの利点をトレーニングを通じて内部化し、追加のツール使用や外部教師なしで完全な画像から微細な証拠を利用できるようにすることは可能か、という点です。

手法：Vision-OPD

本論文は、Vision-OPD（Vision On-Policy Distillation）、すなわち地域から全体への自己蒸留フレームワークを提案します。この手法は、モデル自身の特権的な地域知覚を活用して、そのグローバル知覚を監督します。

1. データ合成

このフレームワークは、$\{(x_i, x'_i, q_i)\}$ というトリプレットのデータセットを利用します。ここで、

• $x_i$：完全な画像。
• $x'_i$：$x_i$ の証拠に焦点を当てた切り抜き。
• $q_i$：切り抜きから回答可能な微細な質問。
  データは、生画像内の小さな領域を検出し、それらの領域に固有の質問を生成し、完全な画像にバウンディングボックスを重ねて空間的制約を提供することで合成されます。このプロセスにより、グランドトゥルースラベルを必要とせず、6.2K の合成トレーニングサンプルが生成されます。

2. 二重ポリシーアーキテクチャ

Vision-OPD は、同一の MLLM（$p_\theta$）から 2 つの条件付きポリシーをインスタンス化します。

• 教師ポリシー（$p_T$）： 証拠に焦点を当てた切り抜き（$x'$）と質問（$q$）を条件とします。これにより、微細な詳細が明確になる「特権的」な視点を提供します。
• 学生ポリシー（$p_S$）： 完全な画像（$x$）と質問（$q$）を条件とします。これは標準的な推論条件を模倣します。

3. オンポリシー自己蒸留目的関数

分布の不一致に悩まされる従来の教師あり微調整（SFT）や、スパースなシーケンスレベルのフィードバックしか提供しない検証可能報酬を用いた強化学習（RLVR）とは異なり、Vision-OPD はオンポリシーサンプリングと高密度なトークンレベルの監督を採用します。

• ロールアウト生成： 学生は完全な画像から応答軌道 $y$ を生成します（$y \sim p_S(\cdot | x, q)$）。
• 発散最小化： 学生の軌道内の各トークン位置 $n$ について、モデルは教師（$p_T(\cdot | x', q, y_{<n})$）と学生（$p_S(\cdot | x, q, y_{<n})$）の両方の次のトークン分布を計算します。
• 損失関数： 目的関数は、学生の自身のロールアウトに沿って、教師分布と学生分布間の期待値トークンごとの発散（一般化ジェンセン・シャノン発散、JSD を使用）を最小化します。
  $$L_{Vision-OPD}(\theta) = \mathbb{E}_{(x,x',q) \sim D} \left[ \mathbb{E}_{y \sim p_S(\cdot|x,q)} \left[ D(p_T \parallel p_S)(y | x, x', q) \right] \right]$$

重要なのは、勾配が学生ポリシーのみを通じて流れることです。教師は、特権的な切り抜きを条件とした固定されたターゲットとして機能し（指数移動平均で正則化）、この設定により、外部の教師、グランドトゥルースラベル、報酬検証器、または推論時のツール使用なしで、モデルが「ズーム」の利点を内部化することが可能になります。

主要な貢献

1. 地域から全体への自己蒸留定式化： 本論文は、モデル自身の切り抜き条件付き行動が、完全な画像推論行動に対する特権的な監督として機能する、新しいトレーニング信号を導入します。
2. Vision-OPD フレームワーク： 地域視点からグローバル視点へ高密度なトークンレベルの知識を転送する、オンポリシー自己蒸留の具体的な実装であり、外部の教師やラベル付きデータを必要としません。
3. 実証的検証： Vision-OPD が地域から全体へのギャップを大幅に狭め、微細なタスクのパフォーマンスを向上させつつ、一般的な推論能力を維持することを示す包括的な実験。

実験結果

著者らは、V Bench*、ZoomBench、HR Bench（4K/8K）、MME-RealWorldを含む複数のベンチマークで Vision-OPD を評価しました。

• SOTA に対するパフォーマンス： Vision-OPD モデル（4B および 9B パラメータ）は、はるかに大規模なオープンソースモデル（例：Qwen3.5-397B）、クローズドソースモデル（例：GPT-5.4、Gemini-3.1-Pro）、および「Thinking-with-Images」エージェントモデルと比較して、競争力のあるまたは優れたパフォーマンスを達成しました。特に、Vision-OPD-9B は平均微細スコアにおいて GPT-5.4 および Gemini-3.1-Pro を上回りました。
• トレーニング戦略との比較： Vision-OPD は、自己教師上での SFT、RLVR 手法（GRPO、DAPO）、およびグランドトゥルースラベルに依存する OPSD といった代替トレーニング戦略を上回りました。
• 汎化性（ホールドアウトタスク）： ホールドアウトタスク（例：MMVP、CV-Bench）における「忘却」を示した SFT や RLVR 手法とは異なり、Vision-OPD は一般的なマルチモーダル推論能力を維持、あるいは向上させ、獲得が忘却の代償によるものではないことを示しました。
• ギャップの縮小： 分析により、Vision-OPD トレーニングが地域入力と全体入力間の精度ギャップを着実に縮小し、モデルに完全な画像から証拠を回復させることを効果的に教えたことが示されました。

意義と主張

本論文は、Vision-OPD が MLLM における微細な視覚理解を強化するためのシンプルで効果的かつ効率的な道を提供すると主張しています。その主な意義は以下の点にあります。

• ズームの内部化： 視覚的ズームの利点をモデルのパラメータ内に成功裡に内部化し、エージェント的なツール使用の推論遅延なしに、単一のフォワードパスで高性能な微細な理解を可能にします。
• ラベルフリーの効率性： 外部のより強力な教師、グランドトゥルースラベル、または報酬検証器を必要とせず、モデル自身の特権的な地域視点に依存することで、これらの獲得を実現します。
• スケーラビリティ： この手法により、4B/9B のような小規模モデルがはるかに大規模なモデルを上回ることを可能にし、微細な理解におけるボトルネックは単にパラメータ規模ではなく、関連する証拠に焦点を当てる能力にあり、それは自己蒸留を通じて学習可能であることを示唆しています。