技術概要：ビジョン - ランゲージモデルのための視覚優位オンポリシー蒸留

1. 問題定義

オンポリシー知識蒸留は、学生モデルが自身の生成したロールアウトにおいて教師モデルの出力分布に一致するように学習させることで、大規模言語モデル（LLM）の圧縮に効果的であることが証明されています。しかし、このパラダイムをビジョン - ランゲージモデル（VLM）に適用すると、決定的な不一致が明らかになります。標準的な蒸留手法はすべてのトークンを均一に扱うため、言語的な足場（scaffolding）と、微細な視覚的証拠に真に依存するトークンを区別できずにいます。

著者らは、典型的な VLM のロールアウトにおいて、圧倒的多数のトークンは言語テンプレートや推論構造として機能し、ごく少数のトークンだけが視覚的詳細（例えば、図中の特定の数値など）によって決定されていると観察しています。標準的なカルバック・ライブラー（KL）ダイバージェンスの最小化は、すべてのトークンにわたって勾配を均一に平均化します。その結果、ごく少数の視覚的に重要なトークンに存在する強力な教師信号が、豊富な周囲の言語トークンによって希釈されてしまいます。その結果、学生モデルの出力精度は向上するかもしれませんが、視覚入力への依存度は強化されません。学生モデルは、実際には画像に注意を払うことを学習することなく、教師の表面的なテキストを模倣することを学習してしまいます。

2. 手法：視覚優位オンポリシー蒸留（VA-OPD）

この希釈に対処するため、著者らは微細な視覚的詳細を必要とするトークンを明示的に識別し、優先する手法である**視覚優位オンポリシー蒸留（VA-OPD）**を提案します。

2.1 視覚優位（VA）

核心的な診断ツールは、教師モデルの視覚的詳細への依存度をトークンレベルで定量化する**視覚優位（VA）**です。学生生成ロールアウト内の各トークン $y_t$ について、VA は、オリジナルの画像（$v$）を用いた教師のスコアと、微細な詳細（例えば OCR や小さな記号など）をダウンサンプリングによって破壊した劣化画像（$\tilde{v}$）を用いた教師のスコアとの対数確率の差を、非負に整流した値として計算されます。
$$a_t = \max(\log p_T(y_t | v, q, y_{<t}) - \log p_T(y_t | \tilde{v}, q, y_{<t}), 0)$$
高い VA は、そのトークンの予測が微細な視覚的詳細に強く依存していることを示し、低い VA は、そのトークンが言語事前知識や堅牢な大域的画像特徴に依存していることを示唆します。

2.2 主要な観察結果

学生ロールアウトの実証的分析により、2 つの重要な特性が明らかになりました。

1. 疎性（Sparsity）: VA は重尾分布を示します。上位 10% のトークンが、総 VA 質量の約 93% を担っています。
2. 教師信号の集中（Supervision Concentration）: 高 VA トークンに対する KL 損失をマスクすると精度が著しく低下しますが、低 VA トークンやランダムなトークンをマスクしても影響はほとんどありません。これは、視覚的教師信号が少数のトークンに集中していることを確認します。

2.3 VA-OPD 目的関数

VA-OPD は、信号の希釈を防ぐために VA を 2 つの粒度で適用することで、標準的なオンポリシー蒸留の目的関数を修正します。

• ロールアウトレベルの再重み付け: 同一プロンプトに対して生成された $K$ 個の兄弟ロールアウトのセットにおいて、各ロールアウトには、兄弟間の軌道平均 VA に基づくソフト重みが割り当てられます。視覚的依存度が高いロールアウトは、より多くの勾配に寄与します。
• トークンレベルのグループ化 KL: 各ロールアウト内では、トークンを VA でソートし、高 VA グループ（上位の割合、例：20%）と低 VA グループ（残部）に分割します。トークンごとの KL 損失は、各グループ内で個別に平均化された後、合計されます。これにより、重要な高 VA トークンからの勾配寄与が、シーケンス全体の長さ $T$ によって縮小されないように保証されます。

最終的な損失関数はこれらの成分を組み合わせます。
$$\mathcal{L}_{\text{VA-OPD}} = \mathbb{E}_{x \sim D} \left[ \sum_{k=1}^K w^{(k)} \left( \lambda \cdot \frac{1}{|V^{(k)}|} \sum_{t \in V^{(k)}} \text{KL}_t + (1-\lambda) \cdot \frac{1}{|L^{(k)}|} \sum_{t \in L^{(k)}} \text{KL}_t \right) \right]$$
ここで、$w^{(k)}$ はロールアウト重みであり、$\lambda$ は高 VA グループと低 VA グループの寄与のバランスを取ります。

3. 主要な貢献

1. 希釈問題の特定: 著者らは、標準的な VLM 用オンポリシー蒸留が、少数のトークンに集中する視覚的教師信号を均一な KL 重み付けが希釈してしまうため、視覚的依存を強化できないことを実証しました。
2. 視覚優位（VA）の導入: 追加のアノテーションや報酬モデルを必要とせず、トークンレベルの視覚的依存度を定量化するための教師相対的な反事実的指標として VA を提案しました。
3. VA-OPD フレームワーク: 2 つのレベル（ロールアウト再重み付けとトークンレベルのグループ化 KL）で VA を活用し、学習信号を視覚的に重要な位置に集中させる蒸留目的関数を導入しました。
4. 実証的検証: 3 つの教師サイズ（4B、8B、32B）、2 つのデータセット（Geometry3K、ViRL39K）、8 つのベンチマークにわたって手法を検証し、標準的なベースラインに対して一貫した改善を示しました。

4. 実験結果

著者らは、Geometry3K で学習された Qwen3-VL ファミリー（8B 教師、2B 学生）に対して VA-OPD を評価し、ViRL39K および異なる教師サイズにおける一般化テストを行いました。

• 性能向上: VA-OPD は 8 つすべてのベンチマークで標準 OPD を上回りました。
  • 数学的推論: 平均 +2.9 ポイントの改善。
  • 視覚的理解: 平均 +1.5 ポイントの改善。
  • 特定のベンチマーク: 微細な視覚的詳細に強く依存するタスクである**HallusionBench（+2.5）およびAI2D（+2.4）**で顕著な改善が観察されました。テキストのみのショートカットを許容するベンチマーク（例：MMStar）では改善が小さく、これは手法が視覚的依存に焦点を当てていることと一致します。
• スケーリング則: VA-OPD の標準 OPD に対する性能向上は、教師サイズ（4B から 32B）とデータセット規模（Geometry3K から ViRL39K）の両方とともに単調に増加し、これらの要因が一貫して相乗効果をもたらすことを示唆しています。
• 視覚的依存: 訓練中、VA-OPD の学生ロールアウトの平均 VA は精度と連動して上昇しましたが、標準 OPD では精度が上昇しても VA は停滞しました。これは、VA-OPD が単なる出力の模倣ではなく、真の視覚的依存を達成していることを示しています。
• 効率性: VA-OPD は、壁時計時間で標準 OPD の最終精度を約 3.0 倍速く達成し、固定された時間予算においてより高い性能天井に到達しました。

5. 意義と主張

本論文は、VA-OPD が VLM 向けオンポリシー蒸留ターゲットに、微細な視覚的詳細へのトークンごとの依存度を直接埋め込んだ最初の手法であると主張しています。その意義は以下の点にあります。

• メカニズム: 蒸留プロセス中に視覚的に重要なトークンを言語的足場から明示的に分離することで、「希釈」問題を解決します。
• 効率性: 追加のアノテーション、報酬モデル、または学生モデルの生成プロセスの変更を必要とせず、ロールアウトあたり 1 回（劣化した視覚的詳細を用いた）の追加の教師フォワードパスのみを追加します。
• 汎用性: 手法は異なるモデルスケールやデータ量にわたって性能を向上させるため、特定のデータセットのアーティファクトではなく、現在の VLM 蒸留戦略の根本的な限界に対処していることを示唆します。
• 質的変化: 推論時にデコーディングを変更する手法とは異なり、VA-OPD は学習ターゲットを変更して、学生モデルが画像を「読む」ことを学習するようにします。これは、定性的な可視化において数値や図の特徴に VA のホットスポットが出現することによって裏付けられています。

著者らは、VA が内部注意メカニズムの直接測定ではなく、教師の反事実に基づく視覚的依存の代理指標であること、および改善が視覚集約型タスクで最も顕著であることを指摘し、限界については控えめに述べています。