技術概要：Hide to See：VLM 蒸留における視覚に根ざした推論のための推論プレフィックス・マスキング

問題提起

Qwen3-VL-Thinking などのビジョン・ランゲージモデル（VLM）における最近の「思考・回答」アプローチは、最終的な回答を生成する前に中間推論ステップを生成することで、推論性能を大幅に向上させています。しかし、これらの長い推論トレースは莫大な計算コストを伴い、リソース制約のある環境での展開を制限しています。知識蒸留（KD）は、大規模な教師モデルからコンパクトな学生モデルへ能力を転送することで、この課題に対する解決策を提供します。

「思考・回答」型 VLM の蒸留における重要な課題は、視覚的忘却です。学生モデルが長い推論トレースを生成する際、後続のトークンを予測する際に、蓄積されたテキスト推論プレフィックス（以前に生成されたトークン）に強く依存する傾向があります。これらのプレフィックスには、学生が視覚入力を再確認する必要なく教師の軌跡を模倣するのに十分な情報が含まれていることが多く、その結果、学生は視覚的証拠を無視することを学習し、視覚に根ざした推論能力の低下を招きます。視覚アテンションマップやトークン間の関係を転送する既存の蒸留手法は、テキストの手がかりによるショートカットを誘発するこの特定の傾向に対処できていません。

手法：Masking-KD

著者は、最も影響力のあるテキスト的手がかりを意図的に隠蔽することで、学生モデルの推論を視覚的証拠に根ざさせるように設計された、新しい蒸留フレームワークMasking-KDを提案します。

中核メカニズム

標準的な因果的マスク（学生がすべての過去のトークンを参照できるようにするもの）の代わりに、Masking-KD は顕著な推論プレフィックス・マスクを採用します。このマスクは、未来のトークンへのアクセス（標準的な因果性）に加えて、学生が通常、教師を模倣するために依存する特定の顕著な推論プレフィックスへのアクセスを遮断します。これらの高影響力のテキスト的手がかりを除去することで、学生は欠落した情報を補うために視覚的証拠を利用することを強いられます。

このフレームワークは、2 つの適応的コンポーネントで構成されます。

1. トークン単位の顕著な推論プレフィックス・マスキング:

   • 識別: 主要な蒸留ステップの前に、学生モデルの補助フォワードパス（標準的な因果的マスク下）を実行します。これにより、現在のトークンを予測する際に学生が最も強く注目する過去のトークンを示すレスポンス対レスポンスのアテンションマップ（$A^{resp}$）が生成されます。
   • 選択: 次のトークン予測ごとに、アテンション重みに基づいてトップ-$\rho$ の最も顕著なプレフィックスを識別します。これらは回答への最も強力な「ショートカット」を提供するトークンです。
   • マスキング: 識別されたこれらの顕著なプレフィックスは、実際の蒸留トレーニングステップ中にマスクされ（アテンション・ログit で $-\infty$ に設定され）、学生がこれらに注目することを防ぎます。

2. 自己ペースド・マスキング・バジェット・スケジューリング:

   • 各トークンの蒸留の難易度は異なります。容易に模倣できるトークン（教師と学生の間の不一致が小さい）は、学生が単にプレフィックスをコピーできる場合、弱い学習信号しか提供しません。
   • この手法は、補助フォワードパス中に教師と学生の分布間のトークン単位の逆 KL 発散を計算します。
   • この難易度に基づいて、累積比率閾値（$\rho_n$）を各トークンに適応的に割り当てます。容易に模倣できるトークン（KL 発散が小さい）は、学生がテキスト的手がかりに依存するのではなく視覚的手がかりに依存することを強制するために、高いマスキング・バジェット（より多くのプレフィックスをマスク）を受け取ります。学習が難しいトークンは、安定したトレーニングを確保するために、より少ないマスキングを受け取ります。

学習目的

学生は、マスクされたコンテキスト下での予測分布と、フルコンテキスト下での教師の分布との間の逆 KL 発散を最小化するように学習されます。損失関数は以下のように定義されます：
$$\mathcal{L}_{Distill} = \frac{1}{N} \sum_{n=1}^{N} \sum_{y \in \mathcal{V}} p_s(y \mid \mathbf{x}_v, \mathbf{x}_q, \mathbf{y}_{<n}, \tilde{\mathbf{M}}) \log \frac{p_s(y \mid \mathbf{x}_v, \mathbf{x}_q, \mathbf{y}_{<n}, \tilde{\mathbf{M}})}{p_t(y \mid \mathbf{x}_v, \mathbf{x}_q, \mathbf{y}_{<n}, \mathbf{M})}$$
ここで、$\tilde{\mathbf{M}}$ は顕著な推論プレフィックス・マスクであり、$\mathbf{M}$ は標準的な因果的マスクです。

主要な貢献

1. Masking-KD フレームワーク: 顕著な推論プレフィックスをマスクすることで視覚に根ざした思考を強化し、学生がテキストのショートカットに依存するのではなく視覚的証拠を利用することを強制する、新しい蒸留パラダイム。
2. トークン単位の適応的マスキング: 各特定のトークン予測に対して最も影響力のある推論プレフィックスを動的に識別・マスクするメカニズム。重要なコンテキストがデコードステップごとに異なることを認識している。
3. 自己ペースド・バジェット・スケジューリング: 各トークンの蒸留難易度（KL 発散）に基づいてマスキング強度を調整する適応戦略。容易に模倣できるトークンに対する学習信号を増幅する。
4. 実証的検証: このアプローチが既存の VLM 蒸留手法および自己蒸留ベースラインを上回ることを示す広範な実験。

実験結果

著者は、Geometry-3K, MathVista, We-Math, MMK12, MathVerse, LogicVista, および MMMU-Proを含むマルチモーダル推論ベンチマークにおいて Masking-KD を評価しました。

• 性能向上: Masking-KD は、すべてのモデルサイズ（2B, 4B, 8B）で最先端の結果を達成しました。特に、蒸留された4B モデルは、蒸留されていない 8B 教師を上回り、2B モデルは蒸留されていない 4B 教師を上回りました。
• ベースラインとの比較: この手法は、標準的なレスポンスレベルの蒸留だけでなく、視覚パターンを明示的に転送する手法（LLaVA-KD, CompoDistill, Align-TI など）よりも大幅に優れていました。
• 自己蒸留: このフレームワークは、学生が自らの教師となる自己蒸留設定において効果的であり、OPSD などの他の自己蒸留手法を上回りました。
• 視覚アテンション分析: 定性的および定量的分析により、Masking-KD モデルはベースラインと比較して生成プロセス全体を通じて視覚アテンション比率を高く維持し、「視覚的忘却」現象を効果的に緩和していることが確認されました。テキスト的手がかりがマスクされた場合、モデルは関連する画像領域をより強く活性化することが観察されました。

意義と主張

本論文は、思考・回答型 VLM の蒸留における主要なボトルネックは、蓄積された推論プレフィックスによって提供されるテキストのショートカットを学生が利用し、それによって視覚入力を軽視する傾向にあると主張しています。

Masking-KD の意義は、教師の視覚的知識を（アテンションマップなどを通じて）明示的に転送することから、学生が自らの視覚に根ざした推論プロセスを構築するよう導くことへの転換にあります。最も明白なテキストの手がかりを「隠す」ことで、この手法は学生に問題を解決するために画像を「見る」ことを強制します。著者は、このアプローチが、内部の視覚パターンを模倣することに焦点を当てた以前の手法よりも VLM 推論の蒸留に効果的であると結論付けています。なぜなら、長い連鎖推論タスクにおける視覚的忘却の根本原因に直接対処しているからです。