技術的概要：HEED - ハイブリッド視覚言語モデル蒸留のための密度重み付け残差アライメント

1. 問題定義

大規模視覚言語モデル（VLM）を、Mamba-2 線形層とアテンション層を混合したような効率的なハイブリッドアーキテクチャへ蒸留することは、推論コスト削減のための標準的なアプローチである。しかし、既存の集約ベンチマークは、重要な失敗モードを隠蔽している。すなわち、ハイブリッド学生モデルは広範な推論能力を保持しつつも、光学文字認識（OCR）、ドキュメント理解、チャート分析など、微細な視覚知覚を要するタスクにおいて著しい性能低下を招く点である。

著者らは、標準的な知識蒸留（KD）がすべての視覚トークンを均一に扱うことを特定した。高解像度画像では、ほとんどのパッチは空や壁などの滑らかな背景（低情報密度）で構成される一方、ごく一部にテキスト、エッジ、物体の境界といった重要な詳細（高情報密度）が含まれる。標準的な KD は、低情報密度の背景パッチに過剰な損失項を割り当て、特定の質問に回答するために不可欠な疎で高密度のパッチを保護することに失敗する。その結果、「微細知覚の崩壊」が生じ、学生モデルは全体的なシーンを記述できるが、その中の特定の数字やラベルを読み取ることができなくなる。

2. 手法：HEED

提案手法であるHEED（Density-Weighted Residual Alignment：密度重み付け残差アライメント）は、視覚パッチの局所情報密度に基づいて蒸留損失を再重み付けすることで、この不均衡に対処する。

2.1 診断的洞察

トークンレベルの診断を通じて、著者らは失敗を特定の位置に局所化した。

• 残差ドリフト: 局所特徴密度が最も高い上位 10% のパッチ（ViT 特徴の近傍との非類似性で定義）は、下位 10% と比較して教師モデルからの残差ドリフトが 3.6 倍大きい。
• 回答感度: これらの高密度パッチをマスクすると、低密度パッチと比較して教師モデルの回答スコアが 3.5 倍大きく低下する。
• 予測力: 局所的な視覚密度は、残差ドリフトの最も強力な予測因子であり、トークンタイプ（テキスト対視覚）、層の深さ、教師アテンションの集中度よりも優れている。

2.2 HEED アルゴリズム

HEED は、モデルアーキテクチャを変更したりパラメータを追加したりすることなく、トレーニング不要の密度重み付け残差アライメント戦略を実装する。

1. 密度推定: 各視覚パッチ $p$ に対して、$3\times3$ 近傍内の凍結された ViT 特徴の自己非類似性を用いて密度スコア $\rho(p)$ を計算する。
   $$\rho(p) = 1 - \frac{1}{|N(p)|} \sum_{q \in N(p)} \frac{v_p^\top v_q}{\|v_p\| \|v_q\|}$$
   高い $\rho(p)$ は局所的に特徴的なパッチ（例：テキスト、エッジ）を示し、低い $\rho(p)$ は滑らかな背景を示す。
2. 重み付け: これらのスコアを正規化し、温度パラメータ $\tau$ を用いた指数マッピングにより損失重み $w(p)$ に変換する。テキストトークンには、画像の平均視覚密度に基づいた一定のブーストが与えられる。
3. 残差アライメント: 層ごとのブロック出力（標準的な隠れ状態アライメント）をアライメントするか、あるいは均一な重みを使用する代わりに、HEED は教師と学生の残差ストリームをアライメントする。アライメント損失は密度スコアで重み付けされる。
   $$L_{HEED} = \frac{1}{|S^*|} \sum_{\ell \in S^*} \sum_{p=1}^{T} w(p) \| r_{\ell,p}^{\tilde{\theta}} - r_{\ell,p}^{\theta} \|_2^2$$
   これにより、ハイブリッド学生モデルは蒸留プロセス中に高密度の位置における情報保持を優先することが保証される。

2.3 トレーニングパイプライン

本手法は 3 段階の蒸留スケジュールに従う。

• ステージ 1（ウォームアップ）: 凍結されたアテンション重みを用いて残差ストリームをアライメントする。
• ステージ 2（フルブロック）: 密度重み付け残差アライメントを用いて完全な Mamba-2 ブロックをトレーニングする。
• ステージ 3（エンドツーエンド）: 標準的なロジットベースの KD（KL 発散＋クロスエントロピー）。
  HEED は、ステージ 1 と 2 で使用されるアライメント損失においてのみ、ベースライン手法と異なる。

3. 主要な貢献

1. 診断: 本論文は、ハイブリッド VLM の蒸留が、推論能力を保持しつつも、OCR やドキュメントといった微細な視覚知覚タスクにおいて選択的に失敗することを示し、その原因を標準的な KD におけるトークンの均一な扱いにあると帰着させた。
2. メカニズム: 高密度の視覚位置（局所的に特徴的な特徴）がドリフトの主要な源泉であり、教師の回答にとって最も重要であることを確立した。任意のパッチをランダムに再重み付けしても同様の利益は得られず、重みは具体的に高密度の位置を標的とする必要がある。
3. 手法（HEED）: パッチの自己非類似性を重要性の代理指標として用いる、軽量でパラメータ不要の介入手法である。推論アーキテクチャを変更したり、推論時のコストを追加したりすることなく性能を向上させる。

4. 実験結果

実験は、Qwen3-VL-8B-Instructを3:1 の Mamba-2/アテンションハイブリッドへ蒸留することで行われた。

• 性能向上:
  • 標準的なエンドツーエンド KD と比較して、HEED はOCRBench v2 を 8.7 ポイント向上させた。
  • 10 のベンチマーク全体で5.13 ポイントの平均向上を達成した。
  • 統制された比較（アライメント重みを均一から密度重み付けに変更するのみ）において、HEED は OCRBench v2 で4.7 ポイント、10 ベンチマーク平均で2.24 ポイントを回復させた。
• 選択性: 向上は微細な視覚知覚ベンチマーク（OCR、DocVQA、ChartQA）に集中しており、推論ベンチマーク（MMMU-Pro、MMStar）は安定またはわずかに向上している。
• トレーニング後: 標準的な SFT と DPO 後に、HEED 学生モデルは 10 ベンチマーク平均で教師レベルの性能（78.79 対 78.41）に達し、かつハイブリッドアーキテクチャの効率性を維持した。
• 効率性: 学生モデルはハイブリッドモデルの効率プロファイルを維持する。128k コンテキスト長において、教師と比較してスループットが 4.12 倍、メモリ使用量が 68% 削減され、追加の推論コストは発生しない。
• ロバスト性: 結果は、異なるランダムシード、異なる教師モデル（InternVL-3.5、MiniCPM-V 4.5、GLM-4.6V）、異なるハイブリッドアーキテクチャ（Gated DeltaNet）において維持された。

5. 意義と主張

本論文は、HEED が固定容量のハイブリッド系列モデルへ異種多モーダル入力を圧縮する際の根本的な限界に対処すると主張している。中核となる原理は、蒸留損失はすべてのトークンを均一に扱うべきではなく、局所情報密度に基づくトークンの重要性の差異を反映すべきであるという点である。

著者らは、HEED を推論時のトークン削減手法（例：VisionZip、FastV）と相補的なものとして位置づけている。それらの手法は推論中のトークン数を削減するが、HEED はトレーニング信号を最適化し、フルアテンション教師からハイブリッド学生への転換中に、モデルが最も重要なトークンを保持することを学習させる。本手法は、ハイブリッドアーキテクチャの効率性向上を損なうことなく失われた微細な能力を回復させる、実用的で低コストの介入として提示されている。

認められた限界:

• 密度は重要性の代理指標であり、普遍的な意味的セリニティ指標ではない。テキストやエッジを優先するが、グローバルに定義されたタスクや敵対的パターンを持つタスクでは効果が低い可能性がある。
• 本手法は凍結された ViT 特徴に依存しており、ドリフトの因果的証明を主張するものではなく、極めて効果的な経験的介入である。
• 結果はテストされたハイブリッド VLM 変換設定に特化したものであり、著者らは一般的にフルアテンションモデルに対するパレート支配を主張するものではない。