技術要約：削除ではなく、再ルーティングを（Reroute, Don't Remove）

1. 問題提起

Vision-Language Models (VLMs) は、画像を数百または数千の視覚トークンへと投影するため、デコーダの推論コストがアテンションに対して二次関数的に、KVキャッシュのメモリに対して線形に増大するという課題がある。これを軽減するために、既存の視覚トークン削減手法（例：FastV, PDrop, Nüwa）は、主に**「ランク付けと削除（rank-and-remove）」のパラダイムに従っている。このアプローチでは、視覚トークンがスコアリングされ（通常はテキスト対視覚アテンションを介して）、コンパクトなサブセットが保持されるが、残りのトークンはシーケンスから永久に破棄される**。

著者らは、このパラダイムにおける決定的な欠陥を指摘している。それは、トークンの重要性はデコーダの深さ（depth）によって安定していないということである。

• 動的な重要性: 深層デコーダの層では、浅い層ではアテンションが拡散的に作用する一方、ターゲットに関連する領域は中間層や深層層で初めて顕在化する場合がある。
• 不可逆性: 例えばレイヤー3のような早い段階のプルーニング（削減）ステージで低くランク付けされたトークンが、レイヤー25のような深い層の特定のクエリに対して不可欠である可能性がある。一度削除されると、そのトークンは後の計算に寄与できなくなる。
• 結果: 積極的なトークン削減（例：88.9%の削減）を行う場合、この不可逆性が原因で、一般的なVQA性能はある程度維持されているとしても、グラウンディング性能（例：IoUが0.4を下回るなど）が崩壊してしまう。

2. 手法：Reroute

本論文では、不可逆的な削除を回復可能なルーティング（recoverable routing）に置き換える、学習不要のプラグインであるRerouteを提案する。

コアメカニズム

Rerouteは、デコーダ側での視覚トークン削減を、単一のプルーニングイベントではなく、一連の**段階的なルーティング決定（stage-wise routing decisions）**として再定義する。

1. 段階的な選択: デコーダを $S$ 個のステージに分割する。各ルーティングレイヤー $\ell_i$ において、スコアラー（既存のテキスト対視覚アテンションスコアを再利用）が現在の候補となる視覚トークン集合をランク付けする。
2. ルーティング vs 延期（Deferral）:
   • 選択されたトークン ($V_{sel}$): 上位 $r_i$ 分率のトークンが、現在のステージのフルデコーダブロック（Attention + FFN）を通過するようにルーティングされる。
   • 延期されたトークン ($V_{def}$): 残りのトークンは、残差パスを介して現在のステージのAttn+FFN計算をバイパス（回避）する。極めて重要な点として、これらは削除されない。
3. 再エントリー: 次のルーティングレイヤーにおいて、候補セットはすべての延期されたトークンを含むように復元される（$C_{i+1} = V$）。延期されたトークンは、フル視覚セットに対して再評価される。もし彼らのアテンションスコアがより深い層で向上していれば、彼らは再選択され、後続のブロックを通過するようにルーティングされる。

理論的な効率性

• 予算の一致: Rerouteは、それが拡張するプルーニング・ベースラインの理論的なFLOPsおよびKVキャッシュ予算を維持する。各ステージにおいて重い計算（Attn+FFN）を消費するのは、選択されたトークン ($V_{sel}$) のみである。
• 学習不要: この手法は、元のプルーニング手法ですでに計算されているアテンションスコアを再利用する。新しいルーターのパラメータを学習する必要はない。
• MoDとの関係: これは、既存のアテンションメカニズムを「ルーター」として用いる、VLMの視覚トークンに対するMixture-of-Depth (MoD) の学習不要なインスタンス化として位置付けられる。

3. 主な貢献

1. 回復可能なルーティングの定式化: 著者らは、視覚トークンのプルーニングを、延期されたトークンのバイパスを伴う段階的なルーティングとして再定義した。これにより、従来の不可逆的なプルーニングは、再エントリーが禁止された退化したケースとして扱われることになる。
2. プラグイン・メカニズム: Rerouteは、再学習を必要とせず、既存のスコアリング規則とスケジュールを再利用し、基礎となるプルーニング手法の理論的な効率クラス（TFLOPsおよびKVキャッシュ）を維持する、ドロップイン形式の拡張機能である。
3. 実証的検証: 本手法は、3つのバックボーン（LLaVA-1.5-7B, Qwen2.5-VL-7B, Qwen3.5-9B-Hybrid）および3つのプルーニング・ベースライン（FastV, PDrop, Nüwa）にわたって検証されている。

4. 実験結果

論文では、視覚的グラウンディング（RefCOCOシリーズ）および一般的なVQAベンチマークにおいてRerouteを評価している。

• 視覚的グラウンディング (RefCOCO):

  • 積極的な削減: 88.9%のトークン削減（576 $\to$ 64トークン）という条件下では、標準的なプルーニング（例：FastV）はグラウンディング精度を崩壊させる（例：IoU < 0.4）。Rerouteはこの性能を大幅に回復させる。
  • 定量的な利得: LLaVA-1.5（HuggingFace形式）において、PDrop+Rerouteは、64トークンの時における平均グラウンディング比率を22.2%から34.0%へと向上させる。Qwen3.5-9B-Hybridでは、PDrop+Rerouteは88.9%削減時に比率を19.3%から37.4%へと向上させる。
  • クロスバックボーン: 改善効果は、ハイブリッドアーキテクチャ（Mamba-Transformer）を含むQwenファミリーのモデルにも効果的に転移する。

• 一般的なVQA:

  • Rerouteは、プルーニング・ベースラインと比較して、一般的なVQA性能（GQA, MME, TextVQA）を維持またはわずかに向上させており、回復可能なルーティングが一般的なマルチモーダル能力を損なわないことを示している。

• 効率性:

  • Rerouteは、プルーニング・ベースラインと同等のTFLOPsおよびKVキャッシュ削減を実現している（例：64トークンの時、TFLOPsで約80%、KVキャッシュで約86%の削減）。
  • 1回限りのプルーニングと比較して、追加のルーティング・ステージによるオーバーヘッドがあるため、わずかなTFLOPsの増加は見られるが、理論的なクラスは一致している。

• アブレーション研究:

  • 頻度: ルートの回数を増やすと、ある一点までは一般的に性能が向上する。これは、繰り返しの再評価が有益であることを示唆している。
  • 位置: ルーティング層の配置は重要である。初期から中間のデコーダ層が、再エントリーの決定において最適である。

5. 意義と主張

本論文は、視覚トークンの削減は、単なる不可逆的なプルーニングとしてではなく、回復可能なルーティングとしても捉えられるべきであると主張している。

• パラダイムシフト: 既存の手法の限界は、スコアリングの仕組みにあるのではなく、「削除」というアクションにある。削除を「延期」に置き換えることで、モデルはデコーダの深さにわたる視覚トークンの重要性の変化に適応できるようになる。
• グラウンディングへの感度: 恩恵は、グラウンディング主体のタスクや、積極的なトークン削減が行われる場合に最も顕著であり、そこでは不可欠な視覚的証拠を破棄してしまうリスクが最も高くなる。
• 限定的な範囲: 著者らは、Rerouteがアテンションスコア・ルーターの限界（ランキングが不適切であれば、依然として不活性なトークンが生じる可能性があること）を継承していること、および実用的なレイテンシは最適化されたgather/scatterカーネルに依存することを認めている。また、ハイブリッドアーキテクチャ（Qwen3.5など）においては、現在ルーティングはソフトマックス・アテンション・ブロックにのみ適用されており、リニア・アテンションの状態ダイナミクスとの相互作用については今後の課題であるとも述べている。

結論として、Rerouteは、延期された証拠を回復する選択肢を保持することで、計算予算が厳しく制限されている場合でも、追加の学習を必要とせず、理論的な計算コストを増大させることなく、VLMが高いグラウンディング精度を維持できることを示している。