技術要約: TOPS - 第一原理に基づく視覚的トークン・プルーニング

1. 問題提起

マルチモーダル大規模言語モデル（MLLM）は、推論と理解において著しい進歩を遂げているが、高い計算コストとメモリオーバーヘッドの問題に直面している。この非効率性は、トークン化の際に生成される膨大な数の視覚的トークンに起因しており、これらはすべてのTransformerレイヤーを通じて処理される。自己注意機構（self-attention mechanism）はシーケンス長に対して二次関数的にスケールするため、高解像度の画像やビデオ入力は重大なボトルネックを生み出す。

既存の視覚的トークン・プルーニング手法は、冗長なトークンを削除することでこれを軽減しようと試みているが、原理的な目的関数ではなく、ヒューリスティックなスコアリング・スキームに依存している。現在の手法は概ね以下の3つのカテゴリに分類され、それぞれに特有の限界がある：

• アテンションベースの手法: 高いアテンション・スコアを持つトークンを保持するが、意味的に冗長なトークンを保持してしまうことが多い。
• 多様性ベースの手法: 意味的な分散を促進するが、ユーザーの指示に対して非依存（agnostic）である場合が多く、タスクに不可欠な証拠を破棄してしまう可能性がある。
• 複合的手法: 複数の基準を統合しているものの、トークン・プルーニングの固有の目的を根本的な定式化としてではなく、単なるランキング問題として扱っており、なぜ特定の基準が十分であるのかという理論的な正当性を欠いている。

2. メソドロジー：第一原理による定式化

著者らは、情報理論を用いた第一原理の観点から導出された、学習不要かつモデルに依存しないプルーニング・モジュールであるTOPS (Token Optimal Preservation Sets) を提案する。

2.1 理論的基礎

トークン・プルーニングの核心的な目的は、部分集合 $S \subseteq V$ （ここで $V$ は全視覚トークンの集合）を見つけることであり、これは部分集合と、視覚トークンおよびテキストクエリ $Q$ の結合分布との間の相互情報量を最大化することである：
$$\max_{S \subseteq V, |S| \le K} I(S; V, Q)$$

相互情報量の連鎖律を適用することで、著者らはこの目的を以下の3つの基本原則に分解している：

1. タスク関連性 ($I(S; Q)$): 部分集合は、ユーザーのクエリに関して情報量豊か（informative）でなければならない。
2. 情報カバレッジ ($I(S; V | Q)$): 部分集合は、クエリを条件とした場合の元の視覚集合 $V$ に関する十分な情報を保持し、条件付きエントロピー $H(V | S, Q)$ を最小化しなければならない。
3. 意味的多様性: 条件付き相互情報量の上界から導出されるこの原則は、固定された予算内で、トークンは情報利得を最大化するために、既に選択されたトークンから意味的に区別されていなければならないことを規定している。

2.2 TOPS アルゴリズム

TOPSは、各プルーニング・ポイントにおいて貪欲（greedy）に最適なトークン部分集合を構築する。プロセスは以下の通りである：

1. スコアリング: 各候補トークン $i$ に対して、アルゴリズムは以下を計算する：
   • タスク関連性 ($r_i$): テキスト・レイター・アテンション（または初期段階での CLS アテンション）を介して推定。
   • 情報カバレッジ ($c_i$): 候補と未選択の残りのトークンとの最大類似度に基づき、既に選択されたトークンへの類似度によって調整して算出。
   • 意味的多様性 ($d_i$): $1 - \max_{j \in S} \text{sim}(h_i, h_j)$ として測定され、新しいトークンが現在の集合と区別されることを保証する。
2. 選択: アルゴリズムはこれらのスコアを以下の情報保存スコアへと結合する：
   $$\tilde{g}_{info_i} = \tilde{r}_i + \lambda \tilde{c}_i(U) + \alpha \tilde{d}_i(S)$$
   ここで $\alpha$ と $\lambda$ はバランス係数である。このスコアを最大化するトークンが部分集合 $S$ に追加される。
3. マルチステージ・パイプライン: 微細な削減を扱うため、TOPSは2つのステージで実装されている：
   • ステージ I: マルチモーダル・プロジェクターの後、かつLLMの前で適用される。粗い冗長性を除去するためにCLSアテンションを用いて関連性を判断する。
   • ステージ II: LLM内部の指定されたレイヤーで適用される。テキストによる視覚情報の精緻化（refinement）のために、LLMのテキスト・トゥ・ビジュアル・アテンションを活用する。

3. 主な貢献

1. 第一原理の観点: 本論文は、トークン・プルーニングをヒューリスティックな重要度ランキング問題ではなく、情報理論に基づいた最適な部分集合選択問題として再定義した。
2. 3つの基本的原則: 効果的なプルーニングのための必要条件として、タスク関連性、情報カバレッジ、および意味的多様性を特定し、定式化した。
3. TOPS モジュール: 動的に「トークン最適保存集合」を構築する、プラグアンドプレイ可能で、学習不要かつモデルに依存しないプルーニング・アルゴリズム。
4. 広範な検証: 7つのMLLMバックボーン（LLaVA-1.5, LLaVA-NeXT, Qwen2.5-VL, InternVL3, LLaVA-Videoを含む）および14の多様なベンチマークにわたる包括的な実験。

4. 実験結果

著者らは、TOPSが様々な圧縮率およびモデル・アーキテクチャにおいて、最先端の手法（例：FastV, VisionZip, DivPrune, SCOPE）を一貫して上回っていることを報告している。

• LLaVA-NeXT: 7Bモデルにおいて、TOPSは視覚的トークンの**77.8%を削除しながら、元の性能の100.0%**を維持した。より高い圧縮率（88.9%および94.4%の削減）においても、それぞれ99.1%および96.4%の性能を維持した。
• LLaVA-1.5: 77.8%の圧縮において、TOPSは98.3%の性能を維持し、次点の優れた手法（SCOPE）を0.5%上回った。極端な圧縮（94.4%削減、残り32トークン）においても、94.6%の性能を維持している。
• 高度なアーキテクチャ: Qwen2.5-VL-7BおよびInternVL3-8Bにおいて、TOPSはテストされたすべてのプルーニング比率で最高の精度を達成し、アーキテクチャに依存しない有効性を示した。
• ビデオ理解: 64フレームを用いたLLaVA-Videoにおいて、TOPSは62.1%のトークン削減で98.4%の性能を、90.5%の削減で92.3%の性能を維持し、FastVのようなベースラインを大幅に上回った。
• 効率性: TOPSは、ベースラインと比較してFLOPsをほぼ10分の1に削減し、GPUメモリ使用量を1.9GB削減し、プリフィル（prefill）レイテンシを大幅に改善した。
• ハルシネーションの抑制: 特筆すべき点として、HallusionBenchにおいて、TOPSはハルシネーションに対する強い耐性を示しており、冗長なトークンを削除することが推論の忠実度を向上させる場合があることを示唆している。

5. 意義と主張

本論文は、効果的なトークン・プルーニングは、単にヒューリスティックな重要度スコアに依存するのではなく、タスクに関連する、代表的であり、かつ非冗長な視覚情報を共同で保持しなければならないと主張している。プルーニングを情報理論的な最適化問題として定式化することで、TOPSは効率的なマルチモーダル推論のための原理的な基盤を提供する。

著者らは、自らの研究が軽量なMLLM設計への指針を提供すると示唆しており、積極的なプルーニングが時にハルシネーションを緩和する場合があることを指摘している。しかし、貪欲な構築ループの計算オーバーヘッド（$O(KN)$）、関連性信号のためのアテンション・メカニズムへの依存、およびレイヤーやタスクを横断した固定ハイパーパラメータの使用といった限界も認めている。また、医療画像や高密度キャプションニングのような、高度に専門化された領域における体系的な評価はまだ行われていないことも述べている。