技術要約：マルチモーダル大規模言語モデルにおけるスペクトル進化に基づくトークン削減

1. 問題提起

マルチモーダル大規模言語モデル（MLLM）は、視覚的推論や対話において著しい進歩を遂げているが、サンプルあたり数百から数千の視覚トークンを処理することによる高い計算コストに悩まされている。この非効率性は、高解像度の画像やビデオのシナリオにおいて特に深刻である。

既存のトークン削減手法は、視覚トークンの冗長性を軽減することでこれを緩和しようと試みている。しかし、現在のアプローチは通常、特定のTransformerレイヤー内で計算されるアテンションスコア、特徴量の大きさ、あるいは類似度といった単一レイヤーの信号に依存している。著者らは、これらの手法における2つの決定的な限界を指摘している：

1. 位置バイアス（Positional Bias）: アテンションスコアは、真のセマンティックな重要性を反映しているのではなく、位置エンコーディングの効果により、平坦化されたシーケンスの後半に現れるトークンに対してバイアスを持つ傾向がある。
2. 静的な表現（Static Representation）: 単一レイヤーの信号は、視覚的表現の**レイヤー間を跨ぐ変遷（cross-layer transformation）**を見落としている。MLLMにおいて、視覚トークンはLLMデコーダのレイヤーを通過するにつれて、低レベルの空間的詳細から高レベルのセマンティックな抽象へと構造的な進化を遂げる。瞬間的な信号は、この動的な遷移を捉えることができず、その結果、セマンティックに活動的なトークンを削除したり、冗長な背景トークンを保持したりしてしまう可能性がある。

2. 手法：クロスレイヤー・スペクトル進化（CLSE）

これらの制限に対処するため、著者らはトレーニングフリーのトークン削減フレームワークであるクロスレイヤー・スペクトル進化（Cross-Layer Spectral Evolution: CLSE）を提案する。CLSEは、単一の時点における特徴量の大きさやアテンションの強度に基づいてトークンの重要性を測定するのではなく、トークンの表現がTransformerレイヤーを通じて周波数領域においてどのように進化するかを定量化する。

コアメカニズム

本手法は、セマンティックに活動的なトークンはレイヤーを跨いで顕著なスペクトル再分配（高周波の構造的詳細から低周波のセマンティックな抽象への遷移）を起こす一方で、冗長な背景トークンは周波数領域において比較的静止したままであるという観察に基づいている。

CLSEのパイプラインは以下のステップで構成される：

1. 周波数投影（Frequency Projection）: 特定のレイヤー $\ell$ における視覚トークンを2D空間特徴マップへと再形成し、高速フーリエ変換（FFT）を用いて周波数領域へと変換する。
2. ハイパスフィルタリング（High-Pass Filtering）: スペクトルにガウスハイパスフィルタを適用して、低周波のグローバルなパターンを抑制し、高周波の構造的エネルギーを孤立させる。これにより、「残差」としての構造情報を抽出する。
3. スペクトル進化の計算（Spectral Evolution Calculation）: 隣接するレイヤー（$\ell$ と $\ell+1$）間の高周波エネルギー分布の正規化された差分を計算する。
   • $\mathbf{S}_\ell$ をレイヤー $\ell$ における高周波エネルギーの空間分布とする。
   • 進化強度 $\mathcal{I}^{(\ell)}$ は以下のように計算される：
     $$\mathcal{I}^{(\ell)} = \text{clip}\left( \frac{|\mathbf{S}_{\ell+1} - \mathbf{S}_{\ell}|}{\mathbf{S}_{\ell} + \overline{\mathbf{S}}_{\ell} + \epsilon}, 0, \tau_{\max} \right)$$
   • ここで、$\overline{\mathbf{S}}_{\ell}$ はトークン間の平均エネルギーであり、非活動領域における微小な変動を抑制するための正則化因子として機能する。
4. トークン選択（Token Selection）: 進化強度のスコアが高いトークンはセマンティックに活動的であると見なされ、保持される。スコアが低いトークン（静的で冗長な表現を示すもの）は削減される。

統合

CLSEは、LLMデコーダの初期レイヤー（具体的には入力埋め込みと最初のデコーダレイヤー出力の間）に統合される。これは、後続のレイヤーが削減されたシーケンスを処理する前に、トークン選択をガイドするプラグアンドプレイ型のモジュールとして機能する。本フレームワークはトークン結合（merging）戦略と直交しており、それら（例：CLSE-M）と組み合わせることが可能である。

3. 主な貢献

本論文は主に3つの貢献を述べている：

1. クロスレイヤー・スペクトル進化フレームワーク (CLSE): 単一レイヤーの統計量を超え、LLMレイヤーを跨いでの視覚的表現の（構造的詳細からセマンティックな抽象への）進化を特徴付ける、トークン重要度推定のための新しい原理。
2. トレーニングフリーの削減戦略: モデルの再学習や重みの変更を必要とせずに、推論中に冗長なトークンを特定して除去する実用的な実装。これは、意味のある表現の変化を起こしているトークンを保持するために、スペクトル力学を活用する。
3. 実証的検証: 多様な画像およびビデオベンチマークにおける広範な実験を通じて、CLSEが、特にアグレッシブなトークン削減比率の下で、効率性と精度の優れたトレードオフを実現することを実証した。

4. 実験結果

著者らは、複数のMLLM（LLaVA-1.5, LLaVA-Next, Qwen2-VL）およびベンチマーク（GQA, MMB, POPE, SQA, VQATextなど）を用いてCLSEを評価した。

画像理解

• 性能: LLaVA-1.5-7Bにおいて、CLSEは192トークン（66.7%削減）を保持した場合に、フルトークンモデルに対して平均**99.4%**の精度を達成し、FastV（92.1%）やPDrop（96.9%）といった最先端の手法を上回った。
• アグレッシブな削減: 88.9%の削減（64トークン）という極端な条件下でも、CLSEは**94.8%**の性能を維持し、大幅な劣化に見舞われた競合手法を大きく引き離した。
• 汎用性: 本手法は異なるモデルアーキテクチャ（LLaVA-Next-7B, Qwen2-VL-7B/72B）においても一貫した改善を示し、アテンションベースの手法が失敗する場面でも高い精度を維持した。

ビデオ理解

• 極限の圧縮: Video-LLaVAにおいて、トークンを2048から194へ（90%以上の削減）圧縮した際、CLSEはGPT-4o-miniによる評価で**35.7%**の平均精度を達成した（FastVは26.1%）。
• トークン結合バリアント (CLSE-M): 削減されたトークンを呼び戻し、スペアスコアに基づいてクラスタリングすることで、CLSE-Mはバニラモデルの性能（精度38.7%）に匹敵しながら、FLOPsを約90%削減した。

効率性

• 計算コスト: CLSEはFLOPsとKVキャッシュメモリを大幅に削減する。LLaVA-1.5-7Bにおいて、比較手法の中で最も低いFLOPs（43.9%）を達成し、プリフィックス（prefilling）時間の1.50倍の高速化を実現した。
• スケーラビリティ: 重みを抽出するために「Eager」なアテンション計算（二次計算量 $O(N^2)$）を必要とするアテンションベースの削減とは異なり、CLSEはFFTに依存するため、ほぼ線形に近い計算量 $O(N \log N)$ を維持する。これにより、長いシーケンスに対しても、削減メカニズム自体のオーバーヘッドが低く抑えられる。

5. 重要性と主張

本論文は、クロスレイヤー・スペクトル進化が、瞬間的なアテンションや大きさに基づく指標よりも、トークンの重要性に関するより信頼できる信号を提供すると主張している。

• バイアスの軽減: 単一レイヤーにおける状態ではなく、レイヤーを跨ぐ表現の「変化」を分析することで、CLSEはアテンションスコアに内在する位置バイアスを軽減する。
• セマンティックな忠実度: 本手法は、MLLMのデコーディングが空間的詳細からセマンティックな抽象への遷移を伴うという理論的理解と一致している。この遷移に積極的に参加している（スペクトル進化を示す）トークンが保持され、静的な背景トークンが除去される。
• 堅牢性: このアプローチは、異なる圧縮レベルやモデルスケールにおいて堅牢であり、再学習なしでMLLMを加速するための安定した経路を提供する。

著者らは、周波数領域における表現のダイナミクスをモデル化することは、効率的なマルチモーダル推論のための有望な方向性であり、MLLMにおけるスペクトル表現のさらなる探求を促すものであると結論付けている。