技術的概要：EarlyTom

問題定義

ビデオ大規模言語モデル（Video-LLM）は、ビデオ理解において強力な能力を実証しているが、膨大な量の視覚トークンを処理する際の計算効率の悪さにより、実用的な展開には大きな障壁が存在する。最近のトークン圧縮手法は、最小限の精度低下で低いトークン保持率を達成しているが、それらは主にプレフィルリングプロセスの最終段階（ビジョンエンコーダ後）または LLM 自体内で動作している。

レイテンシプロファイリングは、重要なボトルネックを明らかにしている：ビジョンエンコーディング段階が、Time-to-First-Token（TTFT）の相当部分を消費していることである。ベースラインモデルにおいて、ビジョンエンコーディングは TTFT の 36.3% を占める。LLM プレフィルレイテンシに最適化された最先端の手法（HoliTom、VisionZip など）では、これらの手法がビジョンエンコーダの最適化を行っていないため、この割合はそれぞれ 55.8%、68.4% まで上昇する。さらに、既存の圧縮戦略は、トークン処理中に無視できない計算オーバーヘッドを導入することが多く、これがさらにレイテンシを増大させる。加えて、標準的な Top-K トークン選択手法は、「アテンションシンク（attention sinks）」、つまり内容に関わらず一貫して不釣り合いに高いアテンションスコアを引き寄せる特定のトークンに脆弱であり、動的フレームにおいてバイアスのかかった圧縮や意味情報の損失を招く。

手法：EarlyTom

著者は、ビジョンエンコーダ内で早期に圧縮を実行し、非結合の空間選択戦略を利用するように設計された、トレーニング不要のトークン圧縮フレームワークEarlyTomを提案する。このフレームワークは、2 つの中核段階から構成される。

1. 内部ビジョンエンコーダフレームマージ（時間的圧縮）

この段階では、エンコーディングプロセス中に冗長な視覚情報を圧縮し、プロジェクタや LLM に到達する前にトークン数を削減する。

• ストリーミングフレームセグメンテーション: 入力ビデオは、フレームの類似性に基づいて適応的にセグメント分割される。連続するフレーム間のコサイン類似度が計算され、指数移動平均（EMA）を用いて平滑化される。セグメント境界は、平滑化された類似度が閾値（$\tau_{seg}$）を下回ったときに定義される。
• 中間フレームマージ: 各セグメント内において、最初と最後のフレームを除く中間フレームは、隣接フレームと非常に類似しており、かつ後続のペアよりも互いに類似している場合にマージされる。
• 重み付きフレームマージ: マージされたフレームは、フレーム特徴の重み付き融合によって生成される。重みは類似度スコアによって決定される。これにより、マージされた表現は時間的冗長性を削減しつつ、意味的に重要な内容の周りに集中したままとなることを保証する。

2. 非結合空間トークン選択

アテンションシンクによって導入されたバイアスに対処し、さらにトークン数を削減するため、この手法はフレームマージ後にシステムレベルで共設計された選択戦略を採用する。

• 動的対静的分解: マージされたフレームは、動的（セグメントの先頭と末尾のフレームであり、高い識別能力を有する）と静的（中間フレーム）のセットに分割される。
• グローバル Top-K 選択（動的）: 動的フレームに対しては、時間次元全体で運動に敏感なトークンを保持するため、トークンごとのアテンションスコアに基づいてグローバル Top-K 選択が実行される。
• ローカルウィンドウ Top-K 選択（静的）: 静的フレームに対しては、アテンションシンクのバイアスが選択を支配することを避けるため、フレームはローカルウィンドウに分割される。各ウィンドウ内では、最大のアテンションスコアを持つトークンが選択される。これにより、元の空間分布が保持され、構造的なアトラクタの負の影響が緩和される。
• システム共設計: 効率を向上させるため、計算負荷の軽い静的トークン選択は CPU にオフロードされ、GPU はより集約的な動的トークン選択を処理し、異種計算リソースを活用する。

主要な貢献

1. 内部ビジョンエンコーダフレームマージ: エンコーディング段階中に冗長な視覚情報を圧縮するメカニズム。実質的なオーバーヘッドなしに視覚トークンを効果的に削減し、TTFT を大幅に低下させる。
2. 非結合トークン選択: フレームを動的セットと静的セットに分離し、アテンションシンクからのバイアスをもたらすことなくトークンを削減するための、異なるサンプリング方式（グローバル Top-K 対ローカルウィンドウ Top-K）を適用する戦略。
3. 最先端のパフォーマンス: LLaVA-OneVision-0.5B および 7B モデルにおける広範な実験により、EarlyTom が完全トークンベースラインと同等の精度を維持しながら、優れた加速を達成することが示された。

実験結果

単一の NVIDIA A100 GPU を使用し、LLaVA-OneVision-7B と 4 つのベンチマーク（MVBench、EgoSchema、LongVideoBench、VideoMME）で評価を行った。

• 効率性: EarlyTom は、TTFT を最大2.65 倍削減（10% 保持時、889 ms から 336 ms）し、フルトークンベースラインと比較して FLOPs を最大**61%**削減する。さまざまな保持率（10%–25%）において、スループットとレイテンシの両面で他のトレーニング不要手法（VisionZip、HoliTom、FastVID など）を一貫して上回る。
• 精度: この手法は、競争力のあるダウンストリーム品質を維持する。10% の保持率において、EarlyTom は平均ベンチマークスコア 56.2（フルトークンベースラインの 96.2%）を達成し、積極的なプルーニング下で大幅な精度低下を被る他の手法を上回る。
• 汎用性: このアプローチは LLaVA-Video-7B および Qwen2.5-VL-7B アーキテクチャで検証され、精度を維持しつつ FLOPs 削減と TTFT 高速化において一貫した改善を示した。
• アブレーション: フレームマージまたは非結合選択戦略のいずれかを除去すると性能が低下し、効率性と忠実度のバランスを取るために両方のコンポーネントが必要であることが確認された。

意義

本論文は、EarlyTom が、圧縮パラダイムを後期段階（エンコーダ後）から初期段階（ビジョンエンコーダ内）へシフトさせることで、Video-LLM の展開における根本的なボトルネックに対処していると主張している。推論パイプラインの中で最も時間がかかるコンポーネント（ビジョンエンコーディング）を直接最適化し、バイアスを考慮した空間選択戦略を導入することで、EarlyTom はモデル性能を犠牲にすることなく、はるかに高速な推論（低い TTFT）と高いスループットを実現する。この研究は、計算リソースが制約された現実世界のレイテンシに敏感な生産環境における Video-LLM の実用的な展開の基盤を築くものである。