💻 computer science

Accelerating Streaming Video Large Language Models via Hierarchical Token Compression

本論文は、ストリーミング動画LLMの計算負荷を軽減するため、ViTのエンコーディングとLLMのプリフィリングの両段階において、特徴量のキャッシュと重要トークンの削減を行う階層的な圧縮フレームワーク「STC」を提案し、精度を維持しつつ処理速度を大幅に向上させる手法を提示しています。

原著者： Yiyu Wang, Xuyang Liu, Xiyan Gui, Xinying Lin, Boxue Yang, Chenfei Liao, Tailai Chen, Linfeng Zhang

公開日 2026-02-12

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Yiyu Wang, Xuyang Liu, Xiyan Gui, Xinying Lin, Boxue Yang, Chenfei Liao, Tailai Chen, Linfeng Zhang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

1. 今までのAIが抱えていた「悩み」

想像してみてください。あなたは、**「超・仕事熱心だけど、ちょっとおっちょこちょいな秘書」**に、ライブカメラの映像を見せながら「今、何が起きてる？」と質問しているとします。

これまでのAI（動画LLM）には、2つの大きな問題がありました。

問題①：映像の「見すぎ」問題（ViTの負担）
秘書は、カメラから送られてくる映像の「すべてのコマ」を、一コマ一コマ、ものすごく真剣に、全力で観察しようとします。でも、動画のほとんどは「さっきと同じ景色」ですよね？背景の壁や、動いていない机を、毎秒何十回も全力で観察するのは、時間の無駄ですし、秘書の脳がパンクしてしまいます。
問題②：情報の「詰め込みすぎ」問題（LLMの負担）
秘書は、観察した膨大なデータをすべてメモ帳に書き留めます。動画が長くなればなるほど、メモ帳が文字でギッシリになり、次に質問されたときに「えーっと、あのメモのどこに書いてあったかな…」と、読み返すだけで時間がかかってしまいます。

結果として、質問しても返事が来るまでに時間がかかりすぎて、リアルタイムの会話になりません。

2. 解決策：新技術「STC（階層的トークン圧縮）」

この論文が提案するSTCは、この秘書に**「賢いサボり方」と「要約術」**を教える仕組みです。2つのステップがあります。

ステップ①：STC-Cacher（賢いサボり術）

これは、**「変化があったところだけ見る」**というテクニックです。

例え： 秘書は、まず「基準となる写真」を1枚しっかり撮ります。次の瞬間、映像が送られてきたとき、秘書はこう考えます。「あ、背景の壁はさっきと同じだ。ここは見なくていいや（キャッシュの再利用）。あ！あそこで猫が動いた！ここだけは新しく観察しよう（動的トークンの計算）！」
効果： 全力を出す場所を「変化した部分」だけに絞ることで、脳のエネルギーを大幅に節約できます。

ステップ②：STC-Pruner（天才的な要約術）

これは、**「大事なことだけメモする」**というテクニックです。

例え： 観察が終わった後、秘書はメモ帳に書く前に、自分の中で「要約」をします。「さっきまでの流れ（過去の文脈）」と「今の画面全体（今の空間）」の両方と比較して、「これは新しい情報だ！」「これは重要だ！」という情報だけをピックアップしてメモします。
効果： メモ帳がスッキリするので、次に質問されたとき、秘書は一瞬で答えを見つけられるようになります。

3. この技術で何が変わるのか？（まとめ）

この「賢いサボり方」と「要約術」を組み合わせた結果、以下のようなすごいことが実現しました。

めちゃくちゃ速い： 映像の処理スピードが上がり、AIの返答待ち時間が劇的に減りました（LLMの準備時間が約45%もカット！）。
賢さはそのまま： 「サボっている」のに、大事な情報は逃さないので、AIの理解力（正確さ）はほとんど落ちません（99%の精度を維持）。
どこでも使える： 今あるAIに「後付け」で組み込めるので、すぐに実際のアプリ（スマートグラスやライブ解説AIなど）に使える準備ができています。

一言で言うと：
「動画の『変わらない部分』を賢くスルーし、『大事な変化』だけをピンポイントでメモすることで、AIを賢いまま爆速にする技術」です！

技術要約：階層的トークン圧縮によるストリーミング動画大規模言語モデルの加速

1. 背景と課題 (Problem)

ストリーミング動画理解（Streaming Video Understanding, SVU）は、ライブスポーツの解説やARグラスなどのリアルタイム性が求められる用途で重要視されています。しかし、既存の動画大規模言語モデル（VideoLLM）をストリーミング環境に適用するには、以下の2つの大きな計算ボトルネックが存在します。

ViT（Vision Transformer）エンコーディングの冗長性: ストリーミング動画はフレーム間隔が狭いため、隣接するフレーム間で視覚的な内容が非常に似通っています。既存の手法では、各フレームを独立してエンコードするため、静止した背景などの冗長な情報を何度も計算し直すことになり、大きな遅延（Latency）が発生します。
LLMプリフィリング（Prefilling）の負荷: 動画が進むにつれて、LLMに入力される視覚トークンのシーケンスが膨大になります。これにより、LLMの自己注意（Self-attention）メカニズムの計算コストが二次関数的に増大し、メモリ消費と応答遅延を悪化させます。

また、ストリーミング特有の制約として、「将来のフレームが見えない（因果律の遵守）」ことや、「ユーザーの指示（Query）がフレーム処理後にしか届かない（指示非依存性）」ことがあり、これまでのオフライン向け圧縮手法は適用が困難でした。

2. 提案手法 (Methodology)

本論文では、既存のVideoLLMにプラグアンドプレイ（そのまま組み込み可能）で導入できる階層的フレームワークSTC (Streaming Token Compression) を提案しています。STCは、計算の異なる2つのステージを最適化する2つのモジュールで構成されます。

① STC-Cacher (ViTエンコーディングの加速)

ViTの計算負荷を軽減するために、**「選択的再計算（Selective Computation）」**を行います。

参照フレーム（Reference Frame）: 一定間隔（ $N$ フレームごと）でフルフォワードパスを実行し、中間表現（Key, Value, Attention, MLPの出力）をキャッシュします。
非参照フレーム: キャッシュされた参照フレームのKey投影と比較し、コサイン類似度が低い（＝変化があった）「動的トークン」のみを計算します。変化のない「静的トークン」はキャッシュから再利用します。これにより、情報の損失を最小限に抑えつつ、ViTの計算量を削減します。

② STC-Pruner (LLMプリフィリングの加速)

LLMに入力する前に、視覚トークンシーケンスを圧縮します。指示（Query）に依存せず、以下の2つの「アンカー」を用いた**「デュアルアンカー・プルーニング」**を採用しています。

時間的コンテキスト・アンカー (TCA): 過去の履歴バッファの平均。過去の文脈との差異を測定します。
空間的コンテキスト・アンカー (SCA): 現在のフレームの全トークンの平均。現在のフレーム内での冗長性を測定します。
仕組み: 各トークンに対し、TCAおよびSCAの両方に対する「新規性（Dissimilarity）」をスコア化し、スコアが高い（＝過去とも現在のフレーム内とも異なる、重要な）トークンのみを保持します。

3. 主な貢献 (Key Contributions)

ストリーミング特有の分析: ストリーミング動画における時間的冗長性と、因果律・指示非依存性の制約を実証的に明らかにしました。
階層的加速フレームワーク: ViTのエンコード段階とLLMのプリフィリング段階の両方を同時に最適化する、初のストリーミングネイティブな設計を提案しました。
プラグアンドプレイ性: モデルの再学習を必要とせず、既存のオンラインモデル（Dispider, LiveCC等）やオフラインからオンラインへ変換するフレームワーク（ReKV）にそのまま適用可能です。

4. 実験結果 (Results)

4つのベースラインモデルと5つのベンチマークを用いた広範な実験により、以下の成果が示されました。

高い精度維持: ReKVフレームワークにおいて、精度を99%維持したまま、ViTエンコーディングの遅延を24.5%、LLMプリフィリングの遅延を**45.3%**削減しました。
優れた性能・効率のトレードオフ: OVO-BenchやStreamingBenchにおいて、既存の最先端手法（VidCom2等）を上回る性能を示しました。
汎用性: 長尺動画の理解（EgoSchema, VideoMME等）においても、高い性能を維持できることが確認されました。

5. 意義 (Significance)

本研究は、VideoLLMを「動画全体を処理してから答える」モデルから、「流れてくる動画をリアルタイムに理解し続ける」モデルへと進化させるための実用的な道筋を示しました。特に、計算リソースが限られたエッジデバイスや、低遅延が不可欠なインタラクティブなAIアプリケーションへの展開において、極めて重要な技術的進歩といえます。