💬 NLP

StreamingVLM: Real-Time Understanding for Infinite Video Streams

StreamingVLMは、新たなKVキャッシュ再利用戦略とオーバーラップしたチャンクに対する教師あり微調整を通じて、学習をストリーミング推論に適合させることにより、無限のビデオストリームのリアルタイムかつ安定した理解を可能にする統一されたビジョン・ランゲージモデルのフレームワークであり、低レイテンシを維持しながら長時間のベンチマークにおいて最先端の性能を達成しています。

原著者： Ruyi Xu, Guangxuan Xiao, Yukang Chen, Liuning He, Yao Lu, Song Han

公開日 2026-06-02

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ruyi Xu, Guangxuan Xiao, Yukang Chen, Liuning He, Yao Lu, Song Han

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

あなたは、友人に電話でライブのスポーツ中継を実況しているところを想像してみてください。ゴール、ファウル、セレブレーションといった「今まさに」起きていることを、一瞬も逃さずに伝えたいと考えています。そして、脳が疲れたり、最初のゴールを決めたのが誰だったかを忘れたりすることなく、何時間もその作業を続けたいと考えています。

これが、コンピュータにとっての課題であり、StreamingVLMが解決する問題です。

問題点：コンピュータは圧倒されてしまう

現在のビデオを見るAIモデル（Vision-Language Modelと呼ばれます）は、本を読もうとしている学生のようなものです。

「全集中」型の学生： この学生は、たった一つの文章を言いたいだけでも、ページ1からページ1,000まで、毎回本全体を最初から読み直そうとします。本が長くなればなるほど、これには膨大な時間がかかり、最終的には机のスペース（メモリ）が足りなくなってクラッシュしてしまいます。
「スライディング・ウィンドウ」型の学生： この学生は、直近の数ページしか見ていません。もし10ページ目の内容を思い出す必要があったとしても、何度もそのページをめくり直して読み直さなければなりません。これは動作が遅くなり、物語の流れを理解することを妨げます。

どちらの方法も、ビデオが「無限（ライブ放送のように終わりのないもの）」である場合には通用しません。

解決策：StreamingVLM

著者たちは、StreamingVLMという新しいAIを作り出しました。これは、メモの取り方が非常に賢い、超効率的なスポーツ実況者のようなものです。

仕組みは以下の通りです。簡単な例えを用いて説明します。

1. 「ノート」のトリック (KV キャッシュ)

StreamingVLMは、ゲーム全体を記憶しようとしたり、あるいは直近の5秒間だけを見たりするのではなく、スマートなノート管理システムを使用しています。

「アンカー（錨）」 (Attention Sks): 試合の始まりの重要なメモ（チーム名やキックオフ時のスコアなど）を保持しておくことで、「誰が」プレーしているのかという文脈を失わないようにします。
「直近の履歴」 (Text Window): 自分が話した直近の数文間のリストを保持し、会話の流れを記憶します。
「ライブのアクション」 (Vision Window): 試合の直近数秒間の視覚的な詳細（選手が走っている様子、ボールの動きなど）のみを保持します。これが「今まさに」起きている重要なことだからです。

古い視覚的詳細は、新しい情報を入れるために優しく捨てられますが、「アンカー」と「直近の履歴」は安全に保管されます。これにより、ビデオがどれほど長くても、コンピュータのメモリ使用量は低く一定に保たれます。

2. 「トレーニング」のトリック

1分間のクリップだけで学習したコンピュータに、10時間の試合を見せることはできません。著者らは巧妙なトリックでこれを解決しました。

彼らは、スポーツの試合の短い、重なり合うクリップ（12秒間重なっている24秒間のチャンクなど）をAIに見せました。
そして、その短いチャンク内の「すべて」に注意を払うようにAIを教えました。
チャンク同士が重なっているため、AIは一つのチャンクの終わりと次のチャンクの始まりを繋ぎ合わせる方法を学び、結果として、トレーニング中に10時間のビデオを実際に見ることなく、連続したストリームを扱う方法を習得したのです。

3. 「ナンバリング」のトリック (Contiguous RoPE)

通常、ノートから古いページを削除すると、ページ番号がバラバラになります（ページ1、2、3……の次に突然ページ100になるなど）。これはAIを混乱させます。StreamingVLMは特別な「再ナンバリング」システムを使用しています。視覚データを削除した際、残りのページを即座に「1, 2, 3, 4...」と再ラベル付けします。これにより、数時間のビデオを見た後でも、AIが「いつ」何が起きたのかについて混乱しないようになっています。

結果：マラソンランナー

チームは、平均2時間以上のスポーツの試合で構成される、Inf-Streams-Evalという新しいベンチマークを用いてこの新しいAIをテストしました。

スピード: 単一の強力なコンピュータチップ上で、リアルタイム（約8フレーム/秒）で視聴し、解説することができます。ラグは発生しません。
メモリ: 試合の開始を忘れたり、クラッシュしたりすることなく、3時間以上の実況を続けることができます。
品質: トップクラスのモデル（GPT-4o miniなど）との直接対決において、StreamingVLMはスポーツ実況において**66%**の確率で勝利しました。より自然な音声で、試合をより良く記憶しています。
ボーナス: スポーツの実況のみでトレーニングされたにもかかわらず、一般的なビデオに関する質問への回答能力も向上しており、この手法がビデオ理解における汎用的なアップグレードであることを証明しています。

まとめ

StreamingVLMは、魔法の記憶を持った、疲れを知らないスポーツ実況者のようなものです。試合の始まりを覚えており、今まさに起きているアクションに集中し、スペースを節約するために10分前の退屈な部分は忘れることができます。これにより、以前のコンピュータでは圧倒されて不可能だった、無限のビデオストリームをリアルタイムで視聴し、描写することが可能になったのです。

技術要約: StreamingVLM

問題提起

Vision-Language Models (VLMs) は、リアルタイムのアシスタントや自律型エージェントを実現する上で、極めて重要なボトルネックに直面している。それは、膨大なメモリコストやレイテンシを発生させることなく、無限に近いビデオストリームを処理できないという点である。既存のアプローチには、以下のような特有のトレードオフが存在する：

フルアテンション (Full Attention): ビデオの長さが増加するにつれて、計算量は二次関数的（ $O(T^2)$ ）に増大し、メモリ不足（OOM）を引き起こす。また、学習時のコンテキストウィンドウを超えると性能が低下する。
スライディングウィンドウ（オーバーラップなし） (Sliding Window - No Overlap): メモリ使用量は限定されるが、コンテキストが頻繁にリセットされるため、長期的な一貫性が損なわれる。
スライディングウィンドウ（オーバーラップあり） (Sliding Window - With Overlap): 一貫性は維持されるが、新しいウィンドウごとにアテンションの再計算が必要となり、冗長な計算が発生するため、リアルタイム推論を妨げる高いレイテンシが生じる。

さらに、学習と推論の間の不一致も存在する。極めて長いコンテキストでの学習は計算コストが高すぎて困難であるが、モデルは推論時に無限のストリームに対して推論を行わなければならない。現在のKey-Value (KV) キャッシュの退避（eviction）戦略は、学習フェーズとの整合性に欠けることが多く、短いビデオで学習されたモデルが長いストリームを処理しようとする際に不安定さを招く原因となっている。

手法

本論文では、学習とストリーミング推論を一致させ、無限の視覚入力に対する安定したリアルタイム理解を可能にする統合フレームワーク、StreamingVLMを提案する。このアプローチは、以下の3つのコアコンポーネントで構成されている。

1. 推論スキーム: コンパクトなKVキャッシュと連続的なRoPE

StreamingVLMは、必要なコンテキストを保持しつつコンパクトな状態を維持するために、特化した推論構造を採用している：

ストリーミング対応KVキャッシュ (Streaming-aware KV Cache): 全ての履歴を再計算したり破棄したりするのではなく、特定の状態を再利用する：
- アテンション・シンク (Attention Sinks): アテンション機構を安定させるために、固定された初期トークン（システムプロンプトや初期テキスト）を保持する。
- ロング・テキスト・ウィンドウ (Long Text Window): 長期的な物語の記憶を保持するために、最近のテキストトークンのウィンドウを保持する。
- ショート・ビジョン・ウィンドウ (Short Vision Window): 進行中のアクションを追跡するために、最近の視覚トークンの短いウィンドウ（例：16秒間分）のみを保持する。古い視覚トークンから優先的に退避される。
連続的なRoPE (Contiguous RoPE): トークンが退避される際のポジショナル・ドリフトを防ぐため、モデルは連続的な回転位置埋め込み（Rotary Positional Embeddings; RoPE）を適用する。以前のトークンが削除される際、後続および流入するトークンのインデックスは、最後に保持されたトークンに対して数値的に連続するようにシフトされる。これにより、ビデオの総長がトータルウィンドウサイズを超えても、位置ベクトルが学習時に見られた分布内に留まることが保証される。3D埋め込みを使用する視覚トークンに対しては、連続的な3D RoPEが適用される。

2. 学習戦略: オーバーラップ・フルアテンション

極端に長いコンテキストでの学習を回避しつつ、ストリーミング能力を植え付けるために、著者らは推論時のアテンションパターンを模倣した教師あり微調整（SFT）戦略を提案している：

オーバーラップ・チャンク (Overlapped Chunks): 長いビデオストリームを、時間的にオーバーラップさせた連続的なチャンクに分割する。
チャンク内でのフルアテンション (Full Attention within Chunks): 各チャンク内ではフルアテンションが適用される。これにより、モデルは「近接バイアス（recency bias）」、およびアテンション・シンク、ロング・テキスト・ウィンドウ、ショート・ビジョン・ウィンドウ間の相互作用を学習することができる。
インターリーブ型ビジョン・テキスト (Interleaved Vision-Text): 全てのビジョン・トークンをテキストの前に配置する標準的なVLMとは異理なり、この戦略では1秒間隔でビジョン・トークンとテキスト・トークンを交互に配置する。損失（Loss）は、ナレーションに沿ったテキストの位置に対してのみ計算される。もし特定の秒間にナレーションが存在しない場合は、プレースホルダー・トークンが使用される。これにより、モデルはストリームとの同期方法、すなわち「いつ話し、いつ沈黙すべきか」を学習する。

3. データ・キュレーション・パイプライン

著者らは Inf-Streams-Train および Inf-Streams-Eval を構築した：

データ収集: スポーツ解説（バスケットボール、サッカー、ホッケー、野球、アメリカンフットボール）の6,000時間を超えるデータを収集した。
クリーニング: LLMベースのパイプラインを用いて、非ゲームコンテンツ（広告、独白）をフィルタリングし、ASR（自動音声認識）のエラー（例：選手名）を修正することで、高品質なビデオと解説のペアを作成した。
SFT vs. アニーリング (SFT vs. Annealing): 2つのデータセットを作成した。SFTデータセットは、オーバーラップ・チャンキングを用いてストリーミング・パターンを教える。別の「高品質アニーリング」データセットは、即時的な解説の質を洗練させるために、リアルタイムのフィールド上のアクション（16〜64秒のクリップ）に特化している。

主な貢献

StreamingVLM フレームワーク: 無限のビデオストリームを扱うために、学習と推論を一致させた、安定かつ低レイテンシなパフォーマンスを実現する統合モデル。
新しい推論メカニズム: アテンション・シンク、非対称なKVキャッシュ保持（ロング・テキスト／ショート・ビジョン）、および一貫性を維持するための連続的なRoPEの組み合わせ。
学習と推論の整合性: オーバーラップ・チャンクとフルアテンションを用いたシンプルなSFT戦略により、長いコンテキストの学習データを必要とせずに、長いストリームに対する推論を効果的に学習させる。
Inf-Streams ベンチマーク: 2時間を超える平均ビデオ長と、高密度な秒単位のフレーム・テキスト・アライメントを特徴とするベンチマーク Inf-Streams-Eval の導入。これは、検索や要約に依存しがちな既存のベンチマークにおけるギャップを埋めるものである。

実験結果

Inf-Streams-Eval およびその他の標準的なベンチマークによる評価において、StreamingVLMは顕著な改善を示した：

キャプション性能: Inf-Streams-Evalにおいて、StreamingVLMはGPT-4o miniに対して66.18%の勝利率を達成し、LiveCC-7B-InstructやベースとなるQwen-2.5-VL-7B-Instructといったベースラインを大幅に上回った。フルアテンション・モデルが2〜5分で劣化し、スライディング・ウィンドウ・モデルが一貫性を失うのに対し、StreamingV型は2時間を超えても一貫した解説を維持できる。
効率性: 単一のNVIDIA H100で最大8 FPSの安定したリアルタイム・パフォーマンスを維持する。オーバーラップのあるスライディング・ウィンドウ法（再計算による高レイテンシが発生）や、フルアテンション（OOMに陥る）とは異なり、StreamingVLMは低く一定のレイテンシを保つ。
汎用性 (VQA): 特筆すべきことに、特定のVQA微調整を行わずとも、SFT戦略は一般的なビデオ理解能力を向上させている。StreamingVLMは、ベースモデルと比較して LongVideoBench で +4.30、OVOBench Realtime で +5.96 の性能向上を実現した。
アブレーション研究:
- 連続的なRoPE (Contiguous RoPE) は不可欠である。ネイティブなRoPEを使用すると、位置インデックスのオーバーフローにより、無限ストリームにおける性能が急激に低下する。
- 退避戦略 (Eviction Strategy): テキスト・ウィンドウとアテンション・シンクを保持し、古いテキストを退避させることは、性能維持に極めて重要である。
- ビジョン・ウィンドウ: 16秒のビジョン・ウィンドウが、アクションの追跡と効率性の最適なバランスを提供する。

意義と主張

本論文は、ビデオのチャンクをリアルタイムで理解し、無限のストリーム上で安定して推論することを可能にすることで、StreamingVLMがVLMsにおける人間のような知能への一歩を象徴していると主張している。その意義は以下の通りである：

実用的なデプロイメント: 従来のレイテンシやメモリ制約によって阻まれていた、自動運転、エンボディド・エージェント、リアルタイム・アシスタントなどのアプリケーションにおける、安定したリアルタイムの解説や理解の実現。
手法論的転換: 「長いコンテキストで学習する」あるいは「単純なスライディング・ウィンドウを用いる」というパラダイムから、短くオーバーラップしたチャンクでの学習が効果的に無限の推論をシミュレートするという、統一されたアプローチへの移行。
ベンチマーキング: Inf-Streams-Evalの公開は、静的な検索タスクを超え、長時間ビデオにおけるリアルタイムのフレームレベルの理解を評価するための新しい基準を設定するものである。

著者らは、自身のアプローチが、プロヒビティブ（禁止的なほど高価）な長いコンテキストの学習を必要とせずに、無限のストリームにおける最先端の性能を達成し、理論的なVLMの能力とリアルタイムなインタラクションの現実的な要求との間の溝を埋めていることを強調している。