💻 computer science

Linear Scaling Video VLMs for Long Video Understanding

本論文は、事前学習済みのビデオ・ビジョン・ランゲージモデルにおいて、固定容量の回帰状態を用いた線形時間のビデオ・プリフィリングを可能にし、アーキテクチャの変更やファインチューニングを必要とせずに、既存のストリーミング近似と比較してスケーラビリティと精度を大幅に向上させる推論時手法であるStateKVを紹介するものである。

原著者： Cristobal Eyzaguirre, Jiajun Wu, Juan Carlos Niebles

公開日 2026-06-01

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Cristobal Eyzaguirre, Jiajun Wu, Juan Carlos Niebles

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

問題点：「AIのメモリ過負荷」

あなたが、写真のような記憶力を持っているけれど、非常に独特な記憶の仕方をする友人と一緒に映画を観ているところを想像してください。新しいシーン（フレーム）が流れるたびに、その友人は新しいシーンだけを見るのではなく、新しいシーンが過去のシーンとどうつながるかを確認するために、最初からすべての過去のシーンを一度に再視聴します。

映画： 長い動画（1時間のドライブや、フル尺のスポーツ試合など）。
友人： ビデオ・ビジョン・ランゲージ・モデル（VLM）。動画を視聴して質問に答えるAIです。
問題点： もし映画が10分間なら、友人は新しい1秒ごとに10分間の映像を再視聴しなければなりません。もし映画が1時間なら、新しい1秒ごとに1時間の映像を再視聴しなければなりません。

これは**二次関数的なスケーリング（quadratic scaling）**と呼ばれます。動画が長くなればなるなるほど、あなたの友人がしなければならない作業量は爆発的に増えていきます。これは、100ページ目の内容を理解するために、ページをめくるたびに1ページ目から99ページ目までを読み返さなければならない本を読んでいるようなものです。やがて、このタスクをリアルタイムで行うことは不可能になります。

旧来の解決策：「要約本」

これを解決するために、以前の手法では、友人をより賢くするために動画を要約しようと試みました。

アプローチ： 「直近の5分間だけ覚えておこう」とか、「フレームの90%を捨てて、最も重要なものだけを残そう」といった方法です。
欠点： これは、友人に映画の要約を書かせ、直近の文章だけを残させるようなものです。その結果、彼らは「今何が起きているか」を説明するために不可欠な、20分前の重要なプロットを見逃してしまうかもしれません。あるいは、フレームを捨てすぎてしまうと、難しい質問に答えるために必要な詳細な情報を失ってしまいます。これはトレードオフです。時間を節約できますが、精度を失います。

新しい解決策：StateKV（「スマートな助手」）

著者らは、StateKVと呼ばれる新しい手法を紹介しています。AIにすべてを再視聴させるのでもなく、情報を捨てさせるのでもなく、代わりに**「スマートな助手」**と特別な2部構成のメモリシステムを与えます。

AIを、1時間の防犯カメラ映像を見ながら謎を解く探偵だと考えてください。

1. 「詳細なノート」（レッド・キャッシュ / Red Cache）

AIは、これまでに見たすべてのフレームの完全で詳細なノートを保持します。何も捨てません。探偵（AI）が最終的な報告書（回答）を書く必要があるとき、彼は正確な詳細を見つけ出すために、このノート全体をパラパラとめくることができます。これにより、最終的な回答の正確性が保証されます。

2. 「ポケットに入れたカンニングペーパー」（ブルー・ステート / Blue State）

ここに魔法のトリックがあります。AIがビデオを視聴している間（ストリームを処理している間）、彼はノート全体を頭の中に持ち歩くことはできません。そこで、彼は小さなポケット用のカンニングペーパーを使用します。

仕組み： ビデオが進むにつれて、AIは新しいシーンを見ながらこう問いかけます。「過去のどの部分が、この新しいシーンを理解するために本当に重要だろうか？」
選択： 彼は過去の中から、非常に重要な瞬間（テンポラル・シンク / temporal sinksと呼ばれます）を少量だけ選び出し、それをカンニングペーパーに書き留めます。それは、10分前の特定のキャラクターの顔であったり、特定の効果音であったりします。
更新： 次のシーンが到着すると、AIはカンニングペーパーを更新します。彼はまだ関連性のある重要な要素を保持し、もはや必要なくなった要素を入れ替えて、新しい重要な詳細のためのスペースを作ります。

結果： AIは視聴している間、この小さなカンニングペーパーに対してのみ新しいシーンを照合します。これにより、動画の長さに関わらず、作業量は一定に保たれます。それは、探偵が物語との繋がりを保つために、本を読み返すのではなく、わずか3インチのインデックスカードをちらりと見るだけで済むようなものです。

なぜこれが大きな進歩なのか

論文では、StateKVの3つの勝利を主張しています。

高速かつ線形（リニア）： AIは視聴中に小さなカンニングペーパーだけをチェックするため、動画の処理にかかる時間は線形的に増加します（1時間の動画は、30分の動画のちょうど2倍の時間がかかるだけです）。古い手法のように爆発することはありません。
高精度： データを捨ててしまう古い「要約」手法とは異なり、StateKVは完全なノートを最終的な回答のために保持しています。彼は単にプロセスを簡略化しているのであって、結果を簡略化しているのではありません。
「直近性」よりも賢い： 古い手法は多くの場合、「直近の5分間を覚えろ」と言うだけでした。StateKVはより賢いです。「たとえ40分前であっても、最も重要な瞬間を覚えろ」と言います。論文は、AIが自然にこれらの特定の「アンカー（錨）」となる瞬間に集中し、StateKVがそれらを完璧に捉えることを示しています。

「予算」のアナロジー

あなたに、車を買うための一定の金額（計算資源）があると想像してください。

旧来の手法： 小さくて安い車（小さなAIモデル）を買います。それは速く走れますが、多くの荷物を運ぶことはできません（低精度）。
StateKVの手法： StateKVは非常に効率的なため、あなたは、同じ価格で小さな車と同じように、巨大で豪華なSUV（より大きく、より賢いAIモデル）を購入するのに十分な資金を節約できます。このSUVは、大量の荷物（高い精度）を運ぶことができます。

まとめ

StateKVは、AIが「脳の霧（ブレインフォグ）」に陥ることなく、1時間の動画をリアルタイムで視聴できるようにする方法です。これは、視聴中は物語との繋がりを保つために動的な要約を使用し、後で質問に答えるために完全で詳細な記録を保持するというものです。それは古い方法よりも速く、そして「直近の数分間だけを覚える」というアプローチよりもスマートです。

技術要約：長尺ビデオ理解のための線形スケーリング・ビデオVLM（StateKV）

1. 問題提起

ビデオ・ビジョン・ランゲージ・モデル（VLM）は、自動運転やエンボディド・ロボティクスのように、数分から数時間にわたる証拠を統合する必要がある長時間のコンテキストやストリーミング・アプリケーションにおいて、ますます重要になっています。しかし、根本的なボトルネックが存在します。標準的なVLMにおける長尺ビデオの処理コストは、フレーム数（ $N$ ）に対して二次関数的（ $O(N^2)$ ）に増加することです。これは、主要なアーキテクチャが、各フレームが過去のすべてのビデオ・トークンにアテンションを向ける時空間自己アテンションに依存しているためです。

既存の効率化戦略は、以下のような方法でこれを緩和しようとしています：

フレームまたはトークンのサブサンプリング： 入力サイズを削減すると、多くのトークンを保持しない限り（例：約60%）、性能が著しく低下することがあります。
KVキャッシュの圧縮： 強力な圧縮は、推論に必要な時間的および空間的な手がかりを失わせる可能性があります。
スライディング・ウィンドウ／直近性に基づくヒューリスティック： ReKVのような手法は、直近のフレームを固定ウィンドウとして使用してフレームを逐次処理します。これらはプリフィル（prefill）の複雑さを線形（ $O(N)$ ）に抑えますが、「最も重要な情報は常に直近にある」というアドホックな仮定に依存しており、複雑な推論に必要な長距離依存関係を捉えられないことがよくあります。

課題は、アーキテクチャの変更やファインチューニングを必要とせず、フル自己アテンションの精度を犠牲にすることなく、線形時間ビデオ・プリフィル（フレームあたりのコストが一定）を実現することです。

2. 手法：StateKV

著者らは、凍結された学習済み長尺ビデオVLMを線形時間のビデオ・プリフィルに適応させる推論時手法であるStateKVを提案しています。核心となる洞察は、学習済みVLMにおける長尺ビデオのアテンションは高度に構造化されているという点です。つまり、ほとんどの相互作用はフレーム内で行われますが、長距離の時間的相互作用は、時間の経過とともに緩やかに変化する少数の「テンポラル・シンク（temporal sink）」トークンに集中しています。

コアとなる仮定

StateKVは、学習済みVLMにおけるアテンションに関する2つの経験的な仮定に基づいています：

フレーム間アテンションの集中： いかなる特定のフレームにおいても、有用なクロスフレーム・アテンションの大部分は、ビデオの総長に関わらず、少数の履歴トークン（ $K \ll N$ ）に集中している。
時間的状態の緩やかな進化： これらの「シンク」トークンの集合は緩やかに進化する。フレーム $n+1$ における有用な状態は、フレーム $n$ からの状態で、フレーム $n+1$ のトークンを組み合わせたものによって十分に近似できる。

アーキテクチャとメカニズム

StateKVは、凍結されたバックボーンを維持しながら、トランスフォーマー層ごとに2つのキャッシュ構造を介して動作します：

詳細状態（Detailed State: $D_n$ ）： これまでに処理されたすべてのフレームの全視覚トークンを保存するフルレングスのキャッシュ。このキャッシュはプリフィル段階では決してクエリされませんが、生成中の情報損失を防ぐために、最終的なテキスト・デコーディング段階のために保持されます。
圧縮状態（Compressed State: $C_n$ ）： クロスフレームの相互作用を近似するために使用される、固定容量の再帰的状態（例：1024トークン）。これはビデオ・プリフィル段階においてのみ使用されます。

プロセス：

ストリーミング・プリフィル： フレームが到着するにつれ、モデルはそれらを逐次処理します。フレーム $n$ は、現在のフレームのトークンと、フレーム $n-1$ からの圧縮状態の結合に対してアテンションを向けます。
重要度に基づく選択： フレーム $n$ の処理後、圧縮状態が更新されます。モデルは、すべての候補トークン（前の圧縮状態＋現在のフレームのトークン）に対して、（ビデオ単体の）アテンション・スコアを計算します。そして、トップ $B$ 個のトークン（ $B$ は固定予算）を選択して新しい圧縮状態 $C_n$ を形成し、重要度の低いエントリーを排除します。
デコーディング： すべてのフレームの処理が完了したら、標準的な自己回帰的テキスト生成が始まります。決定的なのは、デコーディングが詳細状態（ $D_N$ ：すべてのオリジナル・ビデオ・トークンを含む）を条件としている点であり、これにより生成フェーズがフル・コンテキストにアクセスできることが保証されます。

この設計は、ビデオ・エンコーディングの複雑さ（線形、 $O(N)$ ）と、最終的な生成の忠実度（フル・コンテキスト）を切り離しています。

3. 主な貢献

ファインチューニングなしでの線形時間プリフィル： StateKVは、アーキテクチャの変更や再学習を必要とせずに、凍結された学習済みVLMが線形計算量（ $O(N)$ ）かつ一定のフレームあたりコストで長尺ビデオを処理することを可能にします。
フル自己アテンションの原理的な近似： 直近性に依存するスライディング・ウィンドウ法とは異なり、StateKVは重要度ベースのメカニズムを使用して「テンポラル・シンク」を前方へ運びます。これにより、フル自己アテンションのより原理的な近似を提供し、直近性ベースのヒューリスティックが見逃してしまう長距離依存関係を捉えることができます。
計算量と精度のトレードオフ： ビデオ・プリフィルに必要なFLOPsを劇的に削減することで、StateKVは実務者が同じ計算予算内でより大きなモデルを実行することを可能にします。論文では、StateKVを用いたより大きなモデルが、同等またはより低い計算コストでフル自己アテンションを使用する小さなモデルを凌駕することを実証しています。
経験的検証： 本手法は、3つのモデルファミリー（InternVL3、Qwen-VL、Eagle2.5）と複数のスケール（1Bから8Bパラメータ）にわたる3つの長尺ビデオ・ベンチマーク（VideoMME、MLVU、OVOBench）で検証されています。

4. 結果

精度 vs フル自己アテンション： すべてのベンチマークとモデルスケールにおいて、StateKVはフル自己アテンション（Full SA）の性能に極めて近い値を維持しています。平均して、Full SAの精度から約1%以内に収まっており、ReKVのようなスライディング・ウィンドウのベースライン（多くの場合、約10ポイントの遅れが生じる）を大幅に上回っています。
直近性ベースの手法に対する優位性： StateKVは、VideoMME、MLVU、OVOBenchにおいて、ReKV（主要なスライディング・ウィンドウ手法）を一貫して上回っています。著者らは、これはVLMにおける長距離アテンション・パターンが純粋に直近性に基づいているのではなく、スライディング・ウィンドウが破棄してしまう遠方のフレームからの持続的な「アンカー」に依存しているためであると考えています。
スケーリング挙動： パフォーマンスは、圧縮状態の容量（ $B$ ）が増加するにつれて単調に向上します。大きなモデルほどキャッシュサイズによるスケーリングが強く、高い予算設定ではFull SAの精度に一致することもあります。
計算効率：
- StateKVはビデオ・プリフィルのFLOPsを劇的に削減します。
- 損益分岐分析： 十分に長いビデオの場合、より大きなモデル（例：InternVL3-8B）をStateKVと共に実行することは、より小さなモデル（例：InternVL3-1B）をFull Self-Attentionと共に実行することよりも計算コストが低くなります。
- 例：予算4096を持つStateKV-8Bは、VideoMMEで62.5%の精度を達成しますが、これはFull SA-1B（精度46.2%）と同等の計算コストであり、実質的に同じ予算で約16ポイントの精度向上を得ていることになります。

5. 重要性と主張

本論文は、StateKVをスケーラブルな長尺ビデオ理解への実用的な一歩として位置づけています。その重要性は以下の点にあります：

リアルタイム・ストリーミングの実現： フレームあたりのコストを一定にすることで、StateKVは現在、長尺ビデオのリアルタイム・ストリーミング・アプリケーション（例：1時間の車の走行記録は、開始直後の走行よりもクエリが困難になる）を阻んでいる二次関数のボトルネックを取り除きます。
計算のフロンティアの再定義： この手法は、「適合させるための圧縮」から「近似するための圧縮」へとパラダイムをシフトさせます。重要度ベースのメモリ保持が、厳格な直近性よりも強力なフルアテンションの近似であることを示しており、固定された計算予算においてより高い精度を実現します。
汎用性： このアプローチは、モデル固有のチューニングを必要とせずに、異なるモデルファミリーやパラメータスケール間で一貫して転移します。これは、アテンションの構造（テンポラル・シンク）が現在の学習済みVLMにおける堅牢な特性であることを示唆しています。

著者らは、メカニズムの検証が現在は既存のモデルとテストされた入力に限定されていることを認め、今後の課題として、これらのアテンション・パターンがより広範なバックボーンやビデオ領域においても保持されるかどうかを探求すべきであるとしています。しかし、テストされた範囲内において、StateKVは長尺ビデオのスケーリング問題に対する堅牢でトレーニングフリーなソリューションを提供しています。