技術要約: ProtoKV

問題提起

ストリーミングビデオ理解（SVU）には、GPUメモリとレイテンシの厳格な制約下で、連続的なビデオストリームを処理し、非同期クエリにリアルタイムで回答するシステムが求められます。この設定における決定的な課題は、**遅延クエリ（delayed query）**です。決定的な視覚的手がかりは、ストリームの初期段階で短時間現れることがありますが、クエリはそのずっと後、多くの後続フレームが処理された後に到着します。

メモリが制限されている場合、標準的なアプローチはジレンマに直面します：

1. スライディングウィンドウ（SWA）: 直近のトークンのみを保持します。これは一定のメモリ量を保証しますが、一度ウィンドウから外れた証拠は取り返しのつかない形で失われます。
2. トークン保持/圧縮: 歴史的なトークンのサブセットを保持しようと試みます。しかし、証拠とクエリの間の遅延（$\Delta$）が大きくなるにつれ、これらの手法は「事後証拠更新プレッシャー（post-evidence update pressure）」に苦しみます。決定的な手がかりは、システムが将来どのトークンが重要になるかを知ることなく、クエリに依存しない保持決定を下さなければならないため、しばしば追い出されたり希釈されたりします。一度特定のトークン・インスタンスがドロップされると、それに付随する微細な手がかりは失われます。

本論文は、遠方の履歴を保持されたトークン・インスタンスの集合として表現することは、長い遅延の下では脆弱であると主張しています。代わりに、システムは個別のトークン・インスタンスではなく、過去のイベントの「証拠」を保存するメカニズム、すなわち、遅延が増加しても緩やかに劣化（graceful degradation）できる仕組みを必要としています。

手法: ProtoKV

ProtoKVは、ストリーミングビデオLLMのために設計された、一定のフットプリントを持つメモリメカニズムです。これは、遠方の履歴の表現をトークンの保持から、2層のオンライン・ステートを用いた**サマリー・ステート（要約状態）**アプローチへと転換します。

1. 2層アーキテクチャ

• ニア・ウィンドウ（正確）: 直近の $W$ フレームの正確なKey-Value（KV）ペアを格納するリングバッファ（$B_{near}$）。近似なしに、微細で時間的に局所的な証拠を保存します。
• ファー・メモリ（サマリー・ステート）: 集約された古い、追い出された履歴を格納する、最大容量 $K_{max}$ の固定容量プロトタイプ・バンク（$B_{far}$）。トークン・インスタンスを保存するのではなく、オブジェクト中心のプロトタイプを保存します。

2. オンライン更新メカニズム

ビデオストリームが進むにつれ、トークンはニア・ウィンドウから追い出され、**連続性を考慮した割り当て（continuity-aware assignment）**を通じてファー・メモリへと吸収されます。

• 割り当て: 追い出されたトークンは、以下の要素を組み合わせたオンライン・コスト関数を最小化することで、プロトタイプ $k$ に割り当てられます：
  • キー空間の類似性（類似したキーを持つトークンのクラスタリング）。
  • 空間的連続性（空間座標を用いたトラック一貫性のある関連付けの強制）。
  • 新鮮度の制御（最近更新されていないプロトタイプへの割り当てを抑制）。
• プロトタイプ更新: 割り当てられた後、プロトタイプは持続的なサマリー・ステートとして更新されます：
  • センター（中心）: キーおよび値のセンター（$c_k, p_k$）は、指数移動平均（EMA）を介して更新されます。
  • 質量（Mass）: カウンタ（$n_k$）が、吸収されたトークンの数を追跡します。
  • 残差統計: 単純な平均化による特徴的な手がかりの喪失を防ぐため、ProtoKVは残差（$r_K = K - c_k, r_V = V - p_k$）の積量子化（PQ）ベースのヒストグラムを保持します。これにより、個々のトークン・コードを保存することなく、プロトタイプ内の多様性を捉えます。
  • メンテナンス: バンクには、アイドル状態のプロトタイプの質量減衰、冗長なプロトタイプの統合、空きスロットの再利用を含む、軽量なメンテナンスが行われます。

3. クエリ時のインターフェース: 疑似トークン合成

クエリ時、ProtoKVはアーキテクチャの変更なしに、標準的なアテンション・メカニズムに対してファー・メモリを公開します。

• 疑似トークン（Pseudo-Tokens）: 各プロトタイプは、$S$ 個の疑似KVトークンへと合成されます。これらは、プロトタイプのセンターと、保存されたPQヒストグラムからデコードされた代表的な残差パターンを組み合わせることで構築されます。
• 質量を考慮したバイアス: プロトタイプによって要約されたトークンの多重性を考慮するため、ログ・マス・バイアス（$b_k = \log n_k$）がアテンション・ロジットに追加されます。これにより、より多くの証拠を代表するプロトタイプが、比例して強い影響力を持つようになります。
• 固定コンテキスト: 最終的なコンテキストは、正確なニア・ウィンドウのトークンと、限定された数の疑似トークン（$L_{context} = W + K_{max} \cdot S$）で構成され、ストリームの長さに依存せず、一定のクエリ時レイテンシとメモリ使用量を保証します。

主な貢献

1. ファー・メモリ・メカニズム: トークン・インスタンスの保持から脱却し、遠方の履歴を要約するために、残差統計で拡張された、時空間的に一貫した固定容量のプロトタイプ・バンクを導入。
2. 疑似トークン合成: 境界のある疑似KVトークンを質量に応じた重み付けで合成する、トレーニングフリーの手法。これにより、一定のクエリ時フットプリントの下で、標準的なアテンションが遠方の履歴の証拠にアクセスすることを可能にする。
3. 遅延クエリ・プロトコル: グラウンドトゥルースを不変に保ちながら、増加するクエリ遅延に対するSVUの堅牢性を評価するための、遡及的クエリ・フィルタリング・プロトコル。

実験結果

ProtoKVは、LLaVA-OV-7BおよびQwen2.5-VL-7Bバックボーンを用い、4つのストリーミングビデオベンチマーク（RVS-Ego, RVS-Movie, OVO-Bench, StreamingBench）で評価されました。

• パフォーマンス: マッチしたメモリ予算の下で、ProtoKVはスライディングウィンドウのベースラインやトークン保持手法（例：InfiniPot-V）を上回ります。長遅延領域において、トークン保持ベースラインよりも最大12.5パーセントポイント高い精度を達成しました。
• 遅延への堅牢性: すべての手法がクエリ遅延（$\Delta$）が増加するにつれて低下しますが、ProtoKVは著しく平坦な劣化曲線を示します。性能差は $\Delta$ が大きくなるにつれて拡大しており、サマリー・ステート・アプローチが、持続的な事後証拠更新プレッシャーの下で決定的な手がかりをより良く保持できることを示しています。
• 効率性: ProtoKVは、競争力のあるクエリ時のTime-To-First-Token（TTFT）を維持し、リトリーバル（検索）のオーバーヘッドが発生するオフローディング/リトリーバル型ベースライン（例：ReKV）と比較して、より低いエンドツーエンド・レイテンシを実現しています。
• オフライン・パフォーマンス: オフラインビデオ理解ベンチマーク（VideoMME, MLVU）に適用した場合、ProtoKVは最先端の圧縮手法と同等の性能を維持しており、ストリーミング・シナリオ以外への有用性を示唆しています。

意義と主張

本論文は、ProtoKVがストリーミングビデオ理解における根本的な限界、すなわちトークン保持戦略の脆弱性に対処していると主張しています。遠方の履歴を特定のトークン・インスタンスの保持から、サマリー・ステートの維持へと移行させることで、ProtoKVは、希釈されたり上書きされたりすることなく、希薄で決定的な手がかりが多くの更新を生き延びることを可能にします。

著者らは、この設計が、過去のイベントの発生に依存する遅延クエリのためにカスタマイズされていることを強調しています。結果は、常にオンの状態であり、クエリに依存しないメンテナンスを必要とし、かつ固定されたデバイス・フットプリントを持つインタラクティブなシステムにとって、遠方の履歴をコンパクトでオブジェクト中心のサマリー・ステートとして表現することが、スライディングウィンドウやトークン選択よりも効果的な動作点であることを示唆しています。この研究は、持続的な更新プレッシャーの下での安定したストリーミング・システムにおける、サマリー・ステート・メモリの価値を浮き彫りにしています。