技術的サマリー：CoRDS

問題定義

大規模視覚言語モデル（VLM）を用いたストリーミング動画理解（SVU）は、リアルタイムで無限の動画ストリームを処理しながら、メモリフットプリントを有界に保つ必要があるという重大なボトルネックに直面しています。フレームサンプリングやクエリ依存の圧縮のために完全なコンテキストが利用可能なオフライン動画理解とは異なり、SVU は将来のフレームが未知である因果的かつクエリ非依存の処理を必要とします。

既存の解決策は主に、局所的なトークン単位のヒューリスティック（例：最近性、時間的冗長性、またはノルムベースの顕著性）を用いたキー・バリュー（KV）キャッシュ圧縮に依存しています。本論文は、これらの方法が保持されるメモリの全球的代表性を明示的に最適化していないという根本的な限界に苦しんでいると主張しています。その結果、局所的な顕著性が欠如しているため圧縮の時点で棄却されがちですが、個別的には弱くても集合的に重要な手がかり（静的な視覚的詳細や時間的に分散した構造など）が失われることになります。

手法：CoRDS

著者らは、KV キャッシュ圧縮を代表的なコアセット選択問題として再定義する、学習不要かつクエリ非依存のフレームワークであるCoRDS（Coreset-based Representative and Diverse Selection）を提案します。トークンを独立してスコアリングするのではなく、CoRDS は蓄積された視覚キャッシュを幾何学的に網羅する小さな部分集合を選択します。

本手法は以下の 3 つの核心原則に基づいて動作します：

1. 結合 KV 表現と双基準カバレッジ

著者らは、効果的な選択には、検索構造を決定するキーと、アテンションによって読み出される情報を決定するバリューの両方を考慮する必要があると仮定しています。

• 表現: トークンは結合特徴空間 $\phi^{(KV)}_i = [k_i; v_i]$ で表現されます。
• 目的: 候補トークン $i$ から選択済み集合 $S$ までの距離を測定し、キー空間とバリュー空間の近似誤差のバランスを取る双基準距離メトリック $d_\alpha(i, S)$ が定義されます：
  $$d_\alpha(i, S) = \min_{j \in S} \left[ \alpha \|k_i - k_j\|^2 + (1-\alpha) \|v_i - v_j\|^2 \right]$$
  ここで、$\alpha \in [0, 1]$ はトレードオフを制御します。実証結果は、バリューを優先する（$\alpha < 0.5$）ことがより良いパフォーマンスをもたらすことを示唆しています。
• 最適化: 部分集合は、以前に選択された中心からの二乗距離に比例してシードとなるD2 方式の最遠点優先ルールを用いて貪欲に選択されます。これは $k$-means 目的関数に対して $O(\log k)$ の近似保証を提供します。

2. 非冗長性のための直交多様性

純粋なカバレッジベースの選択は、特徴空間内で類似した方向に複数のトークンが存在する冗長なコアセットをもたらす可能性があります。これを解決するため、CoRDS は直交反冗長項を導入します。

• メカニズム: 候補トークンに対して、現在選択されたキー（およびバリュー）の張る空間に直交する残差ベクトルを計算します。
• スコアリング: この残差の二乗ノルムに基づく新規性スコアを、カバレッジスコアにソフトボーナスとして加算します。これは、単調部分モジュール最大化に対して $(1 - e^{-1})$ の近似を保証する対数行列式部分集合選択に基づいています。
• 最終スコア: 選択スコアは、双基準距離と直交的新規性を組み合わせたものです：
  $$\text{score}(i | S_t) = e^{d_\alpha(i, S_t)} + \lambda \cdot \widehat{\text{Orth}}(i | S_t)$$

3. レイヤー選択的圧縮とカスケード再利用

計算オーバーヘッドを最小化するため：

• レイヤー選択: コアセットセレクターは、視覚的冗長性が最も高いデコーダレイヤーの下位 25% のみに適用されます。タスク条件付き特徴を符号化する後続のレイヤーは圧縮されずに残されます。
• クロスレイヤーカスケード: 少数の「アンカー」レイヤーが完全な選択を実行します。「フォロワー」レイヤーは、選択の再計算なしにアンカーレイヤーから選択されたトークンインデックスを再利用し、レイヤー固有の表現を維持しながら遅延を大幅に削減します。

主要な貢献

1. ストリーミング圧縮のコアセット視点: 局所的なトークンプルーニングから、蓄積された動画コンテキストを表すコンパクトなメモリを選択する、クエリ非依存かつカバレッジ指向の定式化への転換。
2. 結合 KV 代表的カバレッジ: 検索構造（キー）と出力内容（バリュー）のバランスを明示的に取る結合キー・バリュー表現と双基準目的関数の導入。一方の空間のみで選択することは最適ではないことを実証。
3. 直交多様性: 特徴空間に新たな方向を寄与する候補を好み、冗長な情報へのトークン予算の浪費を防ぐ、対数行列式部分集合選択に基づく反冗長メカニズム。

実験結果

本手法は、4 つのオープンソース VLM（Qwen2-VL, Qwen2.5-VL, LLaVA-NeXT-Video）を5 つのベンチマーク（EgoSchema, MLVU, VideoMME, OVO-Bench, StreamingBench）で評価しました。

• パフォーマンス: 固定キャッシュ予算（3K および 6K トークン）下で、CoRDS は InfiniPot-V や StreamMem などのヒューリスティックベースラインを一貫して上回りました。
  • MLVUにおいて、6K 予算で最良のベースラインに対して +4.2% のパフォーマンス向上を達成しました。
  • 過激な圧縮率（1/16）において、CoRDS はしばしばフル KV（非圧縮）ベースラインのパフォーマンスに匹敵、あるいは上回ります。これは、いくつのトークンを保持するかよりも、どのトークンを保持するかがより重要であることを示唆しています。
• ストリーミング効率: ストリーミングベンチマーク（OVO-Bench, StreamingBench）において、CoRDS はバックワード、リアルタイム、フォワードの各トラックで gains を示し、特に長期間にわたって分散した証拠を必要とするタスク（例：予見的推論、数え上げ）で顕著でした。
• カバレッジ分析: カバレッジ累積分布関数（CDF）分析は、ベースラインと比較して CoRDS が元のトークンセットに対するコサイン距離が小さく、フルキャッシュのより代表的な部分集合を保持していることを確認しました。
• 効率性: クロスレイヤーカスケード戦略は、メモリフットプリントを平坦に保ち、1000 秒までの動画であっても、ベースラインと同等かそれ以上のプリフィルスループットを達成します。

意義と主張

本論文は、メモリ制約のあるストリーミング動画理解において、代表的なコアセット選択がトークン単位のプルーニングよりも効果的な原理であると主張しています。結合キー・バリュー空間において蓄積された履歴の幾何学的カバレッジを明示的に最適化することで、CoRDS は長文脈推論に内在する「干し草の山の中の針」問題を緩和します。

著者らは、そのアプローチが学習不要かつクエリ非依存であることを強調しており、再トレーニングなしで既存のトランスフォーマーベース VLM に即座に適用可能であると述べています。結果は、ストリーミング設定におけるパフォーマンス向上が単にキャッシュサイズの増加によるものではなく、視覚トークンのより冗長性の少なく、より情報豊富な部分集合を保持することによるものであることを浮き彫りにしています。本論文は、この幾何学的基盤が、永続的知覚エージェントに対するヒューリスティックベースの圧縮に対する原理的な代替手段を提供すると結論付けています。