技術要約: SelectStream

問題提起

ストリーミングビデオ理解には、ビデオストリームの進行中に、観察されたプレフィックス（接頭辞）のみを用いて、固定されたメモリ、コンテキスト、および計算予算の範囲内でクエリに回答できる視覚言語モデル（VLM）が求められます。近年の研究では、外部メモリバンク、検索モジュール、または視覚トークンの圧縮を追加することでこの問題を解決しようとする試みがありますが、これらの手法は「より豊かなメモリ」が自動的に理解力の向上につながるという仮定に依存していることが少なくありません。

著者らは、無差別な履歴の注入は現在のシーンの知覚を希薄化させる可能性があると主張しています。これは、関連する証拠が無関係なコンテンツと混ざり合い、モデルの推論能力を弱めてしまう現象です。逆に、単純な直近ウィンドウ型のベースライン（古い証拠を破棄するもの）は、重要な情報が即時コンテキストの外にある場合に失敗します。核心となる課題は、メモリを使用するかどうかではなく、いかに選択的に割り当てるかです。すなわち、いつ新しい証拠を書き込むか、容量が一杯になったときに何を保持するか、特定のクエリに対してどのように証拠を検索するか、そしてストリームの長さに応じてコンテキストウィンドウを増大させることなく、どれだけの歴史的コンテキストを生成時に露出させるかを決定することです。

手法: SelectStream

SelectStreamは、選択的な潜在メモリフレームワークであり、ストリーミングメモリを**予算化されたオンライン潜在証拠割り当て（budgeted online latent evidence allocation）**として定式化します。これは凍結されたVLMバックボーン上で動作し、生のフレームを再生したり、履歴をテキスト要約に変換したりするのではなく、動的な潜在証拠グラフ（$G_t = (M_t, E_t)$）を通じて履歴を管理します。システムは、以下の3つの協調メカニズムによって制御されます。

1. サプライズ駆動型適応ウィンドウ（SAW: Surprise-driven Adaptive Windowing）– いつ書くか

SAWは、ビデオセグメントを終了し、それをメモリに書き込むタイミングを決定します。固定の間隔ではなく、安定した間隔には粗いメモリエントリーを割り当て、驚きの変化（サプライズ）がある付近では解像度を細かくします。

• メカニズム: アテンションの変化（アテンションマップのJSダイバージェンス）と特徴量の変化（投影された埋め込みのコサイン距離）に基づき、サプライズスコア（$s_t$）を算出します。
• トリガー: セグメントは、最小長（$L_{min}$）に達し、かつ次の3つの条件のいずれかを満たしたときに終了します：サプライズのスパイク（$\bar{s}_t > \theta_{high}$）、累積サプライズエネルギーが予算（$B_s$）を超えた場合、または最大セグメント長（$L_{max}$）に達した場合。

2. 潜在視覚メモリ（LVM: Latent Visual Memory）– 何を保持するか

LVMは、投影された視覚的埋め込みを潜在ノードとして保存する、固定容量のメモリグラフを管理します。

• 書き込み: セグメントが終了すると、その埋め込みがアクティブなノードと比較されます。意味的に類似しており、かつサプライズが低い場合は、**ゲート更新（gated update）**メカニズムを介して既存のノードを更新します（有用な履歴の直接的な置換を防ぐため）。そうでなければ、新しいノードが作成されます。
• 統合（Consolidation）: メモリ予算（$N$）を超過した場合、システムは**優先度保存型統合（priority-preserving consolidation）**を実行します。これは、意味的な冗長性（類似性）と優先度因子（サプライズ、アクセス頻度、および新しさ）のバランスを取りながら、ペナルティが最小となるノードのペアをマージします。これにより、驚きのある証拠や頻繁にアクセスされる証拠が確実に保持されます。

3. クエリ条件付きグラフアテンション推論（GAR: Query-conditioned Graph Attention Reasoning）– どのように読むか

クエリが到着すると、モデルは全履歴に対して推論を行うのではなく、コンパクトなサブグラフを検索します。

• ルーティング: クエリがエンコードされ、アクティブなノードのスコアリングに使用されます。トップ$k$のシードから、時間的および意味的なエッジを通じてサブグラフがルーティングされ、これはサブグラフ予算（$B$）によって制約されます。
• 推論: グラフアテンションネットワーク（GAR）が、隣接ノードからの時間的および意味的なコンテキストを集約することで、ノードの状態を精緻化します。
• 注入: 精緻化されたトップ$M$個のノードは、キャリブレーション（較正）された後、凍結されたVLMのデコーダに潜在証拠トークンとして注入されます。これにより、VLMはストリームの長さに比例してコンテキスト長を増大させることなく、歴史的な証拠にアクセスできます。

主な貢献

1. 定式化: 本論文は、選択的な記憶を、現在のシーンの知覚と長期的な履歴へのアクセスの間のトレードオフを明示的に扱う、予算化されたオンライン潜在証拠割り当て問題として定式化しました。
2. アーキテクチャ (SelectStream): 投影されたVLM埋め込みを固定容量のグラフに書き込む、動的な潜在メモリ・アーキテクチャを提供します。これは、適応的な書き込みのためのサプライズ駆動型ウィンドウ、保存のための優先度を考慮した統合、および検索のためのクエリ条件付きグラフ推論を利用します。
3. インターフェース: 生のフレーム再生やテキスト要約を避け、キャリブレーションされた潜在証拠トークンを凍結されたVLMに注入する設計により、ストリームの長さに依存しない限定された推論コストを維持します。

実験結果

SelectStreamは、Qwen2.5-VL-7BおよびQwen3-VL-8Bバックボーンを使用して、ストリーミングおよびオフラインのビデオベンチマークで評価されました。

• ストリーミング・ベンチマーク:
  • StreamingBench: 82.67% の精度（Qwen3-VL-8B）を達成し、強力な直近ウィンドウ型のベースライン（例：Qwen3-VL-8B + 4f の 80.59%）や従来のストリーミングメモリ手法を上回りました。
  • OVO-Bench: 全体で 67.03% の精度を達成しました。特筆すべきは、**後方追跡（Backward Tracing: BT）**スコアを大幅に向上させたことです（Qwen3-VL-8Bにおいて54.00%から62.20%へ）。これは、高いリアルタイム視覚知覚（82.76%）を維持しつつ、事前の視覚コンテキストを利用する優れた能力を示しています。
• オフライン・ベンチマーク:
  • VideoMME、MLVU、およびMVBenchにおいて、SelectStreamは平均精度 74.4%（Qwen3-VL-8B）を達成し、手法が一般的なビデオ理解能力を保持しており、ストリーミング効率のためにオフライン性能を犠牲にしていないことを示しました。
• 効率性:
  • 処理されたフレーム数が増加しても、アクティブなメモリ状態が $N$ によって制限され、検索が $B$ および $M$ によって制限されているため、モデルはほぼ一定のクエリレイテンシ（TTFT）とピークGPUメモリを維持します。

意義と主張

本論文は、SelectStreamが、無差別なメモリ注入に内在する「証拠の希薄化（evidence dilution）」問題に対処していると主張しています。現在の観察を凍結されたVLMに直接可視な状態に保ち、歴史的な情報をコンパクトでクエリ条件付きの証拠予算を通じてのみ露出させることで、モデルは長期的なメモリと現在のシーンの知覚の間の優れたトレードオフを実現しています。

著者らは、SelectStreamを、固定のリソース制約下におけるストリーミングビデオ理解のためのスケーラブルな方向として位置付けています。結果は、選択的な潜在メモリが、単に最新のフレームを保持することを超えた利益をもたらし、コンテキストウィンドウの増大に伴う計算オーバーヘッドなしに、堅牢な履歴依存の推論を可能にすることを示唆しています。このフレームワークは、オンラインのメモリ管理をクエリ時の生成から分離した、凍結されたビデオ言語バックボーンのための汎用的なメモリレイヤーとして設計されています。