技術概要：ストリーミング動画理解のための意味意識的適応視覚メモリ

問題定義

本論文は、モデルが連続的で無制限の動画ストリームを処理し、自然言語クエリが到着するたびにリアルタイムで回答するタスクである「オンラインストリーミング動画質問応答（StreamingVQA）」に対処する。完全な動画が利用可能なオフライン設定とは異なり、ストリーミングには以下の 3 つの重要な制約を課す：

1. 未来へのアクセス不可：モデルは現在の時刻 $T$ までのフレームにのみアクセス可能である。
2. クエリ非依存エンコーディング：クエリは予測不可能に到着するため、メモリ構築は特定のクエリを知らずに行われなければならない。
3. 限定されたメモリ：総メモリ使用量は動画の長さに関わらず一定でなければならない。

既存の手法はこれらの制約に直面して苦戦している。多くの手法はトークン圧縮に「視覚的類似性ヒューリスティック」に依存しており、意味的な重要性を捉えきれないか、圧縮が完了した後に KV キャッシュレベルで検索メカニズムを追加している。この分離により、保持と検索の調整が困難となり、意味的に重要だが視覚的に冗長な情報の喪失を招くことが多い。

手法：SAVEMem

著者は、クエリ非依存のメモリ生成とクエリ依存の検索を分離する、トレーニング不要の 2 段階フレームワークであるSAVEMemを提案する。このシステムは一定のメモリ予算 $B$ の下で動作し、モデルの微調整を必要とせずに意味的事前知識を注入するために固定された「疑似質問バンク」を利用する。

段階 1：意味メモリ生成（クエリ非依存）

この段階では、モデルがフレームが到着するにつれてオンラインで3 層構造のストリーミングメモリ（$M_{short}$、$M_{mid}$、$M_{long}$）を構築する。

• 意味的事前知識：視覚的類似性のみを頼るのではなく、SAVEMem は、固定された疑似質問バンク $Q$（物体、動作、シーンなどを網羅）に対して各視覚トークン $v$ を評価し、MaxSim 遅延相互作用メカニズムを用いてスコアリングを行う：$s(v) = \max_{q \in Q} \cos(v, q)$。これにより、クエリ非依存の意味的注目度の推定が可能となる。
• 選択的忘却を伴う 3 層階層：
  • 短期メモリ（$M_{short}$）：現在のコンテキストを固定するために、最新のフレームを完全な忠実度で保持する FIFO バッファ。
  • 中期メモリ（$M_{mid}$）：$M_{short}$ が満杯になると、最古のフレームは時間的意味剪定の対象となる。トークンは、時間的な隣接トークンによって十分に表現されている場合に削除されるが、高い意味スコア（$s(v)$）を持つ場合やシーン境界にある場合は除外される。
  • 長期メモリ（$M_{long}$）：$M_{mid}$ が溢れると、フレームは空間的意味選択を介してここに移動する。これは空間的カバレッジをハード制約として扱い、トークンをその意味スコアに基づいてランク付けし、分散しつつも意味的に順序付けられた部分集合を保持する。
  • グローバル予算の強制：選択的忘却ステップにより、総トークン数が $B$ を超えることがないよう保証する。超過した場合、$M_{long}$ 内の最低スコアのトークンが排除される。

段階 2：適応的メモリ検索（クエリ依存）

時刻 $T$ にユーザークエリ $q$ が受信されると、システムは凍結されたメモリから関連するフレームを検索する。

• アンカー条件付き最近性ゲート：システムはまず、クエリが直近の過去をターゲットにしているか確認する。$q$ と短期アンカー（$M_{short}$）との親和性を計算する。この親和性が高い場合（移動平均に対して）、システムは古い階層をバイパスして $M_{short}$ を直接返す。このゲートは、動画の特定の親和性分布に基づいてクエリごとに適応的に調整される。
• クエリ依存遅延相互作用：クエリが歴史的コンテキストを必要とする場合、システムは $M_{mid} \cup M_{long}$ 内のトークンとクエリとの間でColBERT 風の遅延相互作用スコアを計算する。フレームのスコアは、そのトークンとクエリトークン間の最大コサイン類似度の平均である。
• 適応的検索：フレームはこのスコアでランク付けされる。検索されるフレーム数（$K$）はスコアの分散に適応する：スコアが密にクラスタリングされている場合（拡散的な証拠）はより多くのフレームが検索され、スコアが明確に分離されている場合は積極的なフィルタリングがトリガーされる。最終的なセットには、常に $M_{short}$ と上位ランクの歴史的フレームが含まれる。

主要な貢献

1. 2 段階フレームワーク：意味意識圧縮とクエリ依存検索を分離するトレーニング不要のアーキテクチャ。これにより、2 つの段階を共有スコアリングメカニズム（MaxSim）を通じて調整可能となり、共同トレーニングを不要としている。
2. 意味意識的圧縮：視覚的類似性だけでなく、意味的注目度に基づいて長期保持を導くための疑似質問バンクの導入。これにより、視覚的に冗長であっても情報量の多いトークンが保持される。
3. 適応的検索範囲：クエリが現在をターゲットにするか遠い過去をターゲットにするかに基づき、検索範囲（短期対長期）を動的に調整するアンカー条件付き最近性ゲート。
4. 効率性：この手法は、動画の長さに対してサブリニアなトークン増加と、ほぼ平坦なピーク GPU メモリ使用量を実現し、長動画処理を予算制約付きの問題へと変換する。

実験結果

SAVEMem は、トレーニングなしでQwen2.5-VLバックボーン（3B および 7B パラメータ）を使用して、OVO-Bench、StreamingBench、ODV-Benchで評価された。

• OVO-Bench：
  • Qwen2.5-VL-7Bバックボーンにおいて、SAVEMem は総合スコアを52.27 から 62.69に向上させ、最近のトレーニング不要手法（FluxMem、HERMES など）や競争力のあるトレーニングベースのアプローチ（ViSpeak など）を上回った。
  • リアルタイム視覚知覚（+10.41 ポイント）と後方追跡（+10.41 ポイント）で顕著な改善が見られた。
  • この手法は、微細な視覚的詳細（OCR、STU、ACR）やハルシネーション検出を必要とするタスクで特に強みを発揮した。
• StreamingBench および ODV-Bench：
  • 両方のバックボーンで一貫した改善が見られた。7B モデルにおいて、ODV-Bench Static スコアは8.7 ポイント（48.3 から 57.0）向上した。
• 効率性：
  • 128 フレームにおいて、SAVEMem はバックボーンと比較してピーク GPU メモリ使用量を**48%**削減（18.5 GB 対 35.8 GB）し、サブリニアなトークン増加を維持した。

意義と主張

本論文は、クエリ非依存の意味圧縮とクエリ依存の適応的検索を分離することが、トレーニングを必要とせずにストリーミング動画理解をスケーリングするための実用的な方向性であると主張する。圧縮段階に意味信号を注入し、クエリごとに検索範囲を適応させることで、SAVEMem はストリーミングに固有の「知覚 - メモリのトレードオフ」に対処する。著者は、このアプローチにより、モデルが一定のメモリ予算を強制しつつ意味的に重要な情報を保持することで、汎用 GPU 上で無制限のストリームを処理可能になると強調している。

著者は限界を認め、包括的な時間的スキャン（例：カウント）を必要とするタスクにおいては、選択的検索と完全カバレッジの間のトレードオフに本質的に敏感であることを指摘している。また、疑似質問バンクは現在汎用的であり、ドメイン適応されていないこと、およびトレーニング不要の設計が 2 つの段階の共同最適化を妨げていることも指摘している。