技術概要：StreamReady

問題定義

マルチモーダル大規模言語モデル（MLLM）は、特に短いクリップにおける動画理解を進展させましたが、拡張された時間的コンテキストにわたる推論の難しさから、長編動画においては依然として困難に直面しています。最近の取り組みでは MLLM をより長い動画に拡張しようとしていますが、その多くは推論時に完全な動画が利用可能な「オフライン」設定で動作しています。これに対し、「ストリーミング動画理解」は、フレームが逐次到着し、モデルが完全な動画を一度も視認しないオンライン変種です。

現在のストリーミングアプローチには重大なギャップが存在します：それらは主に、証拠が既に利用可能な過去依存（因果的）シナリオにおける「回答の正しさ」に焦点を当てています。しかし、多くの実世界アプリケーション（監視、ロボティクス、支援システムなど）は、支持する視覚的証拠が現れる前に質問が提示される「能動的（未来依存）推論」を必要とします。このような設定では、モデルは「いつ」回答するかを決定しなければなりません。早すぎる回答は根拠のない推測（幻覚）を構成し、遅すぎる回答はリアルタイムの有用性を低下させます。既存のベンチマークや手法には、証拠の出現に対する回答のタイミングを評価または強制するメカニズムが欠けています。

手法：StreamReady フレームワーク

著者は、明示的な回答タイミングと時間的推論を統合するために設計された「準備性認識（readiness-aware）」定式化を備えたフレームワーク「StreamReady」を提案します。

1. 準備性認識定式化

中核的な貢献は、「回答準備性スコア（Answer Readiness Score: ARS）」と呼ばれる新しい評価指標です。標準的な精度とは異なり、ARS は非対称なペナルティを用いて正解性とタイミングを同時に評価します：

• 早期ペナルティ（EP）： 証拠ウィンドウの開始前に回答することに対する厳格なペナルティであり、推測を抑制します。
• 遅延ペナルティ（LP）： 証拠ウィンドウの終了後に回答することに対する緩やかなペナルティであり、わずかな遅延を許容します。
• 実効精度（Effective Accuracy）： $Acc_e = Acc \times ARS$ と定義され、この指標は正しくかつタイムリーなモデルを報酬します。

2. フレームワークアーキテクチャ

StreamReady は、完全な動画へのアクセスや重厚な補助モデルを必要とせずに動作します。これは 3 つの主要なコンポーネントで構成されます：

• 階層的メモリストレージ：

  • 視覚メモリツリー（$M_V$）： 長いストリームを効率的に管理するための多段階構造。
    • $M_{V1}$：最近の生フレーム埋め込みの FIFO バッファ（短期詳細）。
    • $M_{V2}$：$M_{V1}$ から K-means クラスタリングを通じて導出された重心の中間レベル要約。
    • $M_{V3}$：$M_{V2}$ から抽象化された粗いプロトタイプセット。安定したシーンとドリフトを処理するために指数移動平均（EMA）を用いて更新されます。
  • コンテキストメモリバンク（$M_C$）： 多ターン推論と意味的一貫性を支援するために、過去の質問とその対応する回答表現の埋め込みを格納します。

• クエリ認識推論：

  • 質問を受け取ると、モデルはデュアルブランチ Q-Former を活性化します。
  • 短期ブランチ（$Q_s$）： 即座のコンテキストのために $M_{V1}$ の生フレームに注意を向けます。
  • 長期ブランチ（$Q_\ell$）： 粗から細への検索を実行します。まず $M_{V3}$ のプロトタイプをスコアリングして関連領域を特定し、次に $M_{V2}$ の特定の重心への検索を精緻化します。
  • コンテキスト推論： ソフトゲーティング機構が $M_C$ から関連する過去の QA ペアを检索し、クロスアテンションを通じて視覚的特徴と融合させます。

• 軽量準備性メカニズム：

  • 学習可能な <RDY> トークンが長期推論表現（$z_\ell$）に付加されます。
  • 準備性ヘッド（軽量 MLP）がこのトークンを監視し、準備性スコア $R_{pred} \in [0, 1]$ を出力します。
  • 推論： $R_{pred}$ が閾値を超えた場合のみ、モデルは LLM に回答生成をトリガーします。それ以外の場合は観測を続けます。
  • 学習： 学習中に真の証拠タイムスタンプが利用できないため、著者は「弱い疑似教師あり」を使用します。推論表現が視覚メモリ重心と非常に類似している領域を疑似ポジティブ領域、そうでない領域を疑似ネガティブ領域として定義します。ペアワイズ対照損失により、準備性ヘッドにポジティブ領域に高いスコアを割り当てるよう学習させ、時間的コヒーレンス正則化器が滑らかな遷移を確保します。

主な貢献

1. 準備性認識ストリーミングの定式化： 単に正しく回答するだけでなく、十分な証拠が現れた時点で正確に回答することを目的とする定式化を導入し、「回答準備性スコア（ARS）」を通じて形式化しました。
2. StreamReady フレームワーク： 階層的視覚メモリ、クエリ認識の粗から細への検索、および内部証拠の充足性に基づいて「いつ」応答するかを決定する軽量準備性トークンを統合した新規アーキテクチャ。
3. ProReady-QA ベンチマーク： 能動的ストリーミングシナリオ用に特別に設計された新しいベンチマーク。以下の特徴を備えています：
   • ローカルおよびグローバルコンテキストにわたる 5k の能動的多ターン QA ペア。
   • ARS 評価を可能にする注釈付きの「回答証拠ウィンドウ」（開始および終了タイムスタンプ）。
   • 5 つのタスクタイプ：逐次ステップ認識、反復イベントカウント、手がかり発見応答、因果トリガー検出、目標状態検出。

実験結果

著者は、ProReady-QA および他の 8 つのベンチマーク（ストリーミング 4、オフライン長編動画 4）で StreamReady を評価しました。

• ProReady-QA パフォーマンス： StreamReady は 5 つのタスクすべてにおいて最高の実効精度と ARS を達成し、最良のベースライン（StreamBridge）を平均して約3% の精度および9% の ARSで上回りました。特に正確なタイミングを必要とするタスク（REC、GSD、CTD）で顕著な改善を示しました。
• ストリーミングベンチマーク： StreamReady は、能動的および非能動的ストリーミングベンチマーク（StreamingBench、OVOBench）において、先行するオンライン手法（Flash-VStream、StreamBridge など）を一貫して上回り、能動的タスクでは最大5% の改善を達成しました。
• オフライン長編動画ベンチマーク： ストリーミング用に設計されているにもかかわらず、StreamReady はオフラインベンチマーク（VideoMME、MLVU、MVBench、EgoSchema）にもよく一般化し、既存のオフラインモデルを上回りました。これは、タイミングが明示的にペナルティ化されていない場合でも、その階層的メモリと推論メカニズムが有益であることを示唆しています。
• 効率性： 分析により、StreamReady は動画の長さが増加しても安定した遅延とメモリ使用量を維持することが示されました。これに対し、ベースラインモデルは二次的な注意の増大や重たいトークン圧縮のオーバーヘッドに苦しんでいました。

意義と主張

本論文は、StreamReadyがストリーミング動画理解における回答タイミングの進展のための統合基盤を確立すると主張しています。その意義は以下の点にあります：

• 「何を回答するか」から「いつ何を回答するか」へのパラダイムシフトを促し、実世界のストリーミングアプリケーションにおける重要なギャップに対処すること。
• 非確定的な補助モデルや重たい計算に依存することなく、軽量メカニズムと証拠追跡を組み合わせることでタイミングを学習可能であることを実証すること。
• 単純な精度指標を超えて、ストリーミングモデルの時間的適切性を評価するための最初の体系的なテストベッドとしてProReady-QAを提供すること。
• 準備性認識メカニズムが、能動的パフォーマンスだけでなく、多様なベンチマークにわたる一般的な動画理解能力も向上させることを示すこと。

著者は、この研究がフィールドを、単に正確であるだけでなく、証拠に基づきタイムリーであるモデルへと進展させると結論付けています。これは、リアルタイムかつ長期的なシナリオでの効果的な展開にとって不可欠な要件です。