技術要約：野生環境におけるストリーミングビデオの活用

1. 問題の定式化

現在の視覚言語モデル（VLM）は、モデルが完全な録画クリップを処理してワンショットの応答を生成する、オフラインのビデオ理解タスク（例：ビデオ質問応答、時間的グラウンディング）において顕著な成功を収めています。しかし、ビデオ通話アシスタント、ライブ実況、オンライン監視、エンボディド・ロボットといった、現実世界のアプリケーションが増加しており、これらは無制限のビデオストリーム上で動作します。

これらの「野生環境（in-the-wild）」のシナリオでは、オフライン処理の基本的な仮定が崩れます：

• 因果律の制約： モデルは、将来のコンテンツにアクセスすることなく、過去に観察されたフレームのみに基づいて応答しなければなりません。
• 無制限の長さ： ストリームは数時間に及ぶ可能性があり、すべての視覚トークンをメモリに保持することは不可能です。
• レイテンシの制約： 応答は、入力されるフレームと同期し続けるために、リアルタイム（サブ秒単位のレイテンシ）で生成される必要があります。
• プロアクティブな相互作用： システムは、毎フレーム出力を生成したりユーザーのクエリを待ったりするのではなく、「いつ話すべきか」および「いつ沈黙すべきか」を決定しなければなりません。

既存の手法は通常、これらの一部の要件（例：メモリ圧縮やレイテンシの最適化）のみを単独で対処しており、プロアクティブな相互作用、長期間のメモリ、およびリアルタイム推論を同時にサポートする統一されたフレームワークを欠いています。さらに、既存のベンチマークは多くの場合、評価をシングルターンのオフライン形式のクエリに簡略化しており、遠方の証拠の想起やターン間の整合性の維持といった、コアとなるストリーミング動作の評価に失敗しています。

2. メソドロジー

著者らは、データセット/目的関数、推論フレームワーク（Harness）、および評価ベンチマークからなる統一されたスタックを提案しています。

2.1 ストリーミングネイティブVLMトレーニング（バックボーン）

VLMをストリーミング相互作用に適応させるため、著者らは、1秒ごとのフレームとテキストの整合性を備えた高品質なデータセットであるStreaming-Train-248Kを導入しました。

• データ構築： このデータセットは、多様なソース（例：EpicKitchens、Ego4D、LiveWhisperX）から248Kのサンプルを集計しており、日常生活、仕事、屋外のシナリオをカバーしています。各1秒間のセグメントは、タイムスタンプと共に、明示的な応答または沈黙トークンのいずれかとペアになっています。
• タスク分類： タスクは、ナレーション（顕著なイベントに対してのみ放出される）と、質問応答（回答の不変性/変化および証拠のタイミング：backward、present、forwardによって分類される）に分類されます。
• 学習目的： 沈黙トークンが応答トークンよりも圧倒的に多いという深刻なクラス不均衡に対処するため、重み付き損失関数が採用されています。沈黙の継続はダウンウェイト化（$w_{repeated\_silence} < 1$）され、沈黙から応答への遷移はアップウェイト化（$w_{response} > 1$）されます。これにより、モデルが効果的に沈黙を破るタイミングを学習するように促します。
• 特殊トークン： モデルは、2つの制御トークン、</response>（回答またはナレーションを行うため）と </silence>（沈黙を維持するため）を放出するように訓練されます。これにより、毎秒単位のプロアクティブな意思決定が可能になります。

2.2 StreamingHarness（デプロイメント・インフラストラクチャ）

StreamingHarnessは、あらゆるVLMにストリーミング機能を持たせるために設計された、プラグアンドプレイの推論フレームワークです。これは、以下の3つのメカニズムを通じてメモリとレイテンシの制約に対処します。

1. 3層メモリ管理：
   • 短期（Short-term）： 直近の$T_s$秒間（例：200秒）の生の視覚トークンを保持します。
   • 中期（Mid-term）： 過去の短期チャンクをテキストによる要約へと圧縮します（$T_m$秒）。
   • 長期（Long-term）： 中期要約をブロックへと集約し、FIFO（先入れ先出し）方式による破棄を伴う固定数のブロック数で制限します（$T_l$秒）。
   • 結果： 無制限のメモリ増大なしに、最大12時間のコンテキストをサポートします。
2. Prefix-Aware KVキャッシュ：
   • vLLMのような効率的な推論エンジンとの互換性を考慮して設計されています。
   • システムは、各チャンクの開始時に「メモリテキスト」（圧縮された履歴）のワンタイム・プリフィル（prefill）を実行します。
   • 後続のステップでは、メモリと以前のターンのためのキャッシュされたKey-Value（KV）状態を再利用し、新しいフレームと応答のみを計算します。これにより、長いコンテキストにおいてもサブ秒単位のレイテンシを実現します。
3. イベント駆動型応答トリガー：
   • ハースは毎秒バックボーンを呼び出します。
   • モデルは、現在の証拠（現在のフレーム + コンテキスト）が応答に値するかどうかを判断します。新しい情報が含まれていない場合、</silence> を出力し、そうでなければグラウンデッドな応答を生成します。

2.3 Streaming-Eval（ベンチマーク）

リアルなストリーミング能力を測定するために、著者らは15のカテゴリ（例：スポーツ、料理、ニュース）にわたる138のビデオをカバーするベンチマーク、Streaming-Evalを導入しました。

• 評価軸：
  • ストリーミング相互作用： プロアクティブ（いつ話すか）、パンクチュアル（タイミング）、およびコンテクスト的（ターン間の整合性）な振る舞いを評価します。
  • ストリーミング理解： Backward（過去）、Present（現在）、およびForward（クエリに対する未来）の証拠に基づく推論を評価します。
• 指標：
  • ナレーション： ペーシング、トーン、およびグランドトゥルースのASRとの一貫性を人間またはLLMの判定者と比較する勝率を通じて評価されます。
  • 質問応答： SW-F1 (Streaming Weighted F1) を使用します。これは、誤った回答とタイミングの誤り（沈黙が必要なときに回答を出したり、回答ウィンドウを逃したりすること）を共同で罰する指標です。正解（True Positives）と偽陰性（False Negatives）に高い重みを割り当て、正確さを優先しつつ「常に回答する」振る舞いを抑制します。

3. 主な貢献

1. Streaming-Train-248K： 毎秒の整合性を備えた大規模データセットと、プロアクティブな相互作用が可能なストリーミングネイティブVLMを作成するためのカスタマイズされた学習目的を提供します。
2. StreamingHarness： 12時間のメモリ保持、サブ秒単位のレイテンシ、およびvLLMと互換性のあるプロアクティブな相互作用（毎秒の意思決定）を提供する、プラグアンドプレイのシステムを提供します。
3. Streaming-Eval： シングルターンのオフラインパラダイムを超え、リアルなストリーミングタスクでモデルを評価するために設計された、包括的なベンチマークと指標スイート（SW-F1）を提供します。
4. 最先端のパフォーマンス： 提案されたスタック（8B ストリーミングネイティブVLM + StreamingHarness）は、ナレーションおよびQAタスクの両方において、強力なクローズドソースモデル（例：Claude Opus 4.6, GPT 5.4, Gemini 3.1 Pro）に対して優れた結果を達成しています。

4. 実験結果

• ナレーション： StreamingHarnessを装備した8Bストリーミングネイティブモデルは、4つのクローズドソース・ベースラインに対して平均**61.4%**の勝率を達成しました。これは、オフライン適応モデルに共通する「過剰なナレーション」やハルシネーションを回避し、自然なライブ放送スタイルの解説を行う点で、ベースラインを大幅に上回りました。
• 質問応答： Streaming-Eval QAタスクにおいて、提案されたシステムはBackward（遠方の証拠の想起）およびForward（証拠が現れるまで応答を遅らせる）タスクで大幅な向上を見せました。SW-F1スコアはすべてのベースラインよりも有意に高く、メモリシステムとプロアクティブな学習の有効性を証明しました。
• 効率性： 2時間のスポーツ中継テストにおいて、フル機能のStreamingHarnessは、Time-to-First-Token (TTFT) およびエンドツーエンドのレイテンシを一貫して1秒未満（リアルタイムの閾値）に維持しました。対照的に、スライディングウィンドウ方式は約4秒で安定し、フルアテンション方式は数分以内にコンテキスト制限を超えました。プレフィックス対応のKVキャッシュは、レイテンシを約4秒から1秒未満に削減するために極めて重要でした。
• アブレーション：
  • 沈黙の繰り返し重み（$w_{repeated\_silence}$）を調整した結果、0.8という値が、沈黙への過剰なコミットを防ぎつつ、早すぎる応答を避けるための最適なバランスを提供することが示されました。
  • オフラインモデルにStreamingHarnessを追加することで、Backwardタスクの性能が大幅に向上し、長期間の理解のための汎用的な強化策としてのフレームワークの価値が確認されました。

5. 重要性

本論文は、オフラインのビデオ理解からデプロイ可能なストリーミング・インテリジェンスへの移行には、モデルの能力、インフラストラクチャ、および評価を同時に扱う包括的なアプローチが必要であると主張しています。データ、ハーネス、およびベンチマークをオープンソース化することで、著者らは、無制限かつリアルタイムの環境で効果的に動作するVLMの構築に向けたコミュニティの進展を加速させることを目指しています。本研究は、適切な学習目的と推論アーキテクチャがあれば、たとえ小規模な（8B）モデルであっても、厳格なレイテンシ制約を維持しながらストリーミングシナリオにおいて巨大なクローズドソースシステムを凌駕できることを示しています。