💻 computer science

StreamOV: Streaming Omni-Video Understanding via Evidence-Guided Memory and Response Triggering

StreamOV は、オフライン手法の限界を、効率的なコンテキスト管理のための証拠誘導型メモリと、能動的な応答生成のための隠れ状態駆動型トリガーを採用することで克服し、新たに導入された SOVBench によって検証された、ストリーミング・オムニ動画理解のための新規フレームワークである。

原著者： Ming Xie, Zizheng Huang, Xudong Tan, Chao Wang, Xiangyu Zeng, Wenxiao Wu, Tao Chen, Limin Wang, Yanwei Fu

公開日 2026-05-26

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Ming Xie, Zizheng Huang, Xudong Tan, Chao Wang, Xiangyu Zeng, Wenxiao Wu, Tao Chen, Limin Wang, Yanwei Fu

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

24 時間止まることのないライブニュースフィードを視聴していると想像してください。あなたは現在起きている出来事について、賢い AI とチャットしたいと考えていますが、動画を一時停止することも、1 時間前にさかのぼって何があったかを確認することもできません。AI はリアルタイムで視聴し、聞き取り、記憶し、そして応答しなければなりません。

これがStreamOVが解決する問題です。

問題：「圧倒された司書」

現在のほとんどの AI 動画モデルは、図書館が閉まっているときしか働かない司書のようです。彼らは映画が完全に終わるまで待ち、脚本全体を読み終えてから、はじめてあなたの質問に答えます。これはライブストリームには機能しません。

もしこれらの「オフライン」の司書にライブで働かせようとすれば、彼らは 2 つの大きな頭痛に直面することになります。

メモリの溢れ： 2 時間のストリームのすべてのフレームと音を記憶しようとすれば、彼らの脳は爆発してしまいます。退屈な部分を忘れ、重要な部分のみを保持する方法が必要です。
「沈黙」の問題： ライブチャットでは、最良の答えが「何の答えもないこと」である場合があります。「シェフは何を調理していますか？」と尋ねたとき、シェフがまだ調理を始めていないなら、AI は推測したり、答えを幻覚させたりしてはいけません。シェフが実際に包丁を手に取るまで、静かに待っていなければなりません。既存の AI はこの点で苦労することが多く、沈黙を無意味な言葉で埋めすぎて話しかけすぎたり、いつ話すべきかを指示する別個の鈍重な「マネージャー」を必要としたりします。

解決策：StreamOV

著者たちは、このライブの「オムニモーダル（視覚と聴覚）」の世界に特化して設計されたStreamOVというシステムを作成しました。いくつかの簡単な比喩を用いて、その仕組みを説明します。

1. 「賢い篩」証拠に基づくメモリ

ストリームを視聴しているが、メモを取るための小さなメモ帳しか持っていないと想像してください。すべてを書き留めることはできません。

従来の方法： すべてを書き留め、後でそれをすべて詰め込もうとする。
StreamOV の方法： 賢い篩を持っています。動画が再生されるにつれ、常に「この瞬間は重要か？」と問いかけます。
- 視覚的なシーンが劇的に変化しましたか？（シェフがフライパンを落とした！）→ 保持。
- 音が大きく、突然になりましたか？（衝突音！）→ 保持。
- ユーザーが直前に尋ねた内容と一致しますか？（ユーザーは卵について尋ねた；シェフが卵を割った。）→ 保持。
- 単なる背景ノイズや静止画ですか？→ 捨てる。

これにより、「長期・短期メモリ」が構築されます。短期メモリは、直近の数秒間の出来事という高密度なバッファです。長期メモリは、過去 1 時間の中で最も「証拠に富んだ」瞬間の希薄なコレクションです。これにより、AI のメモリは限定（小規模）に保たれつつ、驚くほど情報豊富になります。

2. 「内なる直感チェック」応答トリガー

これが論文の最も巧妙なトリックです。

従来の方法： AI が沈黙を命じる特別な「沈黙トークン」（「…」や「待って」と入力するようなもの）を生成して自ら黙らせたり、話すべきかどうかを決定する別個の小さな AI ロボットをボーダーとして使ったりします。
StreamOV の方法： AI は自らの内なる直感チェックを使用します。
AI の脳を、実際に話す前の「予備思考」段階を持つものとして考えてください。StreamOV は、AI の脳内の最初の思考の火花（隠れ状態）を覗き込みます。
- 脳は自信を持っていますか？ → 話す。
- 脳は情報が不足していると感じていますか？ → 沈黙する。

「待って」と入力したり、別個のロボットに尋ねたりする必要はありません。内部で「今は十分な証拠がある」と判断し、話し始めます。そうでない場合は、そのターンでの処理を単に停止し、エネルギーを節約し、無意味な言葉を避けます。

3. 新しいテスト：SOVBench

これが機能することを証明するために、著者たちは既存のテストを使うことができませんでした。なぜなら、既存のテストは完成した映画に対する「小テスト」のようなものだったからです。彼らはSOVBenchという、新しい実戦テストを構築しました。

リアルタイムの理解（今起きていることについて答える）をテストします。
想起（10 分前に何があったかを覚えている）をテストします。
能動性（いつ話し、いつ沈黙すべきかを知っている）をテストします。
動画と音声の両方を含み、AI が単に「視聴」しているだけでなく「聴取」もしていることを保証します。

結果

テストを実行したところ、StreamOV は単にゲームに参加しただけでなく、勝利しました。

ストリーミングモードで動作を強いられた巨大で強力なオフラインモデル（Qwen3-Omni など）を上回りました。
他のストリーミングモデルと比較して、いつ話し、いつ沈黙すべきかを知ることにおいて優れていました。
メモリに「賢い篩」を使用し、タイミングに「内なる直感チェック」を使用することで、AI が無限のメモリや外部のマネージャーを必要とせずに、ライブ動画ストリームを効率的に理解できることを証明しました。

要約すると： StreamOV は、ライブの無限の動画を視聴し、重要な部分のみを記憶し、会話に飛び込むべき時と沈黙すべき時を正確に知り、圧倒されることなくそれらをすべて実行できる最初の AI です。

技術的概要：StreamOV

問題定義

本論文は、ストリーミング・オムニビデオ理解という新たな課題に取り組んでいる。これは、モデルがオフラインで完全な動画にアクセスするのではなく、到着する同期された音声・視覚信号をリアルタイムで処理する設定である。現在の最先端のオムニモーダルモデルはオフライン推論向けに設計されており、ストリーミングシナリオにおいて 2 つの根本的なミスマッチを生じさせている：

メモリ管理：既存の手法は、計算予算を超えずに長期的な視野にわたって継続的に増大する音声・視覚コンテキストを管理するための堅牢なメカニズムを欠いている。
能動的インタラクション：オフラインモデルは、いつ応答するかを自律的に判断できない。すべてのクエリに対して応答を生成する（沈黙の必要性を無視する）か、事前学習された生成分布を乱す<silence> トークンのような非効率的なメカニズム、あるいは深いマルチモーダル推論能力を欠く外部ルーターに依存している。

さらに、この分野には、能動的な応答トリガーと意図的な沈黙を含む、継続的かつ多ターン型のオンライン音声・視覚インタラクションを評価できる包括的なベンチマークが存在しない。

手法：StreamOV フレームワーク

著者らは、制限されたメモリと能動的な応答トリガーによる効率的なオンライン推論のために設計された、オムニモーダル大規模言語モデル（MLLM）を基盤としたStreamOVを提案する。

1. マルチモーダル証拠に基づくメモリ

固定されたメモリ予算下での無限ストリームを処理するため、StreamOV は二重の視点に基づく証拠構築戦略によって駆動される長期・短期メモリ更新メカニズムを導入する：

クエリ非依存ダイナミクス：視覚的変化（ $S_v$ ）、音声の顕著性（ $S_a$ ）、および音声・視覚の共発現（ $S_{cob}$ ）を用いて、ストリームの内在的なダイナミクスを捉える。
クエリ依存セマンティクス：事前学習されたエンコーダーを用いて、現在のクエリとストリーム間の関連性を視覚的（ $S_{qv}$ ）および音響的（ $S_{qa}$ ）セマンティクススコアで測定する。ゲート機構は、物理的に顕著な音声または同期イベントを持つセグメントを優先するように音声の関連性を洗練させる。
証拠ルーティング：システムは、視覚のみ、音声のみ、および音声・視覚整合の 3 つの分離された証拠タイプを構築する。
メモリ更新：
- 短期メモリ（ $M^S_t$ ）：現在の時間ウィンドウからの高密度な観測を保持する。
- 長期メモリ（ $M^L_t$ ）：証拠スコアに基づいて履歴全体から選択された、情報豊富でスパースな固定予算の観測セットを維持する。
- 最終的なメモリ状態は、これらのバッファの和集合であり、時系列順にシリアライズされて凍結された MLLM へ入力される。

2. 隠れ状態駆動型応答トリガー

外部ルーターや非意味的<silence>トークンの生成に依存するのではなく、StreamOV はMLLM-as-a-triggerメカニズムを採用する：

メカニズム：モデルは、初期デコードステップの隠れ状態（特にプレフィル後の状態、 $h_{t,0}$ ）をプローブし、応答するか待機するかを予測する。
実装：軽量なクロスアテンショントリガモジュールがこれらの隠れ状態を集約し、二値トリガ対数オッズを出力する。
利点：このアプローチは、MLLM の隠れ状態に符号化された内在的な認知的準備性を活用し、事前学習分布の乱れや小規模な補助モデルの推論制限を回避する。

主要な貢献

SOVBench：オンライン、多ターン型のオムニモーダル評価のための最初の包括的なベンチマーク。2 つのコンポーネントから構成される：
- SOVBench-O：リアルタイム、想起、および能動的インタラクションパラダイム（モデルが意図を推論する認知的能動性を含む）にわたる継続的な音声・視覚理解を評価する。
- SOVBench-T：応答トリガーに特化した二値分類ベンチマークであり、証拠が存在するときに応答し、存在しないときに沈黙するモデルの能力をテストする。
StreamOV フレームワーク：マルチモーダル証拠ルーティング、長期・短期メモリ、および隠れ状態駆動型トリガーを統合した新規アーキテクチャにより、効率的なストリーミング推論を実現する。
実証的検証：ストリーミング、オフライン、および視覚のみのベンチマーク全体で StreamOV が最先端のパフォーマンスを達成することを示す広範な実験。

実験結果

著者らは、凍結されたバックボーンと 1890 万パラメータのトリガーを備えた Qwen3-Omni-30B-A3B に基づく StreamOV を、オフラインの Qwen モデル、オンラインストリーミングモデル（ROMA、Flash-VStream など）、およびクローズドソースモデル（Gemini）を含む各種ベースラインに対して評価した。

SOVBench パフォーマンス：StreamOV は SOVBench-O（音声・視覚コンテキスト）で平均精度81.6%、SOVBench-O（音声・視覚コンテキストおよび QA コンテキスト）で**83.8%**を達成し、強力なオフラインベースラインである Qwen3-Omni-30B（それぞれ 73.7% および 79.9%）を上回った。
能動的トリガー：SOVBench-T において、StreamOV は F1 スコア90.5を達成し、トリガー付きの Qwen3-Omni ベースライン（81.4）および他のオンラインモデルを大幅に上回った。
StreamingBench：音声・視覚 QA サブセットにおいて、Qwen3-Omni より**+7.6%、ROMA より+22.5%**パフォーマンスが向上した。
オフラインベンチマーク：StreamOV は Video-Holmes や Daily-Omni などのオフラインベンチマークでも競争力のある、あるいは優れたパフォーマンスを示し、その有効性が純粋なストリーミングシナリオを超えて拡張することを示している。
アブレーション研究：クエリ依存、クエリ非依存、および長期メモリコンポーネントのすべてが不可欠であり、特に長期メモリモジュールが最も大きなパフォーマンス向上をもたらすことが確認された。

意義と主張

本論文は、StreamOV がオフラインのオムニモーダル理解と現実世界のストリーミングインタラクションの要件との間のギャップを埋めると主張している。外部ルーターや沈黙トークンなしで能動的な応答トリガーのメカニズムを導入し、継続的かつ多ターン型の音声・視覚推論を評価する標準としてSOVBenchを確立することにより、この研究は「聞き続け、見続け」、証拠の十分性に基づいていつ話すかを決定するモデルへの基礎的な一歩を提供する。著者らは、その手法が制限されたメモリと計算効率を維持しながら最先端の結果を達成しており、長期的なストリーミングアプリケーションに適していることを強調している。