技術サマリー：Don't Pause: Streaming Video-Language Synchrony for Online Video Understanding

1. 問題提起

現在のオンライン・ビデオ大規模言語モデル（Video-LLM）は、ストリーミング・シナリオにおいて決定的な限界に直面している。具体的には、完全な文章を生成している間、通常はビデオの知覚を一時停止してしまう。この「停止とデコード（pause-and-decode）」のアプローチは、リアルタイムのビデオと言語の同期性を損ない、カクつきを引き起こし、モデルが「話しながら知覚する」ことを妨げる。レスポンス・ゲーティング、End-of-Sequence（EOS）トークンの予測、および検証ベースの手法（例：LiveStarなど）は、プロアクティブな応答を管理しようと試みているが、これらは一般的に、ビデオストリームの中に完全な文章を交互に挿入するだけであり、個々の単語トークンと流入するフレームを交互に織り交ぜることはできない。これは、連続的な感覚入力と音声出力を流暢に統合するという人間のような能力を実現するには不十分である。

本論文では、2つの核心的な課題を特定している：

1. 知覚と生成の同時並行性： フルセンテンスの生成のために知覚をブロックすることなく、ビデオフレームと単語トークンのきめ細かなフレームレベルのインターリービング（交互配置）をどのように実現するか。
2. 動的な応答の調停（Arbitration）： 特に、変化の激しいイベント（例：スポーツ）対 希薄なイベントのシナリオにおいて、未完成の発話を継続するか、新しい応答をトリガーするか、あるいは視覚的コンテキストの変化に応じて沈黙を維持するかを、どのように動的に決定するか。

2. 手法：LyraV

著者らは、凍結されたオンラインVideo-LLMバックボーンをラップした階層的制御フレームワークに基づいたライブ・ストリーミング・アシスタントであるLyraVを提案している。LyraVはバックボーンを再学習させるのではなく、Streaming Video-Language Synchrony (SVLS) と呼ばれる新しいパラダイムを確立するために、2つのコアモジュールを導入している。

A. Streaming Video-Language Synchrony (SVLS) パラダイム

従来のオフライン処理（ビデオ全体 $\to$ キャプション）や既存のオンライン手法（フレーム $\to$ フルセンテンス）とは異なり、SVLSはフレーム間隔ごとに少量のトークン・チャンク（$m$）を出力する。これにより、モデルがフルセンテンスの生成のために知覚をブロックすることを防ぎ、各フレームの時間予算内でサブ予算のトークン・チャンクを放出することを可能にする。

B. Frame-Driven Transition Controller (FDTC)

FDTCは、高レベルのセマンティックな決定（いつ話すか）を制御する、学習不要の検証ベースの有限状態機械である。これは以下の3つの状態で動作する：

• Triggered State（トリガー状態）： 新しい応答が必要になったときに開始される。モデルは新しい発話の最初の $m$ 個のトークンを生成する。
• Continuing State（継続状態）： コアとなる革新部分である。現在のフレームが既存の発話バッファの流暢な継続を許容する場合（パープレキシティによって検証）、モデルはこの状態に留まり、追加のトークンをデコードする。これにより、モデルが不必要に文章を再起動することを防ぐ。
• Silent State（沈黙状態）： 発話が完了（EOSトークン）し、新しいイベントが応答を必要としない場合に移行する。

メカニズム： コントローラーは、進化する視覚的コンテキストに対して現在のレスポンス・プレフィックスのパープレキシティ（PPL）を計算する検証メカニズムを使用する。安定または減少するPPLはContinuing Stateを維持し、急激な上昇（セマンティック・ドリフト）は、新しい応答を開始するためのTriggered Stateへの遷移をトリガーする。

C. Streaming Token Pacer (SToP)

SToPは、低レベルのペース配分（どのくらいの速さで話すか）を制御する、学習可能な軽量の予測モジュールである。

• 機能： 視覚的コンテンツのセマンティック密度とリアルタイムのレイテンシ制約に合わせ、フレームあたりのトークン放出数（$m_i$）を動的に適応させる。
• アーキテクチャ： マルチモーダルな履歴（視覚的埋め込みとトークン数のカテゴリ）を受け取り、最適なトークン数分布を予測する軽量なTransformerエンコーダ。
• レイテンシ制約： 予測されるトークン数は、処理時間（知覚＋生成）がフレーム間隔（$\Delta t$）を超えないようにハードなレイテンシ・カットオフによって制限され、バッファリングの遅延を防ぐ。

3. 主な貢献

1. SVLS パラダイム： Video-LLMが、ビデオフレームと単語トークンをシームレスに交互に配置し、長いポーズなしに、同時並行的なストリーミング知覚と生成を実現する、新しいパラダイムの導入。
2. LyraV フレームワーク： 以下の機能を備えたプラグアンドプレイ型の制御レイヤー：
   • FDTC： 視覚的コンテキストに基づいて、発話の継続と新しい応答のトリガーを動的に調停するステートフルなコントローラーであり、滑らかなナレーションのための「Continuing State」を可能にする。
   • SToP： 厳格なリアルタイム・レイテンシ予算を遵守しながら、視覚的イベントの密度に合わせてトークン放出率を調整する適応型ペース調整モジュール。
3. 経験的観察： 著者らは、ストリーミング・トークンに対する動的な推論という創発的な能力を観察している。これは、モデルが単一のトリガーフレームから固定された記述を確定させるのではなく、視覚的証拠が蓄積されるにつれて、ナレーションを漸進的に洗練させていくものである。

4. 実験結果

実験は8つのベンチマーク（オンライン5、オフライン3）で実施された。

• ストリーミング同期性： LyraVは、非切断（untruncated）設定において**98.29%の同期率（SR）**を達成し、LiveStar（78.93%）などのベースラインを大幅に上回った。切断（ゼロ・レイテンシ）設定において、LyraVは最高のセマンティック・スコア（SS: 3.62）とナラティブ・フルエンシー（NF: 4.03）を達成しており、これはその制御戦略が、単に生成を切り詰めるだけのモデルと比較して、厳格な時間制約下でより高品質なコンテンツを生成できることを示している。
• リアルタイム性能： LyraVは3.89 FPS（リアルタイム）でビデオを処理し、高い流動性を維持している。
• 全般的な理解： オフライン・ベンチマーク（MVBench、LongVideoBench、VideoMME）において、LyraVは凍結されたバックボーン（LiveStar）と比較して顕著な低下を示すことなく、バックボーンの全般的なビデオ理解能力を保持している。
• ストリーミングQA： OVO-BenchやStreamingBenchなどのベンチマークにおいて、LyraVはオンラインモデルの中で最先端の結果（OVO-Benchで50.97）を達成しており、そのバックボーンや他のプロアクティブなモデルをわずかに上回っている。
• アブレーション研究： FDTCを除去するとパフォーマンスが激減し（SS -34.4%、NF -55.4%）、Continuing Stateの決定的な役割が確認された。SToPを除去すると軽微な低下が見られたが、これはハードなレイテンシ・カットオフだけでも基本的な品質を維持できることを示唆している。

5. 意義と主張

本論文は、LyraVを、静的な単一回答の精度を向上させるモデルとしてではなく、ストリーミングにおけるビデオと言語の相互作用を根本的に再考するシステムとして位置づけている。

• 静的な正確性よりも同期性： 主要な貢献は、「見ながら話す」同期性と、リアルタイムの制約下でのナラティブの流暢さを維持する能力である。これは現在のVideo-LLMには欠けている能力である。
• 漸進的な洗練： 著者らは、LyraVが、視覚的証拠が蓄積されるにつれて解釈を継続的に更新する「動的な推論」の形態を可能にすると主張しており、これは低レイテンシ推論とエラー耐性において潜在的な利点をもたらす。
• 限定的な範囲： 著者らは、自らの改善が同期パラダイムと制御フレームワークに関するものであることを明示している。バックボーン固有の視覚的知覚や静的な推論能力を向上させたと主張しているのではなく、むしろ、これらの能力をストリーミング環境で展開する方法を最適化することで、知覚のブロッキングとカクつきを防いでいる。

結論として、高レベルのセマンティック決定（FDTC）と低レベルのペース調整（SToP）を分離することで、知覚がフルセンテンスのために停止されることのない、人間のようなシームレスなビデオと言語の相互作用を実現できることが示された。