技術的サマリー：Response-G1

問題定義

本論文は、**能動的ストリーミング動画理解（SVU）**の課題に取り組む。ユーザーのクエリに対して即座に反応する受動的な相互作用とは異なり、能動的相互作用では、動画が展開するにつれて、Video Large Language Models（Video-LLM）が自律的に最適な応答タイミングを決定する必要がある。核心的な難しさは、現在蓄積された視覚的証拠が、ユーザーのクエリが示唆する条件を満たすのに十分かどうかを判断することにある。特に、初期フレームでは答えが存在しない可能性のある予測的または予期的な質問において、この判断は困難を伴う。

既存のアプローチは、主に以下の 2 つの限界に直面している：

1. ファインチューニングベースの手法： これらはフレームレベルのアノテーションに依存して決定境界を訓練する（例：End-Of-Sequence トークンの予測や補助分類器の使用）。しかし、視覚的に類似した連続フレームにおけるラベルの不一致に悩まされることが多く、信頼性の高い決定境界の学習を妨げている。
2. ファインチューニング不要の手法： 現在の手法は、視覚的証拠の暗黙的なモデリングや単純なフレーム間差の閾値に依存することが多い。これらの手法は、蓄積されたストリーミング証拠をクエリの特定の意味的条件と明示的に整合させることができず、結果として応答タイミングが最適化されていない。

手法：Response-G1

著者は、Response-G1を提案する。これは、シーングラフを用いて、蓄積された動画証拠とクエリ条件との間の明示的かつ構造化された整合性を確立する、新規のファインチューニング不要なフレームワークである。このフレームワークは、3 つの統合された段階で動作する：

1. オンライン・クエリ誘導型シーングラフ生成

生フレームや暗黙的な特徴を処理する代わりに、本システムはストリーミング動画クリップを構造化されたシーングラフに抽象化する。

• メカニズム： Video-LLM が、時刻 $t$ を中心とした動画クリップに対してシーングラフ $G_t$ を生成するようにプロンプトされる。
• クエリ誘導： 生成はユーザーのクエリ $Q$ に条件付けられる。プロンプトは、モデルに対してクエリに関連するトリプレット（対象物 - 述語 - 対象物）を優先し、無関係な視覚的詳細を抑制するよう誘導する。
• 表現： グラフは、ノード（対象物と属性）とエッジ（時空間関係）から構成され、トリプレットの集合として表現される。

2. メモリベースのシーングラフ検索

微細な整合性を促進するため、システムは過去のシーングラフの動的なメモリバンクを維持する。

• 線形化と埋め込み： 各シーングラフは自然言語フレーズ（例：「赤い服を着た女性」）に線形化され、Video-LLM のテキストエンコーダを用いて高密度なテキスト埋め込み符号化される。同様に、ユーザーのクエリは「クエリ条件グラフ」に解析され、形式の一貫性を確保するために線形化される。
• 類似度マッチング： システムは、クエリ埋め込みとメモリバンク内のすべての過去のシーングラフの埋め込みとの間のコサイン類似度を計算する。
• 検索： 意味的に最も関連性の高い上位 $K$ 個の過去のシーングラフが検索され、証拠コンテキスト（$G^{ctx}_t$）として機能する。

3. 検索拡張型ストリーミングパイプライン

検索されたシーングラフは、Video-LLM の推論プロセスに統合され、意思決定を駆動する。

• トリガー段階（沈黙/応答）： 各タイムステップにおいて、Video-LLM は、現在のフレーム埋め込み、検索されたシーングラフ（時系列タイムスタンプ付きで符号化）、およびトリガープロンプト（例：「今答えるべきか？」）を含むトークン列を受け取る。モデルは、沈黙または応答という二値の決定を出力する。
• 応答段階： 応答と判断された場合、モデルは、その時点までに蓄積された視覚的コンテキストと、検索されたシーングラフによって拡張された情報を用いて、最終的な回答を生成する。
• 汎用性： 同じパイプラインは、応答時間をクエリ到着時間に設定することで受動的タスクにも適応可能であり、能動的な遅延なしでも時空間グラウンディングを強化するフレームワークの能力を実証している。

主要な貢献

1. 明示的シーングラフモデリング： 本論文は、暗黙的な証拠モデリングから、シーングラフを用いた明示的かつ構造化された表現へのパラダイムシフトを導入する。これにより、背後にある意味を解離させ、証拠とクエリ条件の整合性に関する原理的な推論を可能にする。
2. Response-G1 フレームワーク： オンライン・クエリ誘導型シーングラフ生成、メモリベースのグラフ検索、および検索拡張型ストリーミング意思決定をシームレスに統合する、エンドツーエンドのファインチューニング不要なアーキテクチャ。
3. 最先端のパフォーマンス： 本手法は、タスク固有のファインチューニングを必要とすることなく、能動的および受動的なストリーミング動画理解タスクの両方で優れた結果を達成する。

実験結果

著者は、Response-G1 を 2 つの確立されたベンチマーク、OVO-BenchおよびStreamingBenchで評価した。

• 能動的タスク：
  • OVO-Bench のForward Active Responding（応答タイミングの精度を測定）サブタスクにおいて、Response-G1 は、2 番目に優れたオープンソースのストリーミング Video-LLM よりも平均で**12.8%**上回った。
  • StreamingBench の**Proactive Output (PO)サブタスクにおいて、2 番目に優れたオープンソースモデルを15.1%**上回った。
  • パフォーマンスは、GPT-4o や Gemini 1.5 Pro などのプロプライエタリな MLLM と同等であった。
• 受動的タスク：
  • このフレームワークは、リアルタイム視覚知覚、後方追跡、リアルタイム視覚理解といった標準的な受動的サブタスクのパフォーマンスも向上させ、2 番目に優れたオープンソースのベースラインに対して**2.1% から 12.3%**の改善が見られた。
• アブレーション研究：
  • 検索拡張またはタイムスタンプエンコーディングを除去すると、特に時空間グラウンディングを必要とするタスク（例：Clues Reveal Responding）においてパフォーマンスが著しく低下した。
  • 対象物誘導型生成よりもクエリ誘導型生成が優れていることが示された。後者はハルシネーションや早期応答につながったためである。
  • 検索に生のクエリテキストを使用するよりも、グラフテキスト埋め込みを使用する方が良い結果をもたらした。これは、形式の一貫性の重要性を浮き彫りにしている。

意義と主張

本論文は、Response-G1が、ストリーミング動画理解において明示的構造化モデリングと検索拡張の優位性を示していると主張する。視覚的証拠とクエリ条件の両方を共有するグラフ表現にグラウンディングすることで、このフレームワークは Video-LLM が、応答タイミングに関してより解釈可能かつ正確な意思決定を行えるようにする。

著者は、この研究を、会話型 AI アシスタントや自律的な具身エージェントなどの現実世界のストリーミングアプリケーションにおける、より能力が高く解釈可能なマルチモーダル相互作用への一歩として位置づけている。彼らは限界を認めつつも、シーングラフは整合性を改善するものの、複雑な推論（例：「なぜ」という質問）を完全に解決するものではなく、オープンセット生成におけるクエリ関連性とハルシネーションのトレードオフは依然として課題であると指摘している。今後の研究として、より豊かな構造化の定式化と適応的生成メカニズムの探求が提案されている。