技術概要：マルチホップ音声・視覚推論のための能動的オムニモーダル知覚

問題定義

現在のオムニモーダル大規模言語モデル（Omni-LLMs）は、特に関連する証拠が希薄で、時間的に分散し、音声ストリームと視覚ストリームの両方にまたがって分布している場合、マルチホップ音声・視覚推論において重大な課題に直面しています。既存のベンチマークは、この特定の能力を分離することに失敗しており、通常は限られたモーダリティ、短い時間セグメント、または単一モーダリティの決定的証拠しか含んでいません。その結果、Omni-LLM が複数の時間セグメントに分散する希薄なクロスモーダル証拠を効果的に統合して複雑な質問に回答できるかどうかは、依然として不明です。さらに、能動的知覚のための既存のエージェントアプローチは、高価なプロプライエタリモデルに依存するか、広範なトレーニングを必要とする傾向があり、低リソース環境下でのオープンソース Omni-LLM への適用性を制限しています。

手法

1. MOV-Bench：マルチホップ推論のためのベンチマーク

この能力を厳密に評価するために、著者はMOV-Bench（Multi-hop Omni Video Benchmark）を導入します。

• データセット構築：Fine-Video データセットを基盤として構築された MOV-Bench には、519 の慎重に選定された多肢選択問題が含まれています。
• 設計原則：
  • マルチホップ時間的推論：質問は 2 つから 4 つの異なる時間セグメントからの証拠を必要とし、モデルが単一瞬間の知覚に依存することを防ぎます。
  • クロスモーダル統合：音声ストリーム単独でも視覚ストリーム単独でも不十分となるように質問が構成されており、モデルは視覚的イベント、話の内容、音声の手がかりを共同で解釈する必要があります。
  • 推論テーマ：質問は、因果的、参照的、関係的、仮定的、意図的という 5 つの異なる推論パターンを網羅しています。
• 品質管理：バイアスを除去するための言語のみのフィルタリングに続き、人間の検証を行う 2 段階のフィルタリングプロセスにより、質問が真のクロスモーダルマルチホップ推論を必要とすることが保証されています。

2. AOP-Agent：能動的オムニモーダル知覚フレームワーク

受動的処理の限界に対処するため、著者は追加トレーニングやプロプライエタリコンポーネントなしでオープンソース Omni-LLM 向けに設計された効率的なエージェントフレームワークAOP-Agentを提案します。

• 階層的オムニモーダルメモリ：生動画ストリームを直接処理するのではなく、AOP-Agent は動画コンテンツを構造化されたメモリに整理します。
  • 詳細なクリップ：局所的な詳細を保持。
  • 中レベルセグメント：低解像度で圧縮されたマージクリップ（≤30 秒）。
  • 構造化メタデータ：各セグメントに対して、視覚的キーポイント、音声的キーポイント、検索キーワード、セグメントレベルの説明を生成します。
  • グローバル要約：動画全体を合成した説明。
• 観察・反映・再計画ループ：このフレームワークは、マルチエージェント協調プロセスを採用します。
  • プランナーエージェント（$A_P$）：現在の推論状態に基づいて次の観察ターゲットを決定し、検査する特定の動画領域を選択します。
  • 観察ツール：エージェントが階層的メモリをナビゲートすることを可能にする 5 つの相補的ツールのスイート。
    • 説明ベース：高レベルのイベントに対する意味的マッチング。
    • キーワードガイド：明示的な実体や動作のための語彙的検索。
    • キーポイントガイド：クロスモーダルの手がかりのための視覚・音声キーポイントのマッチング。
    • 近傍観察：時間的に隣接するセグメントへの拡張。
    • 詳細観察：局所的な検証のための掘り下げ。
  • リフレクターエージェント（$A_R$）：現在の観察が十分かどうかを評価します。不十分な場合は、再計画を導くフィードバックを提供し、十分な場合は最終推論をトリガーします。
  • 推論エージェント（$A_A$）：蓄積された証拠を統合して最終回答を生成します。

主要な貢献

1. MOV-Bench：時間的に分散したセグメントにわたるマルチホップ音声・視覚推論を特に標的とした新しいベンチマーク。これにより、現在の Omni-LLM が希薄なクロスモーダル証拠の特定と統合に苦労していることが明らかになりました。
2. AOP-Agent：オープンソース Omni-LLM が能動的知覚を実行することを可能にする低リソースエージェントフレームワーク。階層的メモリの構築と協調的な観察・反映・再計画ループを通じてこれを達成し、追加トレーニングやプロプライエタリモデルの必要性を排除します。
3. 実証的検証：MOV-Bench および OmniVideoBench において、AOP-Agent が推論性能を一貫して向上させることを示す実証。特に長動画や推論集約的な質問において顕著な改善が見られました。

実験結果

実験は、様々なオープンソース Omni-LLM（例：Qwen3-Omni-Instruct、Qwen2.5-Omni-7B）を使用して、MOV-Bench および OmniVideoBench 上で実施されました。

• ベースラインの限界：MOV-Bench における直接推論により、現在の Omni-LLM は比較的低い精度（例：Qwen3-Omni-Instruct で約 52.8%）しか達成できないことが明らかになりました。動画の長さが増加し、推論ホップ数が増えるにつれて性能は著しく低下します（例：4 ホップの質問では約 44% まで低下）。
• AOP-Agent の性能：
  • 一般的な改善：AOP-Agent は、異なるモデルバックボーン全体で直接推論ベースラインを常に凌駕しました。例えば、Qwen3-Omni-Instruct を用いた長動画において、精度は 45.50% から 60.85% に向上しました。
  • エージェントフレームワークとの比較：オープンソースモデルに適合させた際に直接推論よりも劣るパフォーマンスを示した既存のエージェントフレームワーク（OmniAgent、ActiveVideoPerception）とは異なり、AOP-Agent は優れた結果を達成しました。これは、強力なプロプライエタリモデル向けに設計されることが多い既存の方法が、AOP-Agent が提供する特定の構造的サポートなしでは、より弱いオープンソースモデルにおいて誤りの蓄積を増幅させることを示唆しています。
  • アブレーション研究：
    • コンポーネント：プランナーとリフレクターの両方のエージェントが性能に寄与しており、完全なループが最良の結果をもたらしました。
    • モデル割り当て：最終的な推論エージェントの強さよりも、より強力な計画と反映の能力の方が重要であることが判明しました。これは、効果的な証拠の選択が成功した推論に先行することを強調しています。
    • 観察ラウンド：観察ラウンドの増加（最大 3 ラウンド）に伴い性能は向上しましたが、過度なラウンドでは飽和するかわずかに低下し、証拠の回復とノイズの蓄積の間のトレードオフを示しました。

意義と主張

本論文は、マルチホップ推論における現在の Omni-LLM の主なボトルネックは、単に推論能力そのものではなく、希薄で時間的に分散した証拠を効果的に特定し、保持し、統合する能力であると主張しています。

受動的な動画処理から能動的で反復的な知覚へと転換することで、AOP-Agent はオープンソースモデルが質問に関連する証拠を選択的に検査することを可能にします。著者らは、このアプローチが、決定的な証拠が希薄なシナリオにおいて、長動画のオムニモーダル推論のためのスケーラブルで効果的なパラダイムを提供すると仮定しています。この研究は、システムが階層的メモリと構造化された能動的知覚ループを備えていれば、高価なプロプライエタリモデルや大規模トレーニングなしでも複雑なマルチホップ推論を達成できることを示しています。

認められた限界：

• MOV-Bench の規模は、アノテーションコストによって制限されています。
• マルチラウンドループは推論オーバーヘッドをもたらします。
• システムは、基礎となるメモリベースにおける幻覚に対して依然として脆弱であり、これが誤りを伝播させる可能性があります。
• 現在のメモリ構築はオフラインベースであるため、リアルタイムのストリーミングシナリオへの適用性が制限されています。