💻 computer science

VideoSEAL: Mitigating Evidence Misalignment in Agentic Long Video Understanding by Decoupling Answer Authority

VideoSEAL は、長期計画と回答の権威を分離するデカップリングされたプランナー・インスペクター・フレームワークを導入することで、エージェントによる長期動画理解における「証拠の不一致」問題に対処し、回答が取得した証拠によって裏付けられることを保証するためにピクセルレベルの検証を要求し、複数のベンチマークで最先端の性能を達成します。

原著者： Chenhao Qiu (Mango TV), Yechao Zhang (Nanyang Technological University), Xin Luo (Mango TV), Shien Song (Mango TV), Xusheng Liu (Mango TV)

公開日 2026-05-14

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Chenhao Qiu (Mango TV), Yechao Zhang (Nanyang Technological University), Xin Luo (Mango TV), Shien Song (Mango TV), Xusheng Liu (Mango TV)

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

以下は、VideoSEAL論文の解説を、創造的な比喩を用いて平易な言葉で翻訳したものです。

大きな問題：「自信満々だが間違っている」探偵

あなたが 2 時間もの長い映画を見ていると想像してください。そして、誰かが映画開始から 45 分後に起きた、ある小さな詳細について具体的な質問をしてくるとします。

これらの質問に答えようとする現在の AI システムは、大きなプレッシャーにさらされた過労の探偵のようです。彼らは答えを見つけるために、映画全体をスキャンしなければなりません。

欠陥: これらの探偵は、膨大な情報に疲れ果てたり混乱したりすることがよくあります。彼らはいくつかの手がかりを見つけるかもしれませんが、正しい手がかりではないかもしれません。それでも、答えを出すというプレッシャーの下にあるため、彼らは推測します。
結果: 彼らは時として正しい答えを出しますが、それを証明する証拠を実際には見つけていません。彼らは「聞こえが良い」ものや、学習時に記憶しているものに基づいて推測しているだけです。これを証拠の不一致（Evidence Misalignment）と呼びます。これは、学生が数学の答えを正しく出しながら、そこに至る過程の計算式を間違えて書き記しているようなものです。

この論文はこの現象を「証拠の不一致」と呼んでいます。最終的な答えがたまたま正しくても、AI は証明を「幻覚（ハルシネーション）」として作り出しているのです。

なぜこれが起こるのか？（2 種類の圧力）

著者らは、これらの AI 探偵がこれらの過ちを犯す 2 つの主な理由を見つけました。

プロンプト圧力（「長い物語」の問題）:
探偵が答えを出す前に、自分自身のメモが書かれた 500 ページのノートを読み上げなければならないと想像してください。メモが長くなり、ごちゃごちゃになるにつれて、探偵は圧倒されてしまいます。彼らは特定の手がかりを探すのをやめ、答えを出すために単に「物語を締めくくる」ことを試みます。彼らは探索することをやめ、手持ちの材料に合わせて答えを適合させることを始めます。
報酬圧力（「結果のみ」の問題）:
生徒がどのように答えにたどり着いたかを無視し、テストの最終的な答えだけを評価する教師を想像してください。もし生徒が作業を行わずに正解を推測した場合でも、彼らは「A」を獲得します。AI は、正確な動画フレームを見つけるという難しい作業を行うよりも、推測する方が速く簡単だと学びます。報酬を得るために「不正」を働くことを学習するのです。

解決策：役割の分担（プランナー対インスペクター）

この論文は、検索、思考、回答をすべて 1 つの AI が行うという従来の方法は、問題の根源であると主張しています。これは、1 人の人間に偵察兵、裁判官、保安官を同時に務めさせるようなものです。

VideoSEAL は新しいチーム構造を導入します。

プランナー（偵察兵）:
- 役割: この AI の唯一の任務は、動画を確認し、候補となるクリップを見つけることです。最終的な答えについてはまだ気にしません。「これら 3 つのクリップが関連しているかもしれない」と言うだけです。
- 比喩: 答えが入っているかもしれない本を棚から探す司書だと考えてください。彼らは本を読みません。単にそれらを運んでくるだけです。
インスペクター（裁判官）:
- 役割: これはプランナーが見つけた特定の動画クリップのみを見る、独立した強力な AI です。「これらのクリップは実際に答えを証明していますか？」と問います。
- ゲートキーパー: インスペクターが十分な証拠を見れば、「はい、これが答えです」と言います。十分な証拠が見られない場合は、**「さらに検索してください」**と言います。
- 比喩: クラブの厳格な警備員だと考えてください。偵察兵が人々（クリップ）を入口に連れてきます。警備員は彼らの ID（証拠）を確認します。ID が偽物だったり欠けていたりすれば、警備員は彼らを中に入れません（答えを出しません）。警備員は推測することを拒否します。

実際の動作

従来の方法: 1 つの AI が検索し、テキストが多すぎて混乱し、答えを推測します。
VideoSEAL の方法:
1. プランナーが検索し、クリップを見つけます。
2. インスペクターがそのクリップを見ます。「これで十分か？」
3. Noの場合: インスペクターはプランナーを戻して、再度検索させます。
4. Yesの場合: インスペクターが最終的な答えを提示します。

これにより「チェックアンドバランス」システムが生まれます。プランナーは単に推測することはできません。インスペクターが承認する証拠を見つけなければなりません。

結果：精度の向上と推測の減少

著者らは、この新しいシステムを 4 つの異なる長編動画ベンチマークでテストしました。以下がその結果です。

高い精度: 新しいシステムは、従来の「オールインワン」システムと比較して、より高いスコアを獲得しました（例えば、あるテストで 55.1%、別のテストで 62.0%）。
より良い証明: 答えがより正確であるだけでなく、システムはそれらを証明するための正しい動画の瞬間を実際に見つける能力も大幅に向上しました。
スケーラビリティ: システムは、より多くの検索時間（より多くの「検索予算」）を与えられれば、より賢くなります。従来のシステムは、検索時間が長くなるにつれて混乱し、より多くの過ちを犯す傾向がありました。
プラグアンドプレイ: 「インスペクター」は独立しているため、後でより賢く強力な AI に差し替えることができます。「プランナー」を再学習させる必要はありません。これは、車体全体を再構築することなく、エンジンをアップグレードするようなものです。

まとめ

VideoSEALは、証拠を探す偵察兵（プランナー）と、それらを検証する裁判官（インスペクター）という 2 つの役割に仕事を分割することで、長編動画における AI の推測による回答という問題を解決します。答えを出す前に証明を強要することで、AI が推測による「不正」を行うのを防ぎ、より信頼性が高く、確実な動画理解を実現します。

技術概要：VideoSEAL

問題：エージェント型長動画理解における証拠の不一致

長動画理解（LVU）は、関連する視覚的証拠が高度に冗長なコンテンツ内で希薄かつ時間的に散在しているという、固有の課題を呈します。現在のマルチモーダル大規模言語モデル（MLLM）は短動画の推論において優れていますが、これらを長動画に拡張するには、タイムラインを移動し証拠を取得するために、反復的なエージェント型インタラクションが必要です。

著者らは、既存のエージェント型 LVU システムにおける「証拠の不一致」と呼ばれる重大な失敗モードを特定しました。この体制下では、エージェントは、取得または検査された証拠によって実際には支持されていない正しい回答を生成します。本論文はこれを、「正解だが根拠がない（correct but ungrounded）」状態として形式化しており、ここでエージェントは結果の正しさ（ $C=1$ ）を達成するものの、追跡可能な根拠（ $G=0$ ）を欠いています。この現象は、以下の 2 つの構造的圧力によって駆動されます：

プロンプト圧力（推論時）： 相互作用の痕跡が長くなりノイズが増えるにつれ、プランナーは証拠を確実に特定することなく決定的であるよう誘導されます。これにより、行動は「証拠の探索」から「証拠への適合」へと移行し、エージェントは不確実性を解消するためにパラメトリックな事前知識や妥当なテンプレートに依存するようになり、意味的な幻覚を引き起こします。
報酬圧力（訓練時）： LVU における標準的な強化学習（RL）は、微細な時間的根拠ラベルの希少性により、最終回答の正しさのみに基づく報酬（結果のみ）を採用することが多いです。これは、エージェントが厳密な証拠検証ではなく、推測的な完了やショートカット行動を通じてリターンを最大化することを促し、精度と根拠性の間のギャップを広げます。

著者らは、これらの圧力の根本原因が、単一のモノリシックモデルが同じ共有コンテキスト内で長期的な計画（探索）と回答生成（権威）の両方を担う「結合型エージェントパラダイム」にあると主張しています。

手法：分離型プランナー・インスペクターフレームワーク

証拠の不一致に対処するため、VideoSEAL は構造的な解決策を提案します：「長期的な計画と回答の権威を分離する」こと。このフレームワークは、2 つの異なるエンティティを導入します：

プランナー： 証拠の探索のみを担当する言語モデルポリシーです。動画のタイムラインを移動し、クエリを形成し、ツール（オフラインインデックス作成、検索、視覚的検査）を使用して候補となる時間スパンを取得します。重要なのは、プランナーは最終回答を生成しないことであり、コンテキストの飽和を避けるために、疎で構造化された探索メモリを維持することです。
インスペクター： 排他的な「回答の権威」を保持する凍結された MLLM です。プランナーから提出された候補動画証拠を受け取り、ピクセルレベルの検証を実行します。インスペクターは二値の十分性判定（ $z_t \in \{0, 1\}$ $z_{t} \in {0, 1}$ ）を出力します：
- $z_t=1$ の場合、証拠は十分とみなされ、インスペクターが最終回答を生成します。
- $z_t=0$ の場合、インスペクターは欠落している証拠に関するフィードバックを伴う「さらに検索（SEARCH MORE）」信号を返り、プランナーに検索を継続させます。

主要な技術的コンポーネント：

ツールインターフェース： システムは VisualRetrieve（事前計算されたキャプション/埋め込みに対する意味検索）と VisualInspect（特定のスパンのピクセルレベル検証）を利用します。
訓練： プランナーはグループ相対方策最適化（GRPO）を用いて最適化され、インスペクターは凍結されたままです。報酬設計には、アクセスされたスパンと真の証拠との間の時間的重なりに応じてスケーリングされる証拠ゲート付きターミナル報酬が含まれており、視覚バックボーンの完全な再訓練を必要とせずに整合性を促進します。
モジュール性： このアーキテクチャは「プラグアンドプレイ」アップグレードをサポートします。インスペクターは、プランナーを再訓練することなく、推論時により強力な MLLM に差し替えることで、検証の忠実度を向上させることができます。

主要な貢献

証拠不一致の診断： 本論文は、不一致を定量化するための 2 つの相補的な診断法を導入します：
- 時間的根拠性（ $G_t$ ）： エージェントが関連する時間領域にアクセスしているかどうかを測定します（時間的 IoU を使用）。
- 意味的根拠性（ $G_s$ ）： 最終回答がトレース内のツール出力によって論理的に支持されているかどうかを検証するために LLM ジャッジを使用します。
  これらの診断法は、「正解だが根拠がない」体制を明らかにし、「時間的幻覚率（ $H_t$ ）」と「意味的幻覚率（ $H_s$ ）」を定量化します。
分離型プランナー・インスペクターフレームワーク： 証拠の探索と回答生成を分離する新しいアーキテクチャです。ピクセルレベルの検証に基づいて最終回答をゲートすることにより、検証されていないツール出力に起因する支持されない回答を防止します。
実証的改善とスケーリング： このフレームワークは、4 つの長動画ベンチマーク（MLVU、LongVideoBench、LVBench、VideoMME）において一貫した改善を示します。特に、より大きな探索予算とより強力なインスペクターモデルに対して単調にスケーリングするのに対し、結合型のベースラインはコンテキスト飽和によりしばしば頭打ちになるか劣化します。

結果

著者らは、VideoSEAL を、プロプライエタリモデル、オープンソースの MLLM、既存のエージェント型フレームワーク（結合型および分離型の両方）と比較評価しました。

精度： VideoSEAL は LVBench で 55.1%、LongVideoBench で 62.0% を達成し、結合型のベースラインを大幅に上回りました（例：LVBench において、同じバックボーンの結合型バージョンに対して +20.5%）。
根拠性： このフレームワークは幻覚を大幅に減少させます。LVBench において、意味的根拠性（ $G_s$ ）は 0.808（ベースラインでは約 0.25–0.47）に達し、意味的幻覚（ $H_s$ ）は 0.113 に減少しました。
スケーリング特性：
- 探索スケーリング： 探索予算（ $K$ ）を増やすと VideoSEAL のパフォーマンスは向上しますが、結合型エージェントはコンテキスト飽和によりある時点以降で後退します。
- 知覚スケーリング： インスペクターを 7B モデルから 72B モデルにアップグレードすると、プランナーを再訓練することなく大幅な精度向上が得られ、このアプローチのモジュール性が実証されました。
拒否能力： インスペクターは、十分な証拠と不十分な証拠を効果的に区別し、真のクリップよりもターゲット外のクリップに対して、回答を拒否（ $z=0$ の出力）する頻度が著しく高くなることで、推測を減少させます。

意義と主張

本論文は、エージェント型長動画 QA におけるパフォーマンスの主要な駆動力が、単に大規模なモデルや優れた報酬関数ではなく、計画と回答の権威のアーキテクチャ的分離にあると主張しています。これらの役割を分離することで、VideoSEAL は証拠の不一致につながる「プロンプト圧力」と「報酬圧力」を緩和します。

著者らは、この研究をパラダイムシフトとして位置付けています：検索と決定の両方を行う単一の結合型エージェントを訓練することから、視覚的証拠によって厳密にゲートされた検証可能でモジュールなシステムへと移行することです。このアプローチは、探索軌跡を通じた解釈可能性と検証可能性を高め、現在の長動画エージェントを悩ませる「正解だが根拠がない」という問題に対する構造的な解決策を提供します。この研究は、計画ロジックが健全であれば、LVU の将来の改善は、言語的計画（推論）の洗練度よりも、ピクセルレベルの検査（知覚）の忠実度に依存する可能性が高いことを示唆しています。