← 最新の論文
💻 コンピュータサイエンス

VideoMemBench: How Well Do MLLMs Remember in Video Conversations?

本論文は、マルチモーダル大規模言語モデル(MLLM)の「インコンテキスト・ビデオメモリ」能力を評価するために、検証済みのターン間依存関係を持つ326本の動画とマルチターン対話で構成される新しいベンチマークであるVideoMemBenchを導入し、最高性能のモデルであってもこのタスクにおいて著しく苦戦し、最高スコアがわずか45.7%にとどまっていることを明らかにしている。

原著者: Zhengdong Hu, Chao Wang, Kaituo Feng, Huanjin Yao, Mingfei Lu, Hehe Fan, Yi Yang

公開日 2026-11-04
📖 1 分で読めます☕ さくっと読める

原著者: Zhengdong Hu, Chao Wang, Kaituo Feng, Huanjin Yao, Mingfei Lu, Hehe Fan, Yi Yang

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む

技術要約: VideoMemBench

問題提起

マルチモーダル大規模言語モデル(MLLM)は、数百万トークンのコンテキストを持つ1時間のビデオを処理できるレベルまで進化しており、単一のビデオに対する拡張されたマルチターン対話を可能にしています。しかし、そのような会話を維持するには、「インコンテキスト・ビデオメモリ(in-context video memory)」、すなわち、対話の中で確立された情報(モデルが見た視覚的なエピソードと、モデルが以前に生成した回答の両方)を検索し、再利用する能力が必要です。

既存のビデオ理解ベンチマーク(MVBench、Video-MME、LVBenchなど)は、この能力を測定できていません。それらの質問は互いに独立しており、互いに参照し合うことはなく、ビデオと現在の質問のみから回答可能です。その結果、情報をターン間で持ち越す必要がなく、重要な課題であるインコンテキスト・ビデオメモリが測定されないままになっています。

手法: VideoMemBenchの構築

著者らは、構造化され、型付けされたクロスターン依存関係を通じて、インコンテキスト・ビデオメモリを明示的に評価するために設計されたベンチマーク、VideoMemBenchを導入します。構築パイプラインには、3つのLLMロールと人間の専門家によるレビューが含まれます。

  1. ビデオ収集: 既存のベンチマーク(Video-MME、VSI-Benchなど)およびウェブ(YouTube)から、4つの主要ドメイン(ライフスタイル&エンターテインメント、知識&教育、芸術&文学、スポーツ&競技)をカバーする約3,200個のビデオの初期プールを精査しました。
  2. 依存関係プランニング (Planner LLM): 質問を生成する前に、プランナーがグローバルな対話仕様を作成します。これには、ビデオのシノプシス、対話ガイドライン、および型付けされた依存関係グラフが含まれます。グラフは親ターンを依存ターンに割り当て、エッジを以下のいずれかにラベル付けします:
    • エピソディック依存 (Episodic Dependency): 質問が、以前のターンで説明された視覚的なエピソードに言及している(モデルが「何を見たか」のメモリを調査)。
    • 回答依存 (Answer Dependency): 質問が、モデル自身の以前の回答に基づいている(モデルが「何を言ったか」のメモリを調査)。
  3. ターンごとの生成 (Generator LLM): ジェネレーターは、プランに従ってターンバイターンで対話を構築します。これにより、依存ターンが、以前の内容を再提示することなく、指示表現(例:「T1のシーン」)を使用するようにします。
  4. 自動検証 (Judger LLM): ジャッジャーは、すべてのターンに対して以下の3つの厳格な要件を強制します:
    • 必要性 (Necessity): 親ターンが削除された場合、ビデオへのアクセスがあっても回答不可能であること。
    • 非漏洩 (Non-leakage): 質問が親ターンの情報を再提示したり、その回答を明らかにしたりしていないこと。
    • 視覚的グラウンディング (Visual Grounding): すべての回答が特定のビデオフレームに対して検証可能であること。
      失敗したターンは再生成され、2回連続で失敗した場合は再プランニングが行われます。
  5. 人間の専門家によるレビュー: 8人の専門家が、回答の正確性、依存関係の妥当性、および情報の漏洩がないことを確認するために、ビデオに照らしてすべての対話をレビューします。

データセット統計:

  • 326 個のビデオと、それに対応する 326 個のマルチターン対話。
  • 合計 2,476 個のQAターン。
  • 1,387 個のターンが依存ターンであり(56.02%)、その内訳は 1,200 個のエピソディック依存と 594 個の回答依存です。
  • 依存関係には、マルチペアレント構造(最大3つの親)や、長い連鎖(最大9ターンの距離)が含まれます。

評価プロトコル

このベンチマークは、128個の均一にサンプリングされたフレームと完全な会話履歴をモデルに与えるセルフロールアウト・プロトコルを用いて、25のMLLM(クローズドソース8、オープンウェイト17)を評価しました。3つの指標が定義されました:

  1. TurnAcc: すべてのターンにおける精度。独立してスコア化されます。
  2. EpiDepAcc: エピソディック依存(視覚的コンテキストのメモリ)を持つターンにおける精度。
  3. AnsDepAcc: チェイン・クレディティング (chain crediting) を用いた、回答依存を持つターンにおける精度。あるターンは、その応答と、その回答依存の系譜にあるすべての応答が正しい場合にのみ、クレジットされます。これはエラーの蓄積をペナルティとして課します。

主な結果

  • 全体的なパフォーマンス: 最も優れた性能を示したモデルである Claude Opus 5 は、全体スコアでわずか 45.7% を記録し、人間のベースラインである 86.1% を大幅に下回りました。
  • 依存関係のタイプ: 依存ターンにおけるパフォーマンスは、独立したターンと比較して一貫して低いものでした。
    • AnsDepAcc が最も困難な指標であり(Claude Opus 5 で 35.7%)、TurnAcc よりも 16.6 パーセントポイント遅れていました。これは、以前の回答との一貫性を維持することの深刻な難しさを示しています。
    • EpiDepAcc (49.1%) は、独立したターンの精度 (52.3%) よりはわずかに高いものの、依然として低くなっています。
  • 複雑性の影響:
    • 距離: 依存距離が増加するにつれて、精度は低下しました(距離1での 30.2% から、距離5以上での 23.1% へ)。
    • マルチペアレント: 親ターンの数が増えるにつれて、精度は低下しました。
    • 位置: 対話の後半に位置する依存ターンは、一貫した精度の低下を示しました。
  • エラー源: モデルの履歴を正解の履歴(Oracle history)に置き換える実験では、大幅なパフォーマンス向上(例:Qwen3-VL-8B が 12.3% から 32.4% へ向上)が見られ、以前の回答におけるエラーが後続のターンの主要な困難要因であることを裏付けました。しかし、完璧な履歴があったとしても、精度は独立したターンのレベルには達しておらず、正しい履歴だけでは信頼できるインコンテキスト・ビデオメモリには不十分であることを示唆しています。

意義と主張

本論文は、インコンテキスト・ビデオメモリが、現在の最先端モデルを含むMLLMにとって、依然として未解決かつ困難な問題であると主張しています。主な貢献は以下の通りです:

  1. ギャップの特定: 既存のベンチマークが、ビデオ会話における確立された対話コンテキストを検索し再利用する能力を測定できていないことを明らかにしました。
  2. VideoMemBench: 明示的な型付けされたクロスターン依存関係(エピソディックおよび回答)を持ち、必要性と非漏洩を強制する、厳格な構築パイプラインに支えられた初のベンチマークを提供しました。
  3. 実証的証拠: 現在のモデルが、特に自身の以前の回答との一の一貫性の維持(チェイン・クレディティング)や、長距離またはマルチペアレントの依存関係の処理において、クロスターン依存関係に対して著しく苦戦していることを実証しました。

著者らは、VideoMemBenchが、拡張された会話において、以前の観察や応答を確実に想起し、それに基づいた構築を行うことができるビデオMLLMを開発するための、必要な基礎を提供するものであると結論付けています。

自分の分野の論文に埋もれていませんか?

研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。

Digest を試す →