技術概要：MARQUIS

問題定義

本論文は、大規模な動画コーパスからの根拠に基づく記事生成という課題に取り組む。動画アーカイブは現実世界の出来事に関する即時的かつ広範なドキュメントを提供するが、この生きた音声・映像証拠を、出所が明確で分析的な記事に変換する作業は、依然として主に手動で行われている。現在の自動化システムは、パイプラインの両端において重大な制限に直面している：

1. 検索（Retrieval）： 既存の手法は、単一の埋め込みベクトルでは捉えられない複雑で多面的なクエリに苦しんでいる。クエリが複数の明示的および暗黙的な情報ニーズを組み合わせた場合、関連するすべての動画を提示することに失敗することが多い。
2. 生成（Generation）： 生成モデルは、長大で複数の動画にわたるコンテキストを処理する際にメモリ制約に直面する。さらに、既存のビジョン・ランゲージモデル（VLM）は、記事生成に必要な高レベルの統合ではなく、キャプション付けやエンティティ中心の QA といった低レベルのタスク向けに設計されている傾向がある。これらは、複数の動画にわたる推論や、証拠の整合的な統合に失敗することが多い。

これらの制限は、完全なパイプラインにおいて増幅される。検索の誤りは、欠落または無関係な証拠を生成段階へ伝播させ、そこではモデルが既に受け取ったコンテキストに対して推論することに苦労している。

手法：MARQUIS パイプライン

著者は、これらの制限をモジュール式に対処するために設計された 3 段階のパイプラインであるMARQUIS（検索、クエリ分解、不確実性較正、反復的証拠統合を介したマルチモーダル記事生成）を提示する。

ステージ 1：動画検索

検索パイプラインは、複雑なクエリを処理するために 2 段階で動作する：

• クエリ分解と拡張： 複雑で指示的なクエリを単一のベクトルとして符号化するのではなく、システムは LLM を用いてクエリを $N$ 個の原子レベルのサブクエリに分解する。各サブクエリは単一の検索可能な事実を対象とし、簡潔な検索フレーズとして表現される。
• 密検索（Dense Retrieval）： 元のクエリと分解されたサブクエリの両方が、OmniEmbedを用いてオムニモーダルインデックスに対して検索され、上位候補のランク付けリストが生成される。
• ランク融合： サブクエリからのランク付けリストは、相互ランク融合（RRF）、和/最大/平均類似性、または重み付き RRF などの戦略を用いて集約される。
• 再ランク付け： 融合された候補（上位 100 件）は、RankVideo（動画ネイティブの再ランク付け器）に渡され、洗練された判断に基づいてリストを再順序付けし、性能とスケーラビリティのバランスを取る。

ステージ 2：情報抽出と較正

検索された動画は、構造化され較正された証拠アーティファクトに変換される：

• 抽出ストリーム： システムは、Qwen3.5を用いた 3 つの相補的な抽出コンポーネントを採用する：
  1. クエリ非依存ノート： 特定のクエリに条件付けすることなく、直接観察可能な視覚的イベント、OCR、および発話内容を記録する。
  2. クエリ条件付き主張： 情報ニーズに特に関連する主張を抽出し、一般的な記述や根拠のない推論を避ける。
  3. 質問応答（QA）抽出： 情報ニーズをサブ質問に分解し、検索された動画コンテンツとトランスクリプトを用いて回答する。これには、単一ショット版と反復版の両方が含まれる。
• 較正： 抽出された各アーティファクト（ノート、主張、または QA ペア）は、較正されたマルチモーダル不確実性推論モデルであるCLUEによって、ソース動画に対してスコアリングされる。これにより、動画が主張を支持するかどうかを推定する支持確率（$s_\theta \in [0, 1]$）が生成される。このステップは、証拠の作成と支持推定を分離し、生成前に支持されない主張をフィルタリングすることを可能にする。

ステージ 3：記事生成

パイプラインは、フィルタリングされた証拠を引用付き記事に統合する。著者は 3 つの戦略を比較する：

• BULLET： 証拠をインライン引用付きの番号付きリストとして直接レンダリングする（保守的なベースライン）。
• CAG（協調的記事生成）： 証拠を整理し、単一の統合パスで引用付き記事を生成する、単一パスのベースライン。
• GINGER： 証拠をトピック的な側面にクラスタリングし、クラスタを関連性でランク付けし、各クラスタを引用付き文に要約し、最終的にそれらを整合的な記事に書き直す、段階的なアプローチ。

MARQUIS-RLM：再帰的制御

著者は、再帰的言語モデル（RLM）のインスタンスであるMARQUIS-RLMを導入する。このシステムは、パイプラインモジュール（検索、抽出、QA、較正）を、永続的で構造化されたメモリ環境内の呼び出し可能なツールとして扱う。

• 思考 - 行動 - 観察ループ： ルート LM は、アクションを反復的に計画し、ツール呼び出し（例：video_qa、transcribe）を実行し、結果を観察する。
• 構造化メモリ： コンテキストウィンドウに依存する標準的な RLM と異なり、MARQUIS-RLM は検索、再利用、修正が可能である動的なメモリバンク（事実テーブル、キーワードインデックス）を維持する。これにより、情報の忘却が軽減され、最終的な記事が執筆される前に、動画間の矛盾の解決や情報ギャップの特定が可能になる。

主な貢献

1. MARQUIS パイプライン： 検索、抽出、生成をモジュール式に分解する、大規模な動画検索拡張記事生成のための 3 段階フレームワーク。
2. 検索の改善： クエリ拡張とランク融合および動画ネイティブ再ランク付けを組み合わせた 2 段階検索アプローチ。これは MAGMaR2026 ベンチマークにおいて検索性能を大幅に向上させた。
3. 生成戦略： 主張ベース、QA ベース、RLM 制御による生成の比較分析。クエリ分解と動画に基づく QA が、ベースラインに対して人間の評価スコアを向上させることを実証。
4. RLM の統合： 構造化メモリと反復的なツール使用を用いて証拠を管理し、矛盾を解決し、事実を選別する MARQUIS-RLM の導入。これは非 QA システムの中で最も高い引用リコールを達成した。

実験結果

システムは、MAGMaR2026共有タスク（WikiVideo データに基づく）で評価された。

• 検索： 提案された検索パイプラインは、密検索ベースライン（OmniEmbed）に対してnDCG@10 を 0.195 から 0.759に改善した。クエリ分解、RRF 融合（$K=10$）、および RankVideo 再ランク付けの組み合わせが、最良の結果をもたらした。
• 記事生成（オラクル設定）： オラクル生成（システムが真の関連動画を受け取る設定）において、ITER-QA-BASEシステムは、CAG ベースラインに対して平均人間評価スコアを3.09 から 3.83に改善した。
• システム比較：
  • GINGERは、人間評価スコア（3.12 対 3.09）と引用精度において CAG ベースラインを上回り、段階的な分解が証拠の整理に役立つことを示唆した。
  • MARQUIS-RLMは、人間評価スコア3.30を達成し、非 QA システムの中で最も強力な引用リコール（27.2%）を達成したが、精度は低く、カバレッジと関連性の間のトレードオフを示していた。
  • QA ベースシステム（反復型と単一ショット型）は、最も高い人間評価スコア（最大 3.83）を達成したが、特定のトピックに関連する動画を QA パイプラインが検索できない場合、「ゼロスコア」の失敗（保守的な空出力）に陥った。

意義

本論文は、動画からの根拠に基づく生成は、単なる要約タスクではなく、証拠管理の問題として最も適切に枠組み化されると主張する。著者は、効果的なシステムは以下のべきであると主張する：

1. 複雑なクエリを分解することで広範に検索する。
2. 証拠を原子単位で抽出する。
3. 較正を通じてソースの支持を推定する。
4. 選択され検証された証拠のみから統合する。

この研究は、明示的なクエリ分解と動画ネイティブ再ランク付けが検索を大幅に改善することを示しており、一方、モジュール式の生成戦略（クラスタリング、QA、RLM 制御）は、整合性、事実性、および引用カバレッジの間の相補的なトレードオフを提供する。著者は、今後の研究は、学習された較正の改善、検索と抽出のより緊密な統合、および構造化された証拠整理と反復的制御を組み合わせる生成手法に焦点を当てるべきであると提案している。