💻 computer science

MARQUIS: A Three-Stage Pipeline for Video Retrieval-Augmented Generation

MARQUIS 是一个三阶段流水线，通过查询扩展、结构化证据提取和受控文章生成，解决了复杂查询处理和多视频合成方面的局限性，显著增强了视频检索增强生成能力，并在 MAGMaR2026 共享任务中实现了最先进的性能。

原作者： Debashish Chakraborty, Dengjia Zhang, Jialiang Jin, Hanting Liu, Katherine Guerrerio, Hanxiang Qin, Tyler Skow, Alexander Martin, Reno Kriz, Benjamin Van Durme

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Debashish Chakraborty, Dengjia Zhang, Jialiang Jin, Hanting Liu, Katherine Guerrerio, Hanxiang Qin, Tyler Skow, Alexander Martin, Reno Kriz, Benjamin Van Durme

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名记者，受命撰写一篇关于复杂事件（如特大风暴或政治选举）的详细新闻报道。然而，你并没有一名实地记者；相反，你拥有一个包含100,000 段不同视频片段的图书馆，这些片段由数百台不同的摄像机录制。你的任务是找到合适的片段，厘清其中实际发生的情况，并撰写一篇连贯的故事，准确引用证明每个事实的具体视频。

这就是MARQUIS系统所应对的挑战。该论文指出，当前的人工智能工具在这项特定工作上表现不佳。它们要么在问题复杂时无法找到正确的视频，要么因试图同时阅读过多视频而不堪重负，最终产生幻觉（即编造内容）。

MARQUIS 通过扮演一个三阶段新闻编辑室流水线的角色来解决这一问题，将庞大的任务分解为更小、更易管理的步骤。

第一阶段：侦探的搜索（检索）

问题所在： 如果你问人工智能“告诉我 2025 年选举结果的所有情况”，标准搜索引擎可能会感到困惑。它试图将整个长问题转化为一个单一的“搜索代码”（嵌入向量），这往往忽略了细微差别。这就像试图通过一次性描述整个干草堆来寻找其中特定的针。

MARQUIS 的解决方案：
MARQUIS 不像一次进行大搜索，而是像侦探一样将大案件分解为小线索。

分解： 它将你的大问题分解为 20 多个微小、具体的问题（例如：“自由党赢得了多少席位？”“投票率是多少？”“哪些选区发生了翻转？”）。
并行搜索： 它针对每一个微小问题，分别搜索视频库。
融合： 它将针对微小问题找到的所有视频列表合并为一个总列表。
重排序： 最后，一位专门的“视频裁判”审视候选视频并重新排序，确保最相关的视频排在最前面。

结果： 这种方法就像使用放大镜寻找特定的针，而不是猜测整个干草堆的位置。它将系统找到正确视频的能力从0.195 分提升至 0.759 分（这是一个巨大的飞跃）。

第二阶段：事实核查员（信息提取）

问题所在： 一旦你拥有了视频，就不能直接把整个视频文件交给撰稿人。撰稿人需要具体的事实。此外，视频可能具有欺骗性；有时某人说的话并非事实，或者拍摄角度具有误导性。

MARQUIS 的解决方案：
MARQUIS 不仅仅是“阅读”视频；它提取具体的“主张”，然后对其进行校准。

三种类型的笔记：
- 通用笔记： “一名穿红大衣的女子正在讲话。”（可能是日后有用的事实）。
- 针对性主张： “视频显示有 50 人获救。”（专门回答你问题的具体事实）。
- 问答： 系统向视频提出具体问题并获取答案。
校准（测谎仪）： 这是一个关键步骤。在撰稿人看到任何主张之前，一个“校准器”模型会并排查看该主张和原始视频。它会问：“这段视频真的能证明这句话吗？”它会分配一个概率分数（0 到 1）。如果视频不支持该主张，它就会被过滤掉。

类比： 想象一个事实核查团队，他们阅读记者写的每一句话，然后回到原始 footage 进行核实。如果 footage 不匹配，这句话就会被扔进垃圾桶。

第三阶段：撰稿人（文章生成）

问题所在： 即使有了好的事实，撰写一篇流畅的文章也很难。如果你给撰稿人 500 个互不相关的要点，他们可能会写出一份杂乱的列表。如果你给他们一份 2 小时的视频转录稿，他们可能会迷失在细节中而忘记主旨。

MARQUIS 的解决方案：
系统提供了三种撰写文章的方式，但最好的一种采用结构化方法：

聚类： 它将已核实的事实按主题分组（例如：“伤亡情况”、“救援努力”、“政府回应”）。
总结： 它为每个主题写一句简短的、带有引用的句子。
润色： 它将这些句子拼接成一篇流畅、可读的新闻故事，确保每个事实都有引用（如 [视频 #45, 0:12-0:15]）。

“递归”选项（MARQUIS-RLM）：
论文还介绍了一种特殊的“管理者”人工智能（基于递归语言模型）。这种管理者不仅仅是一次性写作，而是像一个拥有持久笔记本的项目经理。

它审视已有的事实。
它意识到：“我缺少北部地区的伤亡人数。”
它回到第一阶段和第二阶段，专门请求该缺失信息，将其添加到笔记本中，并检查冲突。
只有当笔记本内容充实且一致时，它才会撰写最终文章。

核心结论

该论文声称，通过分解问题——更智能地搜索、严格地核实事实、以及组织写作流程——MARQUIS 产生的结果远优于当前方法。

检索： 更频繁地找到了正确的视频。
生成： 生成了人类评分更高的文章（3.83 分/5 分，而基线为 3.09 分），因为它们更连贯且来源更可靠。
可靠性： 该系统设计为“基于事实”，意味着它拒绝撰写没有视频证据支持的事实，从而避免了其他人工智能系统中常见的“幻觉”。

简而言之，MARQUIS 通过扮演一个高度组织化、多步骤的新闻编辑室，而不是一个单一且不堪重负的作者，将一堆混乱的 100,000 段视频转化为可靠、来源清晰的新闻报道。

技术摘要：MARQUIS

问题陈述

本文探讨了从大规模视频语料库生成基于证据的文章所面临的挑战。尽管视频档案提供了对现实世界事件即时且广泛的记录，但将这些原始视听证据转化为有可靠来源的分析性文章，目前仍主要依赖人工流程。现有的自动化系统在流水线两端均面临显著局限：

检索：现有方法难以处理无法被单一嵌入向量捕捉的复杂、多面性查询。当查询结合了多种隐式和显式信息需求时，它们往往无法检索出所有相关视频。
生成：生成模型在处理长序列、多视频上下文时面临内存限制。此外，现有的视觉 - 语言模型（VLMs）通常设计用于低级任务（如字幕生成、以实体为中心的问答），而非文章生成所需的高级综合。它们往往难以跨多个视频进行推理或连贯地综合证据。

这些局限在全流程中相互叠加：检索错误会将缺失或不相关的证据带入生成阶段，而模型在此阶段本就难以对其接收到的上下文进行推理。

方法论：MARQUIS 流水线

作者提出了MARQUIS（通过检索、查询分解、不确定性校准和迭代证据综合进行多模态文章生成），这是一个旨在模块化解决上述局限的三阶段流水线。

阶段 1：视频检索

检索流水线分两个阶段运行以处理复杂查询：

查询分解与扩展：系统不使用单一向量编码复杂的指令性查询，而是利用大语言模型（LLM）将查询分解为 $N$ 个原子子查询。每个子查询针对单一可检索事实，并表述为简洁的搜索短语。
稠密检索：原始查询和分解后的子查询均使用OmniEmbed在全模态索引中进行检索，生成候选项的排名列表。
排名融合：使用互逆排名融合（RRF）、和/最大/平均相似度或加权 RRF 等策略，聚合来自子查询的排名列表。
重排序：融合后的候选项（前 100 名）被传递给RankVideo（一种视频原生重排序器），基于精细化判断对列表重新排序，以平衡性能与可扩展性。

阶段 2：信息提取与校准

检索到的视频被转换为结构化的、经过校准的证据工件：

提取流：系统利用Qwen3.5采用三个互补的提取组件：
1. 查询无关笔记：捕捉直接可观察的视觉事件、OCR 文本和口语内容，不针对特定查询进行条件设定。
2. 查询条件化主张：提取与信息需求直接相关的主张，避免通用描述或无支持的推断。
3. 问答（QA）提取：将信息需求分解为子问题，并利用检索到的视频内容和转录文本回答这些问题。这包括单次和迭代两种变体。
校准：每个提取的工件（笔记、主张或问答对）均由CLUE（一种校准过的多模态不确定性推理模型）根据其源视频进行评分。这产生了一个支持概率（ $s_\theta \in [0, 1]$ ），用于估计视频是否支持该主张。此步骤将证据创建与支持估计分离，允许在生成前过滤掉无支持的主张。

阶段 3：文章生成

该流水线将过滤后的证据综合为带引用的文章。作者比较了三种策略：

BULLET：将证据直接渲染为带行内引用的编号列表（保守基线）。
CAG（协同文章生成）：一种单次通过基线，在单次综合过程中组织证据并生成带引用的文章。
GINGER：一种分阶段方法，将证据聚类为主题方面，按相关性对聚类进行排名，将每个聚类摘要为带引用的句子，最后将其重写为连贯的文章。

MARQUIS-RLM：递归控制

作者引入了MARQUIS-RLM，这是递归语言模型（RLMs）的一种实例化。该系统将流水线模块（检索、提取、问答、校准）视为持久化结构化内存环境中的可调工具。

思考 - 行动 - 观察循环：根语言模型（Root LM）迭代地规划行动、执行工具调用（例如 video_qa、transcribe）并观察结果。
结构化内存：与依赖上下文窗口的标准 RLM 不同，MARQUIS-RLM 维护一个动态内存库（事实表、关键词索引），可被搜索、重用和修订。这减轻了信息遗忘问题，并使得在撰写最终文章之前能够解决跨视频冲突并识别信息缺口。

主要贡献

MARQUIS 流水线：一个用于大规模视频检索增强文章生成的三阶段框架，模块化地分解了检索、提取和生成过程。
检索改进：一种结合查询扩展、排名融合和视频原生重排序的两阶段检索方法，显著提升了 MAGMaR2026 基准上的检索性能。
生成策略：对基于主张、基于问答和 RLM 控制的生成进行了比较分析，表明查询分解和视频原生问答相较于基线提高了人类偏好评分。
RLM 集成：引入了 MARQUIS-RLM，利用结构化内存和迭代工具使用来管理证据、解决冲突并整理事实，在非问答系统中实现了最高的引用召回率。

实验结果

该系统在MAGMaR2026共享任务（基于 WikiVideo 数据）上进行了评估。

检索：所提出的检索流水线将nDCG@10 从 0.195 提升至 0.759，优于稠密检索基线（OmniEmbed）。查询分解、RRF 融合（ $K=10$ ）与 RankVideo 重排序的结合产生了最佳结果。
文章生成（Oracle 设置）：在 Oracle 生成（系统接收真实相关视频）中，ITER-QA-BASE系统将相对于 CAG 基线的平均人类评分从3.09 提升至 3.83。
系统比较：
- GINGER在人类评分（3.12 对 3.09）和引用精确度上优于 CAG 基线，表明分阶段分解有助于组织证据。
- MARQUIS-RLM在非问答系统中取得了3.30的人类评分和最强的引用召回率（27.2%），尽管其精确度较低，表明覆盖率与相关性之间存在权衡。
- 基于问答的系统（迭代式和单次式）取得了最高的人类评分（高达 3.83），但当问答流水线无法检索到特定主题的相关视频时，会遭遇“零分”失败，导致保守的空输出。

意义

本文认为，基于视频的证据生成最好被框架化为一个证据管理问题，而非简单的摘要任务。作者声称，有效的系统应：

通过分解复杂查询进行广泛检索。
原子化地提取证据。
通过校准估计来源支持度。
仅从选定的、已验证的证据中进行综合。

这项工作表明，显式的查询分解和视频原生重排序显著改善了检索效果，而模块化生成策略（聚类、问答、RLM 控制）在连贯性、事实性和引用覆盖率之间提供了互补的权衡。作者建议未来的工作应专注于改进学习到的校准、更紧密地集成检索与提取，以及开发结合结构化证据组织与迭代控制的生成方法。