💻 computer science

VLD-RAG: Agentic Vision-Language Retrieval-Augmented Generation for Long, Visually-Rich Multi-Page Documents

VLD-RAG 是一种智能体多模态检索增强生成框架，它利用保持页面结构的索引、混合检索策略以及协同的多智能体工作流，通过综合跨长篇、视觉丰富的多页文档中分散的文本和视觉证据，来有效地回答问题。

原作者： Seonok Kim

发布于 2026-07-29

📖 1 分钟阅读☕ 轻松阅读

原作者： Seonok Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图破解一个长达100页的巨大谜团，但线索散落在各处。有些线索是用纯文本写的，有些隐藏在复杂的图表中，有些藏在图解中，还有些仅仅是页面布局的一部分。这就是“视觉丰富型文档”（visually-rich documents）的世界——想想看那些我们在现实世界中看到的、信息密集且色彩斑斓的报告、手册和幻灯片。长期以来，计算机试图阅读这些文档时遇到了一个大问题：它们往往试图剥离所有的图片和布局，只去读取文字。这就像是试图通过只读对话气泡来理解一本漫画书，却忽略了绘画内容；你会因此错过语境、笑点和剧情转折。

为了解决这个问题，科学家们使用了一种叫做检索增强生成（Retrieval-Augmented Generation, RAG）的技术。把 RAG 想象成一位超级聪明的图书管理员，他不仅能背诵书籍，还能在回答你的问题之前，跑出去找到你需要的确切页面。然而，当这些“书”是这些杂乱、多页的视觉文档时，标准的图书管理员往往会迷失方向。他们可能会抓错页面，因为他们只看了文字；或者他们可能会错过一个关键图表，因为他们不知道如何去“看”图像。大问题在于：我们如何构建一个系统，能够跨越数十页寻找正确的证据，完美地融合文本与图像，从而正确地回答问题？

于是有了 VLD-RAG，这是一个旨在成为处理这类长篇视觉文档的终极侦探的新型框架。这项研究背后的研究人员意识到，要解决一个横跨150页的谜团，你不能只依赖一种招式。相反，他们构建了一个“智能体化”（agentic）的系统——一个由 AI 专家组成的团队协同工作。想象一下由三位侦探组成的组合：一位是关键词猎人（Keyword Hunter），负责扫描精确的词汇和数字；另一位是视觉侦探（Visual Sleuth），观察页面的整体“氛围”和布局；第三位是批判性验证者（Critical Verifier），负责检查他们的工作。

以下是他们如何协作的。首先，系统会将你的问题分解为一个计划。它不仅仅是问“利润是多少？”，而是会问：“在第3节中寻找表格，寻找标题为‘第四季度结果’的图表，并在文本中检查具体的美元金额。”然后，关键词猎人和视觉侦探会同时出发去搜索文档。猎人抓取带有正确词汇的页面，而侦探则抓取那些看起来包含答案的页面，即使上面的文字不同。

神奇之处在于他们如何交换笔记。如果猎人说：“第12页看起来不错，”但侦探说：“第12页看起来完全不对，”系统并不会仅仅靠猜测。它会使用一种特殊的“一致性检查”来意识到出了问题。如果证据显得薄弱或缺失，批判性验证者就会介入并说：“嘿，我们漏掉了什么！让我们尝试用另一种方式提问。”这会触发第二次搜索，不断精炼线索，直到他们找到正确的页面。最后，系统收集证据——包括文本片段、图表裁剪图和页码——并将它们喂给生成器以撰写最终答案，确保每一项主张都有实际文档作为支撑。

研究人员在两个巨大的挑战上测试了这支侦探团队：MMLongBench-Doc 和 LongDocURL。这些是文档阅读领域的“奥林匹克”，包含了数百份文档、数千页的内容、复杂的表格以及刁钻的问题。结果令人印象深刻。VLD-RAG 不仅比以往的方法更频繁地找到正确的页面，而且找到的正确页面也更多。在平均每份文档 85.6 页的 LongDocURL 基准测试中，当查看前 5 个结果时，VLD-RAG 在 81.16% 的案例中成功检索到了正确的证据页（Recall@5），击败了所有其他方法。它还将最相关的页面排在了更高的位置，这意味着答案通常就坐在列表的最顶端。

论文指出，这种成功源于没有强迫计算机在“阅读”和“观看”之间做选择。通过保持视觉布局与文本的独立但又协同工作，并让 AI 智能体互相检查，该系统避免了那种试图将丰富的、色彩斑斓的文档压扁成纯文本时所产生的错误。虽然研究人员指出，这种方法专门针对信息分散在多个页面上的文档，但研究结果强烈表明，对于这些复杂的、多页的谜团，由专业化、相互验证的智能体组成的团队远比孤独的“独狼式”搜索更为优越。

技术摘要：VLD-RAG

问题陈述

视觉丰富型文档（如报告、幻灯片、手册）通常将回答问题所需的证据分布在多个页面中，并将文本与复杂的布局、表格、图表和图形混合在一起。标准的检索增强生成（RAG）流水线主要针对以文本为中心的情景设计，在这些场景下表现不佳。将页面转换为纯文本往往会导致信息丢失，掩盖了对于正确理解至关重要的布局语义、空间关系和非文本线索。此外，现有的以视觉为优先的方法也面临挑战：依赖于提取的文本或 OCR 可能会遗漏结构化信号；当两种模态发生冲突时，朴素的词汇与语义信号融合会显得脆弱；且对于需要跨页进行多步证据发现的长文档，单次检索往往是不够的。

方法论：VLD-RAG 框架

作者提出了 VLD-RAG，一个旨在实现多页证据检索和跨页推理的智能体多模态 RAG 框架。该系统运行在三个主要阶段：

1. 双空间文档表示

VLD-RAG 采用双索引架构来保留互补的信号：

视觉索引： 使用视觉编码器（ColPali）将页面图像编码为稠密视觉-语言嵌入（ $v_i$ ）。这在统一的空间内保留了视觉布局和文本语义，遵循了“通过页面图像进行检索”的理念。
文本索引： 将页面解析为结构化的 Markdown，保留布局信息（表格、图表、标题）。这些内容被序列化并作为块嵌入（ $t_{i,j}$ ）进行索引。这使得能够忠实地重建证据并进行精确的词汇匹配（如 ID、数字、稀有实体）。

2. 多模态查询构建与混合检索

在接收到查询 $q$ 后，系统执行多模态查询分解，以生成结构化的检索意图，包括显著实体、视觉锚点和预期的证据类型。检索过程结合了两个分支：

稀疏词汇检索： 从查询中提取关键词（ $k$ ），执行标准的基于词频的搜索。
稠密语义检索： 使用语言模型（Gemma3n）根据查询生成一个“假设性文档”（ $h$ ）。该合成文档近似于理想答案所在页面的内容，从而弥合了查询与文档之间的语义鸿沟。该假设性文档被编码为稠密视觉-语言嵌入（ $e_h$ ），并通过 ANN 搜索与页面嵌入进行匹配。

模态一致性融合：
来自两个分支的候选对象会被合并。为了处理跨模态的不一致，系统应用了一致性约束融合评分：
$s(i) = \alpha s_{sparse}(i) + (1 - \alpha) s_{dense}(i) - \lambda \Delta(i)$
其中 $\Delta(i)$ 会惩罚那些稀疏信号与稠密信号显著不一致的候选对象。

3. 智能体工作流与迭代优化

VLD-RAG 利用由验证器引导的智能体工作流，涉及检索智能体（Retrieval Agent）、回答智能体（Answer Agent）和验证智能体（Validation Agent）。

证据驱动生成： 生成器根据检索到的页面区域、解析后的 Markdown 片段和元数据生成答案。
验证循环： 验证智能体检查生成的答案是否得到证据的充分支持（置信度阈值 $\tau$ ）。如果验证失败（例如：缺少引用或置信度低），系统会触发迭代优化步骤。查询会根据缺失的证据进行优化（ $q'$ ），随后检索过程会使用更新后的意图重新进行。

核心贡献

双索引架构： 一种视觉-语言文档 RAG 框架，既保留了视觉布局线索（通过页面级嵌入），又保留了精确的词汇信号（通过结构化 Markdown 序列化）。
模态一致性混合检索： 一种显式建模稀疏模态与稠密模态之间一致性的检索策略，利用一致性约束来提高针对跨模态失配的鲁棒性。
验证器引导的智能体循环： 一种通过迭代查询优化实现可靠的多页证据发现机制，解决了复杂跨页问题中单次检索不足的问题。

实验结果

该框架在两个多模态长文档基准测试上进行了评估：LongDocURL 和 MMLongBench-Doc。

检索性能： 在所有 top-K 设置（ $K \in \{1, 3, 5\}$ $K \in {1, 3, 5}$ ）下，VLD-RAG 在 Recall@K、NDCG 和 MRR 指标上均表现出优于基准模型（包括 M3DocRAG、MDocAgent 和 MoLoRAG）的一致性提升。
- 在 MMLongBench-Doc 上，VLD-RAG 取得了最高的召回率和排序质量指标。
- 在 LongDocURL（其特点是文档更长且多页问题的比例更高）上，VLD-RAG 在召回率和 NDCG 方面表现出特别强劲的增益，优于仅文本和仅图像的基准模型。
分析： 结果表明，这种混合方法有效地捕捉了位置感知相关性，这对于多页检索至关重要。假设性文档生成的集成有助于弥合语义鸿沟，尤其是在证据嵌入在复杂布局中的情况下。虽然某些基准模型在中间 K 值处达到了更高的精确度（Precision），但 VLD-RAG 卓越的召回率和排序指标表明，它在需要全面证据覆盖的检索增强生成任务中具有更好的整体有效性。

意义

本文认为，协调的智能体验证和多模态混合检索对于实现可靠的落地至关重要，因为正确的答案往往取决于散落在各页的证据。通过在保持精确词汇匹配的同时保留视觉布局信息，VLD-RAG 解决了现有 RAG 系统在视觉丰富、长文档语境下的局限性。研究结果强调，有效的多模态 RAG 不仅需要更好的编码器，还需要用于融合模态的结构化策略以及用于恢复缺失证据的迭代机制。