💬 NLP

Chain of Evidence: Pixel-Level Visual Attribution for Iterative Retrieval-Augmented Generation

本文介绍了证据链（CoE），这是一种与检索器无关的框架，它利用视觉语言模型在迭代检索增强生成中实现像素级视觉归因，从而通过直接对文档截图进行推理来提供精确的边界框引用并保留关键视觉布局信息，以此克服仅依赖文本解析的局限性。

原作者： Peiyang Liu, Ziqiang Cui, Xi Wang, Di Liang, Wei Ye

发布于 2026-05-06

📖 1 分钟阅读☕ 轻松阅读

原作者： Peiyang Liu, Ziqiang Cui, Xi Wang, Di Liang, Wei Ye

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名侦探，正在试图解开一个复杂的谜团。过去，你必须阅读数百页的打字报告才能找到线索。如果报告写着“嫌疑人当时在巴黎”，你只能选择相信。但如果这份报告实际上是一张杂乱的传单，上面有地图、火车票的照片和手写便条呢？如果你只是把传单上的文字打出来，你就会丢失地图和照片，而且完全不知道线索究竟藏在页面的哪个位置。

这正是本文作者们试图通过一个名为**证据链（Chain of Evidence, CoE）**的新系统来解决的问题。

问题所在：“模糊的复印件”

当前用于回答问题的 AI 系统（称为检索增强生成，即 RAG）通常按以下方式工作：

你提出一个问题。
AI 找到一些文档。
它剥离所有的图片、图表和复杂的排版，将一切转化为纯文本（就像一张模糊的复印件）。
它给你一个答案，并说：“我在文档 A 中找到了这个。”

关键缺陷： 如果文档 A 是包含图表的幻灯片，或者是包含复杂表格的 PDF，将其转化为纯文本就会破坏其逻辑。这就像试图只通过阅读配料表来理解食谱，却忽略了展示如何混合食材的图片。此外，当 AI 说“文档 A"时，它并没有告诉你答案具体位于该文档的哪个部分。你必须手动滚动 50 页才能找到那个特定的句子。这就是“验证瓶颈”。

解决方案：“像素级侦探”

作者们提出了证据链（CoE），通过将文档视为图像（截图）而不仅仅是文本，从而改变了游戏规则。

将 CoE 想象成一名侦探，他不仅阅读报告，还会查看文档的原始、未编辑的照片。

不再剥离： 它不会先将文档转换为文本。它查看截图，保留所有的图表、箭头和排版布局。
“魔法荧光笔”： CoE 不再只是说“它在文档 3 中”，而是在图像中答案确切所在的精确位置画出一个框（边界框）。它直接指向图表中的特定数字或段落中的特定行。
链条： 对于需要多步骤的复杂问题（例如“谁导演了这部电影，他们又在哪里上的学？”），CoE 会构建一条视觉链条。它会向你展示：“步骤 1：查看文档 A 上的这个框以找到导演。步骤 2：查看文档 B 上的这个框以找到学校。”

他们如何测试

为了证明这行之有效，团队构建了两个新的“训练场”（数据集）：

Wiki-CoE： 将维基百科页面转化为截图的庞大集合。他们选取了需要跨越多页的问题，并教导 AI 找到答案的确切视觉位置。
SlideVQA： 一个包含布局杂乱、带有箭头和复杂图表的演示幻灯片集合。这是“困难模式”测试，因为基于文本的系统通常在此处失败。

结果：为何这很重要

该论文表明，CoE 是一个游戏规则改变者，特别是对于不仅仅是纯文本的文档：

更擅长定位“在哪里”： 在复杂的幻灯片上，依赖文本的普通 AI 系统往往会迷失方向。CoE 通过观察视觉布局，更准确地识别出了证据。
值得信赖： 因为 CoE 会在证据周围画框，你可以立即验证答案。你无需猜测；你可以直接在屏幕上看到证明。
不需要特定的搜索引擎： CoE 与任何能查找文档的搜索工具配合使用。它只需获取前 5 个结果（作为图像），然后理清逻辑。

核心结论

作者们认为，为了让 AI 真正值得信赖，特别是面对报告、幻灯片和图表等复杂文档时，它必须“看见”文档，而不仅仅是“阅读”其文本版本。证据链将 AI 转变为一个视觉侦探，能够直接用手指指向真相，使推理过程透明化，便于人类检查。

简而言之： CoE 不再给你一个模糊的书籍引用，而是把书递给你，翻到确切的那一页，并在你需要的句子周围画个圈。

技术摘要：迭代检索增强生成（iRAG）的证据链（CoE）

1. 问题陈述

迭代检索增强生成（iRAG）已成为通过逐步检索和推理外部文本来回答复杂多跳问题的范式。然而，当前的 iRAG 系统在处理现实世界中视觉丰富的文档（如 PDF、幻灯片、网页报告）时，面临三个关键瓶颈：

验证瓶颈：现有系统提供粗粒度的文本级引用（例如"[来源：文档 1]"）。在多跳场景中，这迫使人工扫描冗长文档以定位具体的支持性句子，造成极高的认知负荷。
文本转换中的信息丢失：通过 OCR 或解析将视觉丰富的文档转换为线性文本，会破坏空间逻辑和布局线索（例如图表趋势、流程图、幻灯片层级）。对于许多文档而言，证据存在于元素间的视觉关系中，而不仅仅是文本，这使得基于文本的引用从根本上显得不足。
不透明的推理链：用户缺乏对决策轨迹的可见性。当前方法无法可视化“证据链”——即中间证据如何引导在多跳轨迹中选择下一份文档。

2. 方法论：证据链（CoE）

为了应对这些局限，作者提出了证据链（CoE），这是一个与检索器无关的视觉归因框架，直接在文档截图上运行，而非解析后的文本。

核心架构

视觉优先范式：CoE 绕过了脆弱的文本解析流程。它接收一组候选文档截图（来自上游检索器），并将其作为图像（ $d^{vis}_i \in \mathbb{R}^{H \times W \times 3}$ ）进行处理。
检索器无关设计：该框架假设上游检索器返回一个前 $k$ 个候选集。CoE 专注于在这些候选集中选择、排序和定位证据，而不引入特定于检索器的参数。
输出格式：CoE 不输出文本引用，而是输出结构化的证据链，包含：
- 选定的候选图像标识符。
- 精确定位证据区域（文本段落、表格单元格、图表）的边界框 $[(x_1, y_1), (x_2, y_2)]$ 。
- 每个跳步的自然语言子查询或推理思路。
生成过程：模型执行单次自回归传递，生成完整的证据链，将查询和候选截图映射为答案以及一系列 $(文档, \text{边界框}, \text{推理})$ 元组。

训练策略

作者采用两阶段课程学习策略，使用 Qwen3-VL-8B-Instruct 模型：

第一阶段（单跳）：专注于建立视觉定位能力，通过训练模型在单张图像中定位证据。
第二阶段（多跳）：在前 5 个候选截图上引入多跳证据链生成，从第一阶段检查点进行热启动。

数据增强：为确保鲁棒性，训练结合了空间增强（裁剪、平移）、分辨率变化（处理不同的视觉密度）以及证据置换（将呈现顺序与逻辑推理顺序解耦）。

3. 数据集与评估

为了在不同视觉复杂度水平上严格评估 CoE，作者引入了双重基准策略：

Wiki-CoE：一个源自 2WikiMultiHopQA 的大规模数据集，包含 70,418 个多跳问题。它包含维基百科页面的高保真截图，并针对结构化布局（表格、信息框）提供了边界框标注。
SlideVQA：一个具有挑战性的演示幻灯片数据集，包含复杂图表、自由形式布局和图表，其中空间排列在语义上至关重要。

评估指标：

答案准确率（EM）：生成答案的精确匹配。
证据定位准确率（Loc-Acc）：一项联合指标，要求正确选择候选图像，且边界框与真实值的重叠（IoU $\ge$ 0.3）。
推理链准确率（Chain-Acc）：验证选定的文档有序序列是否与黄金推理路径匹配。

4. 关键结果

实验表明，CoE 显著优于基于文本的基线和零样本视觉语言模型（VLM），特别是在需要视觉布局理解的场景中。

Wiki-CoE 上的表现：CoE-8B 实现了 82.3% 的 EM、94.4% 的 Chain-Acc 和 80.4% 的 Loc-Acc。虽然通用 VLM（如 GPT-5）实现了具有竞争力的答案准确率，但其归因质量明显较弱（例如，GPT-5 的 Loc-Acc 仅为 31.7%）。
SlideVQA 上的表现：视觉优先方法的优势在此最为明显。基于文本的基线因布局信息丢失而失败。CoE-8B 实现了 58.8% 的 EM、87.5% 的 Chain-Acc 和 61.0% 的 Loc-Acc。相比之下，零样本 Qwen3-VL-235B 的 Loc-Acc 降至 6.8%，而基于文本的 OCR 基线在处理图表密集的幻灯片时表现挣扎。
视觉复杂度的影响：在包含流程图和数据图表的幻灯片上，CoE 在准确率上比基于 OCR 的方法高出多达 28.1%，证明对于非线性信息结构，视觉归因不仅是增强，更是必需。
消融研究：
- 课程学习：移除单跳预训练阶段会导致 Loc-Acc 显著下降（例如，在 Wiki-CoE 上下降 7.3 个百分点），证实了孤立定位是多跳推理的前提。
- 分辨率：高分辨率输入（1536×1536）至关重要；将分辨率降低至 512×512 会导致性能灾难性下降，特别是在信息框中的细粒度文本方面。
- 模态：与视觉模型相比，纯文本基线（使用 OCR）在 Wiki-CoE 上表现出约 26 个百分点的性能差距，在 SlideVQA 上约为 22 个百分点，验证了在这些上下文中，视觉结构是逻辑信息的主要载体。

5. 意义与主张

本文主张，**证据链（CoE）**代表了 iRAG 的范式转变，即从脆弱的文本解析转向稳健的视觉推理。

视觉定位作为推理的必要性：作者认为，对于复杂文档，视觉模态不仅仅是可解释性特征，而是推理的根本要求。空间逻辑往往优于线性文本，丢弃它会导致幻觉和无法验证的答案。
解决验证瓶颈：通过提供像素级边界框并可视化完整的推理链，CoE 提供了一种即时的视觉验证机制。这使用户能够审计答案生成的原因，解决了当前 iRAG 系统的不透明性问题。
检索器无关的可解释性：CoE 建立了一种与任何上游检索器（词汇、稠密、混合或视觉）兼容的像素级可解释 iRAG 解决方案，将推理和归因能力与检索机制解耦。
可信 AI：这项工作为下一代可验证 AI 系统提供了蓝图，特别是对于源归因和推理透明度至关重要的高风险领域。

作者总结道，他们的工作挑战了以文本为中心的信息检索主流观点，证明了保留视觉语义对于可信且可解释的多跳推理至关重要。