Evidence Attribution in Visual Document Understanding without Coordinates or Region Labels

技术摘要：无需坐标或区域标签的视觉文档理解中的证据归因

问题陈述
可靠的视觉文档理解（VDU）要求模型不仅要能够回答问题，还要能将这些答案归因为文档中的特定证据区域。目前的基准测试和系统（如 CiteVQA）强制执行一种坐标接口，即模型必须输出边界框坐标（$x_1, y_1, x_2, y_2$）来标记证据。作者观察到，在这种接口下，视觉语言模型（VLMs）经常遭受**归因幻觉（Attribution Hallucination）**的影响：它们能生成正确的答案，但无法识别支持性的区域，往往输出的坐标与地面真值（ground truth）并不重叠。本文研究了这种失败究竟是源于开源模型基础接地（grounding）能力的缺失，还是坐标输出格式本身造成的人为现象。此外，本文还解决了实际挑战：训练模型进行定位通常需要针对长文档进行昂贵的区域级标注，而这类标注难以大规模收集。

方法论
作者提出了一种对比研究和一种新的训练范式，旨在绕过坐标接口和区域级监督。

1. 语言接口 vs. 坐标接口：

   • 坐标条件（Coordinate Condition）： 模型遵循标准的 CiteVQA 协议，自回归地生成边界框坐标。
   • 语言条件（Language Condition）： 模型输出证据的**原文引用（verbatim text quotes）**而非坐标。随后由一个独立的流水线将这些引用解析为文档区域：
     • 布局解析器（MinerU）将文档分割成语义块（段落、表格、插图、标题）。
     • 每个语义块被渲染为图像裁剪块（image crop），并使用多模态编码器进行嵌入。
     • 模型生成的引用被嵌入，并通过一对一分配（通过匈牙利算法求解）匹配到最符合的语义块。
   • 该设置允许作者在保持输入和评分逻辑一致的前提下，在两种接口下评估相同的骨干模型。

2. 无区域标签的强化学习（GRPO）：

   • 为了在没有昂贵区域标签的情况下改进归因能力，作者使用语言接口作为训练支架。
   • 奖励构建： 一个视觉语言判别器根据问题、金标准答案以及检索到的被引用区域图像裁剪块（而非原始文本引用）来评估模型的输出。判别器对以下各项进行评分：
     • $a$：答案正确性。
     • $erel$：证据相关性（裁剪块是否支持答案？）。
     • $ecov$：证据覆盖度（裁剪块集合是否覆盖了所有必要信息？）。
   • 奖励函数定义为 $r = \frac{a}{5} \cdot \frac{erel + ecov}{10}$。这种乘法结构确保了只有在答案正确时，证据得分才会产生贡献，从而直接针对归因幻觉。
   • 优化： 模型使用带有非对称剪切（DAPO）的组相对策略优化（GRPO）进行训练以稳定训练过程。策略学习生成更好的引用以最大化判别器的奖励，从而有效地学习指向正确的区域，而无需在训练期间接触任何区域坐标。

核心贡献

1. 接口分析： 通过受控研究证明，开源 VLM 在证据归因方面表现不佳，很大程度上是一个接口人为现象（interface artifact），而非能力差距。从坐标切换到基于“引用与检索”的语言接口，可以显著恢复归因能力。
2. 语言证据接口： 一种新颖的方法，将常用于文本 RAG 的引用式归因适配到视觉文档中。它通过检索将自然语言引用解析为像素区域，绕过了模型生成精确坐标的需求。
3. 无区域标签训练： 一种强化学习方案，仅利用问答对和基于检索裁剪块的判别器即可提高严格归因准确率。这消除了对昂贵、人工区域级标注的需求。

结果
在经过验证的 CiteVQA 子集（719 个双语问题）上，对六个开源 VLM（参数量从 8B 到 31B 不等）进行了评估：

• 归因恢复： 在坐标接口下，证据召回率（IoU $\ge$ 0.5）最高仅为 8.1%，幻觉率（答案正确但证据错误）在 82% 到 97% 之间。切换到语言接口后，召回率提升至 25.9%–46.9%，并将幻觉率降低至 38.6%–65.4%。
• 训练增益： 将 GRPO 训练方案应用于 8B 骨干模型，使严格归因准确率（SAA）从 22.4% 提升至 33.8%，并将幻觉率进一步降低至 28.4%。
• 答案质量： 答案正确性在不同接口间保持基本稳定，表明改进是针对归因能力的，而非通用的推理能力。
• 消融实验： 恢复效果归功于模型生成的语言（引用）中所包含的信息，而非仅仅是检索机制。语言接口允许模型表达出坐标格式无法捕捉的位置信息。

意义与主张
本文认为，在开源 VLM 中观察到的“归因幻觉”并非不可逾越的接地能力缺失，而是证据模型能通过语言表达的内容与坐标接口约束之间的不匹配。通过采用**“引用与检索”**的方法，作者展示了一条实现高质量视觉文档证据归因的实用路径。至关重要的是，这条路径不需要：

• 坐标输出接口。
• 昂贵的、区域级的监督数据。

研究结果表明，当允许通过自然语言表达时，开源模型已经具备了识别证据位置的能力；并且通过基于检索裁剪块的判别器奖励进行强化学习，可以有效地精炼这种能力。作者也指出了局限性，例如对布局解析器的依赖（这设定了性能上限）以及目前仅限于单文档归因的范围。