💬 NLP

ProvenAI: Provenance-Native Traces of Evidence in Generated Answers

ProvenAI 引入了一种新颖的框架，通过将检索增强问答分解为三个可独立衡量的层级——答案正确性、引用忠实度以及单文档影响力——来增强其透明度，从而揭示引用的来源与实际驱动模型输出的证据之间存在的关键差距。

原作者： Mohammad Faizan, Dalal Alharthi

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Mohammad Faizan, Dalal Alharthi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你向一位非常聪明、博学多才的图书管理员提出一个难题。为了回答这个问题，图书管理员从书架上取来十本书，阅读它们，然后写下你的答案。在回答结束时，图书管理员列出了一份“参考文献”清单，但仅提到了他实际阅读过的十本书中的两本。

ProvenAI 是一个旨在审计这种场景下究竟发生了什么的全新系统。它在问：那位图书管理员真的使用了那两本书来撰写答案吗？还是说，另外八本书在未被提及的情况下，秘密地影响了故事的内容？

以下是该论文工作的简单拆解，使用了日常类比。

1. 问题所在：“虚假引用”的幻象

在 AI 世界中，系统经常向你展示一份来源列表（引用）以证明它们没有胡编乱造。但论文指出，引用列表就像是一张与购物车里的商品对不上的收据。

仅仅因为图书管理员说他们使用了书 A 和书 B，并不意味着这些书实际上塑造了故事。

现实情况： 图书管理员可能受到了书 C、D 和 E 的强烈影响（而他们并未列出这些书），而书 A 和 B 仅仅是被扫了一眼而已。
差距： 论文将此称为 “引用-影响差距”（Citation-Influence Gap）。它是 AI 声称使用的内容（引用）与 AI 实际依赖的内容（影响）之间的差异。

2. 解决方案：ProvenAI 的三层审计

ProvenAI 不仅仅是检查答案是否正确，它还将透明度分解为三个独立的层面，就像通过三种不同的方式检查一辆汽车一样：

第一层：答案正确吗？（目的地）
- 类比： 汽车是否真的到达了正确的地址？
- 检查内容： 最终答案是否符合已知事实？
第二层：引用诚实吗？（收据）
- 类比： 司机是否真的在收据上列出的那些加油站停靠过？
- 检查内容： AI 列出的书籍是否确实包含了它所声称的事实？
第三层：什么真正起到了作用？（引擎）
- 类比： 如果我们将汽车拆解并移除其中一个特定的发动机零件，汽车还能运行吗？
- 检查内容： 这是该系统最独特的部分。系统提取 AI 的答案，从那一叠书中移除一本特定的书，然后要求 AI 重新撰写答案。如果答案发生了变化，说明这本书具有影响力。如果答案保持不变，说明那本书仅仅是“装饰品”。

3. “魔术表演”实验

研究人员在名为 HotpotQA 的著名谜题数据集上测试了这一点，该数据集要求通过连接多个文档中的信息点来回答问题。

设置： 他们针对 7,405 个问题运行了 AI。
惊喜发现： AI 在大约 53% 的情况下得到了正确答案，但在引用正确来源方面达到了 71%。这意味着 AI 通常擅长找到正确的书，但不擅长利用它们来编写最终句子。
“引用-影响差距”案例研究：
- 他们观察了一个关于两位电影导演的具体问题。
- AI 完美地引用了两本书。其“收据”是 100% 清洁的。
- 但是，当他们移除其中一本被引用的书时，答案并没有改变。
- 而且，当他们移除另外七本 AI 甚至没有引用的书时，答案确实发生了变化。
- 结论： AI 实际上是在秘密地依赖那些未被引用的书籍来获得正确答案，而那些被引用的书籍仅仅是“橱窗装点”。

4. 为什么这很重要（无需专业术语）

论文认为，我们不能只看一个分数（如“准确率”）来信任 AI。我们需要看到全貌：

它得到正确的答案了吗？
它列出了正确的来源吗？
这些来源是否真的承担了重任？

如果你只检查第 1 项和第 2 项，你可能会认为 AI 是值得信赖的。但如果你检查第 3 项，你可能会意识到 AI 实际上正受到它从未告诉你的“幽灵”文档的影响。

5. “黑盒”局限性

论文承认了一个小的局限性：为了完美衡量影响，你通常需要看到 AI 的内部“思考过程”（数学概率）。由于他们的系统无法看到 AI 的大脑内部，因此他们使用了一个巧妙的变通方法：他们只是比较了移除一本书前后的最终句子。

类比： 他们不是通过倾听引擎的内部燃烧过程，而是通过检查移除一个部件后汽车的行驶状态是否发生了变化来进行判断。这虽然不如直接查看引擎内部那样精确，但也是一个非常好的推测。

总结

ProvenAI 是一个防止我们被漂亮的引用列表所蒙蔽的工具。它证明了在 AI 领域，被引用的并不一定就是被使用的。 通过测试移除一个来源会发生什么，它揭示了驱动答案的机器中隐藏的“幽灵”。

技术摘要：ProvenAI

问题陈述
检索增强生成（RAG）系统通常在生成的答案旁提供引用，以建立事实依据。然而，本文指出，引用的存在并不意味着被引用的来源确实对输出产生了实质性影响。目前的评估指标往往将答案正确性、引用忠实度和资源影响力合并为单一评分，从而掩盖了关键的诊断信息。具体而言，模型可能会引用正确的来源，但其输出实际上是由未被引用的检索上下文驱动的；或者，模型可能生成了正确的答案，却引用了无关的来源。这种“被引用证据”与“有影响力证据”之间的差距，在要求问责制的安全和取证应用领域尤为严重，因为这些领域需要能够验证究竟是什么促成了结论的形成。

方法论
ProvenAI 并非一种新的生成模型，而是一种测量基础设施，旨在将多跳问答中的透明度分解为三个独立可测量的层级。该系统基于 HotpotQA 干扰项基准测试，通过一个七阶段流水线运行：

数据标准化： 将 HotpotQA 记录转换为稳定的本地人工制品（JSONL），并构建包含 509,300 个段落的标准检索语料库。
检索与生成： 使用密集段落检索（带有 all-MiniLM-L6-v2 嵌入的 FAISS）和本地推理路径（Qwen2.5-3B-Instruct）来生成带有行内标签的引用感知答案。
引用审计： 通过计算被引用标题与金标准支持事实之间的 Jaccard 相似度，评估标题是否一致。
影响力估计： 应用“留一资源法”（leave-one-resource-out）消融策略。对于每个检索到的文档 $r_i$ ，系统在不包含 $r_i$ 的情况下重新生成答案和引用集，以测量输出的变化。
判定分配： 根据结合了引用状态和影响力代理 $\phi(r_i)$ $ϕ (r_{i})$ 的可测量函数 $V$ $V$ ，将文档分类为四类：
- 已使用（USED）： 已被引用且具有影响力。
- 幻觉引用（HALLUCINATED CITATION）： 已被引用但无影响力。
- 未引用但有影响力（UNCITED INFLUENTIAL）： 未被引用但具有影响力。
- 低影响力（LOW INFLUENCE）： 既未被引用也无影响力。

核心技术组件

引用忠实度： 通过被引用标题与金标准支持标题之间的标记集（token-set）Jaccard 相似度进行衡量，并在精确匹配（ $\tau=1$ ）和语义匹配（ $\tau=0.34$ ）两种模式下进行评估。
影响力代理： 由于本地推理后端（MLX）不暴露直接计算 KL 散度所需的逐标记概率，系统使用了一个表面代理 $\phi(r_i)$ 。该代理聚合了原始答案字符串与消融后答案字符串之间的 Jaccard 距离（ $\Delta a$ ），以及引用集之间的 Jaccard 距离（ $\Delta c$ ），权重分别为 0.8 和 0.2。
理论基础： 本文形式化了该表面代理与逐标记 KL 散度目标之间的关系。命题 1 确立了在近确定性解码条件下，非零的答案变化（ $\Delta a > 0$ ）证明了严格正向的 KL 偏移，这使得该代理成为分布位移的一个有效（尽管是单侧的）指标。
可追溯性： 系统集成模型上下文协议（MCP）以记录资源访问的追踪图谱，将检索人工制品与生成过程相连接。

结果
在 HotpotQA 干扰项拆分的 7,405 个验证样本上进行评估，ProvenAI 得出以下聚合指标：

答案准确率： 53.53%
平均引用忠实度： 71.55%

两者之间显著的 18 个百分点的差距表明，即使最终答案字符串不正确，模型也经常能识别并引用正确的支持标题。反之，系统也能识别出答案正确但引用集退化的情形。

论文通过一个案例研究（Scott Derrickson / Ed Wood 国籍）强调了特定的“引用-影响力差距”。在该示例中，模型实现了完美的引用审计（ $F_\tau = 1.0$ ），但消融实验显示，其中一个被引用的来源影响力微弱，而七个未被引用的来源却明显改变了输出。这证实了可观测的引用集与经验敏感性剖面之间可能存在实质性的背离。

意义与主张
论文声称，实现检索驱动问答的有意义透明度，需要跨越三个不同层级的可追溯链接：检索证据、引用证据和行为影响力证据。

透明度的分解： 主要贡献在于将透明度操作化为三个独立的层级，认为将它们合并会丢弃必要的诊断信息。
引用-影响力差距： 该工作刻画了一种特定的失效模式，即干净的引用审计与由未引用上下文驱动的复杂影响力剖面并存。
原生溯源推理： 该框架将基于测量的审计与密码学溯源架构相联系。作者认为，对于自主科学发现，审计轨迹不仅要验证被引用的文档已被检索（密码学完整性），还要验证输出确实对这些文档具有敏感性（行为敏感性）。
局限性： 作者坦诚地指出，由于本地后端缺乏逐标记 Logits，目前的影响力估计依赖于表面代理，且归因目前仅限于文档标题级别，而非句子级别的蕴含关系。

ProvenAI 确立了当前的引用机制不足以作为影响力的可靠代理，并提供了一个可复现的流水线，用于测量模型“声称使用的内容”与“实际驱动其输出的内容”之间的差异。