💬 NLP

Attributing Response to Context: A Jensen-Shannon Divergence Driven Mechanistic Study of Context Attribution in Retrieval-Augmented Generation

本文提出了一种基于 Jensen-Shannon 散度的新型方法 (ARC-JSD)，能够在无需微调或梯度计算的情况下，高效且准确地将 RAG 生成的内容归因于特定的上下文语句，并通过机械解释性分析揭示了模型内部负责此类归因的注意力头与 MLP 层。

原作者： Ruizhe Li, Chen Chen, Yuchen Hu, Yanjun Gao, Xi Wang, Emine Yilmaz

发布于 2026-02-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ruizhe Li, Chen Chen, Yuchen Hu, Yanjun Gao, Xi Wang, Emine Yilmaz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

1. 背景：AI 的“开卷考试”难题

现在的 AI（比如 ChatGPT）在回答问题时，经常会采用一种叫 RAG（检索增强生成） 的技术。

打个比方：
想象一个学生正在参加一场“开卷考试”。老师给了一叠参考资料（这就是 Context/上下文），让学生根据资料回答问题。

理想情况： 学生读完资料，准确地写出答案，并告诉你：“这句话我是从资料第 3 页第 2 行看到的。”（这就是论文里说的 Context Attribution/上下文归因）。
现实问题： 很多 AI 虽然能答对，但它不会告诉你答案到底是从哪句话里看来的。有时候它甚至会“一本正经地胡说八道”（幻觉），明明资料里没写，它却自己编了一个。

目前的痛点： 要想查清楚 AI 到底看了哪句话，要么得请人工去对（太慢），要么得让 AI 进行极其复杂的自我检查（太费电、太慢）。

2. 核心创新：ARC-JSD —— “信息差异探测器”

这篇论文发明了一个新工具，叫 ARC-JSD。我们可以把它想象成一个**“超级侦探的对比显微镜”**。

它是怎么工作的呢？
侦探（ARC-JSD）想知道资料里的哪句话对答案最关键，他采取了**“排除法”**：

第一步（完整版）： 先让 AI 看着整叠资料写一遍答案。
第二步（拆解版）： 侦探把资料里的第一句话遮住，让 AI 再写一遍；再把第二句话遮住，让 AI 再写一遍……以此类推。
第三步（对比）： 侦探拿“完整版答案”和“遮住某句话后的答案”进行对比。

关键点来了：
如果遮住某句话后，AI 的回答发生了巨大的变化（比如从“正确”变成了“完全牛头不对马嘴”），那么侦探就可以断定：“抓到你了！这句话就是答案的关键来源！”

论文里用了一个数学工具叫 JSD（Jensen–Shannon Divergence），它就像是一个**“变化量测量仪”**，专门用来精准捕捉这种“答案分布的变化”。

3. 深入挖掘：AI 的“大脑构造图”

这篇论文不仅能找到哪句话重要，还做了一件更酷的事：它像做 CT 扫描一样，看穿了 AI 的“大脑内部”。

比喻：
如果说找到关键句子是找到了“证据”，那么研究内部机制就是找到了“证据是如何进入大脑并被处理的”。
研究人员发现，AI 的大脑里有一些特定的**“神经回路”**（注意力头和 MLP 层），它们专门负责把资料里的信息“搬运”到答案里。

有些回路像**“搬运工”**，负责把资料里的词搬过来。
有些回路像**“加工厂”**，负责把资料里的信息重新组织成通顺的句子。

通过找到这些“搬运工”和“加工厂”，我们甚至可以**“控制”** AI。如果发现 AI 开始胡说八道，我们可以通过调整这些回路的“开关”，让它变得更听话、更严谨。

4. 总结：这篇论文厉害在哪里？

用三句话总结：

更聪明、更快速： 以前的方法像是在用笨重的挖掘机找金子，现在的 ARC-JSD 像是在用高精度的雷达，既准又快（速度提升了 3 倍）。
更透明： 它能清晰地指着资料说：“看，答案就在这一句！”
更可控： 它让我们看清了 AI 的思考过程，甚至可以用来减少 AI 的“幻觉”（胡说八道）。

一句话总结：这篇论文为 AI 打造了一套“证据追踪系统”，让 AI 在“开卷考试”时不仅能答对，还能清清楚楚地告诉你：我是怎么看出来的！

这是一篇关于检索增强生成（RAG）中**上下文归因（Context Attribution）**研究的高水平学术论文。以下是对该论文的详细技术总结：

1. 问题背景与挑战 (Problem)

在检索增强生成（RAG）框架中，模型通过结合外部上下文（如文档、文章）来提高回答的准确性和可靠性。上下文归因的任务是确定生成的回答究竟是基于提供的哪些特定上下文片段（句子）生成的。

现有方法的局限性：

计算成本极高： 现有的精确归因方法通常依赖于大规模的梯度计算（Gradient-based）或模型微调（Fine-tuning），这在处理长文档时非常耗时。
代理模型开销： 一些方法（如 Cohen-Wang et al., 2024）通过多次消融（Ablation）实验来训练线性代理模型，虽然无需微调，但仍需要数百次模型前向传播，计算量巨大。
人工标注依赖： 许多验证方法依赖于昂贵的人工标注。

2. 核心方法论 (Methodology: ARC-JSD)

为了解决上述问题，作者提出了一种名为 ARC-JSD（Attribute Response to Context via Jensen–Shannon Divergence）的新方法。

A. 基于 JSD 的归因机制

该方法的核心思想是：如果移除某个上下文片段会导致模型生成回答的概率分布发生剧烈变化，那么该片段就是回答的关键依据。

指标选择： 作者选择了 Jensen–Shannon 散度 (JSD) 来量化概率分布的变化。相比于 KL 散度（可能出现无穷大、非对称）或 Wasserstein 距离（计算复杂、依赖距离度量），JSD 具有对称性、有界性（在 $[0, \log 2]$ 之间）和尺度无关性，非常适合在不同层之间进行直接比较。
计算流程：
1. 在完整上下文 $C$ 下生成回答 $R$ ，获取其概率分布 $P(R|C, Q)$ 。
2. 依次消融（移除）上下文中的每一个句子 $c_i$ ，得到消融后的分布 $P(R|C_{ablated}, Q)$ 。
3. 计算两者之间的 JSD 分数。JSD 分数最高的句子即被判定为最相关的上下文。

B. 机械解释性研究 (Mechanistic Study)

作者不仅提出了归因方法，还利用 Logit Lens 技术深入研究了 RAG 模型内部是如何实现归因的：

定位关键组件： 通过计算每个注意力头（Attention Head）和 MLP 层在消融实验前后的 JSD 变化，识别出对上下文归因贡献最大的内部模块。
语义增益验证 (Semantic Gain)： 为了验证 JSD 的有效性，作者引入了“语义增益”指标（通过余弦相似度衡量残差流的变化），证明了 JSD 高的组件确实能显著提升回答的语义准确性。

3. 主要贡献 (Key Contributions)

高效的归因算法： 开发了 ARC-JSD，无需微调、无需梯度计算、无需代理模型，即可实现高精度的上下文归因。
机械解释性发现： 系统性地揭示了 RAG 模型中负责上下文归因的特定注意力头和 MLP 层（通常位于模型的中间层和高层）。
模型行为控制： 提出了一种通过“门控机制”（Gating）控制模型行为的方法。通过对识别出的关键组件进行干预，可以有效降低模型的幻觉率（Hallucination Rate）。

4. 实验结果 (Results)

高准确度： 在 TyDi QA、Hotpot QA 和 MuSiQue 等多个基准测试上，ARC-JSD 的上下文归因准确度比现有基线方法平均提升了约 10.7%。
高效率： 与基于代理模型的方法相比，ARC-JSD 实现了高达 3 倍的加速。
幻觉抑制： 在 Hotpot QA 实验中，通过对识别出的 Top-5 注意力头和 MLP 进行门控干预，幻觉率从 13.4% 降低到了 8.2%，同时保持了事实性的 F1 分数基本不变。
泛化性： 实验证明该方法在不同规模的模型（从 1.5B 到 9B 甚至更大规模）以及不同领域（医疗、法律）均表现稳健。

5. 研究意义 (Significance)

该研究为 RAG 系统的可解释性和可靠性提供了重要的技术支撑：

透明度： 它让用户能够清晰地看到模型回答的依据，增强了 AI 系统的信任度。
实用性： 由于其计算效率高且无需重新训练，ARC-JSD 可以非常容易地集成到现有的工业级 RAG 流程中。
理论深度： 通过机械解释性分析，该研究为理解 Transformer 如何处理外部知识、如何将检索到的信息整合进参数化知识提供了深刻的见解。