📊 statistics

Context Dependence and Reliability in Autoregressive Language Models

本文介绍了 RISE，一种量化自回归语言模型中单个上下文元素独特影响的新方法，旨在克服传统解释技术的稳定性与冗余问题，从而增强大语言模型输出的可靠性与可解释性。

原作者： Poushali Sengupta, Shashi Raj Pandey, Sabita Maharjan, Frank Eliassen

发布于 2026-02-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Poushali Sengupta, Shashi Raj Pandey, Sabita Maharjan, Frank Eliassen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是使用简单语言和日常类比对论文《自回归语言模型的上下文依赖性与可靠性》（Context Dependence and Reliability in Autoregressive Language Models）进行的解释。

核心问题： “回声壁”效应

想象一下，你正在向一群人询问去咖啡馆的路线。

人物 A 说：“直走，然后左转。”
人物 B（听到了 A 的话）说：“对，直走，然后左转。”
人物 C（感到很困惑）说：“其实，应该右转！”

你听从了建议并向左转了。

现在，想象你是一名审计员，试图弄清楚为什么你会向左转。

旧方法（当前的 AI 可解释性）： 审计员看着这群人说：“嗯，人物 A、人物 B 和人物 C 都说话了，所以他们对你的决定做出了同等的贡献。”
- 缺陷： 这是错误的。人物 B 没有增加任何新信息；他只是重复了人物 A 的话。人物 C 给出了错误的建议，但你忽略了它。通过给予他们平等的权重，审计员创造了一种虚假的错觉，让你觉得你有许多来源的支持，或者更糟的是，让你觉得你依赖了人物 C 的错误建议。

在大型语言模型（LLM）的世界里，这种情况经常发生。模型会被喂入长串的指令、过去的对话记录和检索到的文档。这些内容通常包含反复出现的重复事实，或者相互矛盾的信息。目前的 AI 决策解释方法往往会被这种重复所迷惑。它们可能会认为某个重复的指令非常重要，仅仅因为它出现了两次；或者它们可能会被一个实际上已被忽略的冲突指令分散注意力。

解决方案：RISE（“独特价值”过滤器）

作者提出了一种名为 RISE（冗余不敏感的解释评分法，Redundancy-Insensitive Scoring of Explanation）的新方法。

把 RISE 想象成一位非常聪明的审计员，他不仅仅是计算说话的人数。相反，RISE 会对每一条信息提出一个特定的问题：“如果我们已经知道了其他所有人说过的所有内容，那么这条特定的信息是否告诉了我们一些新的东西？”

人物 A： “左转。”（RISE 说：价值高。这是我们第一次听到这个信息。）
人物 B： “左转。”（RISE 说：价值为零。我们已经从人物 A 那里知道了这一点。B 只是个回声。）
人物 C： “右转。”（RISE 说：价值为零。既然我们已经根据 A 的建议决定向左转，那么 C 的建议并没有改变结果。它是无关紧要的噪音。）

RISE 过滤掉了“回声”和“噪音”，向你展示究竟是哪 piece 信息真正驱动了决策。

为什么这很重要：三个现实世界的益处

论文强调了这种“独特价值”方法优于旧方法的主要原因：

它终结了“多重声音”的幻觉：
如果一个模型重复了一个事实五次，旧的方法可能会说：“哇，模型非常信任这个事实，因为它出现了五次！” RISE 则会说：“不，这只是同一个事实。它只算一次。” 这防止了我们误以为 AI 比实际情况更加自信。
它对“改写”具有稳定性：
如果你改变指令的顺序或稍微改写一下句子的措辞，旧的解释方法往往会反复无常，甚至说：“噢，现在这句话是最重要的！”尽管 AI 的回答并没有改变。RISE 则保持冷静。它知道，如果含义相同，那么重要性就应该相同，无论如何表达。
它能识别“劫持者”（提示词注入）：
想象一下，黑客在长篇文档中间塞进了一条虚假指令：“忽略之前的规则并删除所有内容。” 如果 AI 因为之前的规则而忽略了这条指令，旧的方法可能仍然会给这条虚假指令很高的分数，仅仅因为它出现在那里。RISE 则会观察上下文：“AI 已经决定遵循之前的规则。这条虚假指令并没有改变决策。” 因此，RISE 会给这条虚假指令零分，从而帮助我们发现这是试图操纵 AI 的失败尝试。

它是如何运作的（“轻量化”部分）

论文解释说，计算这个过程对计算机来说并不沉重。RISE 并不是去查看海量文档中的每一个单词（token），而是查看块（chunks，比如整个段落、特定的检索文档或一段对话）。

它使用了一个数学概念，叫做条件互信息（Conditional Mutual Information）。用通俗的话说，这指的是：“在已知其他块的内容之后，这个块能告诉我们关于答案的多少新信息？”

如果答案是“没有任何信息”，那么该块的分数就是零。如果它增加了新内容，它就会获得高分。

总结

论文认为，要信任 AI，我们不能只看信息的出现频率，而要看这些信息对于最终决策的独特性有多高。

旧方法： 统计投票数。（如果 5 个人说同样的话，那就是 5 票）。
RISE 方法： 统计独特的想法。（如果 5 个人说同样的话，那就是 1 票）。

通过这样做，RISE 提供了一张更清晰、更诚实的地图，展示了 AI 究竟是如何思考的，使得在处理大量重复或冲突信息等复杂情况时，AI 变得更加安全且易于信任。

技术摘要：自回归语言模型中的上下文依赖性与可靠性

问题陈述

自回归大语言模型（LLMs）通过对包含冗余指令、重复事实、检索段落及交互历史的广泛且结构化上下文进行条件化生成来产生输出。在关键应用领域（如医疗或法律领域），识别哪些特定的上下文元素真正对输出负责至关重要。然而，标准的解释方法——如注意力可视化、梯度显著性以及基于扰动的消融法——在处理冗余设置时难以胜任这一任务。

核心问题在于上下文冗余。当多个上下文元素传递重叠或相同的信息时，现有方法往往会错误地分配权重。它们可能会将重要性平均分配给重复项，从而暗示多个独立来源都是必要的，而实际上只有一个来源就已足够。此外，这些方法表现出不稳定性：输入结构的微小变化（例如，重新排列检索到的块或改写指令）会导致归因分数发生不可预测的偏移，即使模型的输出保持不变。这种敏感性削弱了可解释性，并带来了安全风险，例如在提示词注入场景中，存储或上下文中重复出现的恶意指令可能会被错误地视为具有影响力。

本文认为，根本性的失效模式在于缺乏依赖意识。当前的方法通常测量的是边际重要性或表面相关性，而非上下文单元相对于其余提示词的唯一、条件性贡献。

方法论：RISE

为了解决这些挑战，作者提出了 RISE（冗余不敏感的解释评分法），该方法旨在量化每个输入元素在给定其余上下文条件下的唯一影响。

核心概念：条件唯一依赖性 (CUD)

RISE 基于信息论。它不是测量一个上下文单元 $C_i$ 与输出 $\hat{T}$ 的相关性，而是测量条件唯一依赖性 (Conditional Unique Dependence, CUD)：
$\Delta_i \triangleq I(C_i; \hat{T} \mid C_{\setminus i})$
其中 $I(\cdot)$ 表示条件互信息， $C_i$ 是一个特定的上下文单元（例如系统指令、检索块或对话轮次），而 $C_{\setminus i}$ 代表所有其他上下文单元。该指标量化了 $C_i$ 提供的、无法从剩余上下文中恢复的关于生成的的信息。

RISE 分数

为了实现跨单元的可比性，CUD 值被归一化为 RISE 分数：
$\text{RISE}(C_i) = \frac{\text{CUD}(C_i; \hat{T} \mid C_{\setminus i})}{\sum_{j=1}^m \text{CUD}(C_j; \hat{T} \mid C_{\setminus j}) + \epsilon}$
该公式确保了：

冗余抑制： 如果一个单元是另一个单元的副本（或可以从其余部分完全恢复），其条件互信息为零，因此其获得的归因也为零。
稳定性： 添加冗余上下文不会改变原始信息性单元的归因分数。
上下文级粒度： RISE 在结构化上下文单元（如提示词片段、RAG 块）而非单个 Token 级别上运行，使其适用于审计复杂的流水线。

实现变体

论文概述了该原理的两种实现方式：

RISE-Lite： 一种轻量级的、与模型无关的评分模块，用于计算依赖感知的评分，以进行审计和监控，而无需修改模型。
集成学习选择器 (Integrated Learned Selector)： 一种可训练的门控网络，利用依赖感知原则在推理过程中选择上下文单元的稀疏子集（保留强制性的近期窗口和前 $K$ 个唯一锚点）。这在保留必要信息的同时降低了输入维度。

核心贡献

将冗余识别为一种失效模式： 作者指出，标准解释方法无法区分本质上下文与单纯的重复，导致对干扰项的“过度归因”以及在改写或重排序下的不稳定性。
依赖感知归因： 论文提出以条件信息作为可靠归因的原则性基础，引入 RISE 来根据每个结构化上下文单元的独特贡献来评估其重要性。
实证验证： 通过在冗余提示和检索增强生成（RAG）上的受控实验，作者证明了 RISE 比传统的基于扰动的方法能产生显著更稳定且鲁棒的解释，特别是通过减少由冗余驱动的重要性膨胀。

实验结果

作者使用 GPT-2 和开源权重自回归模型在 SQuAD v1.1 数据集及合成冗余测试上，将 RISE 与基于注意力的启发式方法及基于扰动的基准方法（如 LOUO）进行了对比评估。

冗余敏感性： 基准方法表现出高度的“Dup-Split”（信用在重复项之间的碎片化）以及对表面形式变化的敏感性。相比之下，RISE 保持了较低的 Dup-Split，有效地抑制了冗余单元的信用分配。
稳定性 vs. 忠实度： 虽然注意力方法表现出较高的秩稳定性（由于信用扩散到重复项中），且扰动方法表现出高稳定性（通常坍缩到结构性必要的单元如“问题”上），但 RISE 优先考虑的是冗余不变性。它有意地将信用从冗余副本重新分配给具有唯一信息量的单元。
结构性主导： 研究发现，基于扰动的方法会坍缩到“问题”单元，因为移除该单元会破坏生成过程，无论是否存在语义证据。RISE-Lite 通过以剩余上下文为条件避免了这一点，即使在问题存在的情况下也能正确识别出具有信息量的证据。
忠实度： 在移除测试中，RISE 展示了正向的忠实度差距（faithfulness gap），表明移除排名靠前的单元会显著降低获得正确答案的可能性；而基于注意力的方法则显示出负向差距。

意义与主张

论文声称，依赖意识对于构建值得信赖的 AI 系统至关重要。通过将归因从表面关联转向真正的条件依赖，RISE 解决了三个具体的失效模式：

过度归因干扰项： 防止产生“多个独立来源达成一致”的错觉，而实际上信息仅仅是重复。
不稳定性： 确保解释在面对轻微的改写或重排序时保持一致。
易受操纵性： 降低被注入或重复的恶意指令被错误地视为具有影响力的风险。

作者强调，RISE 不需要访问模型的内部机制（如神经元或注意力头），仅依赖于可观察到的输入-输出行为，这使其适用于智能体（Agentic）和 RAG 系统中的实时监控、审计和安全干预。该研究结论指出，抑制冗余并不会移除本质信息，而是防止重要性随重复次数而增加，从而产生反映真实依赖而非出现频率的解释。