💬 NLP

Probabilistic Attribution For Large Language Models

本文提出了一种与模型无关的概率归因框架，该框架利用贝叶斯规则对大语言模型（LLM）的 token 概率进行量化，以衡量 token 的重要性与熵，从而增强可解释性，并揭示模型在不同提示下的稳定性与行为特征。

原作者： Shilpika Shilpika, Carlo Graziani, Bethany Lusch, Venkatram Vishwanath, Michael E. Papka

发布于 2026-05-22

📖 1 分钟阅读☕ 轻松阅读

原作者： Shilpika Shilpika, Carlo Graziani, Bethany Lusch, Venkatram Vishwanath, Michael E. Papka

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，大型语言模型（LLM）并非像人类那样“思考”的魔法大脑，而是一个超级高级的老虎机或一个巨型的高速骰子滚动器。

每当模型写出一个词（或“词元”）时，它并非仅仅在猜测。它会基于到目前为止所写的所有内容，计算其整个词典中每一个可能下一个词的概率。它根据这些概率选择下一个词。

这篇名为《大型语言模型的概率归因》的论文，提出了一种窥探这台老虎机内部的新方法，以理解它为何选择了那些词。作者将这种新工具称为归因分数（Attribution Score, AS）。

以下是他们观点的分解，使用了简单的类比：

1. 核心思想：倒带

通常，当我们向人工智能提问时，它会给出一个答案。我们可能会想：“是我问题中的哪一部分让它说了那个？”

作者将人工智能的写作过程视为一个随机过程（这是一个数学术语，指随时间演变的随机过程，如天气模式或股票市场）。他们意识到，由于人工智能只是在计算概率，我们可以利用数学来“倒带”。

类比：
想象你在听一首歌，你想知道旋律中的哪个特定音符让歌手在结尾唱出了高音。

旧方法： 你猜测哪个音符很重要。
作者的方法： 他们把歌曲拿过来，一次移除一个音符，然后问歌手：“如果我不播放这个特定音符，你唱出那个高音的可能性会有多大？”
- 如果移除该音符使得高音变得不可能，那么该音符至关重要（高分）。
- 如果移除该音符没有任何改变，那么该音符只是背景噪音（低分）。

2. 魔法戏法：“如果”游戏

棘手之处在于，人工智能只知道如何向前写作。它无法自然地说：“如果我省略了这个词会怎样？”

作者使用了一个数学技巧（贝叶斯规则）来迫使人工智能玩这个“如果”游戏。他们本质上是在告诉人工智能：“这是你的提示和你的答案。现在，假设你提示中的单词‘苹果’实际上是词典中的任何其他单词。这会如何改变你答案的概率？”

通过进行这种数学运算，他们为提示中的每一个单词计算出一个分数。这个分数告诉你，那个特定的单词在多大程度上“推动”了人工智能走向其最终答案。

3. 测量“困惑”（熵）

该论文还考察了熵，这是不确定性或困惑的度量。

类比：
想象你试图猜测句子中的下一个词。

低熵（低困惑）： 句子是“天空是……"。人工智能有 99% 的把握下一个词是“蓝色”。它并不困惑。
高熵（高困惑）： 句子是“那个……东西……做了……"。人工智能完全不知道接下来是什么。它同样可能是“猫”、“狗”、“跑”或“跳”。

作者发现：

如果一个词具有高归因分数（它非常重要），但人工智能对于用什么词替换它仍然非常困惑（高熵），那就有些奇怪了。这可能意味着模型不稳定或尚未很好地学习数据。
如果一个词具有低分数（它不太重要），而人工智能对于用什么词替换它非常自信（低熵），那么该词很可能只是“填充物”或噪音。

4. 他们的发现

作者在 7 个不同的提示下测试了 8 个不同的人工智能模型。以下是他们的发现：

旧模型与新模型： 旧模型（如 GPT-2）即使在单词似乎不太重要时也显得更“困惑”（更高的熵）。新模型（如 Llama）则更加稳定和自信。这表明新模型在训练数据上更好地“收敛”了——它们更一致地知道自己在说什么。
发现“坏”词： 他们发现了人工智能感到困惑的具体实例。例如，在一个提示中，人工智能为了句子更通顺，更喜欢用“在”而不是用户的“当”。分数揭示了这种不匹配，显示人工智能对稍有不同的问题感到更“满意”。
词元敏感性： 有些词就像拱门的“拱心石”；如果你移除它们，整个答案就会崩塌。分数可以识别出这些拱心石词。其他词则像灰浆；你可以替换它们，答案保持不变。

5. 为什么这很重要（根据论文）

作者声称这种方法是模型无关的。

类比： 将不同的人工智能模型想象成不同品牌的汽车（福特、丰田、特斯拉）。大多数解释它们如何工作的工具只适用于一个品牌。这种新工具就像一种通用诊断扫描仪，适用于任何汽车，无论其引擎是如何构建的。

他们还声称它是无参数的。

类比： 许多工具需要您转动旋钮和拨盘（设置）才能获得结果。如果您错误地转动了旋钮，结果就会是一团糟。这个工具不需要旋钮；它只使用人工智能已经在进行的数学运算。这使得结果更加客观，也更容易信任。

总结

这篇论文为人工智能文本生成提供了一种数学“X 光片”。与其猜测人工智能为何这样说，他们利用概率数学精确计算出您问题中的每个词在多大程度上促成了答案。他们利用这一点来识别哪些模型是稳定的，哪些是困惑的，以及哪些词是人工智能行为的真正驱动因素。

重要提示： 该论文严格专注于理解模型的数学原理和稳定性。它并不声称能解决人工智能的幻觉、诊断医疗状况或解决法律案件，尽管它表明理解这些概率有助于用户关注人工智能生成中“不确定或不稳定”的部分。

技术摘要：大型语言模型的概率归因

问题陈述
大型语言模型（LLM）的生成特性依赖于计算条件概率，以基于先前的上下文采样响应令牌。尽管这些模型正日益部署于高风险领域，但其“黑盒”性质使得评估输出有效性、不确定性以及输入令牌对生成响应的具体影响变得复杂。现有的可解释人工智能（XAI）方法通常分为两类：模型特定方法（例如基于梯度的显著性图），需要访问内部架构；以及模型无关方法（例如 SHAP、LIME），依赖于输入 - 输出扰动，但可能缺乏稳定性或因果忠实性。因此，需要一种通过统计第一性原理的视角来解释 LLM 行为的方法，该方法独立于底层计算结构，以便更好地理解令牌敏感性、模型稳定性以及训练收敛性。

方法论
作者将 LLM 推理置于随机过程的数学理论框架内。在此框架中，LLM 被视为定义了一个令牌序列的概率分布，其中概率测度由模型的训练数据构建。该方法的核心是归因分数（Attribution Score, AS），这是一种模型无关的指标，旨在量化给定生成响应时提示中特定令牌的重要性。

AS 是通过利用贝叶斯规则反转下一个令牌的 log-概率推导得出的。具体而言，对于提示 $p$ 和响应 $r$ ，提示中第 $\mu$ 个令牌的归因分数 $A_\mu$ 定义为两个概率的对数比率：

给定完整提示 $p$ 时响应 $r$ 的概率。
给定第 $\mu$ 个令牌被边缘化（即 $p$ 中 $p_\mu$ 允许取词汇表中的任何值）的提示时响应 $r$ 的概率。

数学上， $A_\mu = \log \frac{Pr(R=r | P=p)}{Pr(R=r | P - P_\mu = p - p_\mu)}$ 。

由于 LLM 不直接输出非连续或边缘化序列的概率，作者推导了一种仅利用模型发出的标准条件概率来重构分母的方法（公式 4–9）。这涉及对所有可能的词汇表令牌在边缘化位置进行求和，并以剩余上下文的概率作为权重。

作为 AS 的补充，作者引入了**上下文熵（Contextual Entropy）**度量：

仅提示上下文熵（ $S^{(P)}$ ）：仅以剩余提示令牌为条件，特定位置处令牌分布的熵。
提示 + 响应上下文熵（ $S^{(P+R)}$ ）：以剩余提示和生成响应为条件的熵。
KL 散度：两种上下文下令牌分布之间的散度，用于检测响应显著改变模型对提示令牌不确定性的异常。

此外，通过测量当提示令牌被替换为前 90% 候选令牌时精确响应匹配的频率分布，计算替换熵（Replacement Entropy），从而提供响应稳定性的经验度量。

主要贡献
本文概述了四项主要贡献：

模型无关归因：AS 适用于任何 LLM 的文本生成任务，无需访问内部权重或梯度，仅依赖发出的 log-概率。
无参数设计：该方法不需要超参数（不同于 LIME 或 ReAgent），从而增强了可重复性和客观性。
稳定性和收敛性指标：上下文熵和替换熵度量作为模型稳定性以及模型收敛至其训练数据分布程度的指标。
内置敏感性：由于该方法基于统计第一性原理，归因分数在核心方法论中固有地评估了可解释结果的正确性。

实验结果
作者评估了 8 个 LLM（参数量从 1.37 亿到 17 亿不等，包括 GPT-2、GPT-Neo、Llama 和 Qwen 变体），涵盖了 7 个涉及各种任务（如阅读理解、事实检索和欺骗性查询）的提示。

令牌敏感性：高 AS 值对应于对特定响应至关重要的令牌，而负 AS 值则表示在给定响应上下文的情况下，模型更倾向于替换的令牌。
模型收敛性：上下文熵分析显示，旧模型（GPT-2、GPT-Neo）在接近零的 AS 值处表现出比现代指令微调模型（如 Llama 3.1）更高的熵。作者将接近零 AS 处的高熵解释为“噪声令牌”——即对响应概率贡献甚微却仍不受上下文约束的令牌——这表明旧模型的训练收敛性较差。
异常检测：该框架成功识别了特定异常，例如模型倾向于对提示进行重述的令牌（例如在特定问题中倾向于"in"而非"?"），或者响应上下文意外拓宽了令牌分布（增加熵）的情况。
与 XAI 基线的评估对比：AS 与 Input X Gradient、Gradient Shapley、LIME、Occlusion 和 ReAgent 进行了比较，使用了不忠实度（Infidelity）、删除/NAOPC、全面性（Comprehensiveness）和充分性（Sufficiency）等指标。AS 表现具有竞争力，通常达到或超过其他方法的性能，特别是注意到其在不同模型间具有鲁棒性，无需针对特定架构进行调整。
计算成本：该方法计算密集，由于需要对所有可能的替换令牌进行求和，所需的 GPU 小时数与词汇表大小成正比。然而，作者指出，通过将求和限制为高概率令牌，存在优化的潜力。

意义与主张
本文主张，通过将 LLM 框架化为随机过程，它提供了一个严格的、模型无关的可解释性框架，避免了对内部“知识表示”的假设。其意义在于能够：

在不访问模型内部的情况下，量化提示令牌对响应的因果影响。
通过熵分析诊断模型训练质量（收敛性），识别表明训练不佳的“噪声令牌”。
引导用户关注生成中不确定或不稳定的部分，从而提高可解释性。
作为无参数基线，用于调整其他更快 XAI 方法的超参数。

作者总结道，尽管该方法带来了更高的计算成本，但它提供了对 LLM 行为更深入、基于统计的理解，能够识别训练缺陷并设计提示以产生更连贯的响应。

1. 核心思想：倒带

2. 魔法戏法：“如果”游戏

3. 测量“困惑”（熵）

4. 他们的发现

5. 为什么这很重要（根据论文）

总结

类似论文