🤖 AI

Inference Time Causal Probing in LLMs

本文提出了隐藏状态驱动边界干预（HDMI），这是一种无需探针、基于梯度的方法，它利用模型的原生输出直接引导大语言模型的隐藏状态，以实现比现有依赖分类器的方法更可靠因果干预，同时引入了一种用于文本编辑的前瞻变体。

原作者： Sadegh Khorasani, Saber Salehkaleybar, Negar Kiyavash, Matthias Grossglauser

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Sadegh Khorasani, Saber Salehkaleybar, Negar Kiyavash, Matthias Grossglauser

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和日常类比对该论文的解读。

全局概览：修复“黑箱”

想象大型语言模型（LLM）就像厨房里一位超级聪明但略显神秘的厨师。这位厨师能写出精彩的故事，但如果你问：“你为什么在这汤里加了盐？”厨师可能无法给出清晰的解释。他们只是“知道”这样味道才对。

科学家们想要理解这位厨师是如何做决定的。具体来说，他们想知道：厨师真的是利用“复数”（如“猫们”）这个概念来决定动词用"run"，还是这仅仅是一种巧合？

为了验证这一点，研究人员使用了一种称为因果探测（Causal Probing）的技术。这就像是一个“如果……会怎样”的实验。他们想要说：“好吧，让我们假设主语是复数而不是单数。厨师会把动词从'runs'改成'run'吗？”

旧方法的缺陷：“翻译官”问题

以前，为了进行这个实验，研究人员不得不雇佣一位翻译官（称为“探测头”）。

他们会训练这位翻译官阅读厨师的秘密笔记（隐藏状态），并猜测主语是单数还是复数。
然后，他们会利用翻译官的反馈来微调厨师的笔记，以改变其含义。

缺陷：这位翻译官可能无法完美地理解厨师的语言。翻译官可能拥有自己的一套关于“复数”长什么样的规则，这与厨师实际的思考方式并不匹配。这就像试图用另一品牌汽车的说明书来修理发动机。你可能按对了按钮，但因为不了解发动机的真实布局，却弄坏了其他部件。

新解决方案：HDMI（“直接微调”）

作者提出了一种名为HDMI（隐藏状态驱动边际干预，Hidden-state Driven Margin Intervention）的新方法。

类比：与其雇佣翻译官，HDMI 直接与厨师的大脑对话。

目标：厨师即将说出"runs"（单数）。你希望他们说"run"（复数）。
旧方法：请翻译官找到“复数”按钮并按下它。
HDMI 方法：HDMI 观察厨师的最终决策过程（输出）。它计算出使"run"这个词略微更有可能、"runs"略微更不可能所需的精确数学“微调”。它是通过查看这两个词之间的差异（即边际，margin）来实现的。

为什么它更好：

无需翻译官：它不需要训练一个单独的 AI 来理解这个概念。它利用模型自身的大脑来 figuring out 如何改变输出。
精准性：因为它利用了模型自身的“几何结构”（即它如何自然地排列词汇），所以它与模型实际的思考方式完美契合。
高效性：这是一个简单快速的计算，就像在方向盘上轻敲一下，而不是绕远路。

“前瞻”升级：LA-HDMI

该论文还介绍了一种名为LA-HDMI（前瞻 HDMI，Lookahead HDMI）的高级版本，用于文本编辑。

场景：想象你在写一个故事：“那只猫正在睡觉（The cat was sleeping）。”你想把它改成“那些猫正在睡觉（The cats were sleeping）。”

问题：如果你只是把"was"改成"were"，句子可能会断裂，因为前面的词（"The"）或后面的词可能也需要改变，以保持语法的流畅。
LA-HDMI 解决方案：这种方法不仅关注当前的词，还会向前看。它在做出改变的同时，模拟句子的后续几步。
- 它看到，如果将"was"改为"were"，它需要将"The"改为"The"（无需更改），但如果名词发生变化，可能需要调整名词前的冠词。
- 它在单词甚至被写出之前，就温和地引导模型的隐藏思维，确保整个句子保持流畅自然，而不仅仅是你修改的那个词。

这就像 GPS 不仅告诉你“现在左转”，还会计算前方的整条路线，以免你稍后陷入死胡同。

效果如何？（结果）

作者在两个旨在测试语法和逻辑的主要“健身房”（数据集）上测试了该方法：

LGD 一致性：检查主语和动词是否匹配（例如，"he is"与"they are"）。
CausalGym：一套复杂的语法谜题。

成绩单：
他们测量了两项指标：

完整性：我们是否成功改变了含义？（例如，"runs"是否变成了"run"？）
选择性：我们是否意外破坏了其他内容？（例如，我们是否错误地改变了时态或整个句子的含义？）

结论：
HDMI 的得分始终高于旧方法。它在改变它本应改变的内容的同时，不会搞乱句子的其余部分。它在不同类型的 AI 模型（如 Llama 和 Pythia）上表现良好，证明它是一个稳健的工具。

总结

旧方法：使用单独的工具来猜测如何改变 AI 的想法（往往不准确）。
HDMI：利用 AI 自身的输出来计算改变其想法的完美微调（准确且高效）。
LA-HDMI：结合“水晶球”使用 HDMI 来流畅地编辑文本，确保整个句子自然流畅，而不仅仅是被编辑的那个词。

该论文得出结论，这种“直接微调”方法是理解和控制 AI 模型如何思考和写作的一种更可靠的方式。

技术摘要：大语言模型中的推理时因果探测（HDMI）

1. 问题陈述

本文探讨了当前用于理解大语言模型（LLM）如何利用内部表示进行预测的因果探测方法的局限性。

相关性探测的局限性：传统方法在隐藏状态上训练辅助分类器（“探测头”）以检测语言属性（例如主语单复数）。虽然这些方法能显示什么被编码，但无法证明模型如何利用该信息生成下一个词元。
因果探测的局限性：现有的因果方法试图干预隐藏状态以改变属性（例如将单数改为复数），并观察输出的变化。然而，这些方法通常依赖训练一个单独的探测头来确定干预方向（例如，利用探测头的梯度翻转标签）。
- 缺点：这引入了额外的训练成本，需要针对特定属性的监督，并存在错位风险。探测头的分类边界可能与模型内部的“预测几何”不一致，导致干预无法有效引导模型生成，或无意中改变无关属性。

作者提出了推理时因果探测，这是一个完全在推理阶段应用干预、无需重新训练模型或训练辅助探测头的框架。

2. 方法论：隐藏状态驱动的边际干预（HDMI）

核心贡献是HDMI，这是一种无探测头、基于梯度的技术，直接利用生成模型的原生输出头来引导隐藏状态。

2.1 核心机制

HDMI 通过定义“源”词元（模型原本首选的续写）与“目标”词元（期望的反事实续写）之间的边际目标来运作。

目标：最大化对数几率边际 $L(x) = \phi(x)_\tau - \phi(x)_\sigma$ ，其中 $\phi(x)$ 是对数几率向量， $\tau$ 是目标词元索引， $\sigma$ 是源词元索引。
干预：该方法在特定层 $\ell$ 的隐藏状态 $h_\ell(x)$ 上执行梯度上升，以增加目标词元的概率，同时降低源词元的概率。
计算效率：对于最后一层，梯度是一个闭式矩阵 - 向量积： $\nabla_{h_L} L(x) = W_U^\top (e_\tau - e_\sigma)$ 。这避免了迭代式探测头训练的需求。
多词元扩展：该方法支持词元集合（例如多个有效的复数动词），通过对目标集合（ $T^+$ ）和源集合（ $T^-$ ）的对数几率求和来实现，定义为 $L_{set}(x) = \sum \phi(x)_{\tau_i} - \sum \phi(x)_{\sigma_j}$ 。

2.2 用于文本编辑的前瞻 HDMI（LA-HDMI）

为了解决用户提供了修改序列的文本编辑问题，作者引入了LA-HDMI。

挑战：标准的自回归生成不允许步骤 $t$ 的隐藏状态感知到 $t' > t$ 的未来编辑。
解决方案：LA-HDMI 引入了一种“前瞻”机制，通过预期的词元嵌入反向传播梯度。
- 它将前向传播（使用低温度 $\beta_f$ 以保持流畅性）与梯度路径（使用高温 $\beta_g$ 以计算预期嵌入）解耦。
- 目标函数 $J_t(h_t)$ 累积未来编辑位置（ $S_{max}$ 步之后）的边际目标，调整当前隐藏状态 $h_t$ ，以引导未来生成朝向用户的编辑，同时保持非编辑区域的流畅性。

3. 评估框架

本文遵循 Canby 等人 [2024] 的框架，使用两个主要指标评估干预效果：

完备性：衡量干预是否成功地在隐藏状态中转移了目标属性（例如改变主语单复数），并通过单独的验证探测头进行验证。
选择性：衡量无关属性（干扰变量，例如非主语的名词单复数）在干预后是否保持稳定。
可靠性：完备性与选择性的调和平均数，作为干预质量的整体衡量指标。

4. 关键结果

作者在 Meta-Llama-3-8B-Instruct 和 Pythia-70M 模型上，使用 LGD 一致语料库和 CausalGym 基准评估了 HDMI。

性能：HDMI 在大多数任务中始终比基于探测头的基线（AlterRep、FGSM、PGD）实现更高的可靠性。
- 在一致 suites（例如主谓一致）中，HDMI 通常实现完美的完备性和高选择性。
- 与基线不同，HDMI 的性能独立于干预探测头的质量，因为它不使用探测头。像 AlterRep 和 PGD 这样的基线在探测头准确率较低时，在较小模型（Pythia-70M）上显示出显著的性能下降。
鲁棒性：HDMI 在不同模型大小和任务中保持了一致的可靠性，而基于探测头的方法则表现出混合结果，且对特定属性和模型敏感。
文本编辑：LA-HDMI 成功展示了引导生成朝向用户指定编辑（例如将"girl"改为"owl"或将"was"改为"were"）的能力，同时保持语法流畅性并调整必要的上下文（例如将"a"改为"an"）。

5. 意义与主张

本文主张 HDMI 代表了从依赖探测头到模型原生因果探测的转变。

对齐：通过使用模型自身的输出头来定义干预方向，HDMI 确保扰动与模型实际的预测几何对齐，避免了外部探测头的错位风险。
效率：该方法计算轻量，仅需在隐藏状态上进行梯度上升，无需训练辅助分类器的开销。
通用性：该方法自然地扩展到多词元属性，并通过前瞻梯度为流畅的文本编辑提供了一种机制。

作者承认了局限性，包括对超参数（步长、温度、视野）的敏感性，以及在长距离文本编辑任务中梯度可能衰减的问题。他们建议未来的工作集中在自适应层选择和步长调度上，以在不牺牲完备性的情况下进一步提高选择性。