💬 NLP

Evidence-Type Competition: When Can Interventional Data Teach Language Models Causal Direction?

本文表明，在观测证据与干预证据相冲突的合成环境中，语言模型推断因果方向的能力并非由训练数据的混合比例决定，而是由推理上下文中存在的证据类型动态地开启或关闭，其中观测线索会主动抑制模型的潜在因果推理能力。

原作者： Xining Xun

发布于 2026-08-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Xining Xun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

侦探、线索与大声疾呼

想象一下，你正试图教一个超级聪明的机器人如何理解因果关系。你希望它明白，如果你按下按钮，灯就会亮起，而不仅仅是看到按钮和灯通常一起出现。在人工智能的世界里，有一个著名的概念叫做“因果之梯”。它表明，要真正理解事情为什么发生，你需要的不仅仅是观察世界（观察）；你还需要实际介入并改变事物（干预）。长期以来，研究人员一直认为，教给 AI 这种技能的最佳方法是喂给它丰富的“干预数据”——即在这些故事中，AI 亲眼看到有人实际按下了按钮，随后灯亮了。

核心问题很简单：如果我们把更多这种“行动”类故事混入机器人的训练中，它是否会变得更擅长发现因果关系？这篇论文通过一个答案在数学上已知的、受控的虚拟世界来探讨这个问题。研究人员设置了一个棘手的场景，称为“辛普森悖论”（Simpson's Paradox），这是一个统计学谜题：当你仅仅观察时，两件事物看起来似乎在向相反方向运动，但当你观察真实的因果关系时，它们实际上是在同步运动。这就像是看到带伞的人比不带伞的人更湿，从而得出结论认为伞导致了降雨，但实际上是降雨同时导致了打伞和身体变湿。论文测试了给予机器人更多的“干预”训练，是否能帮助它忽略误导性的“观察”线索，从而找到真正的因果关系。

实验：给机器人喂食混合饮食

作者构建了一个包含 50 个不同“世界”的数字游乐场。在每个世界中，他们都设计了一个隐藏的陷阱：自然的观察显示出一种负相关关系（类似于雨伞的例子），但真实的因果效应却是正向的。接着，他们用这些世界来训练语言模型，将不同比例的“干预”数据（模型看到有人强行改变变量）与“观察”数据（模型只是观察）进行混合。

研究人员从一个常见的信念出发，称之为假设 1：“如果我们增加训练组合中干预数据的比例，模型将能更好地找到真正的因果关系。”他们通过将干预数据的百分比从 0% 逐渐增加到 100% 来测试这一点。

这里有一个令人惊讶的转折：这个假设是错误的。

即使在训练过程中喂给模型 100% 的干预数据，如果模型在回答问题时看到了观察性的线索，它仍然会搞错因果的方向。模型从干预数据中学到了效应的“大小”（它知道灯会变亮），但它却从它在上下文中看到的观察线索中复制了“方向”（正向或负向）。这就像一个学生完美地背诵了数学公式，但在考试时，他却忽略了公式，而是根据之前问题的模式进行瞎猜。

真正的元凶：上下文切换

那么，如果训练组合并不重要，那是什么起到了决定作用呢？论文发现，决定因素是模型在回答问题那一刻，上下文中存在的证据类型。

研究人员进行了一项“四向对比”，以观察不同类型的线索如何影响模型：

纯观察： 当上下文中只有观察记录时，模型在 50 次中有 29 次判断错了方向。
混合证据： 当上下文中既有观察又有干预时，模型在 50 次中有 19 次判断错了方向。
纯干预（探测）： 当上下文中只有干预记录（探测）时，模型在 50 次中有 41 次判断对了方向。

最令人兴奋的发现来自于测试期间的一个“魔术”。研究人员拿出了一个经过混合数据训练、且因为上下文中的观察性线索而表现失常的模型。然后，他们在模型回答问题之前，抹去了上下文中的观察性线索。瞬间，模型的寻找真实因果的能力“开启”了。它的准确率从负分跃升为正分，达到了仅见过干预数据的模型的水平。

这证明了模型其实一直都学到了因果推理；只是被观察性证据给“关闭”了。这种能力一直存在于模型的脑中（权重里），但上下文就像是一个遥控器，静音了正确答案。

切换是如何工作的：一个分级旋钮

论文还探讨了这种切换是如何运作的。它不是一个简单的开关，更像是一个音量旋钮。

一条观察记录： 几乎无法抑制模型。
两条记录： 稀释了信号，使模型感到困惑。
四条记录： 完全占据了模型的注意力，迫使它跟随错误的方向。

更有趣的是，观察的内容也至关重要。如果观察记录只是与当前世界不符的随机数字，那么这种抑制作用就很弱。但如果记录是连贯的，并且符合当前世界的特定相关性，抑制作用就最强。这表明模型正在积极地倾听上下文中的“故事”，并让最连贯的叙事覆盖掉它所学到的规则。

规模化与“正向偏差”

研究人员还检查了随着模型变大，这个问题是会改善还是恶化。他们测试了一个拥有近 10 亿参数的模型（远大于最初的 2500 万参数）。问题依然存在：混合上下文的模型仍然会在约 32% 的情况下反转因果方向，而纯干预模型反转的方向仅为 6%。

最后，他们查看了另一个数据集（CLadder），以观察模型是否学到了类似“因果总是正向”的通用规则。他们发现模型确实学到了“正向偏差”，因为他们使用的所有训练示例都具有正向效应。当他们尝试通过使用正向和负向示例重新训练来修复这个问题时，模型在处理训练世界内部的符号时表现得更好，但在面对混乱的外部数据时，它仍然会默认给出一个正向答案。这表明模型有一个在不确定时启动的“安全网”，而且这个安全网很难被移除。

总结

这篇论文给了我们关于如何教 AI 的一个重要启示：仅仅喂给它正确的数据是不够的。 模型可能会学会这项技能，但如果它运行的环境（上下文）充满了误导性的线索，它就会忽略所学到的知识而去跟随线索。开启模型真实推理能力的“开关”不在于训练数据，而在于我们在测试时刻给出的上下文。为了获得最佳效果，我们需要通过工程手段优化上下文，使其突出正确的证据，而不是仅仅寄希望于训练数据本身。

技术摘要：语言模型中的证据类型竞争

问题陈述

本文挑战了目前盛行的假设（记为 H1），即在预训练中增加干预数据（interventional data）的比例会自动提高语言模型（LM）的因果推理能力。虽然干预数据在理论上是学习因果方向的“金标准”（Pearl, 2009），但本研究调查了当这些数据与观测相关性（observational correlation）发生冲突时，大语言模型（LLM）是否能有效利用这些数据。

作者聚焦于**辛普森悖论（Simpson's Paradox）**场景，特别是“辛普森陷阱世界”：在这种世界中，变量 $X$ 与 $Y$ 之间的观测相关性为负（ $Cor_{obs}(X, Y) < 0$ ），但真实的因果效应为正（ $eff(X \to Y) > 0$ ）。核心问题在于：在一个接受了观测数据和干预数据混合训练的模型中，模型是能够正确推断出因果方向，还是会默认采用推理上下文中存在的观测相关性。

研究方法

本研究采用了一个完全受控的合成环境，以将因果推理从自然语言的混淆因素中分离出来。

合成世界生成器： 作者生成了带有隐藏混杂因子（ $Z$ ）的参数化结构因果模型（SCM）。评估家族由 50 个世界组成，其中 $Cor_{obs}(X, Y)$ 与 $eff(X \to Y)$ 符号相反。
训练协议： 一个 25.7M 参数的 GPT 式解码器在观测数据（OBS）和干预/探测数据（INT/PROBE）的混合物上进行训练。干预比例 $\alpha$ $α$ 在 0.0 到 1.0 之间进行遍历。
- OBS： 观测样本 $(v_1, \dots, v_n) \sim P(V)$ 。
- PROBE： 对查询节点 $X$ 进行干预记录（ $do(X=v) \to$ 响应）。
评估指标：
- 命中准则（Hit Criterion）： 如果在 $do(X) $网格上的回归斜率不为零（$ |slope| > 0.05$）且符号正确，则判定为“命中”。
- 真实比例（Ratio True）： 模型预测斜率与先验（oracle）斜率的比值。
- 噪声底限控制： 作者量化了即使是完美的插值器也会因为单次探测评估中的采样噪声而产生符号错误（26%）。他们通过实施证据平均法（ $n_{rep}=8$ ）将该底限降至 9%，从而确保观察到的反转是机制性的而非统计伪影。
推理时干预： 为了区分是由于能力缺失还是上下文驱动的抑制，作者在推理阶段执行了零训练成本的干预，例如擦除观测证据或操纵证据类型的“剂量”。

核心贡献

对 H1 的证伪（量级-方向二元性）： 研究表明，增加预训练中干预数据的比例（ $\alpha$ ）并不能提高因果方向的准确性。相反，一种*量级-方向二元性（magnitude–direction duality）*出现了：模型从干预数据中学习因果效应的量级*（随 $\alpha$ 单调增长），但从观测上下文中复制符号*（方向）。
证据类型因素： 决定因果推理性能的主要因素不是训练混合比例，而是推理上下文中存在的证据类型。
- 纯观测上下文： 在 29/50 个世界中诱发系统性符号反转。
- 混合上下文： 在 19/50 个世界中诱发反转。
- 纯探测上下文： 在 41/50 个世界中获得正确的方向（仅在测量噪声底限处出现反转）。
机制定位： 因果能力的抑制是一种推理时现象，而非训练缺陷。
- 从上下文中擦除观测证据会立即释放模型被抑制的插值能力（ratio true 从 -0.09 跳升至 +0.56）。
- 在不移除观测证据的情况下，将探测剂量增加一倍并不能提升抑制状态。
- 激活修补（Activation Patching）： 将“开关”定位在 Transformer 中间层（第 2-3 层）的观测记录行。
鲁棒性与规模化： 这种抑制效应在 0.93B 参数规模下依然存在，尽管绝对干预增益有所缩小。该现象在不同训练种子下是稳定的，但在更大规模下表现为弥散性的速率提升，而非固定的反转世界集合。
两层优先项发现： 对 CLadder 基准测试的外部审计显示，模型学习到了一种正效应优先项（positive-effect prior）。
- 第一层（分布内）： 一种向正效应倾斜的偏差，可以通过符号随机化重训练来消除。
- 第二层（分布外）： 一种持久的“默认正向”倾向，即使在符号随机化后依然存在，这表明当证据机制失效时，存在一种回退机制。

结果

训练混合物的无效性： 在辛普森悖论世界中，改变 $\alpha$ 从 0 到 1.0 并不会导致符号准确率的单调提升（准确率在 0.2 到 0.5 之间波动）。
上下文剂量梯度： 四臂对比实验（基准：纯 OBS；C1：OBS + Probes；C2：纯 Probes）显示了清晰的梯度。随着上下文中观测证据的减少，平均 ratio true 单调增加（-0.288 $\to$ -0.092 $\to$ +0.418）。
内容介导的开关： 抑制是渐进且由内容介导的。移除观测内容（即使格式标记仍然存在）会释放抑制，而仅仅稀释剂量则不行。连贯的、与世界匹配的观测数据具有最强的抑制作用。
CLadder 审计： 在 CLadder 上接受过干预数据训练的模型表现出“单侧读取”行为，即将负 ATE 世界坍缩为正向默认值。这证实了存在一个强大的正向优先项，在模型处于分布外时会覆盖证据。

意义与主张

本文声称提供了一个启发性的负面结果，重新定义了如何理解 LLM 中的因果能力。作者认为：

能力 vs. 激活： 执行因果插值的能力存在于模型权重中（由纯探测上下文的成功证明），但它会被上下文中存在的冲突观测证据所关闭。
证据生态学： 因果推理的瓶颈不在于预训练中干预数据的匮乏，而在于推理时上下文的证据生态学。观测先验可能会主导并抑制干预信号。
方法论严谨性： 本研究强调了控制因果评估中采样噪声底限的必要性，并证明了如果不对符号进行平均，符号准确率中的“吸引子营地（attractor camps）”可能是噪声造成的伪影。
实际启示： 仅优化预训练数据混合比例是不够的。有效的因果推理需要上下文工程或在部署时进行证据类型门控，以防止观测先验覆盖已学习到的因果机制。

作者保持了谦逊的态度，指出目前尚未确定分布外正向默认值的具体微观机制，且研究结果目前局限于合成领域和教科书图领域，尚未扩展到自然语言。