🤖 machine learning

Causal methods for LLM development and evaluation

本文认为，因果推断方法目前在大型语言模型的开发与评估中尚未得到充分利用，但对于解决混淆、偏差和非平稳性问题至关重要，它提供了一个原则性框架，以指导从预训练到部署的整个大型语言模型流程中的干预措施。

原作者： Dennis Frauen, Marie Brockschmidt, Konstantin Hess, Haorui Ma, Yuchen Ma, Abdurahman Maarouf, Maresa Schröder, Jonas Schweisthal, Yuxin Wang, Athiya Deviyani, Sonali Parbhoo, Rahul G. Krishnan, Stefan

发布于 2026-05-26

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Dennis Frauen, Marie Brockschmidt, Konstantin Hess, Haorui Ma, Yuchen Ma, Abdurahman Maarouf, Maresa Schröder, Jonas Schweisthal, Yuxin Wang, Athiya Deviyani, Sonali Parbhoo, Rahul G. Krishnan, Stefan Feuerriegel

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一位厨师，正试图为一家大型连锁餐厅创造完美的新食谱。你拥有成千上万种食材（数据）、不同的烹饪方法（模型）以及一个由评论家组成的团队（评估者）。目前，大多数厨师只是靠猜测：“多加点盐”、“换个烤箱试试”或者“问问评论家他们喜欢什么”。他们品尝菜肴，记下笔记，然后再次尝试。这就是大型语言模型（LLM）目前的构建方式——通过试错。

本文认为，这种“猜测与检查”的方法风险很大。相反，作者建议我们应该使用因果方法，这就像一套科学侦探工具包。这些工具不仅能让我们看到发生了什么，还能帮助我们回答这个问题：“是什么导致了这一结果，如果我们做了不同的事情，会发生什么？”

以下是该论文愿景的分解，通过简单的类比呈现：

1. 核心问题：“虚假”的关联

想象你注意到，点最昂贵葡萄酒的顾客给的小费也最多。

天真的观点：“如果我给每个人都免费提供昂贵的葡萄酒，他们就会给更多小费！”
因果的观点：“等等。也许那些买得起葡萄酒的富人本身就是给小费大方的人，而不是葡萄酒本身。如果给富人提供廉价葡萄酒，他们可能仍然会给不错的小费；如果给穷困的人提供昂贵葡萄酒，他们可能根本不会给小费。”

在大型语言模型中，这种情况时有发生。

场景：一个系统将难题发送给“聪明”（大型）模型，将简单问题发送给“快速”（小型）模型。
错误：大型模型得分较低，是因为问题更难，而不是因为模型更差。
因果修正：我们需要将问题的难度与模型的质量区分开来，才能看清谁实际上做得最好。

2. 三大主要工具（“如何做”）

论文指出，要解决这些谜题，我们需要三种特定的技能：

可识别性（“我们能知道吗？”检查）：在开始之前，我们要问：“我们是否真的拥有足够的信息来解决这个问题？”如果我们的数据存在偏差（例如只向满意的顾客征求评论），那么无论收集多少数据，我们可能永远无法知道真正的答案。因果方法能告诉我们何时陷入困境，以及我们做出了哪些假设。
估计（“如何计算”检查）：即使我们能够知道答案，数据也是混乱且庞大的。我们需要特殊的数学方法（称为“双重机器学习”）来清除噪声并获得精确的答案，这类似于降噪耳机过滤背景杂音以清晰地听到音乐。
反事实（“如果……会怎样？”机器）：这是超能力。它允许我们模拟不同的现实。“如果我们把这个问题路由到小型模型会怎样？”我们可以在不实际破坏系统以进行测试的情况下回答这个问题。

3. 应用场景（厨房之旅）

作者描绘了这些侦探工具如何融入人工智能的构建过程：

预训练（混合食材）：
- 问题：我们混合书籍、代码和论坛来训练人工智能。但是，如果我们过滤掉“有毒”文本，可能会意外地移除重要的方言或事实。
- 修正：使用因果工具来预测改变“食谱”（数据混合）将如何改变最终的“味道”（模型性能），而无需重新烹饪整道菜。
对齐（教导人工智能变得礼貌）：
- 问题：我们让人类在两个选项中选择更好的答案。但人类存在偏见（例如，他们更喜欢更长的答案）。
- 修正：使用因果工具剔除人类偏见，以便我们可以看到哪个答案实际上更好，而不仅仅是哪个看起来更漂亮。
路由（服务员的决策）：
- 问题：服务员（路由器）决定哪个厨师（模型）接收哪个订单。如果他们把困难订单交给主厨，主厨看起来就会很慢。
- 修正：因果方法帮助服务员了解每位厨师的真实速度和质量，无论订单难度如何，从而高效地分配任务。
智能体（人工智能团队）：
- 问题：现代人工智能不仅仅是回答问题；它会采取行动（搜索网络、使用工具、调用其他人工智能）。如果最终结果不好，是搜索工具的问题？工具使用者？还是第一步的问题？
- 修正：因果方法充当“黑匣子”记录器，精确追踪哪一步导致了成功或失败，帮助我们修复链条中具体的断裂环节。
评估（评论家）：
- 问题：有时我们使用一个人工智能来评估另一个人工智能。但作为法官的人工智能可能存在偏见（例如，它喜欢自己的写作风格）。
- 修正：结合人类和人工智能法官，利用因果数学消除偏见，获得公平的评分。

4. 安全检查

最后，论文讨论了安全性。如果人工智能说了有害的话，我们需要知道为什么。是训练数据的问题？还是奖励机制的问题？

类比：如果一辆车撞了，我们不会只说“它撞了”。我们会查看黑匣子，看看是刹车、司机还是道路的问题。
修正：因果方法帮助我们追踪有害行为在训练流程中的源头，而不是仅仅靠猜测。

结论

作者并不是在说“因果方法会让人工智能变得更聪明”。他们在说：“因果方法将使构建和测试人工智能的过程更加可靠。”

目前，我们是在黑暗中构建这些复杂系统，猜测什么有效。本文认为，我们应该打开灯光，使用科学工具来理解因果关系，并构建更安全、更便宜、更值得信赖的人工智能系统，因为我们实际上知道它们为何有效。

技术摘要：大语言模型开发与评估中的因果方法

问题陈述

大语言模型（LLM）的开发与评估目前严重依赖于对数据混合、奖励模型、路由策略和评估流程的大规模实证迭代。然而，这一过程面临一个根本性挑战：许多关键决策是基于日志化的观测数据而非随机实验做出的。这些数据易受选择偏差、分布偏移以及噪声或偏差标签（例如来自人工评分者或学习型裁判）的影响。

因此，纯粹的预测性方法往往脆弱不堪。观察到的性能差异可能反映的是混淆因素（例如，更大的模型表现更差，是因为它被分配了更难的查询），而非设计决策的真实因果效应。该论文认为，LLM 开发流程本质上是一个因果问题，但因果方法仍未得到充分利用。核心问题在于：当仅有历史非随机日志可用时，如何可靠地推断干预措施（如更改数据混合、路由策略或提示模板）的反事实效应。

方法论

该论文提出了一个统一框架，将因果推断原则——特别是可识别性和估计——应用于整个 LLM 生命周期。

1. 形式化为因果干预

作者利用潜在结果框架将 LLM 开发决策形式化：

背景（ $X$ ）： 观测变量（例如用户提示、预训练语料库、检索到的文档）。
处理（ $A$ ）： 系统选择或干预（例如数据混合权重、模型路由分配、提示模板）。
结果（ $Y$ ）： 感兴趣的指标（例如任务成功率、偏好分数、延迟、安全性）。
目标： 估计因果量，如 $E[Y(a)]$ （如果处理 $A$ 被设定为 $a$ 时的期望结果）或 $E[Y(a) - Y(a')]$ （切换处理的影响）。

2. 核心原则

可识别性： 确定在明确的结构假设下，因果效应是否能从观测数据中唯一恢复。论文强调，在 LLM 中，数据很少是随机化的；它是由策略诱导的。挑战包括选择性观测（仅部分提示被标注）和有偏裁判。该框架阐明了何时假设（例如无未观测混淆）是合理的，何时不合理，并建议在假设失效时使用敏感性分析和部分识别。
估计： 即使可识别，效应也必须从高维复杂数据中进行估计。论文提倡使用去偏/双重机器学习（DML）。DML 利用灵活的机器学习模型预测干扰成分（例如历史策略或奖励模型），并在残差上估计因果效应。这种方法消除了来自混淆的偏差，并在干扰模型设定错误时仍能提供有效的统计推断（例如置信区间）。

3. 在流程中的应用

该方法论被映射到 LLM 开发的具体阶段：

预训练： 将领域混合比例视为连续处理，以预测下游性能，而无需完全重新训练。
对齐与偏好学习： 解决 Bradley-Terry (BT) 模型的局限性，该模型假设存在单一潜在分数。论文建议使用 DML 和半参数扩展来处理标注数据中的循环偏好和未观测混淆。
部署（路由与智能体）： 将离线策略评估应用于路由系统，其中查询被非随机地分配给模型。对于智能体工作流（顺序决策），该框架解决了动态混淆和中间步骤（例如检索、工具使用）间的信用分配问题。
评估： 使用因果方法纠正“以 LLM 为裁判”系统中的偏差，并设计最优数据收集策略（主动学习），以最小化标注成本的方差。
安全审计： 将潜在奖励函数的发现框架化为部分识别问题，承认多个奖励函数可能产生相同的行为，并寻求对合理目标的界限而非点估计。

主要贡献

该论文做出了三项主要贡献：

概念框架： 解释了因果方法为何以及在何时对 LLM 开发是必要的，将常见的工程决策识别为因果干预，并强调了由于混淆和分布偏移导致非因果方法的脆弱性。
流程映射： 提供了涵盖整个 LLM 生命周期（包括预训练、对齐、路由、智能体工作流和评估）的因果方法机会综合地图。它确定了每个领域的具体研究机会（ROs），例如在偏好学习中使用 DML，以及在路由中使用离线策略评估。
研究议程： 勾勒了未来研究的“蓝天”愿景，特别关注智能体系统和世界模型，其中行动通过顺序决策展开。它强调了需要能够处理结构化中介、动态混淆以及潜在奖励函数识别的方法。

结果与主张

作为一篇立场和愿景论文，它并未呈现新的实验结果或特定的算法基准。相反，其“结果”是差距的识别和方法论转变的提议：

当前状态： LLM 开发依赖于启发式方法和观测数据，导致潜在的虚假相关和偏差评估（例如，由于路由偏差，更大的模型表现更差）。
提议状态： 通过采用因果推断，开发者可以从基于相关性的启发式方法转向原则性的识别和估计。
具体主张：
- 因果方法可以通过将决策效应与数据收集的伪影隔离开来，确保可靠且基于科学依据的设计。
- 像 DML 这样的技术可以提高高维设置中的数据效率、对设定错误的鲁棒性以及统计推断（例如置信区间）的有效性。
- 仅仅在训练目标中添加“因果方法”并不会自动赋予 LLM 因果推理能力；相反，因果方法应作为输入，用于改进开发和评估过程本身。

意义

该论文认为，因果方法在 LLM 开发流程中可能未被充分利用。其意义在于：

可靠性： 提供一个框架以区分真正的因果效应与混淆，从而降低基于虚假相关部署模型的风险。
科学严谨性： 为通常由实证迭代驱动的领域引入形式化假设（可识别性）和统计保证（有效置信区间）。
面向未来： 提供工具以应对 LLM 环境的非平稳性，其中模型、用户和任务会随时间共同适应。
安全性： 通过刻画合理奖励函数的集合而非假设单一识别目标，实现更稳健的安全审计。