When Does Causal Pretraining Beat Direct Small-Data Causal Learning? Towards a causal foundation model

想象一下，你是一名正在试图弄清楚改变一个复杂系统中的某个变量会发生什么的侦探。也许你想知道一种新药是否真的能治愈某种疾病，或者某种特定的肥料是否能让植物长得更高。在科学界，这被称为因果推断（causal inference）。它不同于仅仅注意到两件事同时发生（相关性）。例如，你可能会注意到带伞的人更容易淋湿，但这并不意味着雨伞导致了降雨；而是降雨导致了这两者。为了找到真正的因果关系，科学家通常需要进行控制变量的实验，比如给一组人药物，而给另一组人安慰剂。

然而，这里有一个大问题：实验既昂贵又难以开展。有时，你面对的可能只有极少量的关于新情况的数据点——比如针对某种罕见疾病研究中的仅有的几名患者，或者仅有的几个新气候区的农田。这就是“小数据”问题。另一方面，科学家们通常拥有来自其他类似情况的海量数据。这个研究探讨的核心问题是：我们能否教会计算机先从所有这些其他情况中学习，从而使其成为一名“因果专家”，以便比从零开始更好地解决我们这个微小且困难的问题？

这就是一个名为 SciCFM（科学因果基础模型）的新想法的故事。把它想象成训练一位名厨。与其只用三种食材从头开始教厨师做一道特定的菜（我们的微小新数据集），不如先让他们在巨大的厨房里练习烹饪成千上万种不同的餐食（预训练阶段）。希望是，这位厨师能学会烹饪的原理——热量如何影响食物、味道如何混合、如何处理不同的质地——这样当他们最终面对那道微小且困难的菜肴时，即使只有寥寥几种食材，也能烹饪得完美无瑕。这篇论文在问：这种“名厨”方法是否真的比仅仅雇佣一位只知道如何使用那三种食材的“当地厨师”效果更好？

实验：数字实验室

研究人员并没有在真人或植物身上进行测试，因为在现实世界中，我们永远无法以100%的确定性知道“标准答案”。相反，他们构建了一个超级复杂的视频游戏模拟器。在这个游戏中，他们创建了数百个不同的“世界”，并且完全掌握其中一切运作的规律。他们可以观察到隐藏的因果关系、秘密的联系以及每项行动的真实结果。这使得他们能够测试他们的“名厨”（SciCFM 模型）与“当地厨师”（标准数学模型）之间的对决，看看谁能在仅有极少量线索的情况下找出正确答案。

他们设置了三种不同类型的挑战，以观察模型的表现：

1. “假新闻”挑战（因果 vs. 观测）
首先，他们测试了模型最初的学习方式是否重要。他们给一个模型提供了一堆其中“干预措施”（如药物）是随机分配的数据（这是好的方式）；给另一个模型提供了一堆其中干预措施是基于隐藏因素分配的数据（这是混乱的、现实世界中的方式，即生病的人更容易获得药物）。

• 结果： 在“随机”数据上训练的模型（因果预训练）表现得像个超级英雄。与在混乱数据上训练的模型相比，它将错误率降低了 42.8% 到 53.8%。事实证明，如果你想学习如何通过改变事物来获取结果，你需要通过实验进行练习，而不仅仅是观察自然发生的过程。

2. “简单拼图”挑战（预训练失效之时）
接下来，他们尝试了一个非常简单的场景。想象一个只有四个碎片且由一条直线连接的拼图。他们问道：“是使用我们通过学习了数千个复杂世界而变得超级聪明的‘名厨’更好，还是使用一个只看我们手头这四个碎片的简单、可靠的计算器更好？”

• 结果： 简单的计算器赢了。那个“名厨”的表现反而更差。研究人员发现，当问题很简单且数据很干净时，这个华丽的预训练模型会被它自己复杂的记忆所干扰。这就像是用一台核动力烤面包机来烤一片吐司；这不仅是大材小用，甚至可能把面包烤焦。论文明确排除了“预训练总是更好”的观点。

3. “迷宫怪兽”挑战（预训练闪耀之时）
最后，他们大幅提升了难度。他们创建了一个拥有 30 个不同变量的迷宫，但实际上只有 6 个变量起作用。规则非常复杂：有些效应只在达到特定点后才会发生（阈值），有些随着添加量增加而减弱（饱和），还有些只对特定人群有效。他们给了模型极少的线索：16、32 或 64 个数据点。

• 结果： 这正是“名厨”拯救局面的时候。
  • 在只有 16 个线索时，SciCFM 模型比最好的简单模型准确度高出 29.4%。
  • 在有 32 个线索时，它比前者好 14.6%。
  • 在有 64 个线索时，它仍然比前者好 3.2%，尽管差距正在缩小。
  • 简单的模型在 30 个变量的复杂性面前迷失了方向，而预训练模型则识别出了它以前见过的模式并迅速进行了适应。

核心结论

那么，预训练是否击败了直接学习？答案是一个俏皮的“视情况而定！”

论文指出，因果预训练是一个强大的工具，但它并不是能解决一切问题的魔杖。

• 使用“名厨”（预训练），当你面临一个复杂、高维度的难题（如 30 个变量），且数据量极少，且底层规则虽然棘手但与你之前见过的东西相似时。
• 坚持使用“当地厨师”（简单模型），当问题很简单、维度较低且你有足够的数据时。在这种情况下，华丽的模型只会增加不必要的噪声。

研究人员谨慎地表示，这些结果源自他们的模拟实验，而非现实中的医院或农场。但他们讲述的故事很清晰：如果我们想要构建能够帮助科学家在极少数据下做出决策的 AI，我们需要通过多样化的实验来教授它因果关系的原理。然而，我们也必须足够聪明，知道何时收起那些花哨的 AI，转而使用简单、可靠的工具。因此，“因果基础模型”的未来不在于取代所有旧方法，而在于明确知道何时该动用“重型武器”。