Interventional Score Geometry for Causal Inference

地图与电影

想象你是一名侦探，正试图弄清楚在拥挤的房间里是谁推了谁。你手里有一张高分辨率的现场照片。在照片中，人物 A 正站在人物 B 旁边，两人看起来都向前倾斜。基于这张单一的快照，你可以说：“A 和 B 靠得很近”，但你无法判断是谁推了谁。也许是 A 推了 B，也许是 B 推了 A，又或者第三个人同时推了他们两个。在数据科学的世界里，这种快照被称为观测分布（observational distribution）。它仅仅是一张关于事物倾向于如何共同发生的图像。

几十年来，科学家们一直试图利用高深的数学，将那张静态的照片转化为一部电影，希望能看到动作的展开并找出因果关系。他们构建了美丽的数学地图——信息几何（information geometry），将数据视为具有丘陵和山谷的景观。其理念是，如果研究得足够仔细，通过观察景观的形状，那个“推力”（原因）就会显现出来。但问题在于：一张河流的照片并不能告诉你水流的方向；它只能展示水在哪里。要了解方向，你需要通过投下一块石头来观察。这篇论文的主旨在于意识到，你不能仅仅通过盯着水看就弄清流向；你必须真正地投下那块石头。

论文的核心思想：为什么照片是不够的

这篇题为《用于因果推断的干预得分几何》（Interventional Score Geometry for Causal Inference）的论文指出，仅仅观察数据就像试图通过只听乐器在无人触摸时发出的声音来理解它一样。作者们（由 Mojtaba Eslami 领导）表明，“数据的形状”（观测几何）无论是由小提琴还是大提琴引起，都是完全相同的。如果两个不同的故事（因果模型）产生了完全相同的数据模式，它们在任何仅基于该数据的地图上看起来都会一模一样。

论文证明，你无法仅仅通过对旧有的数字进行更复杂的数学运算，就神奇地从“结果”中提取出“原因”。这就像试图仅通过观察静止的水面来判断河流是向北还是向南流一样；无论如何，照片本身都是一样的。要了解方向，你必须进行干预。你必须伸手进去并改变某些东西。

“硬”干预：夹住一根弦

作者引入了一种思考如何改变世界的新方式，称之为硬干预（hard intervention）。想象一把拥有六根弦的吉他。如果你拨动琴弦，它们会振动并发出和弦。这就是观测数据。现在，想象你用一个夹子将“A”弦完全固定在一个特定的音高上。你不仅仅是改变了这根弦的音量；你实际上是将它从游戏中剔除了。这根弦不再能振动，而其他弦可能会因为不再与其相互作用而改变声音。

在论文的数学表达中，这种“夹住”被称为 do($X_k = \xi$)。这意味着你强迫一个变量（比如药物剂量或温度）处于一个特定的数值 $\xi$，而不论它原本想是什么。论文显示，当你这样做时，数学逻辑发生了彻底的变化。你无法再使用旧的地图，因为景观已经被“压平”了。“得分”（一个指向数据最可能出现位置的数学箭头）现在存在于一个低维空间中，就像一个三维物体的二维绘图。

新工具：“变化”的得分

论文构建了一套新的词汇表来理解这些变化。他们不再仅仅观察静态的照片，而是观察当你在干预旋钮上旋转时，“得分”（数据的方向）是如何变化的。

他们简单地定义了因果影响（causal influence）：如果你改变了 $X$ 的设置，而 $Y$ 的行为发生了变化，那么 $X$ 就是 $Y$ 的原因。但他们研究得更深。他们表明，通过观察新生成的、被“夹住”的数据的一个特定导数（变化率），你可以检测到这种因果关系。如果这个“干预得分”（interventional score）为零，则不存在因果联系；如果不为零，则存在联系。

为了证明其有效性，他们使用了一个包含两个变量 $X$ 和 $Y$ 的简单示例，这两个变量呈现标准的钟形曲线（高斯分布）。他们创建了两个不同的故事：

1. 故事 A： $X$ 导致 $Y$。
2. 故事 B： $Y$ 导致 $X$。

这两个故事产生的照片（数据分布）是完全相同的。如果你只看照片，你无法区分它们。但当作者应用他们新的“夹住”数学时，结果截然不同。在故事 A 中，夹住 $X$ 会改变 $Y$ 的得分。在故事 B 中，夹住 $X$ 对 $Y$ 的得分没有任何影响。数学成功地分离了这两个故事，但这仅仅是因为他们强行制造了变化。单凭照片永远无法将它们区分开来。

这排除了什么

论文非常明确地说明了它没有做的事情。它明确排除了这样一种观点：即你可以仅仅通过拿出一份“允许的”变化列表（例如“我们可以改变产品价格”）并将旧数据投影到该列表上，从而找到答案。他们证明了，即使你确切知道可以拨动的杠杆有哪些，旧数据也不包含关于“当你拨动它们时会发生什么”的答案。你需要额外的信息——结构性知识或实验数据——来填补这一空白。

他们还警告人们不要混淆机器学习领域的一个常见概念。还有其他被称为“基于得分”（score-based）的模型（例如用于生成虚假图像的模型），它们试图学习数据的形状。论文指出，这些模型擅长学习“照片”，但它们无法仅仅通过变得更擅长画“照片”来学习“电影”（因果结构）。无论图像生成器多么完美，除非你真的给了它按下按钮时的数据，否则它仍然无法告诉你按下按钮后会发生什么。

“因果度量”：测量推力

最后，作者创建了一种衡量系统对推力敏感程度的新方法。他们称之为因果度量（causal metric）。这就像测量弹簧在被拉伸时伸长了多少。如果你轻轻拉一下，它就伸长很多，说明这根弹簧很敏感；如果你拉了它却几乎没动，说明它很僵硬。

论文显示，你可以使用一种名为**费舍尔信息量（Fisher information）**的标准统计工具来测量这种敏感性，但你必须小心，要在正确的“切片”上（即未被夹住的部分）进行测量。他们表明，对于简单情况（例如沿着一条线移动分布），这个度量只是一个常数，它告诉我们数据的“锐利”程度。这有助于研究人员了解他们需要收集多少数据才能看到真实的效果。如果度量值很小，你需要海量的数据才能看到变化；如果度量值很大，一个小规模的实验就能清晰地展示结果。

总结

这篇论文并没有给我们一个寻找数据中因果关系的魔杖。相反，它为我们提供了一套精确的词汇和一套规则，让我们明白我们可以知道什么，以及我们无法知道什么。它确认了因果关系存在于“如果……会怎样”的情景中（干预），而非“是什么”的情景中（观测）。

作者谨慎地表示，他们并没有解决所有问题。他们还没有解决如何预测特定的人在走过另一条路时会发生什么的（即“反事实”这一层级）。他们只是在“是什么”与“如果我们改变它会发生什么”之间搭建了一座坚实的桥梁。他们表明，要了解河流的流向，你必须停止盯着水面，开始投下石头。