🤖 machine learning

A Causal Foundation Model for Structure and Outcome Prediction

本文介绍了 TabPFN-CFM，这是一种在合成数据上训练的因果基础模型，它能够泛化至真实世界数据集，在同时预测因果结构与结果的同时，支持跨越珀尔因果层级（Pearl's Causal Hierarchy）所有层级的查询。

原作者： Max Zhu, Martino Mansoldo, Ching-Hao Wang, Stefan Groha

发布于 2026-06-26

📖 1 分钟阅读☕ 轻松阅读

原作者： Max Zhu, Martino Mansoldo, Ching-Hao Wang, Stefan Groha

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名试图破解谜团的侦探，但你手里只有一堆杂乱无章、未经分类的照片（观测数据），而且没有任何证人证言。你需要弄清楚两件事：

故事的真相： 谁导致了什么？（是下雨导致了草地变湿，还是有人洒了一桶水？）
“如果……会怎样”： 如果你当时采取了不同的行动，结果会怎样？（如果你没有洒出那桶水，草地还会是湿的吗？）

通常，解决这类问题需要人类专家来推测世界的运行规则，或者让计算机尝试数以百万计的猜测。这篇论文介绍了一种新型的“超级侦探”AI——TabPFN-CFM。它已经阅读过一座由数百万个虚构谜团故事组成的图书馆。因为见过如此多的不同场景，它只需看一眼你那些凌乱的照片，就能瞬间猜出故事的真相，并回答你的“如果……会怎样”的问题。

以下是它的工作原理，通过简单的概念进行拆解：

1. “因果基础模型”（超级侦探）

可以将这个模型想象成一名学生，他一生都在研读一个巨大的合成（虚构）世界图书馆。在这些虚构世界里，作者创造了成千上万种不同的规则：有时重力运作方式不同，有时人们的行为是随机的，有时隐藏因素（比如特工）会干扰一切。

因为这个学生见过如此多的变化，当你向他展示一个真实的数据集（比如销售额或学校成绩）时，他不需要从头学习规则。他会直接说：“啊，这看起来像是我的图书馆里的场景 #4,592，”然后他就能瞬间掌握可能的因果关系。

2. 解决三个层级的谜团

该论文声称，这个模型可以处理三种不同类型的提问，作者称之为“因果层级”：

第一层：观察者（正在发生什么？）
- 问题： “观察数据，如果有人买了红衬衫，他们也会买帽子吗？”
- 模型的任务： 根据它所看到的内容来预测结果。
第二层：干预者（如果我改变某些东西会怎样？）
- 问题： “如果我强迫每个人都买红衬衫（即使他们原本不会买），他们会买帽子吗？”
- 模型的任务： 这很棘手，因为现实世界并没有发生这种情况。模型通过模拟这种改变来预测结果。
第三层：时空旅行者（如果过去的情况有所不同会怎样？）
- 问题： “约翰买了帽子和红衬衫。但如果他当时没有买红衬衫，他还会买帽子吗？”
- 模型的任务： 这是最难的一层。它需要在保持其他事实不变的同时，在模拟中“倒流时间”。论文指出，它是极少数能出色完成此项任务的模型之一。

3. “隐藏的反派”（未观测到的混杂因素）

在许多现实世界的谜团中，存在着一个你看不到的“隐藏反派”。例如，也许一个隐藏因素（如“财富”）同时导致了购买红衬衫和购买帽子。如果你不知道“财富”的存在，你可能会错误地认为衬衫导致了帽子的购买。

论文引入了一个特殊的工具，叫做 ADMG（无环定向混合图）。想象这是一张绘有两种线条的地图：

箭头： 显示直接的因果关系（A 导致 B）。
双向头的波浪线： 显示“隐藏的反派”（A 和 B 都在受到某种你看不见的因素影响）。

TabPFN-CFM 的独特之处在于它可以自动绘制这些波浪线，即便你没有告诉它这些隐藏反派的存在，它也能猜出它们可能在哪里。

4. 使用“小抄”（已知图结构）

有时，你确实知道部分故事。比如专家告诉你：“我们确定 A 会导致 B。”

论文显示，如果你将这些信息提供给模型（就像递给侦探一张小抄），模型会变得更加出色。它利用已知的结构来精炼它对剩余谜团的猜测。

5. 它是如何学习的（训练过程）

该模型最初并不是在真实的人类数据上进行训练的。相反，研究人员编写了一个计算机程序，生成了数十万个具有随机规则、随机噪声和隐藏变量的虚构数据集。

他们教模型观察一个虚构数据集，并猜出其结构（地图）和结果（输出）。
他们训练模型同时处理所有三个层级的提问（观察者、干预者、时空旅行者）。
结果： 当他们在真实数据（如亚马逊销售额或法学院录取情况）上进行测试时，它的表现优于旧的方法，尤其是在处理“如果……会怎样”这类问题时。

6. “速度升级”

作者还提到他们优化了模型的“引擎”（架构）。他们移除了一些不必要的部件，并添加了新的训练技巧（比如一种更好的优化器“Muon”和一个新的激活函数“ReLU2”）。

类比： 想象你在升级汽车引擎。他们不仅让车跑得更快，还让它以 4 倍的速度达到最高速，同时消耗更少的燃料（计算能力）。这意味着模型的学习效率大大提高。

总结性主张

它能预测结构： 它能绘制出因果关系的地图，包括隐藏因素。
它能预测结果： 它能回答“如果我改变 X 会发生什么？”
它能处理反事实： 它能回答“如果 X 当时不同，结果会怎样？”
它能利用已知地图： 如果你给它一个部分地图，它会利用它来提高准确性。
它具有泛化能力： 尽管是在虚构数据上训练的，但它在现实世界数据上也表现良好。
它很快： 新的训练技巧使它的训练效率提升了 3-4 倍。

该论文并未声称这已准备好用于医疗诊断或法律法庭。它严格声称，在测试的数据集（合成数学问题、亚马逊销售额和法学院录取情况）上，这个新型“超级侦探”在破解因果关系方面优于现有的最佳工具。

技术摘要：TabPFN-CFM

问题陈述

确定因果结构并从观测数据中预测因果结果，仍然是机器学习和统计学领域的一项重大挑战。现有方法通常孤立地处理这些任务：有些侧重于结构预测（学习因果图），而另一些则侧重于结果预测（估计干预效应）。此外，许多方法难以处理未观测到的混杂变量（unobserved confounding variables），这可能导致不可识别的图结构和有偏的结果估计。此外，当前的模型往往缺乏支持 Pearl 因果层级（Causal Hierarchy）中所定义的完整谱系的能力，即观测（observational）、干预（interventional）和反事实（counterfactual）查询。

方法论

作者引入了 TabPFN-CFM，这是一个旨在从观测数据中联合预测因果结构和结果的因果基础模型。该方法基于贝叶斯先验函数（Prior-Over-Functions, PFN）框架。

核心框架

该模型假设底层系统遵循结构因果模型（SCM） $\psi = \{U, V, F\}$ ，其中 $U$ 代表未观测变量， $V$ 代表观测变量， $F$ 代表结构方程。模型旨在逼近后验分布 $P(\psi | D_{obs}, G_{est})$ ，其中 $D_{obs}$ 是观测数据集， $G_{est}$ 是可选的先验知识图。

数据生成与训练

合成先验： 模型在从 SCM 先验分布生成的合成数据集上进行训练。该先验包括随机图结构（DAGs）、缺失节点、多样化的噪声分布，以及由具有随机权重和非线性特征的神经网络定义的结构方程。
任务形式化： 每个训练样本由一个拟合集（ $D_{fit}$ $D_{f i t}$ ）、一个预测查询（ $D_{pred}$ $D_{p r e d}$ ）和一个反事实样本（ $D_{causal}$ $D_{c a u s a l}$ ）组成。模型经过训练，可同时处理三种查询类型：
1. 观测查询： 预测 $P(y^* | x^*, T=t^*)$ 。
2. 干预查询： 预测 $P(y^* | x^*, do(T=1-t^*))$ 。
3. 反事实查询： 预测 $P(y^* | x^*, do(T=1-t^*), y=y^*)$ 。
图处理： 模型利用 无环有向混合图（ADMGs） 通过双向边来表示未观测到的混杂情况。这使得模型能够预测混杂结构，而不是假设所有变量都是可观测的。

架构

TabPFN-CFM 扩展了 Do-PFN 架构，加入了显式的图条件化：

编码器（Encoder）： 嵌入拟合集、预测查询以及先验 ADMG 结构（邻接矩阵 $A$ 、双向矩阵 $C$ 和祖先矩阵 $R$ ）。图编码提供了对父节点、子节点、祖先和后代关系的直接访问。
Transformer 主干： 利用行向和列向注意力机制。至关重要的是，预测模块会关注图嵌入，从而允许预测过程整合图先验。
输出：
- 结果预测： 一个输出头产生离散化结果桶（buckets）上的逻辑值（logits）。
- 结构预测： 一个解码器生成有向邻接矩阵（ $\hat{A}$ ）、双向相关矩阵（ $\hat{C}$ ）和祖先矩阵（ $\hat{R}$ ）的逐元素预测。
训练效率： 作者实现了几种架构和训练优化（例如 Muon 优化器、ReLU2 激活函数、前层归一化），这些优化使训练速度比基准配置提高了约 3-4 倍。

损失函数

模型使用联合损失函数进行优化：
$L = L_{pred} + \lambda \cdot L_{graph}$
其中 $L_{pred}$ 是结果预测的交叉熵损失， $L_{graph}$ 是结构预测（邻接、祖先和混杂矩阵）的二元交叉熵损失。附录中的理论证明表明，将图输入作为条件加入只能提高后验准确性（或保持不变），并且最小化对数概率等同于最小化与真实后验的 KL 散度。

核心贡献

统一的因果基础模型： TabPFN-CFM 是第一个在单一基础模型框架内，能够跨越 Pearl 因果层级的三个层面共同预测因果结构和结果的模型。
处理未观测到的混杂： 通过采用 ADMGs，该模型显式地预测未观测到的混杂变量，解决了现有深度学习因果结构学习方法中的局限性。
图条件化推理： 模型在可用时利用已知的图结构来提高预测准确性，同时在图未知时仍保持鲁棒性。
效率提升： 精炼的训练程序和架构变化使得训练收敛速度比之前的基准快了近 4 倍。

实验结果

模型在合成数据集（包括分布内和分布外）以及真实世界数据集（Amazon Sales 和 Law School Admissions）上进行了评估。

结果预测：
- 在合成分布外（OOD）SEM 上，TabPFN-CFM 在干预和反事实设置下的均方误差（MSE）低于成熟的元学习器（S-, T-, X-, DR-learners）和 Do-PFN。
- 在 Law School Admissions 数据集中，该模型通过利用反事实信息，显著提高了在反事实设置下的准确性，表现优于无法进行此类预测的基准模型。
结构预测：
- TabPFN-CFM 在预测邻接、祖先和混杂矩阵方面优于强力的基准模型（FCI, GES, LiNGAM, PC, AVICI）。
- 特别是在 OOD 合成数据上，该模型在邻接矩阵上的 AUROC 达到 0.889，在混杂矩阵上的 AUROC 达到 0.828，显著高于表现次优的 AVICI（分别为 0.623 和 0.563）。
图条件化： 提供真实的图结构作为输入提高了干预和反事实设置下的性能，但对观测预测的影响微乎其微，这与因果理论一致。

意义

论文指出，TabPFN-CFM 代表了统一因果推理任务的一大进步。通过在多样化的因果系统先验上进行训练，该方法证明了基础模型可以在不针对特定先验分布过拟合的情况下，泛化到现实世界的因果问题。处理未观测到的混杂并支持反事实查询的能力，为实现更鲁棒的机器学习因果推理提供了路径。作者指出，虽然目前的工作侧重于无环结构，但未来的扩展可以处理时间序列和循环因果设置。