📊 statistics

CDFM: Towards a General-Purpose Causal Discovery Foundation Model

本文介绍了因果发现基础模型（CDFM），这是一个统一的、通用的框架，它利用基于原理的变分方法并在大规模合成因果模型上进行预训练，以实现零样本结构推理，从而克服了传统针对特定数据集的因果发现算法的扩展性限制。

原作者： Jie Qiao, Ruichu Cai, Zijian Li, Weilin Chen, Pengfei Hua, Boyan Xu, Zhengming Chen, Zhifeng Hao, Peng Cui

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Jie Qiao, Ruichu Cai, Zijian Li, Weilin Chen, Pengfei Hua, Boyan Xu, Zhengming Chen, Zhifeng Hao, Peng Cui

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在试图破解谜题的侦探：谁导致了什么？ 你面前有一堆线索（数据），展示了不同的事物是如何共同发生的，但你并没有一个讲述故事的目击者。几十年来，侦探们不得不为每一个案件挑选一个特定的“规则手册”。有的规则手册说：“假设一切都是直线！”另一个说：“假设噪声是怪异且凹凸不平的！”如果你为错误的案件选错了规则手册，你的解决方案就会变成垃圾。

这篇论文介绍了一种新型侦探：CDFM（因果发现基础模型）。CDFM 不再是挑选规则手册，它更像是一个超级聪明的学徒，在接触任何真实的案件之前，就已经读遍了宇宙中所有可能的规则手册。

旧方法 vs. 新方法

旧方法（“测试驱动”的挣扎）：
想象你有一个乱七八糟的房间（你的数据）。旧方法会说：“这个混乱是由龙卷风引起的吗？让我们检查一下风是否是非高斯的！它是由于猫引起的吗？让我们检查一下噪声是否是加性的！”你必须运行十几项不同的测试，猜测哪一个才符合，如果你猜错了，就得从头开始。这既缓慢又支离破碎，而且当房间变得过于混乱或诡异时，它就会失效。

新方法 (CDFM)：
CDFM 跳过了猜测游戏。它观察这个乱七八糟的房间并说：“我在训练中见过数百万个像这样的房间。”它不需要你告诉它数据是线性的还是非线性的。它只需观察模式并绘制出谁导致了什么的地图。它是一个“零样本（zero-shot）”侦探，这意味着它可以解决一种全新的类型的谜题，而无需事先进行重新训练。

它是如何学习这么多知识的？（“合成游乐场”）

你可能会问：“计算机怎么能知道关于因果关系的一切呢？”作者并没有喂给它现实世界的数据（现实数据往往很混乱且经常有缺失答案）。相反，他们构建了一个巨大的、无限的电子游戏。

在这个游戏中，他们生成了 15 个不同家族的虚构世界。有些世界遵循直线规则，有些遵循狂野的曲线规则，有些存在隐藏的“幽灵”变量在幕后操纵，还有些存在数据缺失的情况。他们还创建了 10 种不同规模的世界，从只有 10 个变量的小型谜题到拥有 100 个变量的庞大系统。他们也改变了线索的数量，从 500 个观测值增加到 4,000 个。

CDFM 在这个电子游戏中玩了很久，学习识别不同原因留下的“足迹”。它学会了如果某种模式看起来像某种特定类型的噪声，那它可能是一种原因；如果看起来像另一种，那就是另一种原因。

魔法技巧：“变分推理”

这里是聪明之处。论文认为你不能仅仅靠猜测答案，你必须在数学上证明你的猜测是唯一符合条件的。作者使用了一种叫做**变分推理（variational inference）**的数学技巧。

你可以这样理解：CDFM 不仅仅是说“我认为 A 导致了 B”。它会说：“我要想象 A 导致 B 的每一种可能方式，权衡所有这些方式，并选择最符合数据逻辑的那一个。”它将世界的“规则”视为隐藏变量，在弄清楚结构的同时也试图弄清楚这些规则。这确保了如果数学证明某个方向是不可能的，CDFM 就不会去猜测。

它真的奏效了吗？（证据）

作者不仅是口头说说。他们通过三种方式对 CDFM 进行了测试：

合成挑战赛： 他们将 CDFM 投入到 15 种它在最终测试阶段从未见过的不同类型的虚构世界中。
- 结果： CDFM 赢了。在 4,000 个样本的测试中，它的 AUROC 得分为 0.888（一个衡量准确度的指标，1.0 为完美）。排名第二的方法 TabCausal 仅得到 0.786。即使谜题变得巨大（100 个变量），CDFM 依然保持强劲，AUROC 高于 0.87，而其他方法则崩溃了。
- 启示： 这表明 CDFM 可以处理广泛的、类似于现实世界的复杂情况，而不需要特定的规则手册。
现实世界测试： 他们尝试将其应用于真实数据，例如一个名为 Causal Chamber 的物理系统（其中光隧道和传感器创造了真实的物理现象）以及 Tübingen 基准测试（现实世界中的配对，如“身高导致体重”）。
- 结果： 在 Causal Chamber Task A1 中，CDFM 的 AUROC 为 0.952，击败了紧随其后的 TabCausal（0.930）。在 Tübingen 基准测试中，它的准确率为 67.1%，超过了之前的最高水平 63.8%。
- 启示： 在电子游戏中学习到的技能确实可以迁移到现实生活中。
“诚实度”检查： 作者想确保 CDFM 不仅仅是在盲目猜测。他们在数学上无法得知答案的情况（例如当两个事物完全对称时）下对其进行了测试。
- 结果： 当数学上表示“无法分辨”时，CDFM 的准确率降至 0.5（这仅仅是像抛硬币一样的随机猜测）。当数学上表示“是可以分辨的”时，它的准确率飙升至 1.0。
- 启示： 这表明 CDFM 尊重逻辑定律。它知道什么时候自己不应该知道答案。

它不能做什么（规则）

论文非常明确地说明了 CDFM 不是什么。

它不是一个可以消除对假设需求的神奇魔棒。论文明确指出，你必须拥有一些因果假设；CDFM 只是学习了一个更广泛的光谱，而不是单一的一个。
它并非在所有方面都完美。在某些非常具体、简单的案例中（例如一个完美的线性世界配合非高斯噪声），像 DirectLiNGAM 这样较旧的专门化工具仍然可能表现得略好。CDFM 是一个“通才”，而不是针对某个微小领域的“专家”。
在现实世界数据上的结果是基于特定基准（Causal Chamber, Tübingen）进行衡量的。论文并未声称它已经解决了宇宙中每一个问题的因果发现，而只是说明它在极广的范围内表现出色。

额外奖励：缺失部分的补全

作为训练的副作用，CDFM 在填补缺失的拼图碎片方面也变得非常擅长。如果你给它一个有漏洞的数据集，它可以猜出缺失的数字是什么。在测试中，它击败了标准的 Mean 或 KNN 插补法，在连续数据上实现了 0.452 的平均绝对误差 (MAE)，在离散数据上实现了 0.717。

核心结论

这篇论文暗示了一个重大的转变：我们不再需要为每一种新类型的数据构建一个新的、专门化的工具，而是可以构建一个巨大的、预训练的大脑，它理解因果关系的语言。它并不是解决了世界上所有的谜团，但它是迈向这样一个侦探的一大步——这个侦探可以走进任何房间，观察线索，然后说：“我见过这种场景。这就是地图。”

技术摘要：CDFM：迈向通用因果发现基础模型

问题陈述

因果发现（即从观测数据中恢复潜在因果结构的过程）传统上依赖于一种碎片化的、由特定检验驱动的范式。现有的算法是为特定的因果机制（例如线性非高斯性、加性噪声或特定的独立性约束）精心设计的。因此，这些方法仅在其实际假设严格成立时表现出色。在由异构数据和未知生成过程构成的现实场景中，从业者面临着手动选择算法、验证假设并重新评估统计检验的繁琐循环。这种针对特定数据集的方法无法扩展到现代科学发现的需求，也难以在多样且未知的因果机制之间实现泛化。

方法论

作者提出了因果发现基础模型（CDFM），这是一个统一的框架，旨在实现跨异构且初始未知的因果机制的零样本结构推理。该方法论基于一个原则性的变分框架，该框架将因果可识别性理论与深度学习架构设计相桥接。

1. 理论基础：变分分解

其核心理论洞察在于，在未知机制下的因果发现是一个贝叶斯模型选择问题。由于真实的因果机制 $M^*$ 是未知的，模型必须对广泛的机制假设空间 $\mathcal{M}$ 进行边缘化处理。

可识别性边界： 论文指出，如果没有约束，因果方向在数学上是无法识别的（定理 1）。然而，如果机制空间 $\mathcal{M}$ 满足“严格空间可识别性”属性，则精确的边缘似然可以唯一确定真实的图结构（定理 3）。
变分推理： 直接计算边缘似然是难以处理的。CDFM 使用变分推理来形式化该问题，引入了一个参数化分布 $Q(M|X)$ $Q (M ∣ X)$ 来近似机制的后验分布。这产生了一个证据下界（ELBO），将学习目标分解为三个可处理的部分：
1. 机制推理： $Q(M|X)$ ，通过提取统计特征（噪声属性、非线性特征）来推断潜在的机制编码。
2. 数据重构： $\log P(X|G, M)$ ，确保推断出的机制和图能够解释观测数据（自监督信号）。
3. 图推理： $\log P(G|M)$ ，在以编码后的机制为条件的情况下解码结构图。

2. 架构设计

CDFM 的架构显式地镜像了变分分解过程：

列向嵌入与交替注意力： 输入数据（通过二进制指示通道处理缺失值）使用 Set Transformer 进行嵌入，以捕捉边缘分布。由行向和列向交替堆叠的注意力块集成联合依赖关系，从而参数化潜在机制分布 $Q(M|X)$ 。
数据重构（填补）： 残差块预测掩码条目的条件分位数值。这作为一种自监督任务以满足数据重构项。在注意力机制中使用“软因果掩码”，根据当前的边缘权重假设惩罚来自非因果变量的信息流，从而创建一个用于结构细化的无监督内循环。
图推理： 诱导自注意力提取每个变量的“原因”和“结果”摘要向量。混合专家（MoE）双线性头将这些向量解码为边缘逻辑值，自然地适应有向边和双向边（用于潜在混杂因素）。一个轻量级的图自适应阈值校准器将连续概率转换为二值图。

3. 预训练策略

CDFM 在大规模、高度多样化的合成结构因果模型（SCM）空间上进行预训练。数据生成器涵盖：

图结构： 六种随机图模型（ER, Scale-Free, WS, SBM 等），具有变化的稀疏度和规模（ $D \in [2, 100]$ ）。
机制多样性： 线性与非线性模型（加性噪声、后非线性、随机傅里叶特征）、离散与混合类型机制，以及受物理启发的模型。
噪声与混杂： 多样化的噪声分布（高斯、拉普拉斯、柯西等）、异方差性以及潜在混杂（占 15% 的批次）。
真实性： 模拟测量误差、离散化以及随机缺失值（MCAR）。

核心贡献

范式转变： 将因果发现形式化为一个通用的基础模型任务，从专门的算法选择转向能够进行零样本结构推理的统一推理方法。
原则性框架： 通过变分框架将基础模型与结构可识别性统一起来，将未知机制视为潜在变量，从而将边缘化问题转化为一个可处理的学习目标。
架构设计： 设计 CDFM 使其机制编码、结构感知重构和图解码与理论分解保持一致，从而实现直接从观测数据进行稳健推理。
大规模预训练： 引入了一个由多样化因果知识驱动的全面预训练方案，通过合成大规模假设空间来内化复杂的统计不对称性。

实验结果

作者在合成基准测试、真实世界数据集和受控的可识别性研究中对 CDFM 进行了评估。

合成基准测试： 在 15 个不同的机制族以及变化的图规模（ $D \in [10, 100]$ ）和样本量（ $N \in [500, 4000]$ ）下，CDFM 始终优于传统算法（PC, GES, DirectLiNGAM, NOTEARS）和摊销基准模型（AVICI, TabCausal, Arrow）。它实现了更高的 AUROC 和 F1 分数，证明了其性能随问题规模增加而保持稳定。
真实世界基准测试：
- Causal Chamber： 在物理多变量系统（任务 A1 和 A2）上，CDFM 实现了高 AUROC（0.952 和 0.965），超越了所有基准模型，并展示了从合成系统到物理系统的迁移能力。
- Tübingen 基准： 在 95 个二元因果对上，CDFM 达到了 67.1% 的准确率，超过了其他最先进的方法。
可识别性验证： 受控实验证实了 CDFM 遵循理论上的可识别性边界。当存在函数不对称性（非线性/非高斯性）或 V-结构时，它能正确识别因果方向；而在不可识别机制（如线性高斯模型）中，它会退化至机会水平的性能（准确率 $\approx$ 0.5）。
缺失值填补： 作为重构目标的副产品，CDFM 的填补头在处理带有缺失值的连续型和离散型数据方面均达到了最先进的性能，优于 MissForest 和 MICE 等经典方法。

意义与主张

论文声称 CDFM 代表了迈向通用因果发现引擎的重要一步。通过将瓶颈从手动算法选择转向大规模生成多样化、可识别的合成数据，CDFM 内化了复杂的因果不对称性，使其能够跨越未知的生成过程进行泛化。

作者强调，该模型并非消除了对因果假设的需求，而是学会了在广泛的假设类别之上采用这些假设。这项工作表明，未来的方向是让因果模型学习关于机制族的广泛表示，而不是优化单一、僵化的假设。结果表明，此类基础模型可以驱动一场范式转移，提供稳健的、零样本的因果发现能力，并能随数据量和异构性的增加而扩展。