📊 statistics

DAG-FM: A Foundation Model for Causal Discovery under Heterogeneous Causal Mechanisms

本文介绍了 DAG-FM，这是一种新型基础模型，它利用具有叶专家混合机制（Mixture-of-Leaf-Experts）的两阶段自回归 Transformer 架构，在异构且高维的表格数据上实现了最先进的因果发现性能。

原作者： Yikang Chen, Zhengkang Guan, Haoyuan Qian, Peng Cui, Yi Yang, Kun Kuang

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Yikang Chen, Zhengkang Guan, Haoyuan Qian, Peng Cui, Yi Yang, Kun Kuang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在试图破解谜题的侦探：谁在导致什么？你拥有一张巨大的包含线索（数据）的电子表格，但游戏的规则非常棘手。有时，线索遵循严格、可预测的规律；而有时，规律会随着每一个线索的变化而改变。这就是**因果发现（causal discovery）**的世界。长期以来，侦探们使用的工具就像是在蒙着眼睛戴着手套玩魔方。他们要么卡在简单的谜题上，要么在规则变得混乱时崩溃。

迎来 DAG-FM——一种新型的“超级侦探”基础模型。不要把它仅仅看作一个单一、僵化的规则手册，而要把它想象成一位拥有一个巨大且神奇厨房的顶级大厨。

旧方式 vs. 新大厨

以前，侦探们试图一次性猜出整个连接图谱（谁导致了谁）。这就像是试图一次性画出一座城市的完整地图。如果这座城市有着奇怪、混杂的交通规则（异质机制/heterogeneous mechanisms），那地图通常会变得一团糟。旧的方法就像是那些只知道在笔直平坦的高速公路上行驶的专家（线性非高斯模型）。如果道路变成了颠簸的土路或蜿蜒的山路，这些专家就会迷失方向。

DAG-FM 改变了游戏规则。它不再试图一次性画出整张地图，而是玩一场“反向寻宝游戏”。它分为两步进行：

寻找叶节点（Find the Leaves）： 它观察数据并问道：“谁处于链条的最末端？谁没有导致其他人？”它剥离出序列中的最后一个人。
寻找父节点（Find the Parents）： 一旦它知道了谁是“叶节点”，它就会追问：“是谁在操控他的丝线？”它寻找那个叶节点的父节点。

它重复这个过程，像剥洋葱一样一层层剥开，直到整个结构显现出来。这比试图一次性猜测整个画面要聪明得多。

核心要素：“专家混合”机制

这是 DAG-FM 真正酷的地方。在现实世界中，因果关系的规则并不处处相同。有时一个原因表现为简单的数学方程；有时则是一个复杂的、扭曲的函数。

DAG-FM 在其大脑内部使用了一个由专家组成的团队，称为叶节点专家混合机制（Mixture-of-Leaf-Experts, MoLE）。想象一个装满了不同类型侦探的房间：一个擅长解决线性谜题，另一个擅长识别噪声模式，还有一个擅长处理奇特的曲线。当 DAG-FM 观察到一段数据时，它不会只是盲目猜测，而是会询问：“哪位侦探最适合处理这个特定的线索？”它会将问题动态地路由给最合适的专家。这使得它能够处理那些会让以往单向思维的侦探感到困惑的混乱混合规则。

训练场：合成游乐场

在 DAG-FM 开始应对现实世界的谜题之前，作者必须先教导它。他们不仅喂给它真实数据，还构建了一个庞大的虚拟游乐场。他们利用随机图和随机噪声生成了数百万个虚构场景，将不同类型的因果规则（如线性、加性噪声和后非线性）进行混合搭配。

至关重要的一点是，他们为这个游乐场设计了一个特定的安全网。他们从数学上证明了，如果模型是在这种特定的规则组合上进行训练，那么即使数据很混乱，它也能够找到唯一的正确答案。这就像是在模拟器中训练飞行员，模拟器包含了所有可能的风暴和发动机故障，这样当他们驾驶真正的飞机时，就会知道该怎么做。

结果：速度与智慧

当作者测试 DAG-FM 时，结果令人印象深刻。

在虚构数据上： 在包含 100 种不同混合规则的模拟实验中，DAG-FM 击败了几乎所有其他方法。它能更频繁地找对连接关系（更高的精确度和召回率），并且比旧式算法甚至其他新的 AI 模型犯更少的错误（更低的错误率）。
在真实数据上： 他们在真实世界的数据集上进行了测试，例如一个包含 7,466 个样本和 11 个变量的蛋白质信号网络，以及一个包含 10,000 个样本和 38 个变量的物理系统。当许多其他方法崩溃（内存溢出）或放弃时，DAG-FM 依然在运行。它在这些测试中找到了最佳地图，表现优于那些在处理大规模或复杂数据时显得力不从心的传统工具。
效率： 它也非常高效。它可以在配备 24GB 显存的标准计算机上，处理高达 50,000 个样本或 500 个变量的数据集，而无需使用复杂的技巧来减速。

它目前还做不到的事

了解这位超级侦探不能做什么也很重要。论文明确指出，DAG-FM 假设它拥有所有的线索（不存在隐藏的混杂因素）。如果存在影响数据的秘密变量而模型无法观测到，该方法可能会产生困惑。作者还提到，虽然模型在它所接受训练的规则上表现出色，但它仍在接受针对全新、未见过的混沌类型的测试。

总结

DAG-FM 并不是一个能瞬间解决所有谜题的魔杖，但它是向前迈出的一大步。通过将问题分解为更小、更易管理的部分，并使用由专业专家组成的团队来处理不同类型的规则，它能够在以往工具失效的情况下，找到真实的因果关系图谱。这表明，只要拥有正确的训练和架构，AI 终究可以驾驭这个复杂且混杂的、真实运作的世界。

技术摘要：DAG-FM

问题陈述

从观测到的表格数据中进行因果发现面临两个根本挑战：底层因果机制的异质性以及有向无环图（DAG）的高维组合搜索空间。传统的基于约束、基于评分或基于优化的方法，在缺乏强假设的情况下往往表现不佳。具体而言，基于函数因果模型（FCM）的方法通常假设因果机制是同质的（例如，所有关系都是线性的或都是加性噪声），这限制了它们在机制随变量变化的现实场景中的泛化能力。相反，新兴的摊销（基础）模型往往缺乏输出严格可识别 DAG 的理论保证，并且由于其性能高度依赖于用于预训练的先验空间设计，经常无法处理异质机制。

方法论

本文提出了 DAG-FM，这是一种旨在摊销因果发现，并从观测数据中本质上保证输出唯一、可识别 DAG 的基础模型架构。

1. 理论基础：异质可识别性

作者为先验空间建立了一个设计条件，该条件允许异质因果机制的存在。与强制执行单一机制类型的传统 FCM 方法不同，DAG-FM 的先验空间允许结构因果模型（SCM）成为四种不同机制族的复合混合体：

LiNGAM： 具有非高斯噪声的线性关系。
ANM： 具有加性噪声的非线性关系。
HNM： 异方差噪声模型。
PNL： 后非线性模型（Post-nonlinear models）。

理论结果（定理 4.4 和 4.5）表明，在这些条件下（假设因果充分性和忠实性），真实的 DAG 在观测分布下是几乎处处可识别的。这确保了摊销模型随着样本量的增加而收敛到唯一的地面真值 DAG。

2. 架构：分解预测

为了解决直接预测邻接矩阵带来的可扩展性问题（其规模呈平方级增长且缺乏 DAG 约束），DAG-FM 使用专门的基于 Transformer 的子模块，将发现过程分解为两个顺序的自回归阶段：

叶节点预测器 ( $Q_{\theta_1}$ )： 通过递归地预测当前子图中叶节点（没有子节点的节点）来确定因果顺序。
父节点预测器 ( $Q_{\theta_2}$ )： 在确认一个叶节点后，该模块识别其父节点，从而根据已建立的顺序有效地将图剪枝为上三角结构。

3. 叶专家混合模型 (MoLE)

为了处理先验空间内多样化的机制族，叶预测头集成了叶专家混合 (Mixture-of-Leaf-Experts, MoLE) 框架。

模型采用 $m+1$ 个双线性头，每个头对应一种特定的机制族（外加一个通用机制专家和一个虚拟专家）。
Top- $k$ 路由根据输入数据特征动态选择合适的专家。
这种设计使模型能够动态适应可识别的机制族，弥合了理论 FCM 假设与实际数据异质性之间的鸿沟。

4. 先验空间构建

模型在从先验空间 $\Phi$ 生成的大规模合成数据集上进行预训练，该空间包括：

随机图： 不同密度的 Erdős–Rényi、Barabási–Albert 和 Watts–Strogatz 模型。
随机机制： 从上述四种定义的机制族中采样的多样化函数库（MLP、高斯过程、随机森林等）。
随机噪声： 具有受控信噪比（SNR）的综合分布库（正态、拉普拉斯、学生 t 分布等）。
数据增强： 通过非线性扭曲和离散化来模拟现实世界的数据特征，同时实施严格的分布归一化以防止出现伪统计伪影。

5. 推理

推理通过迭代执行（算法 1）。模型重复识别叶节点，确定其父节点，从集合中移除该节点，并更新因果顺序，直到处理完所有变量。这一过程保证了生成有效的 DAG 结构，无需事后进行环路修正。

核心贡献

理论保证： 本文提供了一个支持异质因果机制的先验空间设计条件，并在理论上确保了摊销模型能收敛到唯一的、可识别的 DAG。
DAG-FM 架构： 开发了一种将 DAG 识别分解为叶节点预测和父节点预测任务的基础模型，利用 Transformer 子模块和 MoLE 框架来处理机制异质性。
经验性能： 大量实验证明，在具有异质机制的合成基准测试和复杂的现实世界数据集上，DAG-FM 均取得了最先进的性能，在准确性和可扩展性方面显著优于传统算法和近期的基础模型。

实验结果

合成基准测试： 在具有 $n=1000$ 个样本和 $d=20$ 个变量且具有异质机制的数据集上，DAG-FM 实现了最高的 F1 分数 (0.64) 和最低的归一化结构汉明距离 (nSHD) (0.19)，超越了 Direct-LiNGAM、AVICI 和 TabCausal 等基准方法。
同质子空间： 即使在严格的同质设置下（如纯 LiNGAM），DAG-FM 依然保持竞争力，实现了 0.12 的序偏离率 (ODR)，与专门的算法相当。
现实世界基准测试：
- Sachs 数据集（蛋白质信号传导）： DAG-FM 实现了 0.53 的 F1 和 0.25 的 nSHD，显著优于所有其他方法（例如 FoundCause: F1 0.33; GES: F1 0.31）。
- Causal Chamber： DAG-FM 实现了 0.53 的 F1 和 0.14 的 nSHD，超越了所有基准方法。
可扩展性： DAG-FM 展示了强大的可扩展性，在 24GB 显存限制内处理高达 50,000 个样本或 500 个变量的能力，而许多基准方法（如 AVICI、CauScale）在处理大型数据集时会遇到显存溢出错误。
鲁棒性： 模型对变化的图密度、数据扭曲和离散化表现出韧性，并在涉及未见图结构、机制和噪声分布的分布外 (OOD) 场景中保持了强劲性能。

重要意义

本文声称，DAG-FM 代表了一项重大进展，因为它将基于 FCM 的可识别性理论保证与摊销基础模型的可扩展性结合在一起。通过不再直接预测邻接矩阵，而是将其分解为顺序的、具有理论依据的子任务，DAG-FM 克服了传统方法（缺乏对异质机制的泛化能力）和现有摊销方法（缺乏结构保证及对先验设计敏感）的局限性。这项工作为因果发现建立了一种新的范式，既具有理论严谨性，又适用于高维现实世界数据。