📊 statistics

FoundCause: Causal Discovery with Latent Confounders from Observational Data

FoundCause 是一种新颖的摊销因果发现模型，它利用具有专门归纳偏置的 Transformer 架构，通过单次前向传播直接从观测数据中推断出包括潜在混杂因素在内的因果图，其性能在多种现实世界数据集上均优于经典方法及现有的摊销方法。

原作者： Patrick Blöbaum, Krishnakumar Balasubramanian, Shiva Prasad Kasiviswanathan

发布于 2026-06-17

📖 1 分钟阅读☕ 轻松阅读

原作者： Patrick Blöbaum, Krishnakumar Balasubramanian, Shiva Prasad Kasiviswanathan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象你是一名侦探，正试图弄清楚在一个复杂的犯罪现场中，谁导致了什么。但你手里只有一堆模糊的监控照片（观测数据）。你无法回到过去重新进行实验（干预），而且你怀疑背后有看不见的幕后黑手（潜在混杂因素）在暗中操纵。

这就是**因果发现（Causal Discovery）**所面临的挑战。这篇论文介绍了一种新的侦探工具，叫做 FoundCause。

以下是通过日常类比对 FoundCause 工作原理的解释：

1. “训练蒙太奇”（摊销推理 / Amortized Inference）

大多数传统的侦探（传统算法）在面对每一个新案件时，都会尝试从头开始解决问题。他们会花数小时分析特定的照片、运行复杂的数学测试并寻找模式。这既慢，而且如果案件很混乱，往往会失败。

FoundCause 则不同。它就像一位在看到真正的案件之前，已经看过成千上万部训练电影（合成数据）的侦探。

类比： 它不是针对每个新谜题逐一分析碎片，而是已经练习过数百万个虚假的谜题。它学习了因果关系呈现出的通用规则。
结果： 当你给它一个真实的数据集时，它不需要“思考”或计算数小时。它只需观察数据，就能瞬间（通过单次前向传播）画出谁导致了什么的地图。这就像是因为见过某种脸型的一百万次，从而能瞬间在人群中认出那张脸一样。

2. “双通道视觉”（处理缺失数据 / Handling Missing Data）

现实世界的数据通常是凌乱的。有些监控摄像头坏了，或者有些证人没出现（缺失数据）。

类比： 传统方法通常试图通过填补平均值来“猜测”缺失的部分（比如因为天空是蓝色的，就猜测缺失的拼图块也是蓝色）。这往往会导致错误的结论。
FoundCause 的妙招： 它有一个特殊的“掩码”通道。它不仅观察数字，还观察数字缺失的位置。它将“缺失性”本身视为一种线索。这就像是一位侦探意识到，某个房间里证人的缺席，与出现在那里的证人同样重要。

3. “隐形傀儡师”（潜在混杂因素 / Latent Confounders）

有时，两件事同时发生并不是因为其中一个导致了另一个，而是因为第三个看不见的东西同时导致了两者。

类比： 想象你看到“冰淇淋销量”和“鲨鱼袭击事件”同时上升。一个糟糕的侦探可能会说“冰淇淋导致了鲨鱼袭击”。而聪明的侦探知道存在一个隐藏因素：夏季高温。
FoundCause 的妙招： 它有一个专门用于寻找这些“夏季高温”的模块。它使用可学习的“标记”（就像隐形的便利贴）来代表隐藏的共同原因。它会明确地询问：“是否有一个隐形的傀儡师在为这两个变量拉动丝线？”这是此类 AI 模型中的首创。

4. “专业化工具箱”（归纳偏置 / Inductive Biases）

FoundCause 不仅仅是一个通用的脑细胞；它是用专门设计的因果工具构建的。

“不对称性”传感器： 因果关系很少是对称的。如果你推球，球会移动；但如果球移动了，并不一定意味着球推了你。FoundCause 使用经典的统计学“不对称性”度量（例如检查数据在不同方向上的噪声是否不同）来确定方向。
“三角形”精炼器： 因果关系经常以链式结构（A 导致 B，B 导致 C）或 V 形结构（A 和 B 都导致 C）出现。FoundCause 拥有一个“三角形精炼”步骤。它一次观察三个变量的组合，看它们是构成了一条链还是一个分叉，从而帮助它区分那些会让其他方法感到困惑的相似模式。

5. “分解解码器”（区分“是否存在”与“哪个方向” / Factored Decoder）

在决定两个变量是否有关联时，FoundCause 将决策分为两步：

存在性： “这两个变量之间是否有联系？”（对称性检查）。
方向性： “如果它们有联系，谁才是老大？”（不对称性检查）。
这就像是先问“这两个人说话了吗？”，然后再问“是谁发起了对话？”，而不是试图同时回答这两个问题。

结果：为什么这很重要

论文测试了 FoundCause 在 15 个不同的真实世界数据集（涵盖从医疗记录到微服务日志）上的表现，并将其与 11 种经典方法和 4 种其他 AI 方法进行了对比。

速度： 它在不到 2 秒内即可解决问题，而经典方法可能需要数小时甚至数天。
准确性： 它在正确判断因果“方向”方面比任何其他方法都更频繁（F1 分数提高了近 10%）。
鲁棒性： 在其他方法放弃的困难、混乱的数据集上，它并没有崩溃或失效。
泛化能力： 即使在测试时面对比训练时变量更多的数据集（例如从 50 个变量的谜题转向 100 个变量的谜题），它也不会崩溃；它只是变得稍微没那么精确，但依然有效。

总而言之： FoundCause 是一个“超级侦探”，它从数百万个虚假案例中学习，懂得如何识别隐形的傀儡师，能够处理损坏的摄像头，并通过应用它学到的模式来瞬间破解新谜团，而不是为每一个新案件重新发明轮子。

技术摘要：FoundCause

问题陈述

从观测数据中进行因果发现仍然是机器学习和统计学中的一个基本挑战。核心难点在于，在无法获得受控干预的情况下，如何恢复有向因果结构并识别潜在混杂因素（latent confounding）。虽然经典的算法（如基于约束的 PC、基于评分的 GES 以及连续优化方法 NOTEARS）具有良好的理论基础，但它们存在显著局限性：这些方法需要针对每个数据集进行昂贵的优化，对超参数和分布假设非常敏感，并且在处理高维或异构数据场景时往往难以扩展。此外，如果没有强假设（如线性、加性噪声或忠实性），因果发现通常是不可识别的，而这些假设在现实世界场景中经常被违反。

近期的摊销化（amortized）方法试图通过在合成数据上训练模型来直接将数据集映射到图结构，从而解决可扩展性问题。然而，现有的神经方法往往缺乏显式的领域特定因果归纳偏置（domain-specific causal inductive biases）的引入，例如因果关系的非对称性或高阶结构模式（链式、碰撞结构），并且通常无法显式地对潜在混杂进行建模。

方法论：FoundCause

FoundCause 是一种摊销化因果发现模型，旨在通过单次前向传播将观测数据集直接映射为因果图（包括有向边和潜在混杂矩阵）。该模型完全在合成结构因果模型（SCM）上进行训练，并能泛化至现实世界数据，无需针对每个数据集进行调优。

架构

该架构采用混合设计，结合了置换不变变换器（permutation-invariant transformer）与显式的统计归纳偏置：

输入表示： 模型接收一个数据矩阵 $X \in \mathbb{R}^{N \times D}$ 以及一个可选的二值观测掩码 $M$ 。每个条目由一个包含归一化值和观测状态的二维向量表示，确保模型能够原生处理缺失数据，而无需进行插补。
轴向分解编码器（Axis-Factorized Encoder）： 核心编码器使用在样本（ $N$ $N$ ）和变量（ $D$ $D$ ）上交替进行注意力的变换器。
- 变量注意力（Variable-Attention）： 结合了可学习的全局标记（global tokens）和统计条件偏置（stat-conditioned bias）。该偏置将源自经典非对称度量（如相关性、残差方差非对称性、V-结构指标）的成对统计特征直接注入注意力机制，引导模型趋向于已知的因果信号。
- 样本注意力（Sample-Attention）： 在样本间聚合信息，以捕捉分布特性。
池化（PMA）： 通过多头注意力池化（Pooling by Multihead Attention, PMA）机制将样本级嵌入聚合为每变量表示，并结合最大池化（max-pooling）以捕捉多模态等高阶分布特性。
分解边解码器（Factored Edge Decoder）： 预测头将边的存在性与边的方向进行分离：
- 存在性预测头： 使用对称特征（嵌入之和、元素积以及混杂得分）来预测是否存在边。
- 方向预测头： 使用反对称特征（嵌入之差和门控非对称统计量）来预测方向。
三角形细化（Triangular Refinement）： 受 AlphaFold2 启发，细化模块对变量三元组 $(i, k, j)$ 进行 $R$ 轮更新。这使得模型能够对高阶因果模态（链式、分叉、碰撞）进行推理，从而解决马尔可夫等价类问题。
混杂模块（Confounder Module）： 一个专门的模块使用可学习的潜在标记来建模隐藏的共同原因。它通过变量标记载荷的噪声-OR 聚合计算成对的混杂概率，生成一个对称的混杂矩阵 $\hat{C}$ 。

训练与损失函数

模型在通过 DoWhy 和自定义生成器生成的数千个合成 SCM 上进行训练，涵盖了多样化的图拓扑、非线性机制和噪声分布。关键训练策略包括：

连续再生（Continuous Regeneration）： 每个 epoch 重新生成合成数据，以防止对固定语料库过拟合。
反捷径增强（Anti-Shortcut Augmentation）： 通过随机排列变量索引和子群体混合，防止模型依赖伪相关（例如变量顺序）。
损失函数： 目标函数结合了用于有向边的类别平衡二元交叉熵以及若干辅助项：
- 方向校准（ $L_{cal}$ ）： 限制相反方向之间的极端对数几率差距。
- 骨架监督（ $L_{skel}$ ）： 为邻接关系提供方向无关的监督。
- 混杂损失（ $L_{conf}$ ）： 对潜在混杂模块进行监督。
- 稀疏性与正则化： 对过度稠密的图进行惩罚，并对池化/门控机制进行正则化。

核心贡献

显式潜在混杂建模： FoundCause 是首个通过专用可学习标记显式建模潜在混杂的摊销化因果发现方法，能够同时输出有向无环图（DAG）和对称混杂矩阵。
统计归纳偏置： 不同于通用的神经架构，FoundCause 将经典的成对统计特征（非对称性、V-结构）直接注入注意力机制和解码过程，将经典因果发现原理与深度学习相结合。
三角形细化： 引入的基于三角形的细化模块允许模型对高阶因果模态进行推理，从而提高了马尔可夫等价结构的解析能力。
原生缺失数据处理： 架构能够原生处理带掩码的输入，避免了经典基准方法中由于插补法引入的偏差。
零样本泛化： 模型展示了强大的泛化能力，其表现不仅限于训练范围内的变量数（ $D \in [2, 50]$ ），甚至在变量数高达 $D=100$ 的数据集上也能保持性能。

实验结果

FoundCause 在 15 个真实世界及半真实基准测试（包括 ASIA, CHILD, SACHS, PETSHOP）以及 Tübingen 因果对基准测试上进行了评估。

性能： FoundCause 优于 11 种经典的非摊销化方法（如 PC, GES, NOTEARS）和 4 种摊销化方法（如 AVICI, CSIvA, SEA）。
- 相比最强的非摊销化方法，其 F1 分数提升了 9.6%，AUROC 提升了 1.2%。
- 相对于最佳经典基准，它将结构汉明距离（SHD/d）降低了 18.9%。
- 它是唯一一个在 F1、AUROC 和 SHD/d 上均取得顶尖排名，且能成功完成所有 15/15 个数据集推理的方法（部分经典方法在稠密图中会超时或失败）。
二元方向性： 在 Tübingen 基准测试中，FoundCause 的表现接近专门的二元方法（SLOPPY, HECI），并显著优于传统的 ICA-LiNGAM 等基准方法。
鲁棒性： 在 30% 随机缺失（MAR）损坏的情况下，FoundCause 保留了 92% 的洁净数据 F1 分数，而依赖均值插补的经典方法性能下降显著。
效率： 推理平均耗时不到 2 秒（单次前向传播），而基于优化的方法则需要数小时。

重要性与声明

论文声称 FoundCause 代表了迈向可扩展、实用化因果发现的重要一步。通过结合摊销化推理与结构化归纳偏置，它解决了经典方法的理论保证与神经方法的可扩展性之间的权衡问题。

作者强调，FoundCause 并不依赖于新的可识别性保证，而是学习了在广泛的数据生成过程中表现良好的实用推理程序。显式建模潜在混杂以及原生处理缺失数据的能力，被视为实现现实应用的关键进展。该工作将 FoundCause 定位为既可用于应用因果分析的实用工具，也是未来能够原生整合因果推理模型的基石。作者计划开源该模型以支持复现。