📊 statistics

PAIR-CI: Calibrated Conditional Independence Testing for Causal Discovery with Incomplete Data

本文介绍了 PAIR-CI，这是一种非参数条件独立性检验方法，它通过配对置换设计将多重插补直接整合到推断过程中，以消除由插补误差引起的虚假依赖，从而恢复统计校准，并显著提高在缺失值数据集（特别是在非线性且非随机缺失条件下）中的因果发现准确性。

原作者： Thomas S. Robinson, Ranjit Lall

发布于 2026-05-07

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Thomas S. Robinson, Ranjit Lall

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文PAIR-CI的解释。

核心难题：“破碎的拼图”

想象一下，你试图通过观察零件来弄清楚一台复杂机器（比如汽车引擎）是如何运作的。你想知道：是火花塞导致引擎转动，还是仅仅因为电池？

在数据科学中，这被称为因果发现。为了解决这个问题，研究人员使用一种方法，检查在考虑了第三个变量后，两个变量是否相互独立。这被称为条件独立性（CI）检验。

关键问题： 现实世界的数据是混乱的。通常，拼图的某些部分缺失了（就像你的图表中缺少了一个齿轮）。

旧方法： 标准做法是先“猜测”（插补）缺失部分的样子，然后再运行检验。
缺陷： 论文指出，这种“先猜后测”的方法就像戴着雾蒙蒙的眼镜试图拼图。如果你关于缺失部分的猜测稍有偏差，就会在实际上不相连的部件之间制造出虚假的连接。这会导致研究人员在地图上画出本不该存在的连线，从而构建出一幅关于机器运作方式的错误地图。

解决方案：PAIR-CI（“配对”方法）

作者托马斯·罗宾逊（Thomas Robinson）和兰吉特·拉尔（Ranjit Lall）引入了一种名为PAIR-CI的新方法。他们不再先猜测缺失部分再进行测试，而是彻底改变了游戏规则。

这就像烹饪比赛中的品尝测试：

设置： 你有一锅汤（你的数据），其中缺少了一些食材。你制作了几个版本的汤，用猜测填补了缺失的食材（这被称为“多重插补”）。
配对： 对于每一个版本的汤，你同时进行两次品尝测试：
- 测试 A： 一位厨师品尝包含候选食材的汤（例如：“加盐会改变味道吗？”）。
- 测试 B： 一位厨师品尝不包含候选食材的汤（例如：“如果我们假装盐不存在，汤的味道会一样吗？”）。
魔法技巧： 关键在于，两位厨师品尝的是完全相同版本的汤，且使用的是完全相同的猜测食材。
- 如果缺失食材的“猜测”很差（雾蒙蒙的眼镜），它会同等地影响两位厨师。
- 当你比较两个结果时，“糟糕的猜测”就被抵消了。这就像如果两位厨师都戴着同样的雾蒙蒙眼镜；他们都会觉得汤的味道很奇怪，但当他们交换意见时，他们会意识到：“嘿，这种奇怪感对我们俩来说是一样的，所以这一定是眼镜的问题，而不是汤的问题。”

通过直接比较这两个模型，PAIR-CI 消除了由缺失数据猜测引起的误差，只留下了真实的信号。

为何重要：“误报”问题

该论文运行了数千次模拟，以观察这种方法的效果。

旧方法： 当数据以棘手的方式缺失时（不仅仅是随机缺失，而是系统性缺失），旧方法发出“误报”（认为存在连接而实际上不存在）的频率高达28% 到 45%。这就像每次你烤面包时，烟雾探测器都会响。
PAIR-CI： 这种新方法将误报率控制在5% 以下，这是科学测试的标准目标。即使数据混乱，它也能保持冷静和准确。

幕后的“引擎”

为了实现这一目标，作者解决了一个此前无人解决的数学问题。

挑战： 他们的方法涉及两种“噪声”：一种来自猜测缺失数据，另一种来自将数据分割成块进行测试（交叉验证）。
解决方案： 他们构建了一种新的数学“尺子”（方差估计量），可以同时测量这两种噪声。这就像拥有一个单一的秤，既能称量水果，也能称量盛放水果的篮子，从而给出水果的真实重量。

现实世界的结果

作者在大小不同的地图上测试了这种方法：

小地图（10 个变量）： 效果良好，略优于旧方法。
中等地图（30 个变量）： 优势扩大。旧方法开始犯下许多错误，而 PAIR-CI 保持了准确性。
大地图（56 个变量——"HAILFINDER"天气网络）： 这是新方法大放异彩的地方。旧方法被缺失数据搞得如此困惑，以至于它们的地图几乎毫无用处。PAIR-CI 将错误减少了44%。

结论

PAIR-CI 是科学家们在数据存在缺失时，试图弄清因果关系的新工具。

旧工具： 先猜测缺失部分，然后测试。（容易产生看到幽灵/不存在的连接的倾向）。
新工具（PAIR-CI）： 使用相同的猜测，并排测试两种情景。误差相互抵消，揭示出真正的真相。

该论文声称，这种方法更加可靠，特别是当数据以复杂、非随机的方式缺失时，并且在变量之间的关系复杂（非线性）而非简单的直线关系时效果最佳。它并不声称能解决所有缺失数据问题，但它解决了因果发现中由糟糕猜测引起的“虚假连接”这一特定问题。

技术摘要：PAIR-CI：针对不完整数据的因果发现校准条件独立性检验

1. 问题陈述

基于约束的因果发现方法（例如 PC 算法）从根本上依赖于一系列条件独立性（CI）检验，以确定因果图的骨架和方向。当数据不完整时，会出现一个关键瓶颈。标准方法通常遵循“先插补，后检验”的范式：先对缺失值进行插补，然后对完整数据应用标准 CI 检验。

作者指出了该范式的一个根本缺陷：校准失效。当插补模型设定错误时（例如在非随机缺失（MNAR）条件下，或函数形式不正确时），插补误差会在检验变量之间诱导出虚假的条件依赖。命题 1 形式化地表明，在这些条件下，任何一致的 CI 检验都将渐近地以概率趋近于 1 拒绝真实的零假设。这导致因果图中充斥着虚假边，这些边通过边定向规则（Meek 规则）传播错误，从而损害下游推断。现有的补救措施，如逐检验删除（牺牲数据并引入选择偏差）或结合 Rubin 规则的标准多重插补（未能纠正通过条件集引入的偏差），均无法解决这一结构性问题。

2. 方法论：PAIR-CI

本文介绍了PAIR-CI，这是一种非参数 CI 检验，旨在通过将多重插补直接整合到推断过程中，利用配对置换设计来恢复校准。

核心机制

该检验比较两个交叉验证模型对给定条件集 $X$ 的目标变量 $Z$ 的预测：

全模型：使用 $(X, Y)$ 预测 $Z$ 。
部分模型：使用 $(\hat{X}, U)$ 预测 $Z$ ，其中 $\hat{X}$ 是插补后的条件集， $U$ 是一个“安慰剂”变量。

关键设计特征：

配对插补：两个模型接收完全相同的插补条件集 $\hat{X}$ ，该集源自同一个多重插补（MICE）过程。这确保了由插补误差引入的任何偏差或扭曲都以相同的方式影响两个模型。
条件置换：安慰剂 $U$ 是通过在 $\hat{X}$ 空间中对其 $k$ 近邻中的 $Y$ 进行条件置换而构建的。这切断了给定 $X$ 时 $Y$ 与 $Z$ 之间的联系，同时保留了 $Y$ 对 $X$ 的边际依赖。
损失差异：检验统计量是全模型与部分模型之间样本外损失（例如二元交叉熵或均方误差）的差异。由于两个模型共享相同的插补 $\hat{X}$ ，插补引起的偏差在损失差异中相互抵消，从而防止其污染检验统计量。
统一方差估计：检验统计量聚合了 $K$ 个交叉验证折和 $M$ 个插补数据集的损失差异。作者提出了一种新颖的方差估计量，将可证明一致的插补内交叉验证方差估计量（Bayle 等人，2020）嵌套在 Rubin 规则以处理插补间变异之中。这同时考虑了由折重叠和插补变异引起的依赖性。

理论保证

校准性：在四个温和的正则性假设下（插补一致性、有界损失、恰当插补和学习器稳定性），PAIR-CI 对内部零假设（ $Z \perp\!\!\perp Y \mid \hat{X}$ ）实现了精确的渐近规模。
对 MNAR 的鲁棒性：只要插补误差在观测值之间随机变化而非系统性变化，配对设计即可将校准性扩展到科学零假设（ $Z \perp\!\!\perp Y \mid X$ ），即使存在 MNAR 情况。
一致性：该检验在备择假设（ $H_1$ ）下是一致的，随着样本量增加，其功效收敛于 1。
PC 一致性：当作为 PC 算法中的神谕使用时，PAIR-CI 保证了在标准忠实性假设下恢复真实的完成部分有向无环图（CPDAG）。

3. 主要贡献

本文概述了三项主要贡献：

校准的非参数 CI 检验：PAIR-CI 是第一种将多重插补、交叉验证和条件置换整合到单一框架中的方法，该方法在设定错误下仍能保持校准。它在多样化的数据生成过程（DGPs）和缺失机制下实现了平均假阳性率 $\le 4\%$ ，而现有方法在 MNAR 下的假阳性率高达 28–45%。
统一方差估计：作者提供了交叉验证与多重插补方差估计的首次形式化统一。通过将 Bayle 等人（2020）的估计量嵌入 Rubin 规则，他们推导出了渐近精确的估计量，在中等效应大小下将统计功效提高了 9–10 个百分点，并允许使用 $K=10$ 折而不牺牲校准性。
鲁棒的因果发现：实证结果表明，PAIR-CI 在图恢复方面显著优于基线方法，特别是在非线性设置中以及随着图规模增大时。

4. 实验结果

作者通过三个阶段验证了 PAIR-CI：

A. 独立性能

在线性高斯、后非线性及潜在混淆因子 DGPs 的模拟中，样本量 $n \in \{500, 5000\}$ ：

假阳性率：PAIR-CI 在所有缺失条件下（完整、MAR、MNAR）均保持平均 FPR $\le 4\%$ 。相比之下，FZ-Rubin、GCM 和 KCI 等基线方法在 MNAR 下的 FPR 为 28–45%。
功效：在信号强度 $\ge 0.6$ 且 $n \ge 2000$ 时，PAIR-CI 实现了 $>80\%$ 的功效。虽然当假设完美满足时，其功效低于参数检验（如 Fisher's Z），但它避免了校准失效检验带来的无信息拒绝。

B. 合成图恢复

在 Erdős–Rényi DAG（ $p=10, 20, 30$ ）上使用 PC 算法：

非线性边：与基线相比，PAIR-CI 显著降低了结构汉明距离（SHD）。SHD 差距随图规模扩大而增加：在 $p=10$ 时减少 8%，在 $p=30$ 时减少 15%，在 56 变量的 HAILFINDER 网络上高达 44%。
线性边：随着条件集增大，部分相关性变得不太可靠，PAIR-CI 的表现与基线相当或更优。
精确率 - 召回率：PAIR-CI 表现出高精确率（通常为 1.0），代价是召回率略低，从而避免了其他方法中困扰的虚假边传播。

C. 现实世界基准

ALARM 网络（ $p=37$ ）：PAIR-CI 实现了 22.5–24（线性）和 31–33.5（非线性）的 SHD，优于所有基于约束的基线（SHD 30–62）。
HAILFINDER 网络（ $p=56$ ）：PAIR-CI 实现了 62.5–65.5 的 SHD，而基线为 103.5–128。值得注意的是，完全案例分析实现了相似的 SHD（66），但其 F1 得分为 0.0（空骨架），这说明了激进数据删除导致的“通过放弃而获胜”的假象。

5. 意义与主张

本文主张，PAIR-CI 通过提供一种针对不完整数据进行校准的因果发现方法，填补了自动化科学推断中的关键空白。

动机：作者认为，在常见的现实世界条件（MNAR、函数设定错误）下，“先插补后检验”的范式存在结构性缺陷，导致因果图不可靠。
范围：该方法假设因果充分性（无未观测混淆因子），但对具体的发现算法不可知，可作为 PC 或 FCI 的即插即用神谕。
局限性：作者承认，PAIR-CI 以牺牲部分功效为代价换取校准性，特别是在小样本、弱信号或关系严格线性且缺失为 MCAR/MAR（参数检验在此类情况下表现优异）的情况下。他们还指出，该方法依赖于插补误差随机变化的假设；系统性误差（例如来自均值插补）仍可能导致校准失效。
结论：PAIR-CI 提供了一种原则性的非参数解决方案，恢复了存在缺失数据时基于约束的因果发现的可靠性，其性能提升随图复杂度和非线性程度而扩展。