Scalable Contrastive Causal Discovery under Unknown Soft Interventions

本文提出了一种可扩展的对比因果发现模型，通过聚合子集部分有向无环图并应用跨干预体制的对比定向规则，在仅观测到单一流行软干预的情况下，实现了从部分可识别到更精确全局一致因果结构的恢复与泛化。

要点

这篇论文介绍了一种名为 SCONE 的新方法，旨在解决一个非常棘手的问题：如何在不知道具体“动了哪里”的情况下，通过观察数据的变化，找出事物之间真正的因果关系。

为了让你更容易理解，我们可以把这个世界想象成一个巨大的、复杂的**“多米诺骨牌”网络**，或者一个**“精密的机械钟表”**。

1. 核心难题：我们只能看到“影子”

在科学探索中（比如生物学、经济学），我们通常想搞清楚：A 是不是导致 B 的原因？

• 传统方法（只看静态照片）： 如果我们只观察自然状态下的数据（比如只看钟表在走），我们往往只能看到哪些齿轮是连在一起的，但分不清谁推了谁。这就像看到多米诺骨牌倒了一片，你只知道它们有关联，但不知道是哪一块先倒的。这在学术上叫“马尔可夫等价类”的模糊性。
• 理想情况（完美实验）： 如果我们能人为地“推倒”某一块特定的骨牌（干预），然后看后面发生了什么，就能轻松找出因果关系。
• 现实困境（软干预 + 未知目标）： 但在现实生活中，我们很难做完美的实验。
  • 软干预： 我们可能只是稍微改变了某个齿轮的转速（比如给病人吃了一种药，但不知道具体影响了哪个基因），而不是把它彻底拆掉。
  • 未知目标： 我们甚至不知道具体是哪些齿轮被我们“动”了。
  • 单一样本： 很多时候，我们只有一组“正常状态”的数据和一组“被干扰后”的数据，没有成百上千次重复实验。

SCONE 要解决的问题就是： 在只有两组数据（一组正常，一组被“软干扰”但不知道干扰了谁），且不知道具体干扰了哪些变量的情况下，如何像侦探一样，精准地画出因果关系的地图？

2. SCONE 的破案思路：对比与拼图

SCONE 的名字代表 Scalable Contrastive Observational Non-interventional Exploration（可扩展的对比因果发现）。它的核心思想可以用两个比喻来解释：

比喻一：找“变脸”的演员（对比法）

想象你在看一场戏，有两个场景：

1. 场景 A（正常）： 演员们按剧本走位。
2. 场景 B（被干扰）： 导演偷偷给某些演员加了点“特殊道具”（软干预），导致他们的行为模式变了，但舞台布景（因果结构）没变。

SCONE 就像一个超级侦探，它不试图去猜导演给了谁道具，而是对比两个场景中每个演员的行为：

• 如果演员 A 在两个场景里表现完全一样，说明他没被干扰（他是“无辜”的）。
• 如果演员 B 的行为模式变了，说明他可能被干扰了。
• 关键推理： 如果 A 没变，但 B 变了，且 A 的行为影响了 B，那么 A 很可能是 B 的“原因”。如果 A 和 B 都变了，但变化的方式不同，SCONE 就能通过这种**“不对称性”**（Contrast）来推断谁推了谁。

比喻二：拼图游戏（可扩展性）

面对一个巨大的钟表（比如 100 个齿轮），直接看全图太难了，容易眼花。

• 传统方法： 试图一次性分析所有齿轮，计算量巨大，电脑会死机。
• SCONE 的方法： 它把大钟表拆成很多个小拼图块（子集）。
  1. 先分别分析每个小拼图块里的局部关系。
  2. 然后，利用上面提到的“对比法”，看看在不同拼图块里，那些“变脸”的线索是否一致。
  3. 最后，像拼乐高一样，把所有小拼图块的信息聚合起来，还原出整个大钟表的完整结构。

3. 它是怎么做到的？（三大法宝）

SCONE 内部有三个聪明的“侦探规则”（论文中称为对比定向规则）：

1. 单边不变性规则（Single-Sided Invariance）：

   • 比喻： 如果 A 和 B 手拉手，A 在两个场景里都稳稳当当，但 B 却开始跳舞了。
   • 结论： 那肯定是 A 推了 B，而不是 B 推了 A。因为如果是 B 推 A，A 也应该跟着跳舞才对。

2. 对比 V 型结构规则（Contrastive V-structure）：

   • 比喻： 想象 A 和 C 都看着 B。在正常场景下，A 和 C 互不相干。但在干扰场景下，只有 B 变了，A 和 C 没变。
   • 结论： 这说明 A 和 C 是 B 的“父母”（原因），它们共同导致了 B 的变化。如果 B 是原因，那 A 和 C 应该也会跟着变。

3. 对比判别路径规则（Contrastive Discriminating Path）：

   • 比喻： 这是一条长长的证据链。通过追踪一连串谁变了、谁没变，SCONE 能像排雷一样，排除掉错误的因果方向，锁定唯一正确的路径。

4. 为什么 SCONE 很厉害？

• 快且大（可扩展）： 以前的方法处理 20 个变量就很慢了，SCONE 能轻松处理 100 个甚至更多的变量，就像从“算盘”升级到了“超级计算机”。
• 适应性强（泛化）： 它不仅能处理见过的数据模式，还能处理没见过的复杂情况（比如数据生成机制变了，从线性变成了非线性）。
• 理论扎实： 作者不仅做了实验，还从数学上证明了：只要数据量足够大，SCONE 找出的因果关系就是最接近真相的（在现有信息限制下）。

总结

SCONE 就像是一个拥有“火眼金睛”的超级侦探。 当它面对两组数据（一组正常，一组被神秘干扰），即使不知道干扰了谁、怎么干扰的，它也能通过仔细对比谁变了、谁没变，以及它们之间微妙的差异，把原本模糊不清的因果关系图，清晰地画出来。

这对于医学（找出药物真正影响的基因）、气候科学（理解复杂的气候变化）等领域来说，是一个巨大的进步，因为它让我们能在无法进行完美控制实验的情况下，依然能看清世界的因果脉络。

技术摘要

这是一篇关于在未知软干预（Unknown Soft Interventions）下进行可扩展对比因果发现的学术论文总结。该论文提出了名为 SCONE (Scalable contrastive Causal discOv-ery under unknowN soft intervEntions) 的框架。

以下是该论文的详细技术总结：

1. 研究背景与问题定义 (Problem)

• 核心挑战：传统的观测数据因果发现只能识别到马尔可夫等价类（MEC），存在方向性歧义。虽然干预数据可以缩小等价类，但在现实场景（如生物学、经济学）中，干预通常是软干预（Soft Interventions，即改变变量的机制分布而非完全固定其值），且干预目标未知。
• 现有局限：
  • 现有的理论方法（如 $\Psi$-FCI）虽然能处理未知目标的软干预，但依赖于全局的“神谕”（Oracle）访问所有条件独立性和跨环境不变性，计算复杂度极高，无法扩展到大规模图。
  • 现有的可扩展深度学习方法（如 AVICI, SEA）通常假设干预是完美的（硬干预）且目标已知，或者无法处理分布外（OOD）的因果机制变化。
  • 在只有一个干预环境且目标未知的情况下，如何高效、可扩展地恢复因果结构是一个未解决的难题。
• 设定：论文设定了两个环境（Regime）：一个是观测环境（$c=0$），一个是受软干预的环境（$c=1$）。两者共享相同的底层因果图结构 $G$，但部分节点的机制发生了改变（软干预），且干预的具体目标节点集合 $I$ 是未知的。

2. 方法论 (Methodology: SCONE)

SCONE 是一个基于深度学习的可扩展框架，旨在从两个环境的成对数据中学习因果结构。其核心思想是利用对比学习（Contrastive Learning）来识别跨环境的机制变化，从而推断因果方向。

2.1 理论框架：受限 $\Psi$-等价类

• 受限信息设定：模型不访问全局条件独立性，仅访问：
  1. 可接受子集（Admissible Subsets）上的局部 PDAG（部分有向无环图）。
  2. 有限数量的跨环境不变性查询（Invariance Queries）。
• 目标：定义并恢复测试诱导的受限 $\Psi$-本质图（Test-induced Restricted $\Psi$-Essential Graph, $G_{test}$）。这是基于当前可用信息所能识别的最精细的因果结构。
• 理论保证：证明了在受限信息下，模型是受限 $\Psi$-声（Restricted-$\Psi$-sound）的，即不会引入错误的边方向，且能渐近恢复 $G_{test}$。

2.2 模型架构

SCONE 采用双流架构，结合经典因果发现与轴向注意力机制：

1. 边际流（Marginal Stream）：

   • 子集采样：通过贪婪策略采样节点子集，优先包含潜在的干预目标（基于跨环境均值偏移和互信息）。
   • 经典因果发现集成：在每个子集和每个环境下，运行经典算法（如 PolyBIC）生成局部 PDAG。
   • 边缘 Token 化：将局部 PDAG 的边编码为向量，包含端点信息、统计量（相关性、回归系数）等。
   • 重参数化：将边缘嵌入分解为不变分量（$z_{avg}$，跨环境共享结构）和对比分量（$z_{\Delta}$，跨环境差异/机制变化）。

2. 全局流（Global Stream）：

   • 基于所有节点对的协方差/精度矩阵构建全局表示，维护节点对之间的全局关系。

3. 对比定向偏置头（Contrastive Orientation Bias Heads）：
   这是 SCONE 的核心创新，利用对比分量 $z_{\Delta}$ 和不变性得分 $\gamma_v$ 来定向那些在单一环境中无法确定的边。提出了三种受限 $\Psi$-声的定向规则：

   • 单侧不变性（SSI）：如果边 $i-j$ 在两个环境中都是无向的，但节点 $j$ 的机制发生显著变化（$Chg(j)=1$）而 $i$ 不变（$Inv(i)=1$），则定向为 $i \to j$。
   • 对比 V 型结构（CVT）：利用跨环境的不变性/变化性模式来识别碰撞体（Collider）。如果中心节点 $j$ 变化而邻居 $i, k$ 不变，且形成无屏蔽三元组，则定向为 $i \to j \leftarrow k$。
   • 对比判别路径（DPT）：扩展判别路径逻辑，利用跨环境的不一致性来解析长路径上的方向。

4. 聚合模块（Axial Aggregator）：

   • 使用轴向注意力（Axial Attention）在子集维度（$T$）和边维度（$K$）上进行聚合。
   • 通过消息传递机制，将局部子集推断的信息与全局节点对表示进行交互，确保局部推断与全局一致性。

3. 主要贡献 (Key Contributions)

1. 模型创新：提出了 SCONE，首个针对未知软干预的可扩展对比因果发现框架，能够处理分布外（OOD）的因果机制变化。
2. 理论突破：
   • 形式化了受限 $\Psi$-等价类和测试诱导的本质图。
   • 证明了三种对比定向规则（SSI, CVT, DPT）在受限信息下的声性（Soundness）。
   • 证明了非对比的聚合方法无法恢复由对比信息确定的边，确立了 SCONE 的理论优越性。
   • 证明了在样本量 $n$ 和子集数量 $T$ 趋于无穷时，模型能渐近恢复目标图。
3. 实验验证：
   • 在合成数据上，SCONE 在结构恢复（SHD）、F1 分数上显著优于 SOTA 基线（如 AVICI, SEA, NOTEARS, DCDI）。
   • 展示了强大的泛化能力：在训练集使用线性/神经网络机制，测试集使用多项式/Sigmoid 机制（OOD 设置）时，表现依然稳健。
   • 展示了可扩展性：成功扩展到 100 个节点、100 条边的图，而其他方法在此规模下往往失效或性能急剧下降。

4. 实验结果 (Results)

• 同分布（In-distribution）：在 20 节点 20 边的图上，SCONE 的 SHD 最低（14.6），F1 最高，优于 NOTEARS 和 DCDI。
• 分布外（Out-of-distribution）：在机制发生剧烈变化（如从线性变为非线性）的情况下，SCONE 依然保持高 F1 和低 SHD，而基于固定机制假设的基线（如 SEA-FCI）性能崩溃（F1 接近 0）。
• 大规模扩展：在 100 节点图上，SCONE 的 SHD 为 126.7，而 SEA-FCI 高达 3178.8，DCD-FG 为 1001.3。SCONE 是唯一能在此规模下提供有意义结果的方法。
• 消融实验：
  • 移除对比偏置头（SCONE-NB）导致 SHD 增加，证明对比规则对定向至关重要。
  • 移除对比特征（SCONE-NC）导致性能大幅下降，证明跨环境不变性/变化性信息是恢复额外边的关键。

5. 意义与影响 (Significance)

• 填补理论空白：将 $\Psi$-Markov 等价理论从理论上的全局神谕设定，推进到了实际可计算的、基于子集采样的受限设定，为未知软干预下的因果发现提供了坚实的理论基础。
• 解决现实痛点：现实世界中的干预（如药物处理、政策实施）往往是软干预且目标未知的。SCONE 提供了一种无需先验知识即可利用这种数据恢复因果结构的实用工具。
• 可扩展性与泛化：通过结合深度学习架构（Transformer/Axial Attention）与因果理论，SCONE 突破了传统因果发现算法在大规模图上的计算瓶颈，并具备处理机制漂移（Mechanism Shift）的能力，这对于生物医学（如基因调控网络推断）和复杂系统分析具有重大应用价值。

总结：SCONE 通过引入对比学习机制，巧妙地将“机制变化”转化为“因果方向”的线索，在理论声性和实际可扩展性之间取得了平衡，是目前处理未知软干预因果发现问题的最先进（SOTA）方法。