🤖 machine learning

Latent Confounded Causal Discovery via Lie Bracket Geometry

本文介绍了两种新颖的因果发现算法，即 BRIDGE 和 Spectral Kan-Do Flow Matching，它们利用李括号（Lie brackets）的几何性质和范畴论中的 Kan-Do 微积分（Kan-Do-Calculus），通过分析干预诱导因果流在可积性方面的失效，来推断潜在的混杂结构。

原作者： Sridhar Mahadevan

发布于 2026-06-19

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Sridhar Mahadevan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大局观：在混乱系统中寻找“隐藏的胶水”

想象一下，你正在试图弄清楚一台复杂机器是如何运作的。你可以观察它的运行过程（观测），或者你可以按下某个特定的按钮来看看会发生什么（干预）。通常情况下，弄清因果规则就像是在解一个巨大的拼图，而拼图的碎片形状一直在不断变化。

这篇论文介绍了一种解决这个拼图的新方法，叫做 KDC（Kan-Do 微积分）。它不再试图一次性猜出拼图所有可能的形状，而是利用机器行为的“几何结构”来寻找隐藏的规则。

该论文提出了两个主要工具来实现这一目标：BRIDGE 和 SKFM。

1. 核心思想：“渔夫的漂移”（李括号/Lie Brackets）

为了理解这篇论文的核心技巧，请想象你是一名在河中垂钓的渔夫。

观测： 你观察水的自然流动。
干预： 你用桨拨动水流，使其向特定方向移动。

论文提出了一个问题：你拨动水流的顺序是否重要？

场景 A（没有隐藏问题）： 如果你先向北拨水，再向东拨水，其结果与先向东拨水、再向北拨水是一样的。这种“漂移”抵消了。这意味着系统是简单且可预测的。
场景 B（存在隐藏混杂因素）： 如果你先向北拨水，再向东拨水，你最终到达的位置与先向东拨水、再向北拨水的位置不同。存在一种“残余漂移”。

论文的洞察： 这种“残余漂移”就是一个信号。它意味着有一种隐藏的力量（一个“潜在混杂因素”）在拉扯着水流，而这个力量是你看不见的。在现实世界中，这可能是一个未被测量的变量（比如一阵看不见的风）正在干扰你的数据。

论文称之为 李括号（Lie Bracket）。如果括号为零，系统就是干净的；如果不为零，说明系统存在由某些隐藏因素导致的“扭结”。

2. 工具 #1：BRIDGE（智能过滤器）

BRIDGE 的全称是 用于干预发现与几何估计的括号残差（Bracket Residuals for Interventional Discovery and Geometric Estimation）。

可以将 BRIDGE 想象成一个高科技筛子或是一个数据的保安。

问题所在： 通常，为了找到因果关系图，计算机必须检查数十亿种可能的图（DAG）。这就像是通过逐一检查每一根干草来试图在草堆中寻找一根针。
BRIDGE 的解决方案： 在计算机开始检查那数十亿种图之前，BRIDGE 利用“渔夫的漂移”测试来过滤掉那些不可能的选项。
- 它对数据进行微小的“推动”（干预）测试。
- 如果推动的顺序产生了奇怪的“漂移”（非零的李括号），BRIDGE 就知道那个特定的连接是可疑的，或者被隐藏变量阻断了。
- 它丢弃掉这些“坏”的连接，只保留“好”的连接。

结果： 与其检查数十亿张图，计算机只需要检查一个极小的、可控的候选名单。这就像保安只让持有有效门票的人进入体育场，这样检票员就不必拦截每一个人。

实验结果显示：

在合成（伪造）数据上，BRIDGE 成功地将搜索空间缩小了数千倍，同时保留了正确答案。
在真实的生物学数据（蛋白质信号传导）上，它能很好地起到过滤错误选项的作用，但其中的“漂移”信号比合成数据更混乱，这表明现实世界更难被完美建模。

3. 工具 #2：SKFM（直接制图工具）

SKFM 的全称是 谱 Kan-Do 流匹配（Spectral Kan-Do Flow Matching）。

如果说 BRIDGE 是一个过滤器，那么 SKFM 就是一个直接制图工具。它试图完全跳过“检查名单”的步骤，直接从几何结构中绘制地图。

工作原理： 它不把隐藏变量视为“缺失的碎片”，而是将其视为空间的曲率。想象数据是一张平整的纸，如果存在隐藏的力量，这张纸就会弯曲或产生弧度。SKFM 利用数学（谱分解）来测量纸张弯曲的具体程度以及弯曲的方向。
神奇之处： 即使它看不见隐藏的力量本身，它也能通过观察纸张如何弯曲来“看见”隐藏的维度。然后，它利用这种曲率来绘制最终的地图。

实验结果显示：

在简单、干净的数据（如直线型的事件链）上，SKFM 可以瞬间画出完美的地图。
在复杂、混乱的数据（如菱形或分叉结构）上，它需要一些辅助。它非常擅长学习数据的“流”，但要将这种流转化为最终的地图，还需要一些额外的规则才能达到完美。

4. “隐藏混杂因素”问题

在科学研究中，“混杂因素”是一个隐藏变量，它会让两个事物看起来相关，但实际上它们并不相关（或者掩盖了真实的联系）。

旧方法： 尝试去猜测这个隐藏变量是什么，或者构建一个复杂的图表来解释它。
本文的方法： 不要去猜测变量是什么。只需测量它产生的曲率。如果“漂移”（李括号）无法闭合，你就知道那里存在一个隐藏变量。你不需要知道它的名字，也能知道它正在干扰你的数学计算。

总结性的“日常”启示

问题： 寻找因果关系很难，因为可能性太多，且隐藏变量会把事情搞乱。
技巧： 利用“干预”（推动）来观察顺序是否重要。如果顺序很重要（存在“漂移”），则说明存在隐藏的力量。
解决方案 (BRIDGE)： 利用这种“漂移”测试，在开始解题之前就扔掉数十亿个错误的答案。
解决方案 (SKFM)： 利用“漂移”的形状直接绘制地图，通过数据弯曲的方式来识别隐藏的力量。
现实检验： 这在干净的计算机生成数据上表现得非常出色。在真实的生物数据上，它是一个强大的过滤器，但“漂移”信号带有噪声，这意味着我们仍需谨慎，并使用标准的评分方法来复核最终结果。

这篇论文的核心观点是：“不要再去盲目猜测整个拼图。利用数据的几何结构去寻找隐藏的扭结，过滤掉噪声，然后让计算机完成剩下的工作。”

技术摘要：基于李括号几何的潜在混杂因果发现

1. 问题陈述

因果发现面临着一个基本的组合瓶颈：可能的有向无环图（DAG）空间随变量数量呈超指数级增长。现有的方法，如基于评分的搜索（例如 GES、NOTEARS）或基于约束的方法（例如 FCI），在面对这种规模时表现挣扎，尤其是在存在**潜在混杂（latent confounding）**的情况下。传统的潜在变量方法通常依赖于强结构假设（例如稀疏性、线性或特定的非高斯性），或者需要对马尔可夫等价类（MEC）进行穷举搜索，而后者仅能实现对搜索空间复杂度的常数因子缩减。

本文认为，潜在混杂不仅是一个缺失的节点，更是观测机制与干预机制之间因果信息相干传输的障碍。当存在未观测变量时，统计流形会表现出曲率，导致局部干预流无法交换（commute），这是标准图搜索算法未能直接利用的特性。

2. 理论框架：Kan-Do 微积分 (KDC)

本文构建于Kan-Do 微积分 (KDC) 之上，该理论通过范畴论对因果推理进行了重构。

范畴双伴随（Categorical Bi-Adjunction）： 被动条件化与主动干预之间的区别被建模为一个双伴随关系：
$\text{Lan}_K \dashv K^* \dashv \text{Ran}_K$
- 左 Kan 扩展 ( $\text{Lan}_K$ )： 将干预（ $P(Y | \text{do}(X))$ ）建模为一种全纯推前算子（universal pushforward operator）。
- 右 Kan 扩展 ( $\text{Ran}_K$ )： 将条件化（ $P(Y | X)$ ）建模为一种全纯拉回算子（universal pullback operator）。
- 预复合 ( $K^*$ )： 代表观测接口。
几何翻译： 当被转换到光滑统计流形时，观测测度与干预测度之间的 Radon–Nikodym 导数诱导了局部因果向量场。
潜在障碍： 如果系统不存在潜在混杂，这些向量场应该是可积的（它们的李括号在可见跨度内闭合）。潜在混杂表现为非零的李括号残差（ $[v_i, v_j] \neq 0$ ），代表了一种无法由观测变量解释的几何曲率。

3. 方法论

本文介绍了两种算法：BRIDGE（一个模块化筛选流水线）和 SKFM（一种端到端的几何推理方法）。

3.1 BRIDGE：用于干预发现与几何估计的括号残差法

BRIDGE 是一个两阶段流水线，旨在在应用标准评分算法之前减少搜索空间。

干预密度估计： 使用密度引擎（例如正则化高斯、归一化流）来估计 Radon–Nikodym 比率 $\rho_i = dP_{\text{do}(X_i)} / dP_{\text{obs}}$ 。这定义了一个局部向量场 $v_i \approx \nabla \log \rho_i$ 。
李/弗罗贝尼乌斯筛选（Lie/Frobenius Screening）：
- 计算干预对的李括号 $[v_i, v_j] = \nabla v_j \cdot v_i - \nabla v_i \cdot v_j$ 。
- 非对称评分： 通过重加权下的方差减少来衡量定向影响。
- 潜在检测： 不闭合的括号（Frobenius 残差）被标记为潜在障碍或机制失配的候选对象。
候选族缩减： 几何筛选产生一个高召回率的可容许箭头掩码，过滤掉与局部可积性不一致的方向。
下游评分： 标准评分器（如 GES、TCES、BIC）仅在被剪枝后的 DAG 族上运行。

3.2 SKFM：谱 Kan-Do 流匹配

SKFM 是一种端到端的微分算法，它尝试直接从学习到的几何结构中恢复图，绕过了离散搜索阶段。

摊还流匹配（Amortized Flow Matching）： 使用条件流匹配（CFM）来学习一个单一的神经网络 $f_\theta$ ，该网络同时参数化所有变量的干预场，从而避免了需要 $d$ 个独立模型的问题。
谱潜在因子分解：
- 从李括号的平方范数中构建因果曲率格拉姆矩阵（Causal Curvature Gram Matrix） $G$ 。
- 进行特征分解以识别潜在曲率足迹。 $G$ 的秩用于估计潜在混杂子空间的维度。
- 将向量场投影到潜在子空间的正交补上，以“剥离”混杂因素。
可解李代数约束： 通过对李代数结构常数的软惩罚来强制执行无环性，确保提取的图对应于一个可解（三角）子代数。
图提取： 在满足拓扑顺序的前提下，直接从学习到的影响得分和谱投影中提取邻接矩阵。

4. 关键结果

实验在合成和真实世界数据集上验证了该框架：

合成链（潜在混杂）：
- 在带有末端混杂因子的 7 节点链上，BRIDGE 保留了所有 6 条真实边，同时将候选箭头集从 42 个减少到 21 个。
- 在该剪枝族上的下游 TCES/BIC 评分器在 10 节点随机 DAG 上实现了 $\approx 0.86$ 的平均定向 F1 分数，显著优于直接搜索。
- SKFM 在提供真实拓扑顺序时，成功恢复了精确的链结构，完全绕过了组合评分器。
非链模体（菱形、碰撞器/分叉器）：
- 标准影响掩码在复杂的模体中无法保留所有真实边。
- 谱曲率救援： 利用李括号谱的谱分解来识别潜在足迹，恢复了菱形和碰撞器/分叉器模体的完美候选召回率。
- SKFM 校准： 通过连续性正则化和污染梯度评分，SKFM 在这些模体上实现了精确恢复，但在处理一般随机 DAG 时仍表现出不稳定性。
真实世界基准：
- Sachs 蛋白质信号传导： 几何筛选将搜索空间减少了 60%，同时保留了几乎所有由池化 GES 选择的结构。然而，该方法识别出了一个“校准前沿”：真实数据上的连续性相关性（0.587）显著低于合成机制，导致高精确度但低召回率。论文将此视为数据非平稳性的诊断，而非方法的失败。
- S9 基因表达： 在没有金标准的情况下，对 9 基因面板进行处理，几何筛选将标记的 DAG 族从 $\approx 10^{15}$ 压缩至 $\approx 1.2 \times 10^5$ 个无环候选者，展示了处理真实世界规模的可行性。
- PISA 2022： 应用于 OECD 趋势变量，该方法生成了一个与基准因果主张一致的紧凑图，作为一种仅用于发现的诊断工具。

5. 重要性与主张

本文声称其贡献如下：

几何重构潜在性： 它确立了潜在混杂是不可还原的几何障碍（非零李括号），而不仅仅是一个缺失的节点。这使得在不假设稀疏性或特定参数形式的情况下检测隐藏结构成为可能。
搜索空间压缩： 其主要的实际贡献是 BRIDGE 流水线，它利用局部李/弗罗贝尼乌斯几何在评分前剪枝可容许的箭头族。这把一个超指数级的搜索问题转化为了可处理的约束优化问题，实现了在减少数个数量级（例如 $10^4\times$ 到 $10^9\times$ 压缩）的同时保持对真实边的极高召回率。
端到端几何推理： SKFM 证明了在特定条件下（有序链、校准场），可以直接在学习到的李代数场空间中进行因果发现，从而在无需组合枚举的情况下恢复潜在维度和图结构。
范畴一致性： 本工作提供了一个统一的理论视角，其中干预、条件化和反事实（形式化为平行移动和全纯性）在 Kan-Do 双伴随下是一致的。

局限性与谦逊：
论文对其在一般图恢复方面的声称保持了克制。它明确指出，在没有下游评分器的情况下，直接使用 SKFM 提取对于一般、无序的随机 DAG 是不稳定的。针对非链模体的“第 9 步”图提取启发式方法仍然是一个瓶颈。此外，在处理 Sachs 等真实生物数据时，该方法识别出了一个校准前沿，其中连续性相关性下降，这表明虽然几何筛选是鲁棒的，但要实现复杂生物图的完整恢复，仍需要更好地处理机制失配和反馈循环。理论保证（命题 5.1, 7.1, 7.2）是渐近性的，并依赖于正则性、边际和特征间隙假设。

总之，本文提出了一个实用的几何筛选流水线，它有效地减少了因果发现的搜索空间，并提供了一个经过校准的说明，用以区分何时可以直接进行李空间提取，以及何时必须使用下游评分器。