🤖 machine learning

Towards Identifiability of Interventional Stochastic Differential Equations

本文为在多次干预下，从平稳分布样本中唯一恢复随机微分方程参数的问题，建立了首个可证明的界限，为线性及小噪声非线性情形提供了理论保证，同时展示了在模拟基因调节动力学方面的实际优势。

原作者： Aaron Zweig, Zaikang Lin, Elham Azizi, David Knowles

发布于 2026-07-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Aaron Zweig, Zaikang Lin, Elham Azizi, David Knowles

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图破解一锅正在翻滚的大型、冒泡的汤的秘密配方。但有一个限制：你永远无法在烹饪过程中看到这口锅。你不能搅拌它，不能在汤炖煮时品尝其味道，也不能观察其中的食材如何旋转。你唯一能做的，就是在汤静止下来并停止运动之后，瞥一眼这口锅。

这就是科学家在使用**随机微分方程（SDEs）**时面临的问题。这些是用于描述事物在充满噪声且不可预测的世界中如何随时间变化的复杂数学模型——例如细胞内基因如何相互作用，或蛋白质如何在你的体内传递信号。通常，要了解“配方”（参数），你需要观察整个烹饪过程。但在现实生活中，尤其是在生物学领域，这种“烹饪”过程往往是具有破坏性的。你无法在观察单个细胞变化的同时不杀死它。因此，研究人员只能面对最终沉淀下来的“汤”。

核心问题是：如果我们能在不同的条件下窥视这口锅，仅凭观察最终沉淀后的汤，我们能否推导出准确的配方？

“干预”技巧

为了解决这个问题，科学家们使用了一个聪明的技巧，叫做干预（intervention）。想象你有一锅汤。你不知道配方，但你可以向锅里加入不同的香料（干预），并观察最终沉淀后的汤会发生怎样的变化。

设定： 他们假设这锅汤遵循特定的数学规则（一个 SDE）。
行动： 他们通过移动系统（添加一个特定的向量 $c_i$ ）来进行“干预”，然后等待系统进入新的稳态。
目标： 通过比较许多次干预后的最终状态，我们能否逆向工程出原始的配方？

主要发现：你需要多少种香料？

作者发现，你不需要尝试所有可能的香料组合。你只需要特定数量的组合，而这个数量取决于隐藏部分的“配方”有多复杂。

1. 简单的汤（线性 SDEs）
如果汤的行为很简单且呈直线关系（线性），本文在数学上证明了你需要的干预次数等于系统的隐秩（hidden rank, $r$ ）。

把系统想象成拥有 $r$ 个驱动风味的隐藏“核心”成分，即使整锅汤里总共有 $n$ 种成分。
证明： 作者表明，如果你有 $r$ 次干预，你就能唯一地确定配方。
警告： 如果你只有 $r-2$ 次干预，那是行不通的。你手头的线索太少了。这就像试图用一次品尝测试来猜出一个由三种成分组成的秘密酱汁；你会陷入多种可能性之中。
注意点： 这在已知成分自然衰减速度（“衰减项 $D$ ”）的情况下效果最好。如果你不知道这一点，难度会增加，但在他们的计算机模拟中，他们仍然成功找到了配方。

2. 复杂的汤（非线性 SDEs）
现实生活很少是简单的。基因和蛋白质以混乱、弯曲的方式相互作用（非线性）。在这里，数学变得更加棘手，因为“稳态”不再有一个简洁的闭式公式。

小噪声假设： 作者专注于一个“小噪声”机制。想象汤非常平静，气泡很小。在这种安静的状态下，复杂的汤表现得几乎像简单的汤，但有一个转折。
激活的魔力： 他们发现，如果“配方”包含一个特殊的、可学习的函数（一个类似于开关的激活函数，用于开启或关闭基因），你实际上可以推导出整个系统！
数量： 对于这些复杂的系统，你需要大约 $r^2$ 次干预（隐藏秩的平方）。
惊喜： 即使你事先不知道“开关”的具体形状（激活函数 $\sigma$ ），数学也表明，随着噪声变得越来越小，你仍然可以恢复配方。系统通过观察汤在不同干预下的沉淀状态，从而“学习”到了开关的形状。

他们排除了哪些情况

论文非常明确地说明了哪些方法是无效的：

没有“零噪声”魔法： 如果你试图在完全没有噪声（一锅完全静止的汤）的情况下解决这个问题，你实际上需要 $n-r$ 次干预（几乎等同于总成分数）。噪声实际上是有益的，因为它提供了关于系统曲率（二阶矩）的信息，而完美静止的汤会隐藏这些信息。
没有“对抗性”作弊： 如果有人恶意选择干预方式来隐藏配方（比如添加一种对风味毫无影响的香料），你就无法解决。但本文假设干预是随机且自然选择的，这符合真实实验的情况。
没有“循环”困惑： 与一些强制系统为简单树状结构（无环）的旧方法不同，这种方法可以处理循环。它并不假设系统是从 A 到 B 的直线，而是能够处理生物学中常见的复杂循环。

他们的结论有多可靠？

数学层面： 对于简单的（线性）情况，他们给出了经过证明的数学界限。他们展示了需要多少次干预，并证明了减少干预次数将无法奏效。
复杂情况： 对于非线性情况，他们证明了在极小噪声极限下该方法是有效的。他们并非仅仅猜测，而是使用了先进的摄动理论来证明，随着噪声消失，解是唯一的。
实验层面： 他们不仅停留在理论。他们在合成数据上运行了模拟实验。
- 在线性测试中，他们展示了当干预次数为 $r$ 时，误差降至接近于零；而当次数为 $r-2$ 时，结果则是一团糟。
- 在非线性测试中，他们使用了“可学习”的激活函数（神经网络），并展示了他们恢复真实基因网络的能力优于固定方法。
- 他们甚至在“半合成”基因数据（模拟真实生物学特征）上进行了测试，发现使用可学习激活函数有助于预测基因在新的、未见过的干预下的行为。

总结

这篇论文就像一位主厨在说：“你不需要观看整个烹饪过程就能知道配方。如果你有一个安静的厨房（小噪声），并且在加入适量的不同香料（干预）后品尝汤的味道，你就可以在数学上证明你找到了精确的成分及其混合方式。”

这是理解复杂系统（如基因调节）的一大进步，在这些系统中，我们无法观察时间的流逝，只能看到最终的结果。作者暗示，通过使用这些“可学习”的数学工具，我们或许终于能够绘制出生命的错综网络，一次干预，一步步实现。

技术摘要：迈向干预式随机微分方程的可识别性

问题陈述

本文探讨了随机动力系统在由随机微分方程（SDE）建模时的可识别性这一基本挑战。具体而言，研究了在多个**偏移干预（shift interventions）下的系统平稳分布（stationary distribution）**样本中，是否可以唯一地恢复 SDE 的底层参数。

这一设定受到单细胞基因组学等领域的实际限制所驱动，在这些领域中，破坏性测序阻止了对连续轨迹的观察。相反，研究人员只能获取系统在各种扰动（例如 CRISPR 敲除）下处于稳态时的“快照”。虽然存在针对结构因果模型（SCM）的因果解耦方法，但它们通常依赖于有向无环图（DAG），且难以处理循环或连续时间动力学。作者旨在确定在没有轨迹数据的情况下，SDE 参数具有可识别性的理论条件，重点关注所需的干预次数。

方法论与理论框架

作者分析了 SDE $dX_t = v(X_t)dt + \sqrt{\epsilon}dB_t$ 中漂移项 $v(x)$ 的两种主要参数化方式：

1. 线性 SDE

漂移项参数化为 $v(x) = (AB - D)x $，其中$ A \in \mathbb{R}^{n \times r} $和$ B \in \mathbb{R}^{r \times n} $代表低秩交互结构（$ r \ll n $），而$ D$ 是衰减矩阵。

假设： 矩阵 $A$ 和 $B$ 抽自确保满秩和旋转不变性的密度函数。衰减矩阵 $D$ 被假定为已知（或在特定条件下可学习）。干预 $C$ 为偏移向量。
核心见解： 作者证明，平稳均值和协方差提供了恢复漂移矩阵 $AB - D$ 所需的充分信息。
干预界限： 他们建立了一个结论： $r$ 次干预是实现（几乎处处）可识别性的必要且充分条件，而 $r-2$ 次干预则不足以实现可识别性。这是一个紧致界限，与对抗性设置或无噪声 ODE 极限下的 $n-r$ 次干预形成了对比。

2. 非线性 SDE（小噪声机制）

漂移项被参数化为一个两层神经网络： $v(x) = A\sigma(Bx) - x$ ，其中 $\sigma$ 是逐元素激活函数。

假设： 分析侧重于小噪声机制（ $\epsilon \to 0$ ）。假设激活函数 $\sigma$ 是奇函数、 $C^2$ 连续且导数有界，并且是非线性的（排除了纯线性函数）。
摄动理论： 作者利用摄动理论表明，随着 $\epsilon \to 0$ ，二阶矩（经 $\epsilon$ 缩放后）收敛于涉及漂移项在不动点处雅可比矩阵的李雅普诺夫方程（Lyapunov equation）的解。
可识别机制： 与线性情况不同，由于 $\sigma$ 的非线性，平稳协方差会随干预而变化。这种变异性使得即使在不知道 $\sigma$ 具体形式的情况下（在极限情况下），也能识别参数 $A$ 和 $B$ 。
干预界限： 理论结果表明， $k \gtrsim r^2$ 次干预足以在符号置换不变性（signed permutation invariance）意义下识别参数。

核心贡献

首次提供 SDE 可识别性的可证明界限： 本文提供了在干预下从平稳分布中唯一恢复 SDE 参数的首次理论保证，这一设定此前仍是开放问题。
线性系统的紧致界限： 它刻画了识别低秩线性 SDE 所需的精确干预次数（ $r$ ），并证明了较少的干预（ $r-2$ ）会导致不可识别性。
小噪声下的非线性可识别性： 它将这些结果扩展到非线性 SDE，证明了只要噪声足够小且干预次数与 $r^2$ 成比例，即使激活函数未知，也是可以识别参数的。
可学习激活函数： 作者提出并验证了在 SDE 参数化中使用可学习激活函数（MLP）的方法。这提高了建模复杂基因调节网络时的表达能力，同时不会牺牲可识别性所需的结构简单性。

实验结果

作者通过合成及半合成实验验证了其理论发现：

线性恢复： 在线性设置中，实验证实 $r$ 次干预能成功恢复漂移参数且误差较低，而 $r-2$ 次干预则表现不佳，呈现出高方差和性能低下。
非线性恢复： 对于小噪声（ $\epsilon = 10^{-5}$ ）下的非线性 SDE，即使激活函数已知，该模型也能通过 $r^2$ 次干预成功恢复底层的矩阵 $A$ 和 $B$ 。
可学习激活函数的泛化能力： 在涉及合成基因调节网络（GRNs）的实验中，使用可学习激活函数（由 MLP 参数化）的模型在预测未见过的干预时，明显优于使用固定激活函数（如 Sigmoid）的模型，特别是在低噪声机制下。
GRN 恢复： 将该方法应用于半合成基因组数据（通过 BEELINE 模拟器生成），采用带可学习激活函数的非线性 SDE 方法，在恢复真实基因调节网络方面，相比于线性 SDE 基准方法（如 Bicycle 方法）展现出了显著的提升。

重要性与主张

本文声称为动力系统中的因果推理奠定了基础，尤其是在无法获得时间序列数据的情况下。通过建立 SDE 参数在特定干预次数下从平稳分布中可识别的结论，这项工作表明，SDE 是建模循环和连续时间生物过程的一种可行且具有理论依据的替代方案，优于基于 SCM 的方法。

作者强调，其结果在噪声机制方面是适度的，指出强有力的理论保证主要适用于小噪声极限以及特定的漂移参数化形式。他们承认，将结果推广到更大的噪声机制或更复杂的漂移函数仍是一个开放的挑战。然而，在基因组应用中可学习激活函数的实证成功，为从高通量、稳态数据中推断复杂调节网络提供了一条切实可行的路径。