技术摘要：基于机制稀疏性的非参数部分解离（Nonparametric Partial Disentanglement via Mechanism Sparsity）

问题设定

本研究在**因果表示学习（Causal Representation Learning, CRL）的框架下，探讨了可识别表示学习（identifiable representation learning）**的问题。其目标是从高维观测值 $x$ 中恢复出具有高层语义意义的高层潜在因子 $z$，并揭示支配其动态过程的因果图模型（CGM）。

作者考虑了一个生成模型，其中观测值由作用于潜在因子 $z$ 的一个潜在高度非线性混合函数（解码器）$f$ 加上噪声生成：
$$x_t = f(z_t) + n_t$$
潜在因子根据转移模型 $p(z_t | z_{<t}, a_{<t})$ 随时间演化，其中 $a_t$ 代表观测到的辅助变量（例如：动作、环境索引或干预指标）。至关重要的是，假设潜在因子在给定其父节点的情况下，在稀疏因果图 $G$（包含用于时间依赖的 $G_z$ 和用于辅助依赖的 $G_a$）中是条件独立的。

核心挑战在于可识别性（identifiability）：在没有额外假设的情况下，潜在因子和混合函数在任意微分同胚下是不可识别的。虽然以往的工作已在特定条件下（如指数族假设、已知的干预目标或严格的图形标准）建立了可识别性，但本文旨在放宽这些约束，以处理非参数（nonparametric）设置和任意潜在因果图，从而实现部分解离（partial disentanglement）。

方法论

1. 理论框架：机制稀疏性正则化

本文引入了**机制稀疏性正则化（mechanism sparsity regularization）**作为一种新的归纳偏置。其核心假设是控制潜在动力学的机制是稀疏的：

• 稀疏辅助影响： 辅助变量 $a$ 仅影响少数潜在因子（稀疏的 $G_a$）。
• 稀疏时间依赖： 潜在因子对过去状态的依赖是稀疏的（稀疏的 $G_z$）。

作者形式化了真实模型 $\theta = (f, p, G)$ 与学习到的模型 $\hat{\theta} = (\hat{f}, \hat{p}, \hat{G})$ 之间的关系。他们定义了一个纠缠映射（entanglement map） $v = f^{-1} \circ \hat{f}$，该映射将学习到的表示映射到真实的表示。

2. 可识别性理论

本文开发了一种基于学习到的图 $\hat{G}_a$ 和 $\hat{G}_z$ 稀疏性的非参数可识别性理论。

• 等价关系： 该理论并未保证实现直到排列和逐元素变换的完全可识别（完全解离），而是建立了直到**一致性（consistency）**的可识别性：

  • $a$-一致性 ($\sim_{a}^{con}$)： 纠缠映射 $v$ 是一个排列与一个保持 $G_a$ 特性的微分同胚的复合。
  • $z$-一致性 ($\sim_{z}^{con}$)： 纠缠映射 $v$ 是一个排列与一个保持 $G_z$（及 $G_z^\top$）特性的微分同规的复合。
  • 部分解离： 这意味着虽然某些潜在因子可能仍然保持纠缠（混合）状态，但这种纠缠的结构受到真实图稀疏模式的严格约束。

• 充分影响假设： 为了证明这些结果，作者引入了“充分影响”假设（假设 6, 7, 8）。这些假设要求转移模型对数密度的海森矩阵（针对连续 $a$）或偏导差分（针对离散 $a$）需要有足够的变化，以跨越由图结构定义的相应子空间。

• 图保持映射（Graph Preserving Maps）： 一个关键的数学工具是图保持映射的概念，即其依赖图遵循 $G$ 的稀疏性约束的函数。理论表明，如果学习到的图被正则化为与真实图一样稀疏，那么纠缠映射必须是一个 $G$-保持映射。

• 完全解离： 当真实图满足特定的图形标准（假设 5）时，本文回收了更强的完全解离结果，该标准推广了 Lachapelle 等人 (2022) 的标准。

3. 向指数族的扩展

本文将其非参数结果与流行的指数族假设联系起来。通过假设转移模型属于具有一维充分统计量的指数族，作者展示了“充分影响”假设可以得到放宽，从而允许在没有辅助变量的情况下进行马尔可夫转移（这是非参数情况下的局限性）。

4. 估计程序

为了实现这些想法，作者提出了一种基于**变分自编码器（VAEs）**的学习算法：

• 模型： VAE 学习解码器 $\hat{f}$ 和转移模型 $\hat{p}$。
• 稀疏性约束： 本文并非使用稀疏惩罚（正则化），而是采用稀疏性约束。邻接矩阵 $\hat{G}_a$ 和 $\hat{G}_z$ 被视为伯努利分布的参数，优化过程受到约束，使得期望边数不超过预算 $\beta$（理想情况下设置为真实边的数量）。
• 优化： 约束优化通过带有双重重启（dual restarts）的拉格朗日形式求解。

核心贡献

1. 新原理： 引入了机制稀疏性正则化作为解离的原则，适用于潜在因子对辅助变量或过去状态具有稀疏依赖的情况。
2. 非参数可识别性： 开发了一套完整的非参数可识别性理论，该理论不需要指数族假设，允许任意潜在因果图（前提是同一时刻的潜在因子之间不存在瞬时因果联系）。
3. 部分解离理论： 通过新的等价关系（$a$-一致性和 $z$-一致性）形式化了部分解离。该理论能够精确预测“纠缠图”（哪些变量保持混合状态）的结构。
4. 干预的泛化： 展示了该框架如何处理目标未知的多节点干预，而在以往的方法中，这通常局限于单节点干预或已知目标。
5. 新评估指标： 引入了 $R_{con}$ 指标，用于量化学习到的表示在多大程度上接近 $a$-一致性或 $z$-一致性，从而弥合了完全解离（MCC）与一般表示质量（$R$）之间的差距。
6. 实证验证： 在合成数据集上实现了稀疏约束 VAE，并验证了强制执行稀疏性可以同时提高图恢复（SHD）和解离度（MCC, $R_{con}$）。

结果

• 理论层面： 定理 1, 2, 3 确立了在充分影响和稀疏性正则化下，学习到的模型在 $a$-一致性、$z$-一致性或 $(a,z)$-一致性下是可识别的。命题 7 表明，如果图形标准成立，这可以简化为完全解离。
• 实验层面：
  • 在满足图形标准的数据集（例如对角线或特定的非对角线图）上，稀疏约束 VAE 实现了近乎完美的平均相关系数（MCC）和极低的结构汉明距离（SHH），表现优于 TCVAE, iVAE, PCL 和 SlowVAE 等基准模型。
  • 在违反图形标准的数据集（允许部分解离）上，该方法实现了较高的 $R_{con}$ 分数，证实了学习到的表示遵循预测的纠缠结构，而基准模型则无法实现部分解离。
  • 实验证明，该方法对于连续辅助变量（动作）和离散干预（包括多目标干预）均有效。
  • 在非参数设置下，该方法对异方差方差（非指数族情况）具有鲁棒性。

意义与主张

本文声称提供了一个显著扩展版的 Lachapelle 等人 (2022) 的工作。其主要意义在于：

• 放宽假设： 从受限的指数族假设转向通用的非参数设置。
• 扩大范围： 允许任意潜在因果图，而非仅限于特定的结构以实现可识别性。
• 形式化部分解离： 提供了一个严谨的数学框架，用于理解和预测潜在因子何时以及如何保持纠缠，而不是将部分解离视为一种失败模式。
• 处理未知目标： 为使用具有未知目标的稀疏干预来实现解离提供了理论依据。

作者将这项工作定位为未来在现实场景（如单细胞生物学和视频分析）中进行实证研究的理论基础，在这些场景中，机制本质上是稀疏且复杂的。作者明确指出，其工作并不声称解决了所有场景下的解离问题，而是提供了在存在非线性混合和复杂因果结构时，实现解离的充分条件。