技术摘要：因果变分深度嵌入 (CAUVADE)

问题陈述

深度生成模型（如 VAEs、GANs、扩散模型）旨在重现训练数据的观测分布。然而，当训练数据包含由未观测混杂因子 ($U$) 驱动的伪相关性时，这些模型也会继承这些偏差。在因果场景下，如果用户希望操纵一个属性 $X$（例如数字身份）并观察由此产生的依赖属性 $Y$（例如背景颜色）的分布，标准模型输出的是观测条件分布 $P(Y|X)$，而非干预分布 $P_x(Y)$。

核心挑战在于部分可识别性 (Partial Identifiability)。当 $U$ 是隐藏的时，观测数据 $P(X, Y)$ 与一组截然不同的因果机制是一致的，每种机制都会预测不同的 $P_x(Y)$。现有的因ial 生成方法通常通过施加强结构假设（例如特定的函数形式或噪声独立性）来解决这种歧义，从而选择单一的干预分布。在图像领域，此类假设往往并不成立；返回单一点估计的模型是过度自信的，因为它在无形中从一组无法区分的因果解释中选择了其中一个。其目标是刻画可行区域 (Feasible Region)——即所有与观测数据及可辩护的结构假设一致的干预分布集合——而不是仅承诺一个单一的点。

方法论

1. 规范增强结构因果模型 (CASCMs)

作者提出了一种基于增强结构因果模型 (ASCMs) 并将其扩展到图像生成的理论基础。一个 ASCM 包含由语义变量 ($X, Y, Z$) 和外生噪声生成的图像变量 $I$。

• 理论证明： 文中证明了规范 ASCM (CASCMs) 类在观测和干预 1-Wasserstein 距离 ($W_1$) 下，在与给定因果图兼容的所有 ASCM 类中是稠密的。
• 规范结构： 在 CASCM 中，未观测到的混杂因子 $U$ 被限制为具有有界支撑集的离散隐变量（$U \in \{1, \dots, d\}$），而连续变化则被吸收进独立的外部噪声（$E_Z, E_X, E_Y, E_I$）中。这种简化允许将无限维的通用 ASCM 搜索空间近似为一个可处理的类，其中混杂因子表现为离散簇。

2. CAUVADE 架构

因果变分深度嵌入 (CAUVADE) 将 CASCM 类实例化为一个高斯混合变分自编码器 (VAE)。

• 隐变量：
  • 簇 $C$： 代表规范混杂因子 $U$ 的离散变量。
  • 连续隐变量 $Z$： 捆绑了前处理属性和独立的外部噪声。
• 生成过程： 模型定义了一个联合分布，其中 $C$ 和 $Z$ 驱动 $X$、$Y$ 以及图像 $I$ 的生成。
• 干预： 为了生成干预样本 $P_x(I)$，模型从它们的联合先验（而非给定 $X$ 的后验）中采样 $(C, Z)$，固定 $X=x$，并通过 $Y$ 和 $I$ 的解码器进行传播。这打破了混杂路径，从而区分了干预与选择。

3. 训练与 $\gamma$-扫描 ($\gamma$-Sweep)

CAUVADE 在仅有 $X$ 被标记的混杂数据上进行训练。其目标函数结合了标准的 VAE 项和两个特定的正则项：

1. 处理一致性项 ($L_X$)： 一个辅助分类器，确保隐表示 $(C, Z)$ 包含足以预测观测处理 $X$ 的信息。
2. 簇熵正则项 ($L_{ent}$)： 一个作用于簇后验 $q_\phi(C|I)$ 的熵项，由标量 $\gamma$ 加权。
   • 低 $\gamma$： 后验发生坍缩（低熵），导致确定性的 VAE 式行为，追踪观测条件 $P(Y|X)$。
   • 高 $\gamma$： 后验趋于均匀（高熵），使图像与特定的混杂因子实现解耦，并对先验进行平均。
   • 扫描过程： 通过在范围 $[0, \infty)$ 内对 $\gamma$ 进行扫描，CAUVADE 描绘出一系列连续的生成器。每个 $\gamma$ 都对应于一个既符合观测数据似然，又诱导出不同干预分布 $P_x(I)$ 的最优解。

核心贡献

1. 规范增强 SCM： 引入了一类将未观测混杂因子视为离散隐簇的结构模型。作者证明该类在 Wasserstein 距离下是所有兼容 ASCM 的稠密类，这为在图像领域使用这种更简单的类提供了理论依据。
2. CAUVADE 框架： 利用混合 VAE 对规范类进行了实际实例化。它引入了针对簇后验的熵正则项，从而在不需要强结构假设或辅助监督的情况下，能够遍历干预分布的可行区域。
3. 通过 $\gamma$-扫描实现部分识别： 证明了通过改变熵权重 $\gamma$，可以追踪出一条穿过因果解释可行区域的曲线。这使得模型能够产生一组与观测数据一致的、多样化的干预样本，而不是产生单一的偏见估计。

实验结果

作者在三个数据集上评估了 CAUVADE：混杂色彩 MNIST (Confounded Color-MNIST)、CelebA 和 MIMIC-CXR-JPG。

• Color-MNIST： 在数字身份与背景颜色通过隐藏混杂因子产生伪相关的设置下，标准 VAE 和 ANCM 会坍缩为单一的点估计（要么是混杂的条件分布，要么是 Manski 界限内的单一点）。通过 $\gamma$ 扫描，CAUVADE 产生了一组多样化的数字-颜色关联，涵盖了 Manski 界限定义的整个可行区域。
• CelebA： 在建模“年轻”对“浓妆”的影响（以“吸引力”作为隐藏混杂因子）时，CAUVADE 生成的样本在不同的 $\gamma$ 值下均能与无混杂的真实情况在视觉上保持一致，而基准模型则未能解耦伪相关性。
• MIMIC-CXR-JPG： 在建模肺炎对肺部不透明度的因果效应（受患者体位混杂）时，相比于 VAE (354.97) 和 ANCM (407.73)，CAUVADE 取得了显著更低的 Fréchet Inception Distance (FID) (284.57)，针对无混杂参考集。基准模型要么直接继承了偏差，要么承诺了一个错误的单一因果解释。

意义与主张

论文声称，在存在隐藏混杂因子的情况下，“正确要建模的对象”是干预分布的可行区域，而非单一的点估计。

• 适度的主张： 作者并未声称能够识别出真实的因果机制（这在没有进一步假设的情况下是不可能的）。相反，他们声称提供了一种方法，能够忠实地刻画与数据一致的一组合理的机制。
• 实际影响： 通过避免单一点估计器的过度自信，CAUVODE 为因果图像生成提供了更诚实的确定性表示。该方法被呈现为一种用于“去混杂图像生成”的实用工具，能够产生覆盖各种因果解释范围的高质量且多样化的样本。
• 理论贡献： 密度定理 (Theorem 2.2) 为使用离散隐簇来近似高维图像空间中复杂的连续未观测混杂因子提供了严谨的理论依据，架起了理论因果推断与深度生成模型之间的桥梁。