技术摘要：孪生网络中 Dropout 方差的局部化定位

问题陈述

深度孪生网络模型（如 TARNet、DragonNet）是从观测数据中估计个体处理效应（ITE）的标准工具。虽然蒙特卡洛（MC）Dropout 和深度集成可以提供不确定性估计，但这些估计通常是单一整体的：一个单一的方差分数无法区分模型失败的来源。从业者无法确定高不确定性是源于：

1. 编码器级问题：协变量空间覆盖不足（外推），表明需要更多样化的协变量数据。
2. 输出头级问题：在覆盖良好的区域内存在噪声化的结果映射，表明需要更多的结果观测值或增加输出头的容量。

缺乏这种区分，不确定性分数就无法为纠正措施提供指导。本文通过提出一种按架构模块分解不确定性的方法，解决了深度因果模型中缺乏结构化、可解释的不确定性量化的问题。

方法论

作者为孪生网络模型提出了一种逐层方差分解方法，利用其天然的模块化结构（共享编码器 $\Phi$ 后接独立的结果输出头 $f_0, f_1$）以及全方差定律。

1. 方差分解

对于孪生网络输出 $\hat{Y}_t(x)$，总预测方差被分解为两个分量：
$$\text{Var}(\hat{Y}_t(x)) = \underbrace{\text{Var}_{\theta_e}(\mathbb{E}_{\theta_t}[\hat{Y}_t(x) \mid \theta_e])}_{\sigma^2_{\text{enc}}} + \underbrace{\mathbb{E}_{\theta_e}[\text{Var}_{\theta_t}(\hat{Y}_t(x) \mid \theta_e)]}_{\sigma^2_{\text{head}}}$$

• $\sigma^2_{\text{enc}}$（编码器分量）：衡量归因于共享编码器中 Dropout 掩码的方差，此时输出头保持确定性。
• $\sigma^2_{\text{head}}$（输出头分量）：衡量归因于结果输出头中 Dropout 掩码的平均方差，条件是在固定编码器实现的情况下。

2. 实际估计

为了在不进行计算昂贵的嵌套蒙特卡洛过程的情况下估计这些分量，作者使用了一种受控 Dropout 近似：

• 仅编码器模式：编码器中 Dropout 激活；输出头为确定性。
• 仅输出头模式：输出头中 Dropout 激活；编码器为确定性。
• 总模式：所有位置 Dropout 均激活（标准 MC Dropout）。

推理时的总成本为 $3N$ 次前向传播（其中 $N$ 是 MC 样本数），而标准 MC Dropout 为 $N$ 次。作者通过实证验证了 $\hat{\sigma}^2_{\text{enc}} + \hat{\sigma}^2_{\text{head}} \approx \sigma^2_{\text{tot}}$ 具有高度保真度（$R^2 > 0.99$）。

主要贡献

1. 架构局部化：一种简单且感知架构的分解方法，将不确定性信号分离为编码器和输出头分量，为特定的失败模式提供诊断。
2. 诊断工作流：提出了一个两阶段工作流：
   • 使用 $\sigma^2_{\text{enc}}$ 标记潜在的分布外（OOD）点或外推风险。
   • 在编码器不确定性较低的分布内点中，使用 $\sigma^2_{\text{head}}$ 对不确定性进行排序。
3. 实证验证：证明了该分解在合成协变量偏移机制和真实世界双胞胎队列中均能提供可操作的见解。

实验结果

该方法在三个具有不同协变量偏移程度的合成数据生成器（v1–v3）以及一个具有诱导性多变量采样偏差的真实世界同性双胞胎队列上进行了评估。

1. 合成数据发现

• 偏移下编码器方差的主导性：在强偏移机制（v1, v2）中，编码器分量（$\sigma^2_{\text{enc}}$）是 ITE 误差的主导预测因子（$\rho_{\text{enc}} \approx 0.53$），优于总方差（$\rho_{\text{tot}} \approx 0.45$）。在这些机制中，输出头分量接近零或为负。
• 输出头方差的有条件信息性：只有在过滤掉高编码器方差点之后，输出头分量（$\sigma^2_{\text{head}}$）才成为强误差预测因子（$\rho_{\text{head}} > 0.5$）。这证实了其在分布内区域内对不确定性进行排序的效用。
• 与集成方法的比较：在强偏移下，深度集成优于 MC Dropout（可能是由于真实的模型分歧），但在弱偏移下崩溃至接近零的相关性。MC Dropout 在所有机制中均保持了中等信号。

2. 真实世界双胞胎队列

• OOD 检测：在具有诱导偏差的双胞胎数据集上，$\sigma^2_{\text{enc}}$ 在 OOD 样本上显著激增（$\Delta \sigma^2_{\text{enc}} \approx 0.004$），而 $\sigma^2_{\text{head}}$ 保持平稳。
• 误差预测：在诱导偏差下，$\sigma^2_{\text{enc}}$ 成为主要的误差预测因子（$\rho_{\text{enc}} \approx 0.89$）。
• OOD 检测的局限性：作者明确指出，该分解不是一个可靠的二元 OOD 检测器（ROC-AUC 值接近随机水平，为 0.54–0.62）。其价值在于误差预测和诊断定位，而非分类。

意义与主张

本文将该工作定位为诊断工具的概念验证，而非已解决的问题。其主要意义在于可操作性：

• 实践指导：通过局部化方差，该方法告知从业者是应收集更多样化的协变量（如果 $\sigma^2_{\text{enc}}$ 高），还是收集更多的结果数据（如果 $\sigma^2_{\text{head}}$ 高）。
• 成本效益：与标准 MC Dropout 相比，该分解增加的计算成本微乎其微。
• 谦逊性：作者承认了局限性，包括使用低维合成生成器、在真实数据中人为诱导偏移，以及依赖 MC Dropout 作为粗糙的后验近似。他们强调，观察到的相关性在合成数据上中等，在低噪声的双胞胎数据集上更强，且最终目标是证明这种分解能带来更好的数据收集和模型更新决策，而不仅仅是更好的不确定性描述。