📊 statistics

Towards Efficient Inference under Nonmonotone Missingness with General Imputation

本文介绍了受限方差分析层级（Restricted ANOVA hierarchY, RAY）估计量，这是一种新颖的函数分解方法，为非单调缺失情况下的参数推断提供了一个可计算的、闭式形式的半参数有效估计量的近似，同时在效率和针对各种插补策略的适应性方面提供了理论保证。

原作者： Qi Xu, Lorenzo Testa, Jing Lei, Kathryn Roeder

发布于 2026-07-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Qi Xu, Lorenzo Testa, Jing Lei, Kathryn Roeder

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图拼凑一个巨大的拼图，但你面前并没有完整的原图。在数据科学的世界里，这是一种日常现实。科学家们从许多不同的来源收集信息——比如同时测量一个人的基因、血压和睡眠习惯。但数据往往是凌乱的。也许一个人记录了基因和血压，却忘了记录睡眠；另一个人有睡眠和基因的数据，却漏掉了血压。这种情况被称为“缺失数据”。

当缺失的碎片随机分布，且不遵循某种简单的模式（例如“所有缺失基因数据的人也同样缺失了血压数据”）时，统计学家称之为“非单调缺失”（nonmonotone missingness）。这是最令人头疼的一种拼图，因为你不能直接扔掉那些不完整的碎片；否则会浪费大量的信息。你也不能简单地猜测缺失的数字并假装它们是真实的，因为错误的猜测会导致错误的结论。目标是利用你拥有的每一份零散信息，即使是凌乱的信息，来获得尽可能准确的答案，同时又不至于让自己误以为掌握了超出实际范围的知识。

这正是论文《迈向非单调缺失下基于通用插补的高效推断》（Towards Efficient Inference under Nonmonotone Missingness with General Imputation）所解决的问题。来自卡内基梅隆大学和意大利的研究团队引入了一种名为 RAY（受限方差分析层次结构，Restricted ANOVA hierarchY）的新方法。可以将 RAY 想象成一种组织拼图碎片的高明新方式。它不是试图强行契合或盲目猜测，而是将问题分解为一系列更小、更易处理的层级块。它利用一种数学技巧来确定应该给每种不同类型的残缺数据模式分配多少权重。

论文表明 RAY 是一种“安全”的方法。即使你用来填补空白的猜测（插补）是不完美或略有偏差的，RAY 仍然能给你一个有效的答案。这就像有一个安全网：如果你的猜测很棒，RAY 会利用它使你的结果变得极其精确；如果你的猜测很糟糕，RAY 则会忽略那些糟糕的部分，转而依赖你已有的可靠数据，从而确保你不会得到错误的答案。研究人员在数学上证明了，在特定条件下（特别是当数据是完全随机缺失时），RAY 达到了最优水平——它达到了“效率下界”（efficiency lower bound），这意味着在拥有相同数据量的情况下，你不可能得到比这更精确的答案。

他们还开发了一个“自适应”版本，称为 aRAY。如果说 RAY 是一辆驾驶良好的智能车，那么 aRAY 就是一辆能实时学习哪条路线最快的自动驾驶车。aRAY 能自动计算出结合所有不同数据模式的最佳方式，以获得最小的误差。在他们的测试中（包括模拟数千种场景以及将该方法应用于真实的单细胞生物学数据，即测量单个细胞中的蛋白质），aRAY 表现始终优于旧方法。它降低了估计值的误差，并使置信区间（即真实答案可能存在的范围）变得更加紧凑。

然而，论文也谨慎地指出了其局限性。该方法在数据缺失是随机的情况下效果最好。如果数据的缺失是由于与数值本身相关的特定原因（例如，生病的人不太可能参加体检），那么该方法需要额外的调整，且可能无法运作得如此完美。作者通过模拟展示了，如果你忽略了这些导致数据缺失的特定原因，你的结果可能会产生偏差。但在绝大多数数据只是随机散布的情况下，RAY 和 aRAY 提供了一种强大的、经过数学证明的方法，能将一个凌乱、不完整的拼图转化为一幅清晰的高清图像。

技术摘要：面向非单调缺失下通用插补的高效推断

1. 问题陈述

本文解决了在非单调缺失（也称为块状缺失）存在下的参数估计与推断挑战。在这种设定下，不同的观测单元会观察到变量（模态）的任意非嵌套子集，这在现代多组学研究、电子健康记录和大型调查中十分常见。

标准方法面临两个主要局限：

完全病例分析（Complete-case analysis） 会丢弃数据不全的单元，这可能浪费大量信息并降低效率。
直接插补（用替代值填充缺失值）通常难以保持有效的统计不确定性量化或效率，特别是在插补模型存在误设或偏差时。

目标是在保持对通用插补函数（可能存在误设）以及 随机缺失（MCAR） 机制下的有效性的同时，结合所有观测模式的信息，以实现半参数高效性。本文还探讨了向 随机缺失（MAR） 的扩展。

2. 方法论

2.1 理论框架

作者在半参数理论框架下定义该问题。令 $Z$ 为全数据向量， $\theta^*$ 为由全数据估计方程 $E_P[\psi_F(Z, \theta^*)] = 0$ 定义的目标参数。在 MCAR 假设下，半参数高效估计函数由 $\psi_{opt} = L\{M^{-1}[\psi_F]\}$ 给出，其中 $M$ 和 $L$ 是由特定模式的条件期望构建的线性算子。然而，逆算子 $M^{-1}$ 涉及跨模式的复杂条件期望复合，使得高效估计量在通常情况下难以计算。

2.2 RAY 分解

为了克服 $M^{-1}$ 的不可计算性，作者引入了受限方差分析层次结构（Restricted ANOVA hierarchY, RAY）。

函数分解： RAY 利用受限于观测模式集合 $\mathcal{Q}$ 的包含排斥原理，将任何函数 $f$ 分解为一系列层次组件 $P_s(f)$ 。
近似特征结构： 在 MCAR 下，算子 $M$ 对这些组件 $P_s(f)$ 的作用表现为一种“近似特征算子”： $M[P_s(f)] = \lambda_s P_s(f) + \text{Rem}_s(f)$ ，其中 $\lambda_s = P(R \supseteq s)$ 是观测到至少包含集合 $s$ 中所有模态的概率。剩余项 $\text{Rem}_s$ 涉及非嵌套模式间的条件期望复合。
闭式近似： 通过忽略剩余项（在特定结构条件下这些项趋于零）和跨模式复合，作者推导出了一个易于处理且具有闭式形式的 $M^{-1}$ 近似。由此得到了 RAY 估计函数：
$\psi(R, Z_R, \theta^*) = \frac{I(R=[p])}{\pi_{[p]}} \psi_F(Z, \theta^*) + \sum_{r \in \mathcal{Q}, r \neq [p]} \omega_r A_r[\psi_F(Z, \theta^*)]$
其中 $\omega_r$ 是由模式概率导出的闭式权重。

2.3 估计量构建与调优

通用插补： 项 $A_r[\psi_F]$ 代表给定观测模式 $r$ 时估计函数的条件期望。在实践中，这被替换为插补函数 $F_r(Z_r; \theta)$ ，它可以是预测模型（如神经网络）或蒙特卡洛近似。至关重要的是，在 MCAR 下，RAY 权重是均值为零且独立于插补函数的，这确保了即使插补模型存在误设，估计量依然保持无偏性。
保障调优（Safeguard Tuning）： 为了提高效率，作者为每个插补函数引入了调优参数 $\alpha_r$ 。该估计量通过求解样本校准方程来解决问题，其中权重经过调整以最小化估计方差准则。
自适应 RAY (aRAY)： 意识到无论是 RAY 还是现有的插补驱动推断（IPI）方法都无法在所有情况下占据优势，作者提出了一类更广泛的估计量，将两者都包含在内。自适应 RAY (aRAY) 估计量通过优化该类中的调优参数，以实现最小渐近方差。

2.4 向 MAR 的扩展

本文研究了将 RAY 扩展到 MAR 场景的方法。

直接扩展： 虽然存在与 MCAR 权重类似的直接对应物，但它通常依赖于未观测到的模态，这使得作为观测数据估计量的可行性较低。
投影扩展： 通过将尾部倾向（tail propensities）投影到观测到的模态上，可以构建一个可行的估计量。然而，这引入了一个“投影尾部倾向”的干扰项。作者指出，估计该干扰项会对目标方程产生一阶贡献。如果该干扰项允许使用堆叠估计（stacked estimation）进行 $\sqrt{N}$ 一致的参数估计，则可以进行正则推断。

3. 核心贡献

闭式高效近似： 本文为任意非单调缺失模式下的 MCAR 情况提供了一个闭式、可计算的半参数高效估计量的近似，避免了需要迭代或嵌套回归的精确逆算子。
插补鲁棒的有效性： 所提出的 RAY 估计量对于任意独立的插补函数都是有效的，包括误设或有偏的模型。由于 MCAR 下权重的均值为零特性，其有效性得到了保证。
自适应效率： 引入的自适应 RAY (aRAY) 估计量将 RAY 和 IPI 嵌入到一个更大的类中，从而能够在该类中达到最小渐近方差。
精确性条件与效率界限：
- 作者建立了 RAY 达到效率下界的充要条件：即每种模式的残差必须为零。
- 他们确定了可验证的充分条件，包括：(i) 观测模式是交集封闭且模态相互独立的；(ii) 单调模式且具有任意依赖关系；(iii) 锚定模式（anchored patterns）且非核心模态条件独立。
- 当这些条件失效时，效率差距由两个可解释的因子界定：相关因子（由重叠模式间的私有模态依赖性驱动）和结构因子（由缺失所需模式交集的缺失驱动）。
MAR 扩展分析： 本文阐明了将 RAY 扩展到一般 MAR 时的理论障碍，明确了投影尾部倾向的具体作用以及实现正则推断的要求。

4. 结果

4.1 模拟研究

作者进行了四项模拟实验：

样本量变化： 与完全病例（CC）和预测驱动推断（PPI++）估计量相比，RAY 和 aRAY 在保持名义 95% 置信区间覆盖率的同时，一致地降低了均方根误差（RMSE）和置信区间宽度。
插补质量变化： 估计量展现了鲁棒性；当插补质量退化为纯噪声时，调优后的估计量会自动回归到 CC 估计量的性能，这说明了保障调优的有效性。
线性回归： 在低维回归设置下，RAY、IPI 和 aRAY 相较于 CC 实现了 6–10% 的 RMSE 降低和 12–18% 的方差降低。
敏感性分析： 在受控的 MAR 和 MNAR 偏离下，基于 MCAR 的估计器表现出偏差增加和覆盖率下降，其恶化程度随缺失机制违反强度的增加而扩大。

4.2 在单细胞多组学中的应用

该方法被应用于估计单细胞数据中的平均表面蛋白丰度（ADT），其中不同的检测手段（DOGMA-seq, CITE-seq, ASAP-seq）提供了 RNA、ATAC 和 ADT 的不同组合。

设置： 使用神经网络预训练来从 RNA 和/或 ATAC 预测 ADT。这些模型被用作 RAY 框架下的插补函数，应用于具有随机缺失模式的基准数据集。
性能： 增强型估计量（RAY, IPI, aRAY）实现了比完全病例估计量更低的绝对误差。aRAY 估计量表现出最高的效率，对于高丰度蛋白，其置信区间长度比完全病例法缩短了高达 35%。

5. 意义与主张

本文声称为日益常见的块状缺失数据下的高效推断提供了一个实用且具有理论依据的解决方案。其意义在于：

桥接理论与实践： 它将抽象的半参数效率界限转化为一个闭式的、可实现的估计量，无需复杂的迭代算法。
鲁棒性： 它将推断的有效性与插补模型的准确性解耦，这是在使用可能存在误设的灵活机器学习模型时的一项关键特性。
效率提升： 它证明了即使在插补不完美的情况下，结合不同缺失模式的信息也能比完全病例分析获得显著的效率提升。
澄清局限性： 作者谦逊地承认，这种闭式优势本质上是 MCAR 的结果。在一般 MAR 情况下，该方法需要特定的参数假设或正交化技术才能实现正则推断，这也是未来的研究方向。

作者强调，其结构性结果（精确性条件）和效率界限提供了一个清晰的理解，即该方法在何时以及为何有效，为处理复杂缺失结构的从业者提供了一个诊断框架。