📊 statistics

Adaptive and Efficient Learning with Blockwise Missing and Semi-Supervised Data

本文提出了 DEFUSE，一种新颖的数据自适应估计框架，该框架通过自适应地整合多个数据源、采用筛选方法以确保对齐，并利用无标签数据在不引入偏差的情况下降低估计方差，从而有效应对块状缺失协变量以及分布偏移下半监督学习所带来的综合挑战。

原作者： Yiming Li, Ruoyu Wang, Ying Wei, Molei Liu

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Yiming Li, Ruoyu Wang, Ying Wei, Molei Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图烘焙一个完美的蛋糕（预测健康结果），但你是一位必须从三个完全不同的厨房里收集食材的大厨。

问题：混乱的厨房

“金标准”厨房（有标签数据）： 你有一个高质量的小型厨房，这里既有食谱，也有做好的蛋糕。你确切知道哪些食材让蛋糕味道好。但这里的蛋糕数量很少。
“缺失成分”厨房（块状缺失数据）： 你还有其他几个厨房。它们有很多食材，但很混乱。厨房 A 有面粉和糖，但没有鸡蛋。厨房 B 有鸡蛋和牛奶，但没有面粉。你不能直接把它们全部混合在一起，因为对于任何单个蛋糕，你都没有完整的全貌。
“巨型仓库”（无标签数据）： 你还有一个存放着数百万种原始食材（协变量）的巨大仓库，但还没有人在这里烤过蛋糕。你不知道这些食材的味道是好是坏。
“标准不一”的问题： 问题在于，这些厨房的测量方式不同。厨房 A 用杯来量面粉；厨房 B 用克来量面粉。厨房 A 使用有机鸡蛋；厨房 B 使用工厂鸡蛋。如果你直接混合，你的蛋糕会被毁掉，因为它们的“风味特征”（分布）并不匹配。

解决方案：DEFUSE
本文的作者创建了一种名为 DEFUSE（用于半监督设置中数据融合的数据自适应估计）的新方法。把 DEFUSE 想象成一个超级聪明的“食谱翻译官”兼“质量控制检查员”，它能帮助你利用所有这些杂乱的资源来烘焙出最好的蛋糕。

它是如何工作的，分步骤如下：

1. “锚点”（从已知开始）

首先，DEFUSE 查看那个高质量的小型厨房（“有标签且完整”的数据）。它仅基于这个厨房做一个初步的食谱猜测。但由于其他厨房的测量方式不同，这个猜测可能会略有偏差。

2. “翻译官”（修正差异）

DEFUSE 并没有直接将杂乱的数据投入混合，而是使用了一个巧妙的技巧，叫做控制变量法 (Control Variates)。

想象你有一个翻译官，他知道厨房 A 的“一杯面粉”如何与厨房 B 的“克面粉”相对应。
DEFUSE 利用大规模的原始食材仓库（无标签数据）来学习这些翻译规则。它找出如何调整测量值，使得厨房 A 的“面粉”可以与厨房 B 的“面粉”进行比较。
然后，它利用这些调整来完善初始食谱，使其更加准确，而无需额外烘焙数百万个新蛋糕。

3. “测谎仪”（筛选坏数据）

这是一个至关重要的部分。有时，某个厨房的差异大到任何翻译都无法奏效。也许厨房 C 使用的是一种完全不同、不属于你蛋糕类型的麦子。

DEFUSE 拥有一个“测谎仪”测试。在它将一个新厨房的数据混入食谱之前，它会检查：“这个厨房的数据真的与我们的目标兼容吗？”
如果数据过于“失配”（差异太大），DEFUSE 会礼貌地拒绝，并排除掉那个厨房。这防止了最终的蛋糕味道奇怪或被坏食材毁掉。

4. “智能调节器”（实时学习）

DEFUSE 是“自适应”的。它并不使用固定的规则，而是学习哪些调整效果最好。

如果数据简单，它就使用简单的数学。
如果数据复杂（例如具有数千个变量的高维医疗记录），它会使用强大的 AI 工具（如核岭回归）来寻找融合数据的最佳方式。
它不断检查自己的工作，以确保在试图降低不确定性（方差）的同时，不会引入新的错误（偏差）。

为什么这很重要？

效率： 与以前的方法相比，它只需使用更少的昂贵“烤好的蛋糕”（有标签数据），就能得到一个“完美的蛋糕”（高准确度预测）。它充分利用了仓库中数百万种原始食材的价值。
鲁棒性： 即使厨房很混乱或食材测量方式不同，它也不会崩溃。它能自然地处理“块状缺失”问题（即某些成分在某些厨房中缺失）。
安全性： 通过筛选掉不兼容的厨房，它确保最终结果不会受到坏数据的偏差影响。

总结：
DEFUSE 是一个智能系统，它获取少量的完美数据、大量带有缺失部分的杂乱数据，以及海量的无标签数据。它将杂乱的数据转化为一种通用的语言，过滤掉不兼容的来源，并将所有内容结合起来，即使在数据源非常不同的情况下，也能给出最准确的预测。

作者通过数学证明了其有效性，并在真实的医疗数据（阿尔茨海默症和心脏病）上进行了测试，结果表明它创造了比以往方法更好的预测效果。

技术总结：基于块缺失与半监督数据的自适应高效学习

1. 问题陈述

本文探讨了在三种并发复杂情况下的**数据融合（Data Fusion）**挑战：

块缺失（Blockwise Missingness, BM）： 由于变量收集或定义方式的不同，协变量在不同数据源中呈块状缺失。这导致了非单调的缺失模式，即某些协变量的子集在某些来源中是观测到的，但在其他来源中是缺失的。
半监督（Semi-Supervised, SS）设置： 因变量 $Y$ 的获取成本很高（例如，需要人工临床审查），导致目标人群中的大多数样本是无标签的，同时存在大量具有完整协变量的无标签数据。
分布偏移（Distributional Shifts）： 数据源通常因测量标准或招募标准的差异而表现出异质性。标准的缺失完全随机（MCAR）假设往往是不现实的；相反，缺失可能依赖于已观测变量，且不同来源之间的分布可能存在差异。

其目标是通过融合以下数据，稳健且高效地估计目标人群（无标签完整数据，UC）的广义线性模型（GLM）参数：

LC（有标签完整数据）： 样本量较小，具有完整的协变量和结局。
LM（有标签缺失数据）： 具有结局但存在块状缺失协变量的多个数据源。
UC（无标签完整数据）： 样本量较大，具有完整的协变量但没有结局。

一个关键挑战是**源对齐（Source Misalignment）**问题：如果给定协变量的结局条件分布在有标签来源与目标人群之间存在差异（违反可迁移性），那么朴素的融合方法会引入偏差。

2. 方法论：DEFUSE

作者提出了 DEFUSE（用于半监督设置下数据融合的数据自适应估计方法），该方法在**缺失下的条件对齐（Conditional Alignment under Missingness, CAM）**假设下运行。

2.1 核心假设 (CAM)

该方法假设，在预设的变量子集 $Z_r$ （其中可能包括结局和观测到的协变量）的条件下，有标签缺失来源（ $LM_r$ ）与目标人群（$UC$）的数据分布是对齐的：
$P_{LM_r}(Y, X | Z_r) = P_{UC}(Y, X | Z_r)$
这放宽了严格的 MCAR 假设，允许缺失依赖于观测数据，只要满足条件对齐即可。

2.2 两阶段估计程序

第一阶段：初步估计（DML 算子）
使用仅包含 LC 和 UC 样本的初步估计量 $\hat{\gamma}$ 。为了处理 LC 与 UC 之间的分布偏移，且不依赖于不稳定的密度比估计，作者采用了**双重/去偏机器学习（Double/Debiased Machine Learning, DML）**算子：
$M_{LC}(D) = h_{LC}(X)(D - E_{LC}[D|X]) + E_{UC}(E_{LC}[D|X])$
其中 $h_{LC}(X)$ 是密度比。该算子可以在保持 $n^{1/2}$ 一致性的同时纠正偏差，即使在扰动模型（密度比和条件均值）收敛速度较慢（ $o_P(n^{-1/4})$ ）的情况下也是如此。

第二阶段：数据自适应控制变量法
为了纳入 $LM_r$ 样本并降低方差，DEFUSE 使用了**控制变量（Control Variate）**策略。估计量被扩充为：
$\hat{\beta}(\phi) = c^\top \hat{\gamma} + \sum_{r=1}^R \left( \hat{E}_{LM_r}[\hat{M}_{LM_r}(\phi_r)] - \hat{E}_{LC}[\hat{M}_r(\phi_r)] \right)$

算子： $\hat{M}_r$ 和 $\hat{M}_{LM_r}$ 基于 DML 原理构建，用以调整不同来源之间的分布偏移。
控制函数 ( $\phi_r$ )： 这些是 $LM_r$ 中观测变量的数据自适应函数。该方法旨在通过对 $\phi$ 进行优化来最小化经验渐近方差 $Q(\phi)$ 。
精细化策略： DEFUSE 并非直接优化复杂的非参数函数，而是通过重加权函数 $w_r(W_r; \delta_r)$ 来精细化“锚点”预测器（例如，预测得分函数的 AI 模型）。这转化为一个有限维二次规划问题，使该方法在计算上具有可行性。作者提出了三种 $w_r$ 的示例：常数系数、线性函数和核岭回归（KRR）。

2.3 错位源筛选

考虑到某些来源可能违反 CAM 假设，作者开发了一种筛选程序，在融合前排除这些来源。

指标： 他们提出了一个**均方差异（Mean Squared Discrepancy, MSD）**度量 $\bar{\Delta}_r^2$ ，用于量化某个来源与目标对齐之间的偏差。
去偏： 为了避免因估计条件均值而产生的偏差，他们使用了基于函数空间 $G$ 最大化的去偏估计量。
选择： 当 $\hat{\Delta}_r$ 超过阈值时，对应的来源将被排除。理论上，该 MSD 度量被证明比标准的均值差异敏感性分析更精确且对错位更敏感。

3. 主要贡献

新颖框架： DEFUSE 是首个系统处理块缺失、半监督学习和分布偏移三位一体问题的框架，且是在条件对齐假设下进行的。
数据自适应效率： 该方法引入了一种新的数据自适应控制变量法。它实现了内在效率（在指定的控制函数类内是最优的），并且如果控制函数类足够丰富（例如通过 KRR），则可以达到半参数效率界限。
对错位的鲁棒性： 所提出的筛选程序能有效识别并排除错位的来源，从而防止偏差传播，这解决了许多假设完美可迁移性的现有融合方法的局限性。
计算可行性： 通过将控制函数的优化简化为二次规划，该方法可以在保留计算高效性的同时，纳入高维辅助特征和黑盒机器学习模型。
理论保证： 论文在正则条件下建立了所提估计量的渐近正态性、一致性和半参数效率界限。

4. 结果

模拟研究

效率： 在各种设置（线性/非线性，二元/连续结局）下，DEFUSE 在相对效率（RE）方面始终优于现有方法（包括多重插补、基于 GMM 的融合和样本重加权）。使用 KRR 重加权（示例 3）的 DEFUSE 比基准方法实现了高达 25-80% 的效率提升。
鲁棒性： 在存在分布偏移和非线性时，DEFUSE 保持了较低的偏差/标准误比，而竞争对手（如 SC-PW 和 MBI）则表现出不断增加的偏差。
筛选性能： 在存在错位源的设置中，基于 MSD 的筛选方法在识别错位源方面达到了近乎完美的 F1 分数和灵敏度，显著优于基于均值差异的策略。

实际应用

阿尔茨海默病风险（NACC 数据）： 应用于利用多中心数据构建预后模型。筛选方法排除了 3 个由于错位而无法使用的中心。使用 KRR 重加权的 DEFUS 在酒精摄入这一协变量上的相对效率比初步估计量高出 2.76 倍。
心脏病风险（MIMIC-III 数据）： 应用于带有块状缺失生物标志物的心脏病风险建模。在多种 BM 场景下，与初步估计量及现有融合方法相比，DEFUSE 展示了显著的效率增益（对于年龄最高达 3.65 倍，对于糖尿病最高达 5.72 倍）。

5. 意义与主张

本文声称 DEFUSE 为现代复杂且异质的数据融合问题提供了一个实用且强大的解决方案。

理论最优性： 它弥合了理论上的半参数效率与实际落地之间的鸿沟，提供了一种即使在缺乏经典闭式解估计量时也能接近效率界限的机制。
有效性保护： 通过显式的筛选程序处理源错位问题，该方法保护了模型免受因融合非对齐数据集而导致的偏差影响。
灵活性： 该框架非常灵活，能够纳入高维辅助特征（如来自电子病历 EMR 的数据）和强大的机器学习模型，且不会牺牲计算的可行性。

作者指出，虽然该方法目前需要有标签完整（LC）样本，但未来的工作可以将其推广到仅有无标签数据和部分有标签数据的情况，前提是观测到的协变量并集覆盖了目标预测因子。