📊 statistics

High-Dimensional Assisted Learning for Vertically Distributed Data with Blockwise Missingness

本文提出了一种针对块缺失数据（Block-Missing Data）的辅助学习（Assisted Learning with Block-Missing Data, ALB）方法，这是一种用于高维线性估计与推断的去中心化方法，通过利用循环块更新来最小化正则化的可用案例损失，从而高效处理具有块状缺失和响应间隙的垂直分布数据，在无需汇聚原始数据或需要协调服务器的情况下，实现了达到中心化水平的准确度与有效的统计推断。

原作者： Yuwen Long, Shuyuan Wu, Yin Xia

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yuwen Long, Shuyuan Wu, Yin Xia

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在现代医学和科学研究领域，宝贵的信息往往分散在不同的机构中。一家医院可能持有详细的临床记录，一所大学可能拥有高分辨率的大脑扫描图像，而一家私人实验室可能存储着遗传数据，然而对于任何特定的患者而言，没有任何一个单一机构掌握完整的全貌。这种碎片化是由对隐私、数据所有权的合理担忧以及移动敏感记录的物流难度所驱动的。当研究人员试图研究像阿尔茨海默症这样复杂的疾病时，他们面临着一个困境：他们需要结合这些分离的数据块来寻找规律，但他们不能简单地合并这些数据库。此外，数据很少是完美的；有些患者有扫描图像但没有血液测试，有些有血液测试但没有扫描图像，还有些两者皆无。传统方法通常会丢弃这些不完整的记录，仅仅因为缺少单个部分就浪费了大量潜在的有用的信息。

为了解决这个问题，研究人员开发了一种被称为“基于块缺失数据的辅助学习”（Assisted Learning with Block-Missing Data）的新方法。这种方法允许不同的机构在无需分享原始患者记录的情况下，共同处理一个共享的统计问题。该系统并非通过汇集数据，而是让各机构仅交换描述其特定数据块之间关系的微小、汇总后的数值。该系统旨在应对缺失信息的复杂现实，确保每一份可用的数据都能为最终答案做出贡献。通过使用一种巧妙的、分步骤的过程，让机构之间来回传递这些汇总信息，这一群体可以得出与他们将所有数据合并到一个巨大的中央数据库中所能取得的结果相同的结论。这一突破意味着科学家现在可以利用每一份可用记录，即使是那些带有缺失部分的记录，来构建更准确的疾病模型，而不会损害患者的隐私。

这项工作的核心解决了这样一个特定且困难的挑战：如何在数据在垂直方向上被不同所有者分割且充满缺口的情况下，估算数百或数千个不同因素的重要性。想象一下，你正在尝试解决一个巨大的拼图，而不同的人持有不同的拼图块，并且对于许多拼图的位置，根本没有人拥有正确的拼图块。在以往的尝试中，研究人员通常会忽略这些不完整的拼图，只关注那些每一个部分都齐全的少数案例。这种“完整病例”法是低效且具有误导性的，因为它丢弃了大部分可用信息。然而，新方法并不将缺失的部分视为停止的原因，而是将其视为利用现有部分信息的信号。它计算每个机构内已知部分之间的相互关系，然后仅分享足够的信息，以理解来自不同机构的拼图块是如何契合在一起的。

研究人员证明，这种去中心化的方法具有惊人的精确度。在测试中，他们模拟了一个涉及三个数据持有者的场景，每个持有者有三百个不同的变量，总共要分析九百个变量。他们创建的数据集只有一小部分记录是完整的，其余记录则具有各种组合的缺失数据块。当他们将这种新方法与仅使用完整记录的传统方法进行比较时，新方法产生了显著更准确的预测。在一项模拟实验中，与传统方法相比，误差率降低了近百分之三十五。更令人印象深刻的是，这个去中心化系统的结果与如果所有数据都汇集在一个中央位置所能取得的结果几乎完全一致，这证明了缺乏中央服务器并不会导致准确性的妥协。

除了寻找最佳估算值之外，研究人员还展示了如何衡量这些发现的确定性。在科学研究中，仅仅知道哪些因素是重要的是不够的；研究人员还必须知道他们对该结论有多大的信心。新方法提供了一种计算每个个体因素的置信区间的方法，即使数据是碎片化且不完整的。这使得科学家能够以统计学上的严谨性来说明，某个特定的脑部扫描测量值或生物标志物确实与疾病结果相关联，而不仅仅是随机的波动。模拟实验证实，这些置信区间是可靠的，能够以预期的速率捕捉到真实值，并且即使在完整数据极少甚至不存在的情况下，只要不同数据持有者之间存在足够的局部重叠，该方法仍然有效。

隐私是这项工作的一个关键组成部分，研究人员更进一步，确保机构之间交换的汇总信息无法被用于重建个体的患者数据。他们引入了一种技术，在发送数据汇总之前加入少量的随机噪声。这种噪声仅添加一次并重复使用，从而防止了可能揭示隐私细节的信息积累。研究表明，添加的这种噪声不会显著降低结果的质量。系统仍然收敛于正确答案，且统计置信度保持在高水平，这意味着该系统可以在保护个人隐私的同时，不牺牲分析的科学价值。

研究人员利用来自阿尔茨海默病神经影像计划（Alzheimer's Disease Neuroimaging Initiative）的真实世界数据测试了他们的方法，这是一项涉及临床评估、脑脊液生物标志物和各种类型大脑成像的大规模研究。在这一真实场景中，数据自然是碎片化的，不同的患者拥有不同的测试组合。该新方法成功识别了与认知能力下降相关的关键大脑特征，例如特定皮层区域的变薄和脑室的扩大。这些发现与既有的医学知识相吻合，证实了该方法在处理复杂、混乱的真实世界数据时的有效性。分析表明，通过利用包括那些缺失测试在内的所有可用记录，该方法预测认知结果的准确度比那些忽略不完整病例的方法要高得多。

这项工作代表了如何利用分布式数据进行高风险科学发现的重要转变。它超越了传统数据汇集的局限性——由于隐私法和物流障碍，数据汇集往往难以实现——并提供了一个切实可行且在数学上严谨的替代方案。该方法证明，机构之间可以在从未见过彼此原始数据的情况下进行有效协作，将缺失信息的问题转化为利用每一个可用数据点的机遇。随着医学研究日益依赖多样化的数据源，这种方法提供了一个稳健的框架，用于整合这些来源，以增进我们对复杂疾病的理解，确保不会仅仅因为信息不完整而遗弃任何有价值的信息。

问题陈述

本文研究了在高维线性估计和坐标估计（coordinatewise inference）中，面对数据呈**纵向分布（vertically distributed）且存在块缺失（blockwise missingness）**的多机构设置下的挑战。

纵向分布： 不同参与方（用户）持有不同特征块，但这些特征块对应的是部分重叠的个体集合。没有任何一个参与方拥有任何个体的完整特征向量。
块缺失： 除了纵向拆分外，某些记录还存在响应值或特定特征块缺失的情况。因此，所有参与方共同观测到的个体集合（完全案例）可能很小甚至为空，而两两之间或部分的重叠则相当显著。
约束条件： 该解决方案必须是去中心化的（没有中央服务器汇总原始记录）、通信高效的（成本不随高维 $p$ 扩展），并且能够进行推断（即使在不存在完全案例的情况下也能提供有效的置信区间）。

现有的方法如纵向联邦学习（VFL）通常假设样本是对齐的，或者依赖于中央协调器。针对块缺失数据的现有方法通常假设是集中式计算。高维去偏推断方法通常假设数据是行划分的，即所有站点都观测到相同的协变量。本文填补了在不等规模的、块缺失重叠情况下的去中心化高维推断研究空白。

方法论：基于块缺失数据的辅助学习 (ALB)

作者提出了 ALB，一种旨在实现无需汇总原始数据的集中式“可用案例（available-case）”估计量的去中心化算法。

1. 目标估计量：
该方法针对的是集中式可用案例估计量 $\check{\beta}$ ，该估计量最小化正则化损失函数 $Q_n(\beta)$ 。该损失函数使用从所有可用重叠样本中估计出的总体矩（例如，来自 $I_k$ 的用户内协方差、来自 $I_{kl}$ 的跨用户协方差，以及来自 $I^y_k$ 的响应-协变量矩）。为了确保组装后的协方差矩阵是正定的，该方法采用了用户内块与跨用户块的凸组合（遵循 DISCOM 框架）。

2. 去中心化优化（循环块更新）：
ALB 不传输 $p \times p$ 的协方差矩阵，而是使用样本级线性摘要。

机制： 在循环扫描过程中，用户交换的是大小为 $n_{kl}$ （重叠 ID 的数量）的线性预测向量 ( $X_{l,k}\beta_l$ )，而非完整的矩阵。
通信成本： 对于固定的用户数量 $K$ ，每次更新循环仅通信 $O(n)$ 个标量，与维度 $p$ 无关。
收敛性： 迭代过程以几何级数收敛至集中式估计量 $\check{\beta}$ 。研究表明，经过足够数量的扫描后，优化误差可以忽略不计。

3. 分布式去偏与推断：
为了对特定的系数 $\beta^*_j$ 进行推断，必须对 $\ell_1$ 惩罚估计量进行去偏。

精度列估计： ALB 使用相同的循环块更新机制来去中心化地估计精度列 $\theta^*_j = \Sigma^{-1}e_j$ 。
去偏估计量： 构造估计量为 $\hat{b}_j = \hat{\beta}_j - \hat{\theta}_j^\top S_n(\hat{\beta})$ ，其中 $S_n$ 是可用案例得分。
方差估计： 一个关键创新是样本级方差估计器，它在中心化之前聚合来自不同用户的相同 ID 的贡献。这考虑了由重叠样本引起的依赖关系，确保了即使在不存在完全案例时也能获得有效的标准误。

4. 通过一次性扰动实现隐私保护：
为了减轻通过线性摘要泄露个体数值的风险，论文提出了 ALB-P。

机制： 每个用户在开始时对其响应行和协变量行添加一次噪声。这些扰动后的值在随后的所有消息中重复使用。
特性： 用户内协方差保持未扰动（在本地计算）。理论结果表明，在有界噪声尺度下，扰动后的矩保持无偏，并保留与未扰动版本相同的收敛速率。

核心贡献

去中心化优化： 一种循环块优化算法，通过每次扫描 $O(n)$ 的通信量来求解集中式可用案例目标函数，且与 $p$ 无关。它确立了向集中式解的几何收敛性。
不等重叠下的去中心化推断： 一个用于坐标推断的框架，能够以分布式方式估计精度列和方差。即使在完全案例集为空的情况下，只要两两重叠规模随 $n$ 比例增长，该框架即可实现 $\sqrt{n}$ 速率的渐近正态性。
隐私保护发布： 一种一次性扰动方案，在减少直接披露个体数据的风险的同时，保留了估计量的统计特性（无偏性和收敛速率）。

结果

理论保证：

估计： 估计误差由统计误差（取决于重叠的有效样本量）和优化误差（几何级数衰减）之和构成。
推断： 去偏估计量具有渐近标准正态性。方差估计器是一致的，考虑了重叠样本的复杂依赖结构。
扰动： 只要噪声尺度有界，扰动后的估计量能保持与未扰动估计量相同的收敛速率。

模拟实验：

设置： 实验使用 $p=900$ 以及三个用户，并采用各种块缺失模式（改变完全案例与仅两两重叠的比例）。
性能： ALB 实现的预测误差和估计误差与集中式基准（DISCOM）几乎一致，并且显著优于完全案例 Lasso（CC-Lasso），尤其是在两两重叠规模增加时。
推断： ALB 构建的 95% 置信区间对于活跃系数实现了接近名义水平（约 95%）的覆盖概率，表现优于因样本量过小而导致覆盖率较低的 CC-Lasso。扰动后的 ALB（ALB-P）虽然置信区间略宽，但仍保持了有效的覆盖率。

现实应用 (ADNI)：

数据： 涉及脑脊液（CSF）生物标志物、MRI、PET 和临床评分（MMSE）的多模态阿尔茨海默病神经影像联盟（ADNI）数据，具有块缺失特征。
发现： 与 CC-Lasso 相比，ALB 将测试均方误差（MSE）降低了约 35%。它识别出了与先前文献一致的生物相关特征（如皮层厚度和脑室体积）。ALB-P 在提供增强隐私的同时，保持了相当的预测准确性。

意义与主张

本文声称 ALB 为数据呈纵向划分且部分缺失的高维估计与推断场景提供了一种通信高效且去中心化的解决方案。

新颖性： 它是第一个支持在此特定设置下进行坐标推断且无需中央服务器的方法，即使在不存在完全案例的情况下也是如此。
实用性： 通过利用所有可用的两两重叠数据而非丢弃不完整记录，ALB 比完全案例分析显著提高了统计功效。
隐私： 一次性扰动机制提供了一种实际的权衡，在降低直接披露风险的同时，不会牺牲已建立的统计收敛速率。

作者总结道，虽然该方法目前局限于线性模型和随机缺失（MCAR）机制，但它为未来扩展到广义线性模型、生存分析以及更复杂的缺失机制奠定了基础。

问题陈述

方法论：基于块缺失数据的辅助学习 (ALB)

核心贡献

结果

意义与主张

类似论文