📊 statistics

Semi-supervised linear regression with missing covariates

本文研究了在同时存在缺失协变量和缺失响应值的情况下，利用有标签和无标签数据进行半监督线性回归的方法，针对非稀疏和高维稀疏情形分别提出了基于插值重加权估计器和修正 Dantzig 选择器的算法，并通过非渐近风险上界与新的极小极大下界证明了估计量的速率最优性，揭示了无标签数据对极小极大速率的显著影响。

原作者： Benedict M. Risebrow, Thomas B. Berrett

发布于 2026-02-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Benedict M. Risebrow, Thomas B. Berrett

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文探讨了一个我们在日常生活中经常遇到，但在统计学中却非常棘手的问题：数据缺失，特别是当我们要利用“有标签”和“无标签”两类数据来预测时。

想象一下，你是一位房产估价师（这就是论文中的“线性回归”任务），你的目标是预测房子的价格（ $Y$ ）。你需要参考很多特征，比如面积、房龄、地段、房间数量等（这些是“协变量” $X$ ）。

1. 核心难题：残缺的拼图与神秘的助手

场景一：残缺的拼图（缺失数据）
在现实世界中，数据往往是不完整的。

无结构缺失（散乱缺失）： 就像你收集了 1000 个房子的信息，但有的房子忘了记面积，有的忘了记房龄，有的忘了记地段。这些缺失是随机发生的，像拼图上随机掉了几块。
有结构缺失（块状缺失）： 这更常见。比如，你从两个不同的数据库合并数据：A 数据库有“地段”和“面积”，但没“房龄”；B 数据库有“房龄”和“房间数”，但没“地段”。当你把它们拼在一起时，缺失是成块出现的（比如所有 A 类数据都缺房龄）。这就像拼图缺了整整一大块，而不是零散的几块。

场景二：神秘的助手（半监督学习）
通常，只有少数房子的价格是已知的（有标签数据，比如你亲自去评估过的房子）。但是，你有海量的房子信息，只是不知道它们的价格（无标签数据，比如房产中介的公开列表，只有面积地段，没有成交价）。

传统做法： 以前的统计学家通常只盯着那少数几个“有价格”的房子，或者把缺失的数据随便填个平均值（插补法），然后强行计算。
本文的突破： 作者提出，既然我们有海量的“无标签”数据（知道房子长什么样，但不知道价格），为什么不利用它们来帮我们理解房子的整体分布规律（比如面积和地段通常是怎么搭配的）？

2. 作者的解决方案：聪明的“填坑”与“加权”

作者设计了一套新的算法，可以分两步走，就像一位聪明的侦探：

第一步：利用“无标签”数据修补背景（协方差估计）

虽然无标签数据没有价格，但它们告诉我们“房子长什么样”。

比喻： 想象你在玩一个拼图游戏，虽然你只有几块带图的拼图（有标签），但你有成千上万块只有边框的拼图（无标签）。利用这些边框，你可以拼出整个拼图的轮廓（即数据的整体结构，统计学上叫“协方差矩阵”）。
作用： 一旦知道了整体轮廓，当有标签数据里缺了一块（比如缺了房龄），你就可以根据轮廓推测出这块大概是什么样子，而不是瞎猜。

第二步：聪明的“加权”与“填补”

作者发现，简单的填补（比如用平均值填空）往往效果不好，因为缺失的数据可能和完整的数据性质不同。

比喻： 就像你修补一幅画。如果缺失的是天空（容易补），你用的颜料可以少一点；如果缺失的是人脸（很难补），你就需要更谨慎、更重的笔触。
操作： 作者提出了一种**“重加权”（Reweighting）**机制。对于缺失严重或难以预测的部分，给它们更小的权重（少听它们的）；对于信息完整或容易预测的部分，给它们更大的权重。
高维情况（变量极多）： 如果房子特征有几千个（高维），作者还改进了著名的"Dantzig 选择器”算法，让它能在数据残缺的情况下，依然精准地找出真正影响房价的关键因素（稀疏性）。

3. 主要发现：无标签数据是“神器”

论文通过严密的数学证明（最小最大风险界限）和大量模拟实验，得出了几个惊人的结论：

无标签数据能“降维”：
- 比喻： 假设你有 100 个特征（变量），但其中 90 个在“有标签”数据里全是缺失的。如果没有无标签数据，你只能靠那 10 个完整的特征去猜，效果很差。但有了无标签数据，你虽然不知道那 90 个特征的具体价格，但你知道它们和其他特征的关系。这相当于把问题的难度从"100 维”降低到了"10 维”。
- 结论： 即使缺失很严重，只要无标签数据足够多，你的预测精度可以接近甚至达到“所有数据都完整”时的水平。
填补不是万能的，加权才是关键：
- 实验显示，如果只简单地把缺失值填上（比如填平均值），效果往往比直接扔掉缺失数据（只用完整数据）还要差。
- 只有配合作者提出的**“加权”策略**，才能把无标签数据的价值真正发挥出来。
结构缺失 vs. 散乱缺失：
- 对于“块状缺失”（比如 A 库缺房龄，B 库缺地段），无标签数据的作用尤为巨大，因为它能帮你把 A 和 B 的“断层”连接起来。

4. 现实应用：加州房价大练兵

为了验证理论，作者用真实的加州房价数据集做了实验：

他们人为地制造了“块状缺失”（比如让一部分数据只有地段信息，另一部分只有面积信息）。
结果发现：利用作者的方法，即使只有少量“有价格”的房子，配合大量“无价格”的房子信息，预测误差比传统方法（只用完整数据或简单填补）降低了数倍。

总结

这篇论文的核心思想可以用一句话概括：
当你的数据残缺不全时，不要只盯着那一点点完整的“金矿”（有标签数据），要学会利用周围海量的“废土”（无标签数据）来重建地图。只要方法得当（通过加权和无标签数据辅助），你不仅能修好地图，甚至能画出比原图更精准的路线图。

这对医疗（病人检查项目不全）、金融（客户信息缺失）和人工智能领域都有巨大的指导意义：以后遇到数据缺失，别再只想着“扔掉”或“随便填”，试着去找找那些“没标签”的帮手吧！

这篇论文题为《带有缺失协变量的半监督线性回归》（Semi-supervised linear regression with missing covariates），由 Benedic M. Risebrow 和 Thomas B. Berrett 撰写。该研究旨在解决统计学中一个普遍存在但理论探索不足的问题：如何在标记数据（Labelled Data）存在缺失协变量，且同时拥有**未标记数据（Unlabelled Data）**的情况下，进行线性回归参数的估计。

以下是对该论文的详细技术总结：

1. 研究背景与问题定义

现实挑战：在实际应用中，数据集常同时存在两种缺失模式：
1. 响应变量缺失：导致半监督学习场景（大量未标记数据）。
2. 协变量缺失：导致传统回归方法失效或效率降低。
3. 缺失模式：包括无结构缺失（随机缺失，如 MCAR）和块状缺失（Blockwise-missing，如多模态数据中某些模态完全缺失）。
现有局限：以往研究通常将“缺失响应”和“缺失协变量”分开处理，或者仅关注完全监督场景下的缺失协变量问题。缺乏关于如何利用未标记数据来改善标记数据中协变量缺失的估计效率的理论分析。
核心目标：在最小化风险（Minimax Risk）的框架下，量化未标记数据在存在协变量缺失时的理论收益，并构建最优估计量。

2. 方法论

论文针对低维和高维两种情况，分别提出了估计方法，并区分了结构化缺失（块状缺失）和无结构缺失。

2.1 低维情形 (Low-dimensional)

估计量构建：
- 提出了一种基于**插补（Imputation）结合重加权（Reweighting）**的估计量。
- 核心思想是将缺失的协变量 $X_{M}$ 通过条件期望 $E[X_M | X_O]$ 进行插补，其中 $O$ 是观测到的协变量集合。
- 构造加权最小二乘目标函数：
  $\hat{\beta} = \arg \min_{\beta} \sum_{k=1}^K \sum_{i \in I_k} \hat{D}_k (Y_i - X_{O_k, i}^T \hat{P}_k \beta)^2$
  其中 $\hat{P}_k$ 是基于协方差矩阵估计的投影矩阵， $\hat{D}_k$ 是重加权因子（Oracle weights），用于校正不同缺失模式下的方差差异。
- 重加权的重要性：理论证明，简单的插补（权重为 1）在缺失信号与噪声比（SNR）较大时会导致性能下降，而正确的重加权能显著提升效率。
协方差估计：
- 在**普通半监督（OSS）**设置中，利用未标记数据（假设其协变量完整）来估计总体协方差矩阵 $\Sigma$ 。
- 在完全监督设置中，通过交叉拟合（Cross-fitting）技术，利用标记数据的一部分估计协方差，另一部分进行回归，以避免过拟合偏差。

2.2 高维稀疏情形 (High-dimensional Sparse)

估计量构建：
- 扩展了 Wang et al. (2019) 的 Dantzig 选择器，以处理缺失协变量和未标记数据。
- 估计量定义为求解以下线性规划问题：
  $\hat{\beta} \in \arg \min_{\beta} \{ \|\beta\|_1 : \|\hat{\Sigma}\beta - \hat{\gamma}\|_\infty \le \lambda \}$
- 其中 $\hat{\Sigma}$ 和 $\hat{\gamma}$ 是利用标记和未标记数据构造的无偏估计量。
- 该方法避免了直接对缺失数据进行非凸优化，保持了凸性。

3. 主要贡献与理论结果

3.1 风险上界与下界 (Minimax Rates)

论文推导了估计量的非渐近风险上界，并证明了这些上界与新的最小化下界（Minimax Lower Bounds）相匹配，从而确立了估计量的速率最优性（Rate Optimality）。

低维无结构缺失：
- 风险速率： $O\left( \frac{\sigma^2 p}{\rho n_L} + \frac{\|\beta^*\|_2^2 p}{\rho^2 n_L + N} \right)$
- 关键发现：未标记数据 $N$ 的存在将有效观测率从 $\rho$ 提升到了 $\rho^{1/2}$ （在 $\|\beta^*\|_2^2 \lesssim \sigma^2$ 时）。这意味着未标记数据显著降低了估计误差。
低维块状缺失（结构化）：
- 对于简单的单调缺失模式（Simple Monotonic Pattern），未标记数据允许有效维度的降低。例如，如果只有 $p_0$ 个变量在部分样本中缺失，而未标记数据量足够大，估计速率可降至 $O(p_0/n_1)$ ，而非 $O(p/n_1)$ 。这是纯监督方法无法实现的。
高维情形：
- 证明了在稀疏假设下，估计速率包含 $\frac{s \log p}{\rho n_L}$ 和 $\frac{s \log p}{\rho^2 n_L + N}$ 项。
- 解决了 Wang et al. (2019) 关于高维缺失数据下界的一个猜想，证明了未标记数据在高维稀疏回归中同样能带来速率上的提升。

3.2 理论突破

统一框架：首次系统性地建立了同时包含缺失协变量和未标记数据的线性回归理论框架。
最优性证明：提供了匹配的上界和下界，证明了所提估计量在多种缺失模式（无结构、块状）和设置（OSS、ISS、Supervised）下均达到最小化风险。
未标记数据的价值量化：明确刻画了未标记数据如何改变最小化速率，特别是在块状缺失场景下，揭示了其降低有效维度的能力。

4. 实验验证

模拟研究：
- 在低维和高维设置下，对比了所提方法与完全案例分析（Complete Case, CC）、简单插补（如均值插补、KNN）、多重插补（MICE）以及现有的半监督方法。
- 结果：所提方法（OSS 估计量）在所有场景下均表现出最低的均方误差（MSE）。特别是在缺失比例高或信号噪声比大时，重加权步骤和未标记数据的利用带来了显著的性能提升。
- 验证了理论预测：随着未标记数据量 $N$ 的增加，估计误差显著下降。
半合成应用：
- 使用加州房价数据集（California Housing Dataset），人为引入块状缺失（模拟多模态数据场景）。
- 结果显示，利用未标记数据，OSS 估计量在回归系数估计上显著优于仅使用完整案例的 OLS 估计，尤其是在缺失变量对应的模态上。

5. 意义与结论

理论意义：填补了半监督学习与缺失数据理论之间的空白，证明了在模型设定正确（Well-specified）的情况下，未标记数据依然能提升估计效率（这与某些早期半监督理论认为模型正确时未标记数据无用不同，因为这里的提升源于对协方差结构的更精确估计）。
实践意义：为处理医疗、金融等实际领域中常见的“部分样本缺失响应”且“部分样本缺失特征”的复杂数据提供了理论依据和实用算法。
核心结论：
1. 未标记数据在协变量缺失的回归问题中至关重要，能显著降低估计风险。
2. 简单的插补方法往往次优，必须结合重加权策略。
3. 所提出的估计量在理论和实践中均达到了最优速率，特别是在块状缺失模式下，能实现有效维度的缩减。

综上所述，该论文通过严谨的数学推导和广泛的实验验证，确立了半监督线性回归在缺失数据场景下的理论极限，并提供了达到该极限的实用估计方法。