📊 statistics

Deep learning with missing data

本文介绍了模式嵌入神经网络（Pattern Embedded Neural Networks, PENNs），这是一种将观测指标集成到神经网络架构中的方法，旨在实现具有任意缺失机制且存在协变量缺失情况下的多元非参数回归的极小极大最优收敛率，同时在各种数据集上表现出优于标准神经网络的实证性能。

原作者： Tianyi Ma, Tengyao Wang, Richard J. Samworth

发布于 2026-07-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tianyi Ma, Tengyao Wang, Richard J. Samworth

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

深度学习中的缺失数据：深度学习与缺失数据

以下是关于论文《深度学习中的缺失数据》（Deep learning with missing data）的解释，采用了简单的语言和富有创意的类比。

核心问题：“缺失碎片”谜题

想象一下，你正在试图教一个机器人预测天气。你给了它温度、湿度和风速的数据。但有时，传感器会损坏。在某些日子里，机器人只能得到温度；在另一些日子里，它得到了湿度和风速，但没有温度。

在深度学习（现代人工智能背后的“大脑”）的世界里，这是一个噩م噩梦。通常情况下，如果数据缺失，科学家们只是用一个猜测值（比如平均温度）来填补空白。然后，他们根据这些“填补后”的数据来训练机器人。

这篇论文认为这种方法是有缺陷的。
为什么？因为缺失数据的“模式”本身就在讲述一个故事。

如果温度传感器坏了，机器人需要知道这一点。
如果湿度传感器坏了，那是另外一个情况。

作者将这些缺失数据的模式称为**“揭示向量”（revelation vectors）**。它们就像一张地图，精确地展示了哪些拼图碎片丢失了。

解决方案：模式嵌入神经网络 (PENNs)

作者提出了一种训练 AI 的新方法，称为模式嵌入神经网络 (Pattern Embedded Neural Networks, PENNs)。

把标准的 AI 想象成一个正在尝试解决数学题的学生。

旧方法： 老师给学生一张有些数字缺失的练习册。学生猜测缺失的数字，把它们填上去，然后尝试解题。如果学生猜错了，整个答案也就错了。
PENN 方法： 老师给学生一张练习册，并附带一张特别的便条，上面写着：“嘿，第 3 列的数字缺失了。”

PENN 架构由三个协同工作的部分组成：

填充器 (The Filler)： 它接收带有缺失位置的数据，并将它们填补完整（使用任何标准方法）。
模式侦探 (The Pattern Detective)： 这是神奇之处。它只观察“缺失图谱”（即揭示向量）。它将这个图谱压缩成一个简单、紧凑的摘要。它能理解“温度缺失”和“湿度缺失”是两种截然不同的情况，即使它们在数学表现上看起来很相似。
老板 (The Boss)： 它获取填补后的数据以及来自“模式侦探”的摘要，并将两者结合起来做出最终预测。

为什么这很重要：“噪声”问题

论文解释了一个仅仅将“缺失图谱”作为额外数据加入其中的棘手问题。

假设你有 20 个不同的传感器。它们损坏的方式组合共有 $2^{20}$ 种（超过一百万种）。如果你只是告诉 AI：“这里有一串由 0 和 1 组成的列表，显示哪些传感器坏了”，AI 就会感到不知所措。它会试图记住每一种组合，就像一个试图通过背诵整本字典而不是学习语法来学习的学生一样。这被称为过拟合 (overfitting)。

PENN 通过使用**“模式侦达”**来学习缺失数据的“含义”解决了这个问题。它意识到，“传感器 1 损坏”在预测天气方面，可能与“传感器 1 和 2 都损坏”的情况具有相似性。它将相似的缺失模式归为一类，从而允许 AI 通过借鉴相似案例的知识来从稀有案例中学习。

证明：理论与实验

作者不仅构建了一个酷炫的工具，还从数学上证明了它的有效性。

理论： 他们证明了即使缺失数据的发生具有复杂的、奇特的理由（而不只是随机发生的），他们的方法也几乎是学习的最佳方式。他们证明了 PENNs 可以像 AI 从一开始就知道如何对缺失模式进行分组一样进行快速学习。
实验： 他们在以下场景中测试了该方法：
- 伪造数据： 他们创建了数据随机缺失的场景，以及数据按特定目的缺失的场景（例如，传感器在非常热的时候更容易损坏）。在几乎所有情况下，PENN 都比标准 AI 更准确。
- 真实数据： 他们在真实世界的数据集上进行了测试，例如预测信用评分和识别手写数字（其中图像的部分区域是“缺失”或被遮挡的）。同样，PENN 的表现优于标准方法和其他流行工具（如 XGBoost）。

总结

当数据缺失时，“数据缺失”这一事实本身就是一种信息。

旧 AI： 忽略缺失性，或者将其视为需要修复的简单错误。
PENN： 将缺失性视为一个线索。它使用一个特殊的“翻译器”来理解缺失数据的模式，并将这种理解直接输入到决策过程中。

其结果是一个更聪明、更鲁棒的 AI，它不会在传感器失灵时感到困惑。

技术摘要：用于含缺失协变量的非参数回归的模式嵌入神经网络 (Pattern Embedded Neural Networks)

问题设定
本文研究了在协变量包含缺失值的情况下，进行多元非参数回归时监督深度学习所面临的挑战。以往的工作通常假设缺失完全随机（MCAR）或依赖于特定的参数化缺失模型，而本研究考虑的是一种更一般的设定，即缺失机制是任意的，并且可能依赖于协变量（缺失非随机，MNAR）。其目标是进行预测：估计贝叶斯回归函数 $f^\star(z, \omega) = \mathbb{E}(Y | Z=z, \Omega=\omega)$ ，其中 $Z$ 代表插补后的协变量， $\Omega$ 代表观测指示向量（revelation vector），用于表示哪些条目是被观测到的。

研究中发现的一个核心难点在于，虽然观测指示向量包含了关于缺失结构的关键预测信息，但如果将它们与插补后的协变量直接拼接作为神经网络的输入，往往会导致性能不佳。这是因为随着维度 $d$ 的增加，可能的观测模式数量会呈指数级增长（ $2^d$ ），从而导致过拟合并产生维度灾难；此外，超立方体 $\{0,1\}^d$ 的欧几里得几何结构与实际问题的预测结构之间存在不匹配。

方法论：模式嵌入神经网络 (PENNs)
作者提出了模式嵌入神经网络（PENN），这是一种旨在将观测模式集成到深度学习框架中、且无需依赖特定插补技术的创新架构。PENN 估计器的形式为：
$\hat{f}(z, \omega) = f_3(f_1(z), f_2(\omega))$
其中：

$f_1$ ：作为一个特征映射网络，处理插补后的协变量 $z$ 。
$f_2$ ：作为一个嵌入函数网络，处理观测指示向量 $\omega$ 。它将高维、离散的观测模式映射到一个低维的连续空间，在该空间中，几何上的接近程度反映了预测行为的相似性。
$f_3$ ：最后一个神经网络，负责结合学习到的协变量特征和模式嵌入，从而生成预测结果。

这种方法允许模型在相似的观测模式之间“借力”（borrow strength），有效地压缩了观测指示向量中的信息。该方法可以与在训练前应用的任何现有插补技术（如 Mean Imputation、MissForest 或 MICE）兼容。

理论贡献
本文对 PENN 估计器进行了严谨的理论分析，在不假设数据生成与缺失机制相互独立的情况下，建立了有限样本超额风险（excess risk）的上界。

Oracle 不等式： 文中推导出了一个通用的 Oracle 不等式，将超额风险分解为优化误差、近似误差和估计误差项。该不等式适用于任意神经网络估计器和亚高斯响应（sub-Gaussian responses）。
极小极大最优性 (Minimax Optimality)： 在“分片光滑性”（Piecewise Smoothness，假设 1）的假设下，贝叶斯回归函数被划分为若干个单元（cells），在每个单元内，该函数表现出相似的行为。在每个单元内，函数属于复合 Hölder 类。
- 定理 2 建立了超额风险的上界。该界限是各单元内极小极大速率的加权平均，并由该单元的有效样本量进行缩放。至关重要的是，在样本量呈多项对数级增长的情况下，该速率达到了如同预先已知划分结构时的水平。
- 定理 3 提供了匹配的极小极大下界，证实了 PENN 估计器能够达到该问题设定下的最优收敛速率。
创新性： 该理论引入了观测模式划分的 F-可分性 (F-separability) 概念，允许神经网络学习那些共享相似回归函数的模式分组。这解决了与 $2^d$ 个可能缺失模式相关的“维度灾难”问题。

实验结果
研究在模拟数据、半合成数据以及真实世界数据集上进行了广泛的数值实验：

模拟数据： 在涵盖 MCAR 和 MNAR 场景及不同相关性的四种模型中，PENNNs 的表现一致优于标准神经网络（即在未进行模式嵌入、仅使用插补数据训练的模型）、XGBoost 和随机森林。在 MNAR 设定下，这种改进尤为显著，而标准方法在这些场景下表现挣扎。
半合成数据： 在 CT 相对位置数据集（回归任务）和 MNIST（分类任务）的实验表明，与基准模型相比，PENN 显著降低了预测误差（通过未解释方差比例和误分类率衡量），尤其是在 MNAR 机制下。
真实数据： 在一个具有固有缺失性的信用评分预测数据集上，PENN 再次展现出相对于标准神经网络和树模型的一致且显著的改进。
可视化： 学习到的观测模式嵌入揭示了网络成功地将具有相似预测行为的模式进行了聚类，验证了理论前提，即嵌入过程捕捉到了相关的结构信息。

意义与主张
作者声称，这项工作是首个为一般缺失机制下的多元非参数回归提供极小极大最优性保证 (minimax optimality guarantees) 的研究。这项工作的意义在于：

方法论创新： 引入了模式嵌入作为处理深度学习中缺失数据的机制，弥合了基于插补的方法与直接对缺失指示进行建模之间的差距。
理论严谨性： 证明了只要回归函数呈现分片复合光滑性，PENN 即使在缺失机制复杂且具有依赖性时也能达到最优收敛速率。
实际应用价值： 证明了该方法对于标准插补工具具有鲁棒性，并在合成及真实场景中较现有最先进方法取得了实质性的经验增益。

文章总结道，PENN 为处理带有缺失协变量的深度学习提供了一种原则性且有效的解决方案，克服了仅仅将缺失指示视为额外原始特征所带来的局限性。

深度学习中的缺失数据：深度学习与缺失数据

核心问题：“缺失碎片”谜题

解决方案：模式嵌入神经网络 (PENNs)

为什么这很重要：“噪声”问题

证明：理论与实验

总结

类似论文