📊 statistics

Missing Data Imputation under Manifold Hypothesis

本文提出了一种基于模型的缺失数据插补方法，该方法利用混合变分自编码器和潜空间扩散技术来从缺失值的条件分布中进行采样，从而在尊重底层数据流形几何结构的同时，提供不确定性量化和高效的即时插补。

原作者： Zelong Bi, Amuchechukwu Ibenegbu

发布于 2026-07-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Zelong Bi, Amuchechukwu Ibenegbu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图完成一件巨大且精细的马赛克拼贴画，但有人剪掉了数百块微小的瓷砖。你可以看到周围的碎片，并且你知道这幅画原本应该是一个平滑、流动的景观，而不是由随机颜色组成的锯齿状混乱物。这就是数据科学家在处理“缺失数据”时每天都要面对的挣扎。在现实世界中，传感器会损坏，调查会被跳过，记录会丢失，从而在我们的数字地图上留下空洞。几十年来，填补这些空洞的标准方法是根据附近的东西进行猜测，就像邻居用车道上剩下的砖块来填补一面空白的墙。但如果这面墙不是平坦的呢？如果这幅画实际上是一个弯曲、扭曲的雕塑，比如过山车轨道或扭曲的丝带呢？如果你尝试用平直的直线猜测来填充弯曲轨道上的间隙，你得到的碎片在近看时可能还算凑合，但当你退后一步时，它会完全脱离轨道。

这篇论文深入探讨了数学中一个特定的领域，即“流形假设”（manifold hypothesis）。你可以将其理解为：即使我们的数据看起来像是存在于一个巨大的、高维房间里的混沌点云（想象一个你可以向数百个方向移动的房间），这些点实际上生活在一个隐藏在其中的更小、更平滑的表面上。这就像是意识到尽管一群蚂蚁在混乱的堆积中，但它们实际上是在一张纸上沿着一条蜿蜒的线在行进。该论文还使用了“变分自编码器”（Variational Autoencoders, VAEs），它们就像是智能且灵活的相机，可以学习将一个复杂的 3D 物体展平为简单的 2D 图画，然后从这张图画中完美地重建出 3D 物体。核心问题在于：如果我们丢失了 3D 物体的一部分，我们能否利用那张 2D 图画来确定缺失的部分究竟“应该”是什么样子，从而尊重轨道的曲线，而不是仅仅进行盲目猜测？

作者 Zelong Bi 和 Amuchechukwu Ibenegbu 提出了一种修复这些破碎马赛克的新方法，即将数据视为一个弯曲的表面而非平坦的平面。他们认为，目前最流行的工具，例如名为 MissForest 的工具，虽然擅长寻找模式，但往往无法尊重数据的“几何结构”。为了直观理解这一点，想象一下 MissForest 试图通过在圆形的缺口处画一条直线来填补缺失的位置；其结果在数学上可能接近邻居，但它破坏了圆形的完整性。作者的方法则理解数据生活在一条曲线上，因此它通过遵循弧线来填补间隙，从而保持形状的完整。

为了实现这一点，他们使用了两步“魔术”。首先，他们使用“混合 VAE”（Mixture of VAEs）来学习隐藏表面的形状。想象一下这有一支艺术家团队，每位艺术家负责曲线的不同部分（比如一位艺术家负责山顶，另一位负责山谷）。他们将杂乱的高维数据映射到一个简单的、低维的“潜空间”（latent space），在那里曲线变得清晰易见。然后，当某个部分缺失时，他们并不只是猜测；他们使用一种称为“采样重要性重采样”（Sampling-Importance-Resampling, SIR）的统计程序。把 SIR 想象成一场“烫手山芋”游戏：他们生成数千个关于缺失部分的可能猜测，但只保留那些与已知曲线部分完美契合的猜测，丢弃那些看起来奇怪或格格不入的猜测。这使得他们不仅能给出一个答案，还能展示一系列可能的答案，从而有效地量化他们在填充过程中的不确定性。

但他们并没有止步于此。他们意识到，有时“艺术家们”（VAEs）没有足够的样本来完美学习曲线的每一个转折和扭曲。因此，他们加入了一个“联合扩散过程”（joint diffusion process）。想象这是一场慢慢散去的神奇迷雾。你从一个关于缺失部分和曲线形状的完全模糊、充满噪声的猜测开始，然后模型逐步进行“去噪”，不断精炼这个猜测，直到它精准地契合，既符合局部细节，又符合全局形状。这个过程发生在低维空间中，因此比在巨大的高维房间里清理噪声要快得多，也高效得多。

他们的实验结果非常引人注目。当他们在形状为圆形、球体和圆环（toruses）的合成数据上进行测试时，他们的方法在保持数据真实形状方面，表现得比领先方法都要好。虽然标准方法（Miss enough Forest）通过仅仅猜测靠近邻居的数值，有时能获得较低的“误差得分”（RMSE），但它往往会破坏几何形状。而作者的方法实现了最低的“Wasserstein 距离”——这是一种高级的衡量方式，意味着他们填充后的数据在整体形状和分布上，看起来更像原始的、完整的图像。

在现实世界的数据集上，如超导体记录（能够无电阻导电的材料）和能源消耗数据，作者发现他们的方法是一个强有力的竞争者。当数据随机缺失时，其表现几乎与 MissForest 持平；但当缺失数据非常棘手或缺失量很大时，它便展现出了卓越的优势。在这些困难场景下，他们的算法依然保持稳健，而其他方法则开始崩溃。例如，在超导体数据集中，即使缺失不是随机的，他们的方法仍能保持最低的错误率，这表明理解底层几何结构有助于模型即使在数据以非随机方式“隐藏”时也能做出正确的猜测。

然而，论文也谨慎地指出，这并不是解决所有问题的“魔杖”。该方法高度依赖于一个前提假设，即数据确实遵循一个平滑的、低维的曲线（即流形假设）。如果数据仅仅是随机噪声或者没有清晰的形状，该方法可能会遇到困难。他们还发现，在像葡萄酒质量这样的小型数据集上，该方法表现并不理想，这可能是因为缺乏足够的数据来教导“艺术家们”如何画出那条曲线。在这些情况下，仅仅观察最近邻的简单方法反而效果更好。

最终，这篇论文表明，通过将流形学习的几何理解与扩散模型的生成能力相结合，我们可以以一种“符合”数据所处宇宙形状的方式来填补缺失的数据。这是一种从“仅仅用最近的砖块填补空洞”到“通过雕刻缺失部分使其完美契合墙壁曲线”的转变。虽然这需要更多的计算能力和特定的数据结构，但它为实现更准确、更可靠的数据恢复提供了一条充满希望的路径，尤其是在数据的形状与数值本身同样重要的领域。

技术摘要：流形假设下的缺失数据插补

问题陈述

缺失数据插补旨在系统地估计并替换数据集中的缺失值。虽然流形假设认为高维数据集中在低维嵌入流形附近，但主流的插补方法在很大程度上未能利用这种几何结构。现有的最先进方法（如 MissForest）往往无法尊重存在的底层几何结构，导致插补结果虽然在点对点精度上较高（低 RMSE），但在几何上与数据分布不一致。此外，许多当前的方法是转导式（transductive）的，这意味着它们针对特定数据集优化插补，而没有学习到一个可复用的模型，这使得它们在处理新数据或在线插补时效率低下。

方法论

所提出的框架通过结合流形学习、概率采样和扩散模型来解决这些局限性。该方法论分为三个主要阶段：

1. 通过混合 VAE 进行流形学习

该方法假设数据位于一个内在维度为 $d \ll p$ 的低维流形上。为了捕捉这种结构，作者使用了混合变分自编码器（Mixture VAEs）。在这种表述中：

流形由多个重叠的“图册”（charts）覆盖。
每个图册 $c \in \{1, \dots, C\}$ 都关联着一个局部坐标系 $z \in \mathbb{R}^d$ 。
模型为每个图册学习一个编码器 $E_c$ 和一个解码器 $D_c$ ，将条件分布 $p(z|x, c)$ 和 $p(x|z, c)$ 近似为高斯分布。
这种多图册表述使模型能够忠实地恢复底层几何结构，而单图册 VAE 往往难以做到这一点。

2. 通过采样重要性重采样（SIR）进行插补

核心插补任务是从条件分布 $p(x_{mis} | x_{obs})$ 中进行采样。由于联合后验分布 $p(z, c | x_{obs})$ 是难以计算的，作者采用了采样重要性重采样（SIR）程序：

采样： 使用学习到的流形模型从训练数据中抽取联合潜变量样本 $(z_k, c_k)$ 。
加权： 对于特定的观测向量 $x_{obs}$ ，计算权重 $w_k = p(x_{obs} | z_k, c_k)$ 。
重采样： 根据归一化后的权重，从训练对集合中抽取一个新的潜变量对 $(z^*, c^*)$ 。
生成： 通过从 $p(x_{mis} | z^*, c^*)$ 中采样来生成缺失值，由于模型的结构，该分布是高斯的。
这一过程产生了一种基于模型的、归纳式的（inductive）插补，既尊重几何约束也尊重分布约束，并允许进行不确定性量化。

3. 联合潜空间扩散过程

为了克服受限于观测训练样本支撑集（support）的限制，作者引入了一个在潜空间 $(z, c)$ 中的联合扩散过程。

前向过程： 向连续的潜坐标 $z_t$ 和离散的图册标签 $c_t$ 分别添加噪声。
反向过程： 训练一个神经网络，根据噪声状态 $(z_t, c_t)$ 和时间步 $t$ 来预测干净的潜变量 $(z_0, c_0)$ 。
采样： 反向过程允许在任意尺度上生成高质量的潜变量样本，随后通过解码产生插补值。这提升了插补质量，特别是在原始训练集覆盖较稀疏的数据区域。

核心贡献

基于 SIR 的模型化插补： 作者提出了一种利用学习到的流形结构，直接从 $p(x_{mis} | x_{obs})$ 中进行采样的程序。该方法是归纳式的，支持无需重新训练即可进行即时插补，并提供不确定性量化。
联合潜空间扩散： 开发了一种用于潜空间的创新联合扩散过程，能够同时更新连续坐标和离散的图册成员标签。这改善了生成过程，能够产生保留底层几何和分布的高质量样本。
几何感知性能： 该方法旨在尊重数据的内在几何结构，解决了传统方法无法维持结构一致性的问题。

实验结果

所提方法在合成数据集（圆、球、环面）和六个真实世界数据集（超导、能源、金融、发电厂、葡萄酒、面部表情）上进行了评估，涵盖了完全随机缺失（MCAR）、随机缺失（MAR）和非随机缺失（MNAR）机制。

指标： 评估采用了均方根误差（RMSE）和 Wasserstein 距离。作者指出，虽然 RMSE 衡量点对点精度，但 Wasserstein 距离能更好地捕捉与底层几何和分布的一致性。
合成数据： 所提方法在所有合成数据集上均获得了最低的 Wasserstein 距离，表明与 MissForest、MICE 和 GAIN 等基准方法相比，它在保持几何结构方面具有优越性。
真实世界数据：
- 该方法表现出具有竞争力的性能，在缺失率增加或处于复杂缺失机制（MAR/MNAR）下，通常优于 MissForest。
- 在超导数据集上，该方法展示了鲁棒性，在各种缺失机制下均保持了最低的平均 RMSE 和 Wasserstein 距离。
- 在下游预测任务（超导数据的线性回归）中，所提方法在 MNAR 设置下取得了最佳预测性能，在 MCAR/MAR 设置下位居第二。
- 该方法在葡萄酒数据集上显示出局限性（样本量较小），其中 KNN 表现更好，这表明可靠的流形学习需要充足的完全观测案例。

重要性与主张

论文声称其主要意义在于弥合了流形学习与缺失数据插补之间的鸿沟。通过将插补视为从学习到的几何结构中进行采样的问题，该方法提供了一种系统化的方式来填充缺失值，使其与数据的内在流形保持一致。

作者强调，其方法是归纳式的，允许对新数据点进行插补而无需重新优化整个过程，这是与转导式方法相比的一个显著优势。此外，采样的概率性质允许对插补进行不确定性量化，这是确定性方法通常缺乏的功能。

论文也谦虚地承认了局限性：该方法依赖于数据满足流形假设的假设，这在实践中可能难以验证。此外，由于依赖平滑结构，该方法主要适用于连续变量，若不进行修改，可能无法直接应用于离散数据。最后，作者指出，开发能够同时捕捉几何保真度和分布一致性的评估指标仍是未来工作的一个开放方向。