🤖 machine learning

Flow Matching with Missing Data

本文介绍了缺失数据流匹配（Missing-Data Flow Matching），该方法将缺失的坐标视为隐变量，以证明在特定条件下，缺失性不会改变学习目标，而是将挑战转移到了补全环节，同时证明了针对每个样本使用单一学习到的补全结果在最小化方差和偏差方面在理论上是最佳的。

原作者： Fairoz Nower Khan, Nabuat Zaman Nahim, Peizhong Ju

发布于 2026-08-03

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Fairoz Nower Khan, Nabuat Zaman Nahim, Peizhong Ju

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正试图教一个机器人画出一幅完美的繁华城市图。你向它展示了数千张照片，它由此学会了建筑、汽车和人是如何组合在一起，从而创造出一个真实的场景。这就是生成式建模（generative modeling）的世界——它是人工智能的一个分支，计算机通过它学习如何创造出看起来与真实事物一模一样的新数据。这种技术中最流行的工具之一被称为流匹配（Flow Matching）。把它想象成一条河流：AI 学习了精确的电流（或“流”）路径，用以引导一滴水从一个平静、空白的起点出发，一直到达一个特定的、复杂的目的地（比如一张城市照片）。如果 AI 掌握了正确的流向，它就可以通过从一滴水开始并顺着电流移动，来生成无限多全新的、真实的城市景观。

但问题在于：现实生活是混乱的。你用来教机器人的照片往往是不完整的。也许一棵树被路灯挡住了，或者一辆汽车被建筑物遮挡了，又或者医疗设备中的某个传感器失效，未能记录下读数。在 AI 的世界里，这被称为缺失数据（missing data）。如果你试图用这些残缺的照片来教机器人，它会感到困惑。它不知道缺失的部分应该在哪里，因此它可能会仅仅猜测一个单一且乏味的地点来填补空缺。这破坏了这种魔力，因为 AI 不再学习城市的多样性，而是开始学习一遍又一遍地描绘同一个乏味的地点。

这篇论文正是针对这一问题展开研究的。研究人员 Fairoz Nower Khan、Nabuat Zaman Nahim 和 Peizong Ju 提出了一种巧妙的新方法，用于在数据不完整的情况下教授流匹配。他们将这种方法称为缺失数据流匹配（Missing-Data Flow Matching, MDFM）。他们的做法不是去猜测一个单一的地点来填补空洞，而是将缺失的部分视为一个可以用多种不同方式解决的谜题。他们设想每次都用新鲜的、随机的猜测来填补缺失的部分，然后对从所有这些猜测中学习到的经验进行平均。

最令人惊喜的是什么？他们证明了这不仅仅是一个“凑合”的小技巧，它是在数学上精确的。如果数据的缺失是随机发生的（例如传感器偶然发生的故障），并且你用真实的可能值来填补空隙，那么你的 AI 所学到的东西，与它一直看到完美、完整的照片所学到的东西完全一致。难度并没有消失，只是转移了。难点变成了构建一个好的“填空”模型，但一旦你拥有了这个模型，主 AI 就能完美地学习。

此外，他们还通过模拟实验来回答一些关于如何高效实现这一目标的棘手问题。他们发现，你并不需要为每张照片填补十次或二十次空缺。每张照片只需一次新鲜的猜测，实际上就足以达到与拥有完整数据相同的准确度。 如果你的计算能力有限，那么将计算资源用于处理更多张照片（每张配一次猜测）比处理较少张照片（每张配多次猜测）效果更好。他们还展示了，如果你使用一个“冻结”的猜测（即一个永不改变的猜测）或简单的平均值来填补空洞，AI 会发生坍缩并失去创造多样性的能力。但如果你保持猜测的新鲜感和随机性，AI 就能保持其创造力。

简而言之，这篇论文为我们提供了一份食谱，教我们如何在训练数据充满漏洞的情况下，依然能教会 AI 去创造美丽而复杂的各种世界，只要我们在填补这些漏洞时使用了正确类型的随机性。

技术摘要：缺失数据流匹配 (MDFM)

问题陈述

流匹配（Flow Matching）是一种强大的生成建模技术，它通过学习一个随时间变化的向量场，利用稳定的回归目标将基分布（base distribution）传输到数据分布。然而，标准的流匹配假设训练端点是完全观测到的。在现实应用场景中（例如医疗记录、传感器数据、调查问卷），数据经常是不完整的。

现有的解决方案通常采用点值填补（Point Imputation，即使用如条件均值等单一估计值来填充缺失值）。虽然对于依赖均值的预测任务而言，这种方法有效，但对于生成式学习却是致命的。因为流匹配旨在重现其训练端点的分布，而用单一数值替换一系列可能的缺失值会导致条件分布坍缩。这会导致生成的分布具有零条件方差，无法捕捉数据的真实离散度及其依赖关系。

方法论：缺失数据流匹配 (MDFM)

作者提出了缺失数据流匹配 (MDFM)，该框架将缺失的坐标视为隐变量，而非试图将其固定为某个单一数值。

核心机制

MDFM 不会对缺失部分做出单一值的承诺，而是将样本的缺失部分 $X_{-\Lambda}$ 视为从其给定观测部分 $X_\Lambda$ 的条件分布中抽取的随机变量。

隐变量处理： 对于不完整的观测值 $O = (\Lambda, X_\Lambda)$ ，缺失的坐标 $X_{-\Lambda}$ 是从一个补全分布中抽取的。
平均损失： 流匹配损失在这些抽取的补全样本上进行平均。目标函数变为对观测模式、观测数据以及缺失部分补全值的期望。
Oracle 与学习模型：
- Oracle 目标： 假设可以访问真实的条件分布 $p^*(x_{-\Lambda} | x_\Lambda)$ 。
- 学习目标： 使用一个学习到的补全模型 $q_\phi(x_{-\Lambda} | x_\Lambda, \Lambda)$ ，该模型通过在独立的辅助数据集上进行自监督掩码训练得到。

理论基础

论文指出，在完全随机缺失 (MCAR) 条件下，如果补全值是从真实的条件分布中抽取的，那么 MDFM 的目标函数与完整数据流匹配的目标函数是完全等价的。

精确性： 与需要近似处理难以计算的积分的缺失数据评分匹配（Score Matching）不同，MDFM 的修正是一个精确的等式。一旦端点被补全，回归目标 ( $X_1 - X_0$ ) 就变得显式化。
难度的转移： 缺失数据带来的难度并未消失，而是完全转移到了对条件补全分布的估计上。如果补全模型是完美的，流匹配模型就能精确学习到真实的数据分布。

主要贡献

1. 精确修正与等价性

作者证明了在 MCAR 条件下，使用真实补全值在不完整数据上进行训练，所得到的总体目标和梯度与在完整数据上进行训练是相同的。这一结论对于参数空间中的任何可微点均成立。该结果可扩展至随机缺失 (MAR)，但在缺失非随机 (MNAR) 的情况下，除非有额外的结构性假设，否则不成立。

2. 有限样本方差分析

论文提供了严谨的有限样本方差分解，得出了具有反直觉意义的设计洞察：

方差转移而非增加： 缺失本身并不会增加总体的估计量方差；它将方差从观测层面转移到了补全层面。通过对补全值进行平均可以消除这种转移过来的方差。
单一补全的最优性： 在固定的评估预算（总损失计算次数）下，每个样本使用一个补全值是最优的。相比于为每个样本生成多个补全值，收集更多不完整的样本效率更高。
偏差界限： 对于学习到的补全模型，总体目标中的偏差受限于学习模型与真实补全分布之间预期条件 Wasserstein-1 距离的界限。这种偏差无法通过增加流匹配的训练样本量来消除，而需要一个更好的补全模型。

3. 实验验证

在合成数据和真实表格数据（UCI 数据集）上的实验验证了其理论预测：

随机 vs. 确定性： 确定性填补（如条件均值）会导致生成的分布坍缩，使分布误差增加三倍。随机补全（重采样）则能保留条件变异性并达到与完整数据相当的性能。
分布度量： 在真实数据上，MDFM 与强力的填补流水线相比具有竞争力。具体而言，MICE 在切片 Wasserstein 距离、能量距离和 MMD 上取得了最佳平均排名，而 MDFM 在处理不完整数据时，在协方差保持能力方面取得了最佳平均排名。
填补质量： 虽然 MDFM 在填补误差（RMSE）方面具有竞争力，但其主要优势在于捕捉联合分布的二阶矩结构。

意义与主张

本文将 MDFM 定位为一种具有理论依据的解决方案，弥合了缺失数据处理与生成建模之间的鸿沟。

精确性： 其主要意义在于证明了这种修正是精确的而非近似的，从而将缺失数据的负担完全转移到了补全模型的质量上。
设计指导： 有限样本分析提供了具体的、非直觉的指导原则：具体而言，在固定的计算预算下，应当优先考虑收集更多的观测样本，而非为每个样本生成多次填补。
生成完整性： 该研究表明，为了保持生成模型的完整性（特别是其重现条件方差的能力），必须避免使用确定性的点值填补，而应使用随机补全。

作者承认了局限性，指出该方法依赖于补全模型能够被有效训练（需要可识别的模式）的假设，并且目前的理论保证侧重于损失估计，而非直接针对生成的向量场质量。向 MNAR 场景的扩展仍是一个开放性挑战，需要额外的结构性假设。