📊 statistics

Order-Agnostic Autoregressive Modelling with Missing Data

本文提出了缺失感知顺序无关自回归模型（MO-ARM），该框架通过缺失数据的视角重新诠释顺序无关自回归模型，从而在通用缺失机制下实现稳健的插补并促进主动信息获取，在真实世界基准测试中持续优于现有基线方法。

原作者： Ignacio Peis, Pablo M. Olmos, Jes Frellsen

发布于 2026-05-08

📖 1 分钟阅读☕ 轻松阅读

原作者： Ignacio Peis, Pablo M. Olmos, Jes Frellsen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图拼好一个巨大的拼图，但有人撕掉了一半的碎片。在现实世界中，这种情况时有发生：传感器损坏、患者忘记填写表格，或者文件损坏。通常，计算机在处理这些“缺失的碎片”时会感到棘手。它们要么盲目猜测，要么丢弃不完整的数据，要么对图像原本的样子感到困惑。

本文介绍了一种让计算机处理缺失拼图碎片的新方法，称为MO-ARM。以下是通过简单的类比对其工作原理的解释。

1. 旧方法：“严格顺序”问题

试图理解数据的传统人工智能模型，就像一位非常僵化的厨师，坚持只按一种特定顺序制作三明治：面包，然后奶酪，然后火腿，最后再放面包。如果你给厨师一盘只有火腿和第二片面包的盘子，厨师会惊慌失措。因为打破了“先放面包”的规则，他们无法制作三明治。

从技术术语来说，这些是自回归模型（Autoregressive Models）。它们基于前面的数据预测下一个数据片段，但被锁定在单一、固定的顺序中。如果中间的数据缺失，链条就会断裂。

2. 新想法：“顺序无关”的厨师

作者研究了一种名为**顺序无关自回归模型（Order-Agnostic Autoregressive Models, OA-ARM）*的新型模型。想象一位不在乎顺序的厨师。他们可以先放火腿，然后加奶酪，再放面包；或者先放面包，然后火腿，再放奶酪。他们可以按照任何*随机顺序制作三明治。

本文做出了一个精彩的发现：当你用一份完整的三明治（没有缺失碎片）来训练这位“顺序无关”的厨师时，他们会意外地学会完美地填补缺失的碎片。

为什么？因为在训练过程中，厨师不断被要求根据桌上现有的其他碎片（也许只有面包）来预测一个随机的碎片（比如火腿）。这完全等同于填补缺失拼图碎片的思维练习。本文证明，这种训练过程在数学上等同于使用“完全随机缺失”（Missing Completely At Random）数据进行练习。因此，即使你只在完美数据上进行训练，该模型也会成为预测缺失内容的专家。

3. 升级：MO-ARM（“缺失感知”厨师）

作者并未止步于此。他们意识到，在现实世界中，数据缺失并不总是随机的。有时，数据缺失是因为数值本身（例如，温度计在过热时专门损坏）。这被称为“非随机缺失”（Missing Not At Random, MNAR）。

他们构建了MO-ARM，增加了第二层智能：

厨师：仍然按任何顺序制作三明治。
侦探：模型的一个新部分，它会问：“为什么这个碎片缺失了？"

如果模型学习到碎片缺失是因为它们“太热”，它就会相应地调整猜测。这使得 MO-ARM 能够比以前的方法更好地处理棘手、非随机的缺失数据。

4. 超能力：“好奇的侦探”

MO-ARM 最酷的功能之一是其能够决定接下来要询问什么。

想象你是一位试图诊断患者的医生，但只能负担得起进行几项测试。你不想进行随机测试；你想要那个能告诉你最多信息的一项。

MO-ARM 就像一个超级好奇的侦探。它查看你确实拥有的数据，并计算：“如果我知道这个特定缺失变量的值，我对最终答案的信心会提高多少？"
然后，它选择那个特定的变量作为下一个要“获取”的目标。
它一步步地这样做，高效地收集最有价值的信息以进行预测，而不是盲目猜测。

5. 它有效吗？

作者在两种截然不同的拼图上测试了这种方法：

表格数据：像带有数字和类别的电子表格（例如信用卡数据、医疗记录）。MO-ARM 在填补缺失数字方面始终优于其他顶级人工智能模型。
图像：像一张人脸照片，其中一半像素被涂黑。MO-ARM 能够“修复”（填补）人脸的缺失部分，即使图像缺失了 98%，它也能比其它方法更好地保留人物的身份和结构。

总结

简而言之，本文采用了一种灵活的、可以按任何顺序学习的人工智能模型，意识到这种灵活性使其成为猜测缺失数据的天然专家，然后对其进行升级，使其能够理解为什么数据会缺失。结果是一个能够：

比任何人都更好地填补混乱、不完整数据集中的空白。
决定接下来问哪些问题，以最小的努力获取最有用的信息。

它将一个僵化的、依赖顺序的人工智能，转变为一个灵活的、像侦探一样用于在不确定性下进行推理的工具。

技术摘要：基于缺失数据的顺序无关自回归建模

问题陈述

现实世界的学习系统经常在部分可观测的条件下运行，其中特征因传感器故障、获取成本或隐私限制而缺失。这些领域的有效系统必须解决三个核心挑战：(i) 从不完整数据中学习，(ii) 在推理时填补缺失值，以及 (iii) 当观测成本高昂时决定获取哪些未观测变量（主动特征获取）。

尽管深度生成模型理论上通过建模完整联合分布提供了一种统一方法，但现有方法面临显著局限。变分自编码器（VAEs）依赖近似推断，限制了条件准确性。生成对抗网络（GANs）通常缺乏可处理的似然函数和原则性的条件密度。扩散模型虽然能生成高质量样本，但需要迭代采样链，且难以精确地基于任意观测变量子集进行条件生成。经典自回归模型（ARMs）提供可处理的似然函数，但依赖固定的生成顺序，无法基于任意变量子集进行条件生成。

方法论：MO-ARM

作者引入了缺失感知顺序无关自回归模型（MO-ARM），这是一个通过缺失数据的视角重新解读顺序无关自回归模型（OA-ARMs）的框架。

1. 理论洞察：OA-ARMs 与 MCAR

本文首先建立了标准 OA-ARM 训练与完全随机缺失（MCAR）填补之间的理论联系。OA-ARMs 在变量的随机排列上进行训练，有效地将生成顺序视为潜在变量。作者证明，标准训练目标（涉及基于随机选择的先前揭示变量子集来预测变量）隐式地模拟了 MCAR 破坏过程。因此，仅在完全观测数据上训练的 OA-ARMs 自然泛化到 MCAR 机制下的填补任务，无需修改。

2. MO-ARM 框架

基于这一洞察，作者提出了一个原则性框架，用于在一般缺失机制（涵盖从 MCAR 到非随机缺失 MNAR）下，直接在不完全数据集上训练 OA-ARMs。

概率公式化：该模型将观测数据 ( $x_{z_o}$ )、缺失数据 ( $x_{z_m}$ ) 和缺失掩码 ( $z_o$ ) 的联合分布分解为：
$p_{\theta, \phi}(x_{z_o}, x_{z_m}, z_o) = p_\theta(x_{z_o}) p_\theta(x_{z_m} | x_{z_o}) p_\phi(z_o | x_{z_o}, x_{z_m})$
其中， $p_\theta$ 代表生成模型（一个 OA-ARM）， $p_\phi$ 是学习到的缺失机制。
训练目标：该模型利用变分下界（ELBO）最大化观测数据的对数似然。
- 对于MCAR，缺失项与数据独立，可以省略。
- 对于MNAR，模型使用由神经网络参数化的逐元素伯努利模型显式学习缺失过程 $p_\phi$ 。这使得模型能够考虑缺失性与未观测值之间的依赖关系。
填补策略：
- MCAR：通过对缺失变量的可能解掩轨迹进行蒙特卡洛采样来执行填补。
- MNAR：模型采用自归一化重要性加权。根据学习到的缺失模型 $p_\phi$ 下观测掩码的似然，对完成样本进行重加权，确保与观测到的缺失模式一致的补全被优先考虑。

3. 主动信息获取

MO-ARM 利用其摊销条件密度估计来执行主动特征获取（AFA）。通过估计目标变量 $x_\Phi$ 与候选特征 $x_{z_i}$ 在给定当前观测条件下的条件互信息 $I(x_\Phi; x_{z_i} | x_{z_{<i}})$ ，该模型可以顺序选择最具信息量的缺失变量进行获取，从而最大化下游预测性能。

主要贡献

对 OA-ARMs 的重新解读：本文证明标准 OA-ARM 训练隐式执行 MCAR 填补，解释了其在缺失数据设置中鲁棒的样本外性能。
在不完全数据上的原则性训练：作者引入了首个框架，用于在一般缺失机制（MCAR 和 MNAR）下直接在不完全数据集上训练 OA-ARMs，同时保留精确似然并实现高效的条件采样。
填补与获取的统一框架：该模型统一了缺失数据填补和主动信息获取，利用相同的摊销条件分布来处理这两项任务。
实证验证：提出的 MO-ARM 在现实世界基准上进行了评估，包括表格数据（UCI 数据集）和图像修复（CelebA-HQ）。

实验结果

作者将 MO-ARM 与既定基线进行了评估，包括 MIWAE、not-MIWAE（针对 MNAR）、VAEAC、DiffPuter 以及 MissForest 和 MICE 等经典方法。

表格填补：在七个具有不同特征类型（连续和分类）的 UCI 数据集上，MO-ARM 在 MCAR 和 MNAR 缺失机制下均一致优于既定的生成基线。值得注意的是，在 MNAR 下，MO-ARM 优于 not-MIWAE，后者是唯一其他专门为此机制设计的基线。
图像修复：在 CelebA-HQ 数据集上，与基于扩散的基线 RePaint 相比，MO-ARM 在保持身份和粗略结构方面表现出更优越的性能，实现了更高的 PSNR 分数，特别是在缺失比例增加（高达 98%）时。
主动获取：在顺序特征获取任务中，随着获取更多特征，MO-ARM 在降低预测误差方面与基线持平或更优，证明了其条件分布用于决策的实用性。

意义与主张

本文主张 MO-ARM 构成了一个强大且此前未被充分重视的用于在不完全数据下进行推理的工具。作者认为，顺序无关自回归模型为缺失数据问题提供了一种实用且原则性的替代方案，优于潜在变量（VAE）和基于扩散的方法。突出的关键优势包括：

可处理的似然函数：与 GANs 或近似 VAEs 不同，MO-ARMs 提供精确似然。
任意条件生成：与经典 ARMs 不同，它们支持基于任意观测变量子集进行条件生成。
效率：随着观测值的揭示，它们可以被重复查询，支持顺序决策，而无需扩散模型所需的长迭代采样链。

作者承认了局限性，指出在高维设置中精确生成仍然昂贵（尽管通过块状解掩得到缓解），并且随着观测上下文变得极度稀疏，性能会下降。他们还指出，虽然该框架扩展到 MNAR，但该机制仍比 MCAR 更具挑战性，需要进一步研究。