🤖 machine learning

Learning What Not to Impute: An Uncertainty-Aware Diffusion Framework for Meaningful Missingness

本文介绍了 Diff-Joint，这是一个具有不确定性感知能力的扩散框架，它通过区分有意义的缺失项与基于观测的空缺来解决选择性填补问题，从而共同推断哪些数值应当保留以及哪些应当恢复，以提升下游任务的性能。

原作者： Lixing Zhang, Yidong Ouyang, Weifu Li, Shixiang Zhu, Guang Cheng, Liyan Xie

发布于 2026-06-04

📖 1 分钟阅读☕ 轻松阅读

原作者： Lixing Zhang, Yidong Ouyang, Weifu Li, Shixiang Zhu, Guang Cheng, Liyan Xie

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

核心问题： “空白处”之谜

想象你是一名侦探，正试图通过一份证人陈述来破案。证人写下了一系列事实，但其中有些部分是空白的。

在数据科学的世界里，这些空白被称为缺失值（missing values）。传统上，当计算机看到空白时，它们会认为这是一个错误——就像一张纸被撕掉了，或者笔没墨水了。计算机的任务通常是去猜测原本应该填在那里的是什么，并将其填补上去。这被称为插补（imputation）。

但本文的作者指出，这种逻辑中存在一个关键缺陷：并非所有的空白都是错误。

有时候，一个空白空间实际上是一个有效的答案。

错误的情况： 医生忘了记录患者的血压。这是一个需要被猜测的“缺失值”。
有效的空白： 一份调查问卷询问：“您的配偶收入是多少？”如果这个人是单身，那么答案并不是“未知”，答案应该是**“不适用（Not Applicable）”**。这个空白是故事中有意义的一部分。

如果计算机盲目地将这个“不适用”的空白填入一个随机的猜测（比如“50,000美元”），它就在制造谎言。这会扭曲数据并误导模型。

解决方案：Diff-Joint（聪明的侦探）

作者提出了一种名为 Diff-Joint 的新方法。把它想象成一名侦探，他不仅试图填补空白，还会先问自己：“这个空白是一个错误，还是一个刻意的‘不适用’？”

以下是它的工作原理，使用了一些比喻：

1. 两层面具

该方法将每一个缺失的数据视为具有两个层面：

数值层（The Value Layer）： 这里应该填入什么数字或单词？
掩码层（The Mask Layer）： 这个空白是一个“错误”（需要填补），还是一个“有意义的空白”（应该保持空白）？

2. “扩散”游戏（粉碎机与重组器）

其核心引擎使用了一种叫做**扩散模型（Diffusion Model）**的技术。想象你有一张清晰的人脸照片，然后你慢慢地将其变成静态噪声（就像电视雪花一样），直到你看不清任何东西。扩散模型学习的是如何逆转这个过程：从纯噪声开始，慢慢地进行“去噪”，还原回一张清晰的照片。

Diff-Joint 在此基础上进行了一次升级。它不仅尝试重建照片（数据值）；它还尝试重建掩码（Mask）（即决定哪些部分应该是空白的决策）。

3. “不确定性”测试（信心检查）

这是它的秘密武器。该方法通过运行模拟实验来生成许多个可能的缺失数据版本。

场景 A（错误）： 如果计算机试图猜测缺失的血压，它可能会生成 10 个不同的猜测（120, 125, 118 等）。这些猜测都非常接近。计算机是自信的（低不确定性）。它知道应该填补这个空缺。
场景 B（有意义的空白）： 如果计算机试图为一名单身人士猜测“配偶收入”，它可能会生成 10 个完全不同、荒谬的猜测（因为根本没有真实的答案）。这些猜测各不相同，毫无规律。计算机感到困惑（高不确定性）。

规则： 如果计算机非常困惑（高不确定性），它就会判定：“这个空白很可能是有意义的。我不应该填补它。”如果它很自信，它才会进行填补。

它如何学习（迭代循环）

该方法并不会第一次就做到完美。它就像雕塑家精炼雕像的过程一样：

猜测： 它首先假设所有空白都是错误，并用随机猜测来填补它们。
训练： 它从数据中学习真实的模式是什么样的。
测试： 它再次运行“不确定性测试”。它观察哪些猜测是摇摆不定的，哪些是稳固的。
精炼： 它更新自己的地图。它会说：“好吧，我刚才错了；这实际上是一个有意义的空白。”于是它让该处保持空白。
重复： 它不断重复这个过程，通过不断优化自己的判断，来区分“错误”与“有意义的空白”，直到画面变得清晰。

结果：为什么这很重要

作者在两种类型的数据上测试了该方法：

合成数据： 一个人工生成的数据库，其中他们明确知道哪些空白是错误，哪些是“不适用”。
真实数据： 来自医院的医疗记录（MIMIC-IV-ED）。

研究发现：

更好的检测能力： Diff-Joint 在识别“有意义的空白”（即“不适用”项）方面远优于其他方法，而其他方法只会尝试填满一切。
更高的准确性： 由于它停止了试图用谎言去填补那些“不适用”的空白，剩余的数据变得更加准确。
更好的预测效果： 当他们使用这些清理后的数据来预测未来结果（例如患者是否会被送入医院）时，预测结果更加准确。

总结

大多数数据工具将每一个缺失的部分都视为需要粘回去的破碎拼图块。Diff-Joint 教会了计算机去识别：有时，拼图块缺失是有意为之。通过学习**“什么不该被插补”**，它保留了数据的真实含义，从而带来了更聪明、更诚实的结果。

技术摘要：Diff-Joint —— 一种具备不确定性感知能力的扩散框架，用于处理具有意义的缺失值

1. 问题定义

标准的缺失值填补方法假设数据集中的所有缺失条目都对应于必须恢复的未观测到的常规值。然而，在许多现实场景中，缺失源于两种截然不同的来源：

具有意义的缺失 (Meaningfully Missing, MM)： 条目本质上是缺失且在语义上有效的（例如，在针对失业人员的调查中，收入项为“N/A”；或临床记录中未开具某项实验室检查）。将这些条目填补为常规值会扭曲数据分布并消除语义信息。
观测诱导的缺失 (Observation-Induced Missing)： 条目由于观测过程（如记录错误、数据传输失败）而缺失，应当进行填补。

核心挑战在于，这两种来源在观测数据中无法直接区分；它们都表现为相同的缺失标记（例如 NA）。现有方法通常将所有缺失条目视为可恢复的，未能区分哪些条目应该保留为 NA，哪些需要进行填补。本文将此问题形式化为一个选择性填补问题 (selective imputation problem)：目标是共同推断哪些缺失条目是具有意义的缺失（应予以保留），以及哪些是观测诱导的缺失（应予以填补）。

2. 方法论：Diff-Joint

作者提出了 Diff-Joint，这是一个基于扩散的框架，旨在通过对表格数据和潜在缺失掩码进行联合建模来执行选择性填补。

2.1 联合扩散状态

该方法定义了一个联合扩散状态 $s = (x, c)$ ，其中：

$x$ 代表完成后的表格数值。
$c$ 是一个二进制掩码，指示哪些条目是具有意义的缺失（ $c_j=1$ ）与观测诱导的缺失（ $c_j=0$ ）。

2.2 迭代优化框架

Diff-Joint 采用一种在模型训练和潜在状态更新之间交替进行的迭代方案：

初始化： 将观测到的缺失值随机填充以创建初始联合状态，将所有缺失条目视为观测诱导的缺失（ $c=0$ ）。
模型更新： 在当前的联合状态 $\{(\hat{x}^{(t)}, \hat{c}^{(t)})\}$ 上训练扩散模型，以捕捉数据值与具有意义的缺失模式之间的依赖关系。
潜在状态更新（条件采样与聚合）：
- 采样： 给定观测数据，模型抽取 $K$ 个联合状态 $(x, c)$ 的条件样本。
- 填补更新： 对于缺失条目，使用 $K$ 个样本的众数（离散型）或均值（连续型）来更新填补值。
- 不确定性感知聚合： 为了区分 MM 与观测诱导的缺失，该方法根据 $K$ $K$ 个样本的方差（连续型）或熵（离散型）计算每个缺失条目的不确定性得分。
  - 假设： 观测诱导的缺失对应于可恢复的常规值，因此表现出低不确定性（预测分布集中）。具有意义的缺失无法由单一的常规状态很好地解释，从而导致较高的不确定性。
- 掩码更新： 该方法结合两种信号来更新掩码 $\hat{c}$ $\overset{c}{^}$ ：
  1. 不确定性信号： 高不确定性得分的条目通过聚类（通过 k-means）被标记为潜在的 MM。
  2. 采样掩码信号： 采样掩码 $c^{(k)}$ 的多数投票。
  3. 融合规则： 最终掩码通过逻辑“或 (OR)”操作进行更新：如果一个条目的不确定性模式或采样掩码支持 MM 的解释，则将其分类为 MM。

2.3 可辨识性

论文提供了理论见解（命题 3.1），确立了从观测数据中识别具有意义的缺失性的条件。具体而言，如果观测诱导的缺失机制是已知的（例如，已知概率的 MCAR），或者数据的结构约束允许分离这两种机制，则可辨识性成立。

3. 核心贡献

问题形式化： 作者为表格数据的选择性填补问题进行了形式化，区分了具有意义的缺失条目（需保留）和观测诱导的缺失条目（需填补）。
Diff-Joint 框架： 他们引入了一个基于扩散的框架，通过联合建模完成后的数值和具有意义的缺失掩码，通过条件采样和不确定性感知聚合来迭代优化填补值和 MM 标签。
实证验证： 该方法在合成贝叶斯网络数据集和真实世界 MIMIC-IV-ED 数据集上进行了评估。结果表明，Diff-Joint 能有效识别具有意义的缺失条目，同时保持具有竞争力的填补准确度，并提升下游任务性能。

4. 实验结果

作者将 Diff-Joint 与包括简单统计填补（均值/众数）、经典迭代方法（missForest）、掩码自编码器（CACTI/CMAE）以及基于扩散的填补方法（DiffPuter）在内的基准方法进行了对比。

合成数据集（贝叶斯网络）：
- MM 识别： Diff-Joint 是唯一明确识别 MM 的方法。在不同缺失率（10%–40%）下，它实现了高召回率（76.99%–92.02%）。
- 填补准确度： 在所有缺失率下，Diff-注-Joint 在离散变量的标记级恢复准确度方面表现最佳。对于连续变量，它保持了竞争力，平衡了 MM 识别与数值恢复的双重目标。
- 下游性能： 在多分类任务中，Diff-Joint 显著优于所有基准方法（例如，Macro-F1 为 75.54%，而次优方法约为 46%），证明了保留 MM 状态可以提高预测效用。
真实世界数据集（MIMIC-IV-ED）：
- MM 识别： Diff-Joint 成功识别了在临床结局变量上引入的合成 MM 标签。
- 填补： 在较低缺失率下，它在离散标记级恢复方面达到了最佳准确度，并在连续变量填补方面保持了竞争力（通常是第二优，与第一优差异极小）。
- 下游性能： Diff-Joint 在预测临床结局（如：危重状态、ICU 转入）的 Macro-F1 和 ROC-AUC 方面表现出一致的提升，特别是在保留“具有意义的缺失”信号对于严重后果至关重要的场景下。

5. 重要性与主张

本文声称 Diff-Joint 解决了当前缺失数据处理中的一个关键空白：即无法区分“因为不适用而缺失”与“因为未记录而缺失”。

语义保留： 通过显式建模“具有意义的缺失”状态，该框架防止了当 NA 被天真地填补为常规值时导致的分布扭曲。
下游效用： 作者认为，将 NA 视为一种有效的语义状态而非待修复的错误，可以提供有助于下游决策的预测信号，这在医疗保健等高风险领域尤为重要。
鲁棒性： 该方法在不同的缺失机制（MCAR, MAR, MNAR）下保持稳健，且在训练期间不需要缺失类型的地面真值（ground-truth）标签。

作者承认了局限性，指出该框架假设已知 MM 的候选列，并且依赖于可检测的不确定性间隙。他们还指出，迭代扩散过程比非迭代基准方法计算成本更高，尽管这种成本可以通过控制迭代次数来调节。未来的工作建议放宽可辨识性条件并提高可扩展性。