🤖 machine learning

Prediction Models That Learn to Avoid Missing Values

本文提出了一种称为缺失规避（missingness-avoiding, MA）学习的通用框架，该框架通过定制化正则化手段，训练决策树、树集成模型和稀疏线性模型，以最小化它们在测试时对缺失或插补特征的依赖，从而同时保持预测准确性和可解释性。

原作者： Lena Stempfle, Anton Matsson, Newton Mwai, Fredrik D. Johansson

发布于 2026-06-25

📖 1 分钟阅读☕ 轻松阅读

原作者： Lena Stempfle, Anton Matsson, Newton Mwai, Fredrik D. Johansson

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名正在尝试诊断病人的医生。你有一份提问清单：“你发烧了吗？”“你的血压是多少？”“你做过核磁共振（MRI）扫描吗？”

在现实世界中，患者往往无法回答每一个问题。也许他们没有做核磁共振是因为费用太高，或者他们忘记了自己的血压读数。

问题所在：“填空”陷阱
大多数用于此类诊断的计算机程序（机器学习模型）非常讨厌缺失答案。当患者跳过一个问题时，程序通常会采取两种做法之一：

瞎猜（插补）： 它会编造一个数字来填补空白（插补）。这就像医生在猜测：“既然他们没做核磁共振，那我就假设他们的大脑很正常吧。”这可能会出错，并引入偏差。
增加问题： 它会专门增加一个问题来追踪哪些信息缺失了（例如，“核磁共振是否缺失？”）。这使得诊断过程变得复杂且难以被人类理解。这就像医生不仅在看你的健康状况，还在观察你为什么没有进行某项测试。

这两种方法都可能使模型变成一个“黑箱”，即即使是医生也不知道最终的决策是如何做出的。

解决方案：“聪明跳过者”
这篇论文介绍了一种训练这些计算机模型的新方法，称为规避缺失性（Missingness-Avoiding, MA）学习。

把标准模型想象成一名必须使用书架上每一本书来解决数学题的学生。如果其中一本书丢了，这个学生就会陷入恐慌或开始瞎猜。

新的 MA 模型 则像是一个聪明的学生，它学会了完全跳过缺失的书籍。

如果“核磁共振书”丢了，聪明的学生会查看其他书籍（比如年龄或记忆力测试分数），并意识到：“我其实不需要核磁共振书也能解决这个特定问题。我可以用其他的线索得到正确答案。”
该模型通过一条特殊的规则进行训练：“尝试得到正确答案，但如果你能在不使用缺失信息的情况下完成任务，你将获得奖励。”

它是如何运作的（决策树的比喻）
论文重点研究了“决策树”，决策树就像是流程图。

旧的方法： 流程图会问：“你做了核磁共赏吗？”如果答案是“没有”（缺失），流程图就会卡住或被迫进行猜测。
新的方法（MA-Tree）： 流程图被设计为询问：“患者是否超过 65 岁？”
- 如果是： 它会询问核磁共振情况（因为在特定的数据集中，老年患者总是可以获得该信息的）。
- 如果不是： 它会完全跳过核磁共振问题，转而询问记忆力得分。

通过重新排列问题的顺序，模型避免了陷入缺失答案的困境。它学会了绕过数据的缺口进行导航。

论文的研究发现
研究人员在真实世界的数据（如预测心脏病或认知障碍）上测试了这个想法。他们将这种“聪明跳过者”模型与标准模型进行了对比。

准确性： “聪明跳过者”模型的预测准确度与标准模型一样高。它们并没有因为忽略缺失数据而损失准确性。
可靠性： 标准模型严重依赖缺失数据（有时依赖程度高达 100%）。而“聪明跳过者”模型将这种依赖程度降低到了接近零。
清晰度： 因为模型学会了规避缺失部分，所以流程图变得更加简单且易于人类阅读。你可以清楚地看到决策是如何做出的，而不必担心隐藏的猜测。

核心结论
这篇论文提出了一种让计算机模型变得灵活的工具。它不再强迫模型去猜测缺失的信息，也不再添加令人困惑的追踪问题，而是教会它们仅利用现有的信息来找到正确答案。这就像是教一名侦探如何在缺少部分线索的情况下破案，而不需要凭空捏造事实。

技术摘要：学习规避缺失值的预测模型

问题陈述

机器学习模型在现实场景中的部署经常受到缺失值（尤其是在测试阶段）的阻碍。传统的处理方法，如“先插补后回归”（在训练前对缺失数据进行插补）或使用缺失指示符，往往会引入偏差、增加模型复杂度或模糊可解释性。虽然一些专门的模型（例如具有默认路径的 XGBoost、贝叶斯网络）能够原生处理缺失值，但它们通常局限于特定的模型类别。

核心挑战在于解决预测准确性与对缺失特征依赖度之间的权衡。在医疗保健等安全至上的领域，如果一个模型需要插补值或依赖于在测试时经常不可用的特征，那么该模型可能是不可靠的或难以解释的。作者提出了一个框架，使模型能够战略性地规避使用对于特定输入而言是缺失的特征，而不是强迫模型依赖于插补值或缺失掩码。

方法论：缺失规避（MA）学习

本文引入了缺失规避（Missingness-Avoiding, MA）机器学习，这是一个通用的框架，通过修改标准算法的学习目标来惩罚对缺失值的依赖。其目标函数在期望预测损失与期望缺失依赖之间寻求最小化：

$\min_{h \in \mathcal{H}} \mathbb{E}_p[L(Y, h(X))] + \alpha \rho(h)$

其中：

$L$ 是预测损失。
$\rho(h)$ 是期望缺失依赖度，定义为计算预测值 $h(x)$ 时需要访问缺失特征 $x_j$ （即 $x_j = na$ ）的概率。
$\alpha \ge 0$ 是控制惩罚强度的超参数。

作者为三种模型类别推导了具体的算法：

1. MA 决策树 (MA-DT)

决策树天然适合这项任务，因为它们对特征的依赖是上下文相关的：只有当一个特征出现在特定输入的决策路径上时，该特征才会被需要。

机制： 作者修改了贪心分裂算法（如 C4.5 或 ID3）。在选择分裂点过程中，将判别准则（如基尼不纯度）与正则化项相结合。
正则化： 对于叶节点 $\ell$ 和候选分裂 $(j, \tau)$ ，代价函数包含一个与该叶节点中特征 $j$ 缺失样本比例成正比的惩罚项。
上下文规避： 该算法学习将带有缺失值的样本路由到不需要该缺失特征的分支下，从而有效地利用数据的“上下文缺失性”。

2. MA 稀疏线性模型 (MA-LASSO)

线性模型无法实现上下文规避缺失值；如果系数 $\theta_j \neq 0$ ，模型始终需要 $x_j$ 。

机制： 该框架改编了 LASSO（L1 正则化）方法。
正则化： 惩罚不再是统一的，而是每个特征 $j$ 的惩罚根据其经验缺失率 $m_j$ 进行缩放。目标函数最小化：
$\sum L(y_i, \theta^T x^I_i) + \sum_{j=1}^d (\lambda + \alpha m_j) |\theta_j|$
效果： 具有高缺失率的特征会受到更大的惩罚，从而促使模型将其系数设为零，以此减少对缺失数据的依赖。

3. MA 树集成 (MA-RF 和 MA-GBT)

MA 随机森林 (MA-RF)： 并行训练独立的 MA 树。每棵树都最小化正则化后的分裂准则。
MA 梯度提升树 (MA-GBT)： 使用提升方法，其中后续的树拟合之前模型的残差。至关重要的是，正则化权重是动态更新的。如果特征 $j$ 已被之前的模型用于特定的观测值 $x_i$ （且该特征当时是缺失的），则后续模型对再次依赖该特征的惩罚会降低。这防止了集成模型在不同树之间累积过度的缺失特征依赖。

核心贡献

框架引入： 提出了一个通用的“缺失规避”框架，旨在平衡高准确性与极低的测试时缺失特征依赖度。
算法实现： 开发了适用于决策树 (MA-DT)、稀疏线性模型 (MA-LASSO) 以及树集成 (MA-RF, MA-GBT) 的具体、符合 fit-predict 规范的算法。
理论分析：
- 确定了观测确定性数据收集 (ODDC) 规则，即特定观测变量的组合可以保证其他变量的存在。作者证明，如果存在此类规则，模型可以在不牺牲预测准确性的情况下实现零缺失依赖。
- 分析了局限性，指出如果缺失是完全随机的 (MCAR) 或者测试时的分布发生显著偏移，准确性与依赖度之间的权衡可能是不可避免的。
实证验证： 通过六个真实世界数据集（包括 NHANES、ADNI 和 FICO）证明，MA 模型显著降低了缺失依赖度（通常从 100% 降至接近 0%），同时保持了与未正则化基准模型相当的预测性能 (AUROC)。

实验结果

作者在六个数据集上将 MA-DT、MA-LASSO、MA-RF 和 MA-GBT 与标准基准模型（基于插补的模型、使用缺失指示符的 M-GAM 以及原生处理工具如 XGBoost 和 NeuMiss）进行了对比评估。

性能 vs. 依赖度： MA 模型始终比其未正则化的对应模型实现了更低的缺失依赖度 ( $\hat{\rho}$ )。例如，在 ADNI 数据集上，MA-DT 在保持相当 AUROC 的同时，将依赖度从 ~11.7% 降低到了 0.1%。
与基准对比：
- 在降低依赖度方面，MA 模型优于或等同于标准的插补方法（零插补、MICE）。
- MA-DT 和 MA-RF 比 XGBoost 和随机森林实现了显著更低的依赖度，后者通常过度依赖缺失特征。
- MA-LASSO 显著降低了依赖度，且相对于标准 LASSO 仅有微小的 AUROC 损失。
- 虽然 MINTY（一种相关的基于规则的模型）实现了低依赖度，但 MA-LASSO 的训练速度明显更快（不足 1 秒，而 MINTY 高达 292 秒）。
权衡： 实验证实了可以实现良好的权衡。通过调整 $\alpha$ ，从业者可以选择运行在准确性和缺失规避帕累托前沿（Pareto frontier）上的模型。

意义与主张

论文声称，MA 学习为需要处理缺失数据时的可解释性和鲁棒性的从业者提供了一个强大的工具。

可解释性： 通过规避对缺失特征的依赖，MA 模型的决策路径保持透明，且不依赖于插补的模糊逻辑或缺失指示符引入的复杂交互。
实用性： 该方法不需要专门的架构（如 NeuMiss）或复杂的插补流水线。它可以利用现有的树模型和线性模型库集成到标准工作流中。
可行性： 作者认为，在许多现实场景中（特别是受 ODDC 规则约束的场景，如临床指南），构建既高度准确又完全不依赖缺失特征的模型是可能的，这挑战了“必须通过插补或指示缺失数据才能获得良好性能”的观点。

研究结论指出，虽然在所有场景下（例如当缺失是纯随机或以无法利用的方式具有信息性时）完全规避缺失值可能并不现实，但 MA 框架提供了一种原则性的方法，可以在不损害预测效用的前提下，最大限度地降低这种依赖。