🤖 machine learning

OverNaN: NaN-Aware Oversampling for Imbalanced Learning with Meaningful Missingness

本文介绍了 OverNaN，一种轻量级过采样框架，它通过在包含缺失值的特征向量上直接生成合成样本来解决不完整数据集中的类别不平衡问题，从而保留信息性缺失模式，而非通过传统插补或删除将其抹去。

原作者： Amanda S Barnard

发布于 2026-05-13

📖 1 分钟阅读☕ 轻松阅读

原作者： Amanda S Barnard

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和日常类比对论文《OverNaN》的解释。

核心问题：“破碎的拼图”

想象一下，你正在教计算机识别不同类型的汽车。你给它看红色跑车和蓝色卡车的照片。但是，许多照片中图像的部分缺失了——也许是车牌被模糊处理了，或者侧后视镜被切掉了。

在机器学习的世界里，这些缺失的部分被称为NaN（非数字）。

传统上，当数据科学家看到这些缺失部分时，会将它们视为缺陷。在教计算机之前，他们主要有两种修复方法：

扔掉照片：如果一张照片缺少后视镜，他们就删除整张图片。如果你某种特定车型的照片本来就很少（即“少数类”），这种做法就很糟糕。
猜测缺失部分：他们利用数学方法猜测缺失的后视镜长什么样，并将其填补进去。这被称为插补。

这篇论文认为，这两种传统方法都有缺陷。如果数据本来就不足，扔掉数据会让问题更糟。而猜测缺失部分会制造虚假的确定性——计算机以为它知道后视镜长什么样，但这只是猜测，可能会混淆模型。

新想法：OverNaN

作者 Amanda Barnard 介绍了一种名为OverNaN的新工具。

把 OverNaN 想象成不是维修队，而是一台尊重缺失部分的复印机。

OverNaN 不修复缺失部分，也不扔掉照片，而是说：“让我们保持缺失部分缺失，但让我们多复制这些照片，以便计算机能更好地学习。”

这至关重要，因为在许多现实情况（如科学或工程领域）中，数据缺失并非偶然，而是有意义的。

类比：想象一个蛋糕食谱。如果食谱说“加 2 个鸡蛋”，但你没有鸡蛋，你不会只是猜测“加 2 个鸡蛋”并写下来。原料缺失这一事实告诉你关于食谱的某些信息（也许它是纯素版本）。如果你用猜测填补进去，你就毁了食谱。OverNaN 保持“缺失的鸡蛋”位置空白，以便模式保持真实。

工作原理（“魔法”技巧）

通常，为了让计算机更多地了解某种罕见的汽车类型，我们会使用一种称为SMOTE的技术。这种方法通过取两张罕见汽车的照片，并在它们中间绘制一张新的、虚假的照片来工作。

旧方法：如果一张照片缺少后视镜，旧方法会猜测后视镜的样子，画出一辆带有“猜测”后视镜的新车，并寄希望于好运。
OverNaN 方法：它查看这两张照片。
- 如果两张都有后视镜，它就画出一辆带有后视镜的新车。
- 如果其中一张缺少后视镜，那么新的虚假汽车也会缺少后视镜。

它将“缺失性”视为数据的一个特征，就像颜色或形状一样。它创建新的合成示例，这些示例看起来与真实示例完全一致，包括它们的空洞和缺口。

处理缺口的三种方式

论文解释说，OverNaN 在制作新副本时，为你提供了三种不同的“策略”来处理这些缺失部分：

“保守”策略（保留模式）：如果任意一张原始照片有缺失部分，新副本也会有缺失部分。它非常小心，不发明任何新东西。
“填充”策略（选择性插值）：如果两张原始照片都有该部分，就将其填满。如果只有一张有，新照片就留空。
“统计”策略（概率性）：它观察现实中事物缺失的频率，并尝试随机复制这种模式。

为什么这很重要？（石墨烯示例）

论文在一个真实的科学问题上测试了这种方法：预测一小块氧化石墨烯（一种用于电池和药物的材料）是否连接了特定的化学基团。

情况：在某些结构中，某些化学键根本不存在。这不是科学家忘记测量，而是该键在物理上就不存在。
旧方法的问题：如果你使用旧的“猜测”方法，你可能会告诉计算机某个键存在，而实际上它并不存在。这就像告诉厨师在一道本应无盐的菜里加盐。
OverNaN 的结果：通过保持“缺失的键”为缺失值，计算机学会了正确识别结构。在测试中，OverNaN 比那些试图填补空白或删除数据的方法更准确、更一致。

总结

OverNaN 是为你那些混乱、不完整且不平衡（即某种数据类型很少见）的数据准备的工具。

OverNaN 不试图通过猜测或删除来“修复”缺失数据，而是说：“缺失的数据是故事的一部分。” 它在保持数据中的空洞恰好位于其应处位置的同时，生成更多罕见数据的示例，使计算机能够在不被虚假猜测欺骗的情况下学习真相。

它是为那些处理小型、棘手数据集的科学家和工程师设计的，在这些数据集中，“缺什么”与“有什么”同样重要。

技术摘要：OverNaN——面向具有有意义缺失值的非平衡学习的 NaN 感知过采样

1. 问题陈述

在应用机器学习领域，特别是在物理科学、工程和生物医学中，缺失值往往源于结构性约束（例如破坏性测量、伦理限制或条件性结果），而非随机噪声。因此，数据的缺失可能携带与领域相关的信息。然而，标准的机器学习流程通常将缺失值视为缺陷，要求在分析前通过列表删除或插值予以消除。

这种方法在非平衡学习场景中尤为有害，因为少数类样本本就代表性不足。删除操作不成比例地移除了少数类样本，加剧了不平衡；而插值则将不确定性坍缩为点估计，引入了人为的确定性以及潜在的模型依赖性偏差。此外，广泛采用的合成过采样技术（如 SMOTE 和 ADASYN）隐式地假设特征向量是完整的，迫使实践者在生成合成样本之前先对缺失数据进行插值。这一过程在过采样发生之前便抹去了结构性缺失模式，可能扭曲类别边界和特征空间的几何结构。

2. 方法论：OverNaN

OverNaN 是一个轻量级、NaN 感知的过采样框架，旨在解决类别不平衡问题，同时不抹除缺失结构。它将常见的合成过采样方法（SMOTE、ADASYN、ROSE）扩展为直接在不完全特征向量上运行，将特征空间视为 $(\mathbb{R} \cup \{\text{NaN}\})^d$ 而非 $\mathbb{R}^d$ 。

核心设计原则

结构完整性：缺失值被视为结构元素，而非缺陷。如果原始数据支持此类模式，合成样本中合法地包含 NaN。
无人为确定性：过采样不会在未被观测到的地方引入推断值，从而避免编码不合理的假设。
显式控制：处理缺失值的策略是显式的且由用户定义，而非预处理过程中的隐式副作用。

算法实现

OverNaN 修改了现有方法的邻域定义和样本生成过程：

距离计算：样本 $x_i$ 和 $x_j$ 之间的距离仅在共享的观测维度集合 $\Omega_{ij} = \{k : x_{ik} \neq \text{NaN} \land x_{jk} \neq \text{NaN}\}$ 上计算。
逐特征生成：合成样本 $\tilde{x}$ $\tilde{x}$ 按特征逐个生成。对于 $\Omega_{ij}$ $Ω_{ij}$ 中的维度，执行标准插值（ $\tilde{x}_k = x_{ik} + \lambda(x_{jk} - x_{ik})$ $\tilde{x}_{k} = x_{ik} + λ (x_{j k} - x_{ik})$ ）。对于 $\Omega_{ij}$ $Ω_{ij}$ 之外的维度，其值由以下三种显式策略之一确定：
1. 保留模式（Preserve-Pattern）：如果父样本中任一特征缺失，则合成样本保留 NaN。
2. 选择性插值：仅当两个父样本均具有观测值时才进行插值；否则，该特征保持为 NaN。
3. 概率缺失：根据经验性的每类缺失率对缺失性进行采样。

计算特性

兼容性：OverNaN 在 NumPy 数组和 pandas DataFrame 上运行，保留容器类型和元数据。
复杂度：它将邻居搜索委托给现有库。虽然距离计算仅限于观测子空间，但渐近复杂度与底层方法相似（最坏情况下每次查询为 $O(Nd)$）。
并行性：样本生成是极易并行化的，但 OverNaN 在批次级别保守地应用并行性，以避免 NaN 传播引发的竞态条件。
数值稳定性：它依赖 IEEE 754 标准的 NaN 行为，刻意传播 NaN 而非屏蔽它们，假设下游学习器（例如基于树的集成模型）能够容忍 NaN。

3. 主要贡献

框架开发：引入 OverNaN，将 NaN 感知整合到 SMOTE、ADASYN 和 ROSE 中，不改变其核心几何假设，仅改变定义域。
策略定义：形式化了过采样期间处理缺失值的三种不同策略（保留、选择性、概率性），使实践者能够将方法与领域知识对齐。
验证套件：一个全面的测试套件，展示了其在边缘情况（例如单个少数类样本、高 NaN 率）下的功能，以及与下游分类器（如 XGBoost）的集成。
基准测试：在五个具有自然缺失值的 OpenML 数据集上进行了实证评估，并具体应用于氧化石墨烯纳米片数据集，其中缺失具有化学意义上的重要性。

4. 实验结果

合成与受控数据集

基本功能：OverNaN 成功在不进行插值的情况下重新平衡了类别。在默认的 preserve_pattern 策略下，重采样后的 NaN 率有所增加（因为合成样本继承了父样本的缺失性），而 ROSENaN 由于其基于核的扰动，保持了更接近原始水平的比率。
分类器集成：在带有 XGBoost 的受控任务中，与基线相比，所有三种 OverNaN 变体均提高了少数类的召回率和 F1 分数。SMOTENaN 和 ROSENaN 在少数类上实现了完美的召回率和 F1（1.000）。
比较性能：在具有 11.9% NaN 的合成数据集上，与涉及特征丢弃、实例丢弃或均值插值后接标准 SMOTE 的流程相比，SMOTENaN 实现了最高的 ROC AUC（0.802）和最低的交叉折叠方差。

现实世界基准（OpenML）

在五个数据集（labor, cylinder-bands, Titanic, soybean, car-evaluation）上进行了评估：

ROSENaN 在五个数据集中始终实现了最高的平均平衡准确率、宏 F1 和 ROC AUC。
SMOTENaN 相比基线提供了适度的提升。
ADASYN-NaN 显示了改进的 ROC AUC，但平均阈值化指标略低。
运行时间：ROSENaN 保持了计算效率（平均 0.7 秒），而 ADASYN-NaN 较慢（16.5 秒），这是由于其自适应密度估计所致。

应用：氧化石墨烯纳米片

在预测纳米片上羧基的任务中（39.8% 的 NaN 率，其中缺失表示特定键的结构性缺失）：

SMOTENaN 优于“丢弃特征”和“插值 + SMOTE”流程，实现了 $0.997 \pm 0.005$ 的平衡准确率和 $0.999 \pm 0.002$ 的 F1 分数。
关键在于，SMOTENaN 保留了缺失条目的结构意义（即不为不存在的键编造键长），同时保持了完整的特征空间，而插值引入了合成值，丢弃特征则丢弃了有信息量的描述符。

插值与 OverNaN 对比

在 OpenML anneal 数据集（64.98% 的 NaN 率）上，与“先插值后过采样”流程相比，OverNaN 变体产生的平衡准确率和宏 F1 分数在统计上无显著差异。这表明在这些设置中，插值并非获得竞争性性能的严格前提。

5. 意义与主张

本文提出，缺失性通常是一种信号而非噪声，在重采样之前将其消除可能会扭曲学习过程。OverNaN 的意义在于：

保留信息：它允许实践者保留反映实验约束或物理现实的结构性缺失模式，而不是用可能有偏的估计来“修复”数据。
显式不确定性：它鼓励将不确定性作为首要考虑因素，防止在合成数据中引入人为的确定性。
领域适用性：它专门针对科学和工程领域，这些领域的数据集通常较小、不完整且不均衡，且缺失性不可避免且具有信息量。

作者明确指出，OverNaN 并非缺失数据的通用解决方案；它不模拟缺失机制或推断未观测值。它旨在作为下游学习器能够原生处理 NaN 且数据的结构性缺失具有意义的场景下的替代方案。该框架优先考虑可解释性、对假设的控制以及可重复性，而非激进的优化或高吞吐量能力。