💻 computer science

Hybrid Imbalanced Regression Through Unified Data-Level and Algorithm-Level Balancing

本文提出了一种用于不平衡回归的统一混合框架，该框架结合了自适应数据级平衡（通过目标条件表示学习和特征空间聚类）与一种新颖的算法级潜在密度加权损失（Latent-Density Weighted Loss），旨在有效解决现有单一方法的局限性，并提高对稀有目标值的预测性能。

原作者： Shermin Shahbazi, Hossein Mohammadi, Mohsen Afsharchi

发布于 2026-06-02

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Shermin Shahbazi, Hossein Mohammadi, Mohsen Afsharchi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人预测房价。在一个完美的世界里，你会给它展示 1,000 个 10 万美元房子的例子，1,000 个 20 万美元房子的例子，以及 1,000 个 30 万美元房子的例子。机器人就能完美地学会其中的规律。

但在现实世界中，数据是混乱的。也许你有 1,000 个 10 万美元房子的例子，但却只有一个 1,000 万美元豪宅的例子。这就是**不平衡回归（Imbalanced Regression）**的问题。机器人变得非常擅长预测那些常见的 10 万美元房子，以至于它完全忽略了那些罕见的千万豪宅。当它最终看到一栋豪宅时，它会猜“10 万美元”，因为那是它最熟悉的。

这篇论文提出了一种“混合框架”来解决这个问题。你可以把它看作是一个五步教练计划，旨在帮助机器人关注那些罕见的、昂贵的房子，同时又不至于在处理常见房子时“大脑过载”。

以下是这五个步骤是如何运作的，使用了简单的类比：

第 0 步：“智能地图”（自适应分箱划分 / Adaptive Bin Partitioning）

问题： 你不能直接说“罕见房子”，因为价格是一个连续的曲线，而不是像“红房子”对比“蓝房子”那样是独立的类别。
解决方案： 团队创建了一个动态地图。他们不是将价格范围切成相等的切片（就像用尺子量一样），而是观察数据，看看“聚集点”在哪里。如果 10 万美元到 100 万美元之间存在巨大的缺口，他们就会在那里画一条线。如果数据是平滑的，他们就不会进行切割。
类比： 想象你正在整理一个图书馆。你不是按精确的页数把书放在书架上（这很混乱），而是观察故事本身。你根据故事的实际流动感，将所有的“短篇小说”归为一类，将所有的“长篇小说”归为一类。这有助于机器人清晰地看到那些“罕见”的部分。

第 1 步：“翻译官”（表示学习 / Representation Learning）

问题： 原始数据（建筑面积、房间数量）对于机器人来说太嘈杂、太复杂，难以发现罕见的模式。
解决方案： 他们使用了一种叫做 CVAE（条件变分自编码器）的特殊工具。你可以把它看作是一个翻译官，将混乱的房屋数据转换为一种“秘密语言”（潜空间），在这种语言中，罕见的房子看起来与常见的房子截然不同。
类比： 想象机器人正在尝试理解一门外语。这一步将数据翻译成机器人能流利表达的语言，让“罕见词汇”在“常见词汇”中脱颖而出。

第 2 步：“复制、粘贴与润色”（数据级平衡 / Data-Level Balancing）

问题： 即使有了这种秘密语言，罕见房子的样本仍然太少。机器人需要更多的练习。
解决方案： 他们并不仅仅是简单地复制粘贴罕见房子（因为这会作弊且引起混乱）。相反，他们在秘密语言中找到罕见房子的“邻里区域”，并创建一些能够完美契合该区域的新的、合成的样本。
类比： 想象你是一位厨师，正试图学习一道稀有的食谱，但你手里只有一个食材清单。你不会只是复印那张清单，而是利用清单去理解其“风味特征”，然后创造出几个略有不同但味道完全正确的版本。现在，你有了足够的“练习菜肴”来学习这道食谱。

第 3 步：“严厉的教练”（算法级平衡 / Algorithm-Level Balancing）

问题： 即使有了更多的练习数据，机器人可能仍然会忽略罕见的样本，因为它很懒，只想尽可能减少总体的错误。
解决方案： 他们改变了评分系统（损失函数）。如果机器人在处理常见房子时犯错，它会受到微小的惩罚。但如果它在处理罕见房子时犯错，它会受到巨大的惩罚。
类比： 想象你在玩电子游戏。通常情况下，你杀掉一只小怪可以得 10 分。但如果你杀掉了一条稀有的巨龙，你可以得到 1,000 分。机器人意识到：“嘿，我最好还是多关注一下这些巨龙！”这迫使机器人去在意那些罕见的数据点。

第 4 步：“混合器”（最终融合 / Final Fusion）

问题： 机器人现在有了两种不同的思考方式：一种是基于额外的练习数据（第 2 步），另一种是基于严格的评分系统（第 3 步）。我们该如何结合它们？
解决方案： 他们使用了一种门控融合机制（Gated Fusion）。这就像一个聪明的经理，他会观察每一栋具体的房子，然后决定：“对于这栋房子，我更信任练习数据”或者“对于那栋房子，我更信任严格的评分”。
类比： 这就像一位法官在听取两位律师的辩论。对于某些案件，法官会听取律师 A 的意见；对于其他案件，则听取律师 B 的意见。这位法官（融合机制）知道何时该听取哪位专家的意见，才能得出最好的判决。

他们发现了什么？

作者在 16 个不同的数据集（如预测房价、葡萄酒质量和机器转矩）上测试了这个“教练计划”。

结果： 这个混合方法（使用全部 5 个步骤）的效果显著优于仅使用“复制、粘贴”方法或仅使用“严厉教练”方法。它也比那些没有经过特殊教练训练的标准机器人表现得好得多。
代价： 这个程序在拥有大量数据（数千个样本）时效果最好。如果你只有一个很小的规模（比如只有 100 个样本），这个程序可能会感到困惑，表现甚至可能不如一个简单的机器人。它需要足够的“学生”才能有效地进行教学。

总结

这篇论文构建了一个用于预测连续数值（如价格或温度）的通用训练系统，专门应对数据分布倾斜的情况。它将创造更多数据（以填补空白）和改变规则（以强制关注空白处）结合在一起，形成了一个强大的流水线。这就像是给学生既提供了一本更好的教科书，又配备了一位更严格的老师，以确保他们能像学习简单课题一样，同样掌握那些困难且罕见的课题。

技术摘要：通过统一的数据级与算法级平衡实现混合不平衡回归

问题陈述

不平衡学习是机器学习中的一个关键挑战，其中代表性不足的目标值会导致模型产生偏差，从而在稀有但高影响的现象上表现不佳。虽然在分类任务（具有偏斜的类别分布）中已有广泛研究，但不平衡回归——其特征是连续目标空间中的非均匀密度——仍处于探索不足的状态。

现有的不平衡回归方法通常分为两类，且各具局限性：

数据级方法： 通过合成样本（例如通过过采样）来丰富稀疏区域。虽然直观且与模型无关，但它们存在引入合成噪声或过拟棒的风险，特别是在复杂的分布中。
算法级方法： 通过调整损失函数来优先考虑稀有的目标范围，而不修改数据。虽然具有原则性，但它们在面对严重不平衡和复杂分布时往往表现乏力，缺乏数据增强带来的互补效益。

现有文献缺乏一种真正将数据级样本合成与显式的、基于样本的代价敏感或重加权损失在单个神经回归器训练过程中紧密结合的混合方法。大多数现有的“混合”尝试依赖于集成策略或局限于非表格领域，未能将这些策略统一到标准回归任务的端到端流水线中。

方法论

作者提出了一个五阶段、与回归器无关的混合框架，该框架将数据级和算法级策略协同整合到一个统一的流水线中。该框架旨在应用于任何标准回归器的上游阶段。

阶段 0：自适应目标空间分箱划分

为了解决回归中缺乏离散类别标签的问题，该框架首先将连续的目标空间分割成统计上连贯的分箱。

机制： 它采用由局部 $R^2$ 相干性得分驱动的自适应分箱划分。在候选区间内拟合一个简单的线性回归器；如果 $R^2$ 得分超过阈值 ( $\tau$ ) 且分箱大小满足数据驱动的最小值 ( $M$ )，则接受该分箱。否则，该区间将被递归拆分。
意义： 这将连续问题转化为类类似于分类的结构，从而实现对稀疏性的局部感知，并促进后续的平衡操作。最小分箱大小 $M$ 是利用数据集大小的比例与峰值核密度估计 (KDE) 密度的倒数动态计算的，以确保统计可靠性。

阶段 I：表示学习

稀疏区域的原始特征往往无法捕捉必要的潜在结构。

机制： 训练一个条件变分自编码器 (CVAE)，该编码器以连续目标变量 $y$ 为条件。编码器将输入特征 $x$ 和目标 $y$ 映射到潜在空间 $z$ ，而解码器则从 $z$ 和 $y$ 中重建 $x$ 。
意义： 这产生了目标感知的潜在嵌入，能够捕捉与输出分布一致的预测模式，包括稀疏分布的区域。CVAE 的概率性质也便于进行不确定性感知的表示。

阶段 II：数据级平衡

此阶段通过多阶段策略解决目标空间和特征空间中的样本稀缺问题。

步骤 1（聚类）： 在阶段 0 定义的每个自适应分箱内，对潜在表示应用 DBSCAN，以识别稀疏的少数派簇。
步骤 2（过采样）： 对这些少数派簇应用局部 SMOGN（带有高斯噪声的回归合成少数样本技术）技术。与全局过采样不同，这是由簇特定相关性函数 $\phi_C(y)$ 引导的，旨在优先处理特定簇上下文中的稀有目标值。
输出： 在增强数据集（原始 + 合成）上训练一个浅层 MLP，并提取原始样本的隐藏激活值 ( $h_{data}$ )。这确保了特征能够受益于合成邻居的几何结构，同时保持与原始实例的精确对应。

阶段 III：算法级平衡

此阶段通过调整学习目标来强调未被充分代表的区域，而不进一步修改数据。

机制： 引入了一种新型的潜在密度加权损失 (LDWL)。损失函数根据样本在两个空间中的联合稀有度进行加权：
1. 潜在空间 ( $Z$ )： 通过对 CVAE 潜在表示进行 KDE 估计得出的密度。
2. 目标空间 ( $Y$ )： 通过在阶段 0 定义的自适应分箱内进行 KDE 估计得出的密度。
公式： 样本权重 $w_i$ 与其潜在密度和分箱调节的目标密度的乘积成反比。一个正则化项会惩罚过大的权重，以防止对异常值的过拟合。
输出： 使用 LDWL 训练一个 MLP，并提取原始样本的隐藏激活值 ( $h_{alg}$ )。

阶段 IV：最终融合

最后阶段整合了数据级和算法级表示的互补优势。

机制： 一个基于注意力的门控融合机制将 $h_{data}$ 和 $h_{alg}$ 进行拼接。门控网络动态学习实例特定的权重 ( $\alpha_i$ )，以混合这两个特征流： $\tilde{x}_i = \alpha_i \odot h_{data} + (1-\alpha_i) \odot h_{alg}$ 。
意义： 这使得模型能够自适应地为每个样本优先考虑最具信息量的特征，从而生成鲁棒且丰富的表示，准备好用于任何下游回归器。

核心贡献

统一的混合框架： 第一个将数据级样本合成（通过局部 SMOGN）与显式、基于样本的代价敏感重加权（通过 LDWL）紧密集成的端到端流水线，用于不平衡回归。
自适应分箱划分： 一种创新的预处理步骤，利用局部 $R^2$ 相干性动态分割连续目标空间，模拟用于有效处理不平衡的类结构。
潜在密度加权损失 (LDWL)： 一种新的损失函数，通过共同考虑其在潜在特征空间（通过 CVAE 学习）和目标空间（在自适应分箱内）中的密度，来优先处理稀有样本。
多阶段数据平衡： 一种结合特征空间聚类 (DBSCAN) 与局部过采样策略的方法，旨在丰富稀疏区域，同时最大限度地减少合成偏差。
回归器无关设计： 该框架输出一个融合特征向量，可以无缝集成到任何标准回归算法（线性、树模型或神经网络）中。

实验结果

该框架在 16 个基准回归数据集（如 California Housing, Wine Quality, Abalone）上，针对六种不同的回归器（MLP, XGBoost, 线性回归, KNN, SVR, Ridge）进行了评估。

性能： 混合流水线始终优于单独的数据级方法、算法级方法以及未进行不平衡处理的标准基准回归器。
指标： 在均方根误差 (RMSE)、平均绝对误差 (MAE) 和决定系数 ( $R^2$ ) 方面均观察到了改进。例如，在 airfoild 数据集中，混合方法相对于独立回归器的 $R^2$ 提升了 568.71%。
偏度相关性： 分析显示，目标变量的绝对偏度与混合流水线的性能提升之间存在显著的正相关关系。该框架在目标偏度较高的场景下最为有效。
局限性： 该框架表现出对数据量的依赖。在样本量少于约 1,000 个的数据集中，由于自适应分箱和 CVAE 阶段的过拟合以及密度估计的不稳定性，该流水线的表现偶尔会低于独立回归器。

意义与主张

本文声称，所提出的混合框架通过超越孤立的数据级或算法级干预，解决了不平衡回归文献中的一个关键空白。通过统一这些策略，该框架为预测稀有但关键的目标值提供了一个更全面的解决方案。

作者断言，其方法：

协同结合了数据增强的多样性收益与代价敏感学习的原则性优化。
增强了在稀疏区域的泛化能力，避免了朴素过采样的噪声风险或标准损失函数的分布盲目性。
有效地扩展到大规模不平衡回归任务，证明了目标偏度程度是该框架有效性的可靠代理指标。

研究结论指出，尽管该框架需要足够的数据量来稳定其五阶段架构，但它为涉及极端天气预报、异常检测以及医疗或金融风险预测（其中稀有事件至关重要）的现实应用，提供了一个鲁棒、可扩展且回归器无关的增强方案。