🤖 machine learning

Unimodality-Promoting Regularized Learning for Ordinal Regression

本文提出了一种用于序数回归的新型单峰促进正则化学习方法，该方法纠正了以往方法中存在的尺度相关偏差，以更严格地强制执行单峰性，从而提高预测性能，尤其是在小数据集的情况下。

原作者： Ryoya Yamasaki

发布于 2026-08-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Ryoya Yamasaki

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你是一名正试图根据一张模糊的照片来猜测嫌疑人年龄的侦探。你知道嫌疑人是成年人，所以你排除了“婴儿”或“老年人”，但你必须在“20多岁”、“30多岁”或“40多岁”之间做出选择。这不仅仅是一个随机猜测；这些类别具有自然的顺序。在计算机科学领域，这被称为序数回归（ordinal regression）。这是教机器理解具有等级或序列之物（如从“讨厌”到“喜爱”的电影评分，或从“轻微”到“严重”的疾病分级）的艺术。

研究人员一直提出的核心问题是：当我们没有数百万张照片可以学习时，如何教计算机做出准确的猜测？ 通常，当数据稀缺时，计算机会变得焦躁不安，做出极其不稳定且前后矛盾的猜测。为了解决这个问题，科学家们尝试给计算机一个“经验法则”：他们假设对于大多数人来说，处于特定年龄组（或评分）的概率呈现出一个漂亮的、单一顶峰的形状。如果你很有可能处于30岁，那么你也很有可能处于29岁或31岁，但极不可能处于10岁或60岁。这种形状被称为单峰性（unimodal）。通过强制计算机遵循这种“单峰山丘”的形状，它会变得更加稳定，不太容易在数据有限时陷入恐慌。

但这里有一个转折：一项新的研究表明，虽然旧的规则有所帮助，但它们有点过于武断了。研究人员发现，以前的方法不仅平滑了“焦躁感”，还迫使计算机变得过于谨慎，使其猜测变得过于模糊和分散，就像一个侦探说：“可能是20岁到50岁之间的任何人！”这种新论文介绍了一个更锐利、更精确的工具，它既保留了稳定性，又不会强迫计算机变得如此犹豫不决。

侦探的困境：过度平滑？

在序数回归的世界里，我们经常依赖于一个概念，叫做单峰促进正则化学习（Unimodality-Promoting Regularized Learning, UPRL）。你可以把它想象成一个计算机的训练教练。这个教练告诉计算机：“嘿，你的猜测应该看起来像一座漂亮的、单一的山峰，而不是由许多山峰组成的杂乱景象。”这有助于计算机保持冷静和一致，尤其是在它只见过少量样本（小规模训练数据）的情况下。

有一段时间，这种方法一直运作良好。但本文作者 Ryoya Yamasaki 决定仔细观察一下这位教练是如何工作的。他们发现了一些令人惊讶的事实：旧的教练方法同时在做两件事：

它们成功地让猜测看起来像一座单一的山峰（单峰性）。
但它们同时也让山峰变得太宽、太扁了。

想象一下你正在尝试猜测温度。一个好的猜测可能是“温度大约在75华氏度左右”。旧的方法就像一个教练在说：“确保你的猜测是一个单一的峰值，但也请确保这个峰值非常宽，这样你就不会显得过于自信。”结果呢？计算机变得“缺乏信心”或“过于平滑”。它开始猜测“温度可能在60华氏度到90华氏度之间”。虽然这听起来很稳妥，但它实际上引入了一种新的错误，即尺度相关偏差（scale-related bias）。计算机因为太害怕出错，以至于停止了精准度。

新的、更锐利的工具

Yamasaki 的论文提出了一种新方法，称之为 严格 UPRL（Strict UPRL）。如果说旧的方法是教计算机“要平滑且安全”的教练，那么新教练则说：“要做一座单峰山，但不要为了追求平滑而压扁山峰。”

研究人员构建了一个新的数学“正则化项”（即添加到学习过程中的规则），它严格惩罚那些锯齿状、多峰值的猜测，但不会惩罚一个尖锐、自信的单峰。

旧的方法： 如果计算机给出了一个尖锐的峰值，旧的规则可能会说：“不，让它再宽一点！”
新的方法： 如果计算机给出了一个符合数据的尖锐、单一的峰值，新规则会说：“完美，这正是我们想要的。无需惩罚。”

实验结果显示

为了测试这一点，团队使用 21 个真实世界的数据集（范围涵盖汽车价格到疾病阶段）进行了模拟实验。他们测试了不同的训练数据量，从极小的集合（25个样本）到较大的集合（800个样本）。

以下是他们的发现：

旧方法的甜点区： 当训练数据非常少（例如 25 个样本）时，旧方法表现得相当出色，特别是对于那些天生具有“大尺度/分散性”的数据。它那种过度平滑的倾向有助于稳定因数据匮乏而产生的剧烈波动。
新方法的甜点区： 当训练数据增加（400 或 800 个样本）时，旧方法开始失灵。它的“过度平滑”习惯变成了一种负担，使其准确度低于预期。然而，新的 Strict UPRL 方法在这里大放异彩。它避开了“过度平滑”的陷阱，并提供了更准确的预测，特别是对于那些天生具有“紧凑/小尺度”特征的数据。
结论： 研究表明，旧方法的成功并不完全是因为它们强制执行了“单峰”规则；部分原因是它们在无意中强制执行了“模糊化”。新方法证明了你可以在获得“单峰”规则带来的稳定性的同时，而不必承担变得模糊的代价。

为什么这很重要

这不仅仅关乎数学，更关乎知道何时信任你的工具。论文表明，对于许多现实世界的问题，“单峰性”是一个强大的工具。然而，我们需要谨慎使用它。如果你只有极少的数据，一点点“模糊平滑”可能确实会有所帮助。但如果你拥有更多数据，或者数据本身非常精准，你需要一种既能尊重“单峰”形状，又不会强迫计算机变得犹豫不决的方法。

作者承认，他们的新方法计算速度稍慢（需要更多的计算能力），但他们认为，目前搞对数学逻辑比速度更重要。他们建议，在未来，我们或许可以混合使用新旧方法，根据具体问题的不同，在“保持安全”与“保持精准”之间调节平衡。

简而言之，这篇论文教会我们，“平滑”并不总是等同于“正确”。通过完善游戏规则，我们可以帮助计算机做出既稳定又锐利的预测，从而在从电影评分到疾病诊断的各种领域中实现更好的预测。

技术摘要：用于序数回归的促进单峰性的正则化学习

问题陈述
序数回归（Ordinal Regression, OR）涉及对具有自然顺序（例如，李克特量表、年龄组）的目标类别进行分类。许多现实世界序数数据集的一个关键特征是，给定一个解释变量时，目标变量的条件概率分布（CPD）往往呈现单峰性或接近单峰性。虽然以往的工作利用了这种“单峰性假设”来提高预测性能——特别是在训练数据规模较小时——但现有的单峰性促进正则化学习（UPRL）方法存在一个理论缺陷。这些方法不仅鼓励单峰性，还会在无意中促进预测 CPD 的“平滑性”（或产生更大的尺度/较低的置信度）。这种无意的平滑性促进引入了一种尺度相关的偏差，这可能会在底层 CPD 尺度较小或训练数据规模较大时降低性能。

方法论
本文提出了一种名为“严格 UPRL”（strict UPRL）的新型 UPRL 方法，旨在强制执行单峰性而不诱导前述方法中存在的无意尺度相关偏差。

对以往方法的分析： 作者分析了先前 UPRL 工作（如 [13]–[17]）中所使用的正则项，该正则项定义为基于 ReLU 的连续概率差值的总和。通过理论分析和模拟，他们证明了该正则项并不在预测的 CPD 与潜在单峰 CPD 相匹配时达到其最小值（除非分布是完全均匀的）。相反，该正则项倾向于平滑的分布，实际上是在惩罚高置信度（小尺度）的预测，即使这些预测是单峰的。
严格 UPRL： 为了解决这个问题，作者提出了一种基于 Hausdorff 距离 ( $D_H$ ) 的新正则项，该距离衡量预测的 CPD 与单峰概率质量函数集合 ( $\hat{\Delta}_{K-1}$ ) 之间的距离。该正则项定义为：
$\Omega_{stri}(g) = \frac{1}{n} \sum_{i=1}^{n} D_H(Q(g(x_i)), \hat{\Delta}_{K-1})$
这种形式确保了正则项对期望值的贡献仅在预测的 CPD 是单峰的情况下才最小化（为零），而与其实际尺度无关。
优化： 所提方法采用了一个包含梯度下降和二次规划的三步迭代优化过程。对于每个数据点，算法计算出距离当前预测最近的单峰分布，以计算正则项的梯度。
实验设置： 本研究将所提方法与非正则化学习（MLR）、先前的 UPRL 方法以及单峰驱动的似然模型（UL 和 AUL）进行了对比评估。实验在 21 个真实的序数数据集上进行，涵盖了不同的训练规模（ $n_{tra} = 25$ 至 $800$）和不同的数据尺度（通过底层 CPD 的离散程度衡量）。

核心贡献

理论洞察： 本文识别并证明了先前的 UPRL 方法会诱发一种无意的“平滑性促进”偏差，这种偏差混淆了对单峰性真实贡献的评估。
新颖算法： 引入了一种严格的 UPRL 方法，该方法能严格强制执行单峰性，而不惩罚预测的尺度（置信度），从而消除了尺度相关的偏差。
实证验证： 通过广泛的实验，本文验证了：
- 单峰性促进通常能提高在小规模训练数据集上的性能。
- 先前的 UPRL 方法在较大的规模数据（即底层 CPD 较分散的数据）且训练规模较小时表现更好，这可能是由于其平滑性促进的作用。
- 所提的严格 Uermal 方法在较小尺度的数据以及训练数据规模较大时，表现优于先前的 UPRL 方法，因为它避免了由不必要的平滑引入的偏差。

结果
在 21 个真实数据集上的数值实验表明：

先前的和严格的 UPRL 方法与非正则化学习相比，都能成功降低单峰性偏差（UD）。
先前的 UPRL 方法产生的预测比严格 UPRL 方法具有更大的尺度（更平滑的分布）。
在预测性能（NLL 和 MZE）方面：
- 对于较小的训练规模（ $n_{tra} \le 100$ ），AUL 模型与 UPRL 的结合是有效的。先前的 UPRL 在较大尺度的数据集上往往占优，而严格 UPRL 则在较小尺度的数据集上占优。
- 对于较大的训练规模（ $n_{tra} \ge 400$ ），严格 UPRL 方法（通常与不受限的 MLR 结合）优于先前的 UPRL 方法，因为此时减少偏差比减少方差更为关键。
- 当训练规模进一步增加（ $n_{tra} = 800$ ）时，非正则化学习变得具有竞争力或更具优势。

意义与主张
本文主张，单峰性促进本身是一种有效且合理的提高序数回归性能的策略，尤其是在数据稀缺时。然而，文章认为先前 UPRL 方法的成功部分归功于一种无意的平滑性促进。通过将单峰性促进从平滑性促进中分离出来，所提出的严格 UPRL 方法提供了一种在理论上更严谨的方法。

作者谦逊地指出，由于需要通过二次规划来寻找最近的单峰分布，所提方法具有高计算成本，作者承认这是未来工作中需要解决的弱点。他们总结道，虽然所提方法优先考虑了单峰性概念的严谨性，但未来的研究应侧重于开发计算高效的实现方式，并可能通过加权组合来调整单峰性促进与平滑性促进之间的平衡。

侦探的困境：过度平滑？

新的、更锐利的工具

实验结果显示

为什么这很重要

类似论文