🤖 machine learning

Contrastive Order Learning: A General Framework for Ordinal Regression

本文提出了 ConOrd，一种用于序数回归的新颖对比学习框架，该框架通过软亲和力和差异权重，将全局批次级样本利用率与细粒度的序数建模相结合，在人脸年龄和质量评估等多种任务中实现了最先进的性能。

原作者： Chaewon Lee, BeomJun Shim, Kwang Pyo Choi, Chang-Su Kim

发布于 2026-07-10

📖 1 分钟阅读☕ 轻松阅读

原作者： Chaewon Lee, BeomJun Shim, Kwang Pyo Choi, Chang-Su Kim

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个机器人，不仅要让它通过将事物分类到不同的框中（比如“猫”或“狗”）来理解世界，还要让它理解事物的光谱。想想年龄：一个10岁的孩子比一个12岁的孩子更接近12岁，而不是更接近60岁。或者想象判断照片的质量：一张略微模糊的照片比一张清晰的照片“差”，但比一张完全黑屏的照片“好”。这被称为序数回归（ordinal regression）——学习事物的顺序以及排名之间的距离。

长期以来，AI研究人员一直尝试用两种主要方式来教授这一点，而这两种方式在逻辑上都存在缺陷。

旧方法：“全或无”与“硬性切分”

首先是监督对比学习（Supervised Contrastive Learning）。想象一位老师向学生展示一张24岁的人的照片。老师说：“这是一个24岁。其他所有人都不属于24岁。”学生学习将24岁的人与其他所有人推开。但问题在于，学生对待一个25岁的人（非常相似）和对待一个75岁的人（完全不同）的方式是一模一样的。老师忽略了24岁和25岁是邻居，而24岁和75岁是陌生人这一事实。

随后出现了更“聪明”一点的 RnC (Rank-N-Contrast) 方法。这位老师更聪明了。他们说：“好吧，24岁是锚点。25岁是一个‘正向’的朋友。但任何比25岁大的人呢？他们都是‘负向’的敌人。”老师在沙地上画了一道硬性的界限。如果你比25岁大，你就是敌人。但是，等等——这位老师对待一个26岁的人和一个100岁的人的方式是完全一样的。他们都会被同样程度地推开。老师忘记了100岁的人比26岁的人要远得多，而且这种距离是至关重要的。

新英雄：ConOrd (Contrastive Order Learning，对比序数学习)

ConOrd，由Chaewon Lee及其团队提出的新框架，登场了。他们意识到，要真正理解顺序，你不能使用硬性的界限或忽略距离。你需要一种对事物距离有着软性的、模糊的理解。

想象一位使用特殊磁铁的新老师：

软磁铁： 当机器人观察一个24岁的人时，它不仅仅是推开其他人。它看着一个25岁的人并说：“你很近，所以我只会轻轻地把你拉近一点点。”它看着一个30岁的人并说：“你稍远一些，所以我拉你的力会小一点。”
排斥力： 现在，看看一个75岁的人。老师说：“你离得太远了！我需要用力地把你推开！”

这就是ConOrd的魔力。它不再使用“朋友或敌人”的二元列表，而是根据每个样本与其锚点之间的排名距离，为其分配一个软权重（soft weight）。

间隙小？ 温和的吸引。
间隙中等？ 中度的排斥。
间隙巨大？ 强烈的排斥。

ConOrd认为，之前的研究方法之所以失败，是因为它们将这些间隙视为“全或无”的关系。ConOrd通过让每一个样本都能根据其真实的排名差异来贡献学习过程，从而解决了这个问题。这就像是在调频收音机，你可以听到远处电台的杂音，但最近电台的信号是非常清晰的。

它奏效了吗？事实胜于雄辩

团队并不仅仅是靠猜测；他们在现实世界的排序问题上进行了测试。他们在以下领域进行了实验：

猜测年龄： 他们在包括MORPH II和CLAP2015数据集在内的六个不同数据集上进行了测试。在CLAP2015数据集上，他们的方法实现了2.46的平均绝对误差（MAE），击败了之前的最佳方法，如NumCLIP（得分为2.55）和OrdinalCLIP（得分为3.20）。除了CACD数据集外，ConOrd在所有数据集的MAE指标上都取得了最佳性能，证明了其在多样化年龄估计基准测试中的强大泛化能力。
判断照片质量： 他们在五个盲测图像质量数据集上进行了测试。在BID数据集上，ConOrd获得了0.913的斯皮尔曼等级相关系数（SRCC）和0.925的皮尔逊线性相关系数（PCC），超越了包括QCN和VISGA在内的所有列出的复杂方法。
判断视频质量： 他们在LSVQ和KoNViD-1k等视频数据集上进行了测试。在LSVQ-TEST集上，ConOrd达到了0.904的SRCC和0.904的PCC，再次击败了竞争对手。

作者之所以对这些结果充满信心，是因为他们控制了变量。他们在对比的所有方法中使用了完全相同的“大脑”（一个ViT-B编码器）。这意味着获胜并不是因为他们使用了更高级的计算机，而是因为他们的“软磁铁”教学风格确实更好。

他们排除了什么

论文明确反对了“必须对谁是‘正向’、谁是‘负向’”做出硬性决定”的观点。他们表明，依赖硬性阈值（如RnC）或忽略排名距离（如标准对比学习）的方法会损失性能。他们还测试了一个使用简单数学技巧（正对数）的“天真”版本，发现这会导致训练不稳定且不可靠，因此他们放弃了该方法，转而采用他们特定的“软权重”公式。

底线

ConOrd表明，通过将排名差异视为一个平滑的、连续的尺度，而不是一个类别列表，我们可以构建出能更好地理解世界细微差别的AI。这不仅仅是关于知道顺序；更是关于知道它们之间到底有多远。实验表明，这种方法一致地带来了最先进的性能，使其成为处理从估计人的年龄到评判视频质量等任务的强大新工具。

技术摘要：对比序数学习 (ConOrd)

问题陈述

序数回归旨在估计对象实例的离散或连续秩（rank），这是诸如人脸年龄估计、盲图像/视频质量评估以及健康状态评分等应用中的基础任务。与标准分类不同，序数回归需要对内在的顺序和标签之间的相对距离进行建模。然而，现有方法面临显著的局ations：

序数学习： 几何序数学习 (GOL) 等技术显式地对标签序数进行建模，但通常依赖于基于局部边际（margin）的成对比较。这些方法在满足边际后通常不再产生梯度，未能利用在批次（batch）层面可获得的更丰富的全局序数上下文。
对比学习： 虽然监督对比学习能有效利用批次内的所有样本，但它通常将标签视为类别，忽略了内在的顺序。Rank-N-Contrast (RnC) 等扩展引入了秩感知对，但依赖于硬阈值，将序数距离坍缩为二元决策（正/负），并将具有中等和显著秩间隙的样本同等对待为负样本。

因此，需要一种能够捕捉所有样本对之间细粒度序数关系，同时保持嵌入空间全局一致性的框架。

方法论：对比序数学习 (ConOrd)

作者提出了 ConOrd，一个整合了序数学习和对比学习优势的框架。其核心创新在于一种对比序数损失 ( $L_{ConOrd}$ )，它为批次内的所有样本对分配软性的、秩感知的权重，而不是依赖于硬性的正/负分配。

关键组件：

带有参考点的嵌入空间： 该框架采用编码器 $h$ 将实例映射到单位球面上的特征向量。它引入了 $M$ 个可学习的参考点 $\{\mu_m\}$ ，其中每个 $\mu_m$ 代表秩 $m$ 的原型。
软亲和力与差异权重： 与使用硬阈值的 RnC 不同，ConOrd 根据秩差 $|r_i - r_j|$ $∣ r_{i} - r_{j} ∣$ 定义连续权重：
- 亲和力权重 ( $a_{ij}$ )： 随着秩间隙增大而减小，促进相似秩样本之间的吸引。其实例化为 $a_{ij} = \frac{1}{(r_i - r_j)^2 + \epsilon}$ 。
- 差异权重 ( $b_{ij}$ )： 随着秩间隙增大而增大，促进远距离秩样本之间的排斥。其实例化为 $b_{ij} = (r_i - r_j)^2$ 。
损失函数： 损失函数公式化为：
$L_{ConOrd} = -\frac{1}{2N} \sum_{i=1}^{2N} \frac{1}{|A(i)|} \log \frac{\sum_{j \in A(i)} a_{ij} e^{\kappa_{ij}/\tau}}{\sum_{j \in A(i)} b_{ij} e^{\kappa_{ij}/\tau}}$
其中 $\kappa_{ij}$ $κ_{ij}$ 是相似度（负平方欧氏距离）， $\tau$ $τ$ 是温度参数。该公式确保了：
- 秩间隙小的样本被吸引。
- 秩间隙大的样本被排斥。
- 秩间隙的大小调节了吸引或排斥的强度，从而实现细粒度的序数监督。
正则化： 加入中心损失 ( $L_{center}$ ) 以鼓励每个秩在参考点 $\mu_m$ 周围形成紧凑的簇。
推理： 秩估计通过嵌入空间中的 $k$ -最近邻 ( $k$ -NN) 规则执行，即平均 $k$ 个最近训练邻居的秩。

核心贡献

框架集成： 引入了 ConOrd，这是一个通用的框架，它在单个批次级公式内统一了序数学习和对比学习。
新颖的损失设计： 提出了一个利用基于秩差的软亲和力和差异权重的对比序数损失。这使得批次中的所有样本对都能参与学习，并受其序数关系的调节，避免了硬阈值带来的信息丢失。
最先进的性能： 证明了 ConOrd 在多种序数回归基准测试中实现了最先进的结果，包括人脸年龄估计、盲图像质量评估 (BIQA) 和盲视频质量评估 (BVQA)。

实验结果

作者在多个数据集和任务上评估了 ConOrd：

人脸年龄估计： 在六个数据集（MORPH II, CLAP2015, AgeDB-DIR, UTK, CACD, Adience）上进行了测试。ConOrd 在除 CACD 以外的所有数据集上均取得了最佳的平均绝对误差 (MAE)，优于 OrdinalCLIP 和 NumCLIP（使用文本引导）以及 SLACE（使用类分布信息）等强基线模型。
盲图像质量评估 (BIQA)： 在五个数据集（BID, CLIVE, KonIQ10k, SPAQ, FLIVE）上进行了评估。ConOrd 在所有数据集上的斯皮尔曼等级相关系数 (SRCC) 和皮尔逊线性相关系数 (PCC) 方面均优于现有方法，超越了复杂的 Transformer 和 Mamba 架构。
盲视频质量评估 (BVQA)： 在五个基准（LSVQ, KoNViD-1k, LIVE-VQC, CVD2014, YouTube-UGC）上进行了评估。ConOrd 一致地取得了最佳的 SRCC 和 PCC 分数，在比 ModularBVQA 等使用多个骨干网络的模型使用更少的骨干网络的情况下实现了超越。
消融研究：
- 与 $L_{SupCon}$ 、 $L_{RnC}$ 及其他对比损失的比较证实，软加权的全对比较更具优越性。
- $L_{ConOrd}$ 与 $L_{center}$ 的结合产生了最佳结果，其中 $L_{center}$ 提供了类内紧凑性。
- 提出的二次方权重函数被发现比其他函数形式更稳健且有效。
- 该方法展示了对减少的训练数据和数据损坏的韧性。

意义与主张

论文声称 ConOrd 通过弥合对比学习的全局一致性与序数学习的显式序数建模之间的差距，为序数表示学习提供了一个灵活的基础。

泛化性： 该框架被呈现为一个通用的解决方案，适用于各种序数回归场景，不限于特定领域。
效率： 该方法计算效率高，无需像某些基线模型那样进行数据增强和动态负采样，从而缩短了训练时间。
稳定性： 软权重机制被声称能提供稳定的优化，避免了与朴素对数损失相关的梯度不稳定或硬阈值带来的信息丢失。

作者总结道，通过引入基于软权重的秩感知吸引和排斥，ConOrd 使所有样本对都能以原则性的方式为学习做出贡献，从而构建出稳健且高性能的序数回归模型。