🤖 machine learning

Conveyance: A Versatile Framework for Learning in Structured Class Spaces

本文介绍了 Conveyance，这是一种通用的分类框架和损失函数，它利用类之间的图状关系来提升模型在结构化空间（如层次分类和序数回归）中的性能，在无需复杂联合分布或人工调参的情况下，其表现优于或持平于专用基线方法。

原作者： Yasser Taha, Grégoire Montavon, Nils Körber

发布于 2026-05-28

📖 1 分钟阅读☕ 轻松阅读

原作者： Yasser Taha, Grégoire Montavon, Nils Körber

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人识别动物。你给它看一张猫的照片，并告诉它：“这是一只猫。”

在标准机器学习的领域中，机器人的老师（即“损失函数”）通常像一位严苛的、非黑即白的裁判。如果机器人猜对了“猫”，它就能得到一颗金星；如果它猜的是“狗”、“鸟”，甚至是“老虎”，它得到的就是一个红色的"X"。对于这位标准裁判而言，猜成“狗”和猜成“老虎”同样糟糕。它将每一个错误都视为同等程度的可怕失误。

但在现实世界中，错误并非都同等严重。

如果机器人把猫认作老虎，那是一个“差之毫厘”的错误。它们都是猫科动物，长相相似，且生活在同一个“街区”。这是一个小错误。
如果机器人把猫认作卡车，那是一个巨大且荒谬的错误。

这篇论文介绍了一种名为CONVEYANCE的新教学方法。你可以将其理解为将机器人的老师从一位严苛的裁判升级为一位睿智的导师，这位导师懂得世界的“街区”关系。

核心理念：“合理邻域”地图

CONVEYANCE 不再仅仅说“对”或“错”，而是允许你给机器人提供一张简单的地图（称为布尔矩阵）。这张地图告诉机器人：“如果你看到一只猫，猜成老虎或狮子是可以的，因为它们是邻居。但猜成卡车是绝对不行的。”

你不需要编写复杂的数学公式或概率理论来制作这张地图。你只需要画出线条，将那些逻辑上相关联的事物连接起来即可。

工作原理：双重安全网

新方法使用一种特殊的“记分卡”（即损失函数），它像一名拥有两条规则的保安一样，同时检查两件事：

规则 A（具体检查）： “你选到了确切正确的答案吗？”（这是标准检查）。
规则 B（邻域检查）： “你至少选到了正确邻域里的东西吗？”（这是新的超能力）。

如果机器人看到一张“猫”的照片却猜了“老虎”，规则 A 可能会给它一个小惩罚，但规则 B 会说：“等等！老虎在猫的邻域里！这是一个好猜测！”因此，机器人获得的分数会比猜“卡车”时高得多。

这有助于机器人理解世界是有结构的。它不再将“猫”和“卡车”仅仅视为两个随机的标签，而是开始理解“猫”和“老虎”是亲密的朋友。

为何重要：三个现实世界的例子

该论文在三种标准方法通常难以应对的问题类型上测试了这种“睿智导师”的方法：

1. “噪声标签”问题（标签不对称）

场景： 想象一个学生参加考试，老师不小心为某些题目写错了答案键。也许老师有 60% 的概率认为“猫”实际上是“狗”。
旧方法： 机器人会感到困惑。它试图死记硬背错误的答案，因为老师喊得最响。
CONVEYANCE： 机器人查看地图。它知道：“老师说是‘狗’，但我知道‘狗’是‘猫’的邻居。我打赌老师弄错了，这实际上是一只猫。”它忽略了噪声并学到了真相。

2. “年龄猜测”问题（序数回归）

场景： 猜测某人的年龄。如果你猜一个 30 岁的人是 31 岁，那是个小错误；如果你猜他是 60 岁，那就是个大错误。
旧方法： 标准方法将"31"和"60"仅仅视为两个不同的错误答案。它们不在乎 31 比 60 更接近 30。
CONVEYANCE： 地图告诉机器人：“如果答案是 30，那么 29、30 和 31 都是可接受的‘邻域’猜测。”这教导机器人要平滑且连续，而不是在年龄之间剧烈跳跃。

3. “家谱”问题（层次分类）

场景： 识别鸟类。有许多种类的“莺”。如果机器人看到一种它从未见过的特定莺，但它知道它属于“莺”科，它应该猜“莺”。
旧方法： 机器人可能会陷入困境，试图猜测确切的物种名称，如果它没见过那只特定的鸟，就会彻底失败。
CONVEYANCE： 地图将所有莺归为一组。即使机器人不知道确切的物种，它也知道“莺”科是正确的邻域。它能更好地泛化到新的、未见过的鸟类。

主要结论

作者声称，CONVEYANCE 是一个“万能”工具。你不需要为每个具体问题构建一个新的、复杂的机器人。你只需要给它一张简单的地图，说明事物之间是如何关联的。

它很快： 它的运行速度与标准方法一样快。
它很灵活： 它适用于噪声数据、年龄猜测和家谱分类。
它很智能： 它理解在现实世界中，有些错误是可以原谅的，而有些则不行。

简而言之，CONVEYANCE 不再将世界视为一系列随机、无关的项目列表，而是将其视为一张相互连接的地图，从而使人工智能更智能、更稳健，且不易被错误所迷惑。

技术摘要：传导（Conveyance）

问题陈述

尽管深度学习架构取得了快速进展，但标准的训练目标，特别是交叉熵（CE），在很大程度上仍然是“结构无关”的。这些损失函数仅基于标签匹配分配标量惩罚，将所有误分类视为可互换的。这一假设在两个关键情形下失效：

标签不对称性：观察到的标签与真实类别之间的关系在结构上非均匀的情形，例如标注偏差、医学影像中的漏诊，或多示例学习（MIL）中正例包中包含负例的情况。
语义与序数连续性：类别代表连续统上点的领域（例如年龄、疾病阶段、分类学层级）。在这些情况下，“近似错误”在语义上的代价低于随机错误，但标准交叉熵对它们施加同等惩罚，导致过拟合和潜在空间的碎片化。

现有的补救措施往往孤立地解决这些问题。软标签方法依赖于对称的、预先指定的分布，无法捕捉不对称或图结构的关系。结构化输出支持向量机（SVM）和基于能量的模型提供了原则性的边界，但需要在指数级大的输出空间上进行不可微的推理。对比损失需要大批次和敏感的样本对挖掘。目前没有任何框架能兼具与交叉熵相当的结构表达能力、判别力和计算简洁性。

方法论：传导（Conveyance）

作者提出了CONVEYANCE，这是一种专为结构化类别空间设计的分类框架。它包含两个主要组件：

1. 知识编码（矩阵 $Q$ ）

用户无需定义复杂的联合分布或效用矩阵，而是指定一个布尔矩阵 $Q \in \{0, 1\}^{C \times C}$ 。

$Q_{ct} = 1$ 表示被标记为 $t$ 的实例实际上属于类别 $c$ 是合理的（反之亦然）。
该矩阵编码了特定于问题的知识，如假阳性风险、分类学层级或序数邻域。
从 $Q$ 中，针对给定标签 $t$ 可推导出一组合理类别 $S = \{c \in \mathcal{C} : Q_{ct} = 1\}$ 。

2. 传导损失函数

该损失函数通过最大化两个不同类别划分上的独立边界来操作化矩阵 $Q$ ：
$\ell(p, t) = \log \left( 1 + \alpha \cdot \frac{1 - p_t}{p_t} + \beta \cdot \frac{1 - p_S}{p_S} \right)$
其中：

$p_t$ 是目标类别的概率。
$p_S = \sum_{s \in S} p_s$ 是合理集合的总概率。
$\alpha$ 和 $\beta$ 是超参数。

机制：

第一项（ $\alpha$ ）奖励将概率分配给目标类别而非非目标类别（标准几率）。
第二项（ $\beta$ ）奖励将概率分配给合理集合 $S$ 而非不合理集合 $N = \mathcal{C} \setminus S$ 。
通过调节 $\alpha$ 和 $\beta$ （例如 $\alpha=0.1, \beta=10$ ），模型优先将质量集中在合理集合 $S$ 上，并将具体目标 $t$ 作为决胜依据。

理论性质：

单调性：如果重新分配概率以增加 $p_t$ 和 $p_S$ ，损失函数会减小。
部分凸性：当合理逻辑值保持不变时，该损失函数关于不合理类别的逻辑值（ $z_n$ ，其中 $n \in N$ ）是凸的。
效率：该损失函数可以使用逻辑值上的 Log-Sum-Exp (LSE) 运算重新表述，确保数值稳定性，且计算成本与标准交叉熵相同（ $O(B \cdot C)$ ）。

主要贡献

统一框架：CONVEYANCE 提供了一个单一的目标函数，能够处理标签不对称性、序数回归和层次分类，而无需更改架构或使用生成模型。
可处理的编码：使用布尔矩阵 $Q$ 允许从业者比完整概率分布更轻松地编码复杂结构先验（图、层级），同时比固定参数族更具表达力。
理论保证：论文确立了损失的单调性和部分凸性，为稳定优化提供了理论基础。
通用性：该方法在极限情况下（ $\beta=0$ ）可恢复标准交叉熵，但为结构化空间提供了显著更大的灵活性。

实验结果

作者在三个领域评估了 CONVEYANCE，其表现始终与或优于专门的最新（SOTA）基线，同时保持了交叉熵的计算成本。

1. 标签不对称性（标注偏差与 MIL）

合成噪声：在带有列噪声、块噪声和非对称噪声的 CIFAR-10 和 CIFAR-100 上，CONVEYANCE 的表现优于生成式“掩码”框架 [17] 和标准 CE。值得注意的是，在带有非对称噪声的 CIFAR-100 上，它比干净数据的 CE 基线高出 3.56 个百分点，表明结构先验起到了隐式正则化的作用。
多示例学习（MIL）：在五个表格 MIL 基准和 Camelyon-16 全切片图像基准上，CONVEYANCE 实现了 SOTA 准确率和 AUC。在 Camelyon-16 上，尽管未使用任何特定于问题的架构特化（如特征蒸馏或原型聚类），其 AUC 仍比次优方法（CAMIL）提高了 1.8 个点。

2. 序数回归（年龄估计）

在 CACD2000、CLAP2016 和 UTKFace 数据集上进行了评估。
与软先验方法（软标签、DLDL）和序数特定架构（ORCNN）相比，CONVEYANCE 在所有数据集上均取得了最佳平均绝对误差（MAE）。
在噪声较大的 CLAP2016 数据集上，其 MAE 比最强基线（DLDL）降低了 0.17。
定性分析表明，与导致潜在空间碎片化的 CE 不同，CONVEYANCE 将嵌入组织成平滑、连续的流形，反映了衰老的语义进程。

3. 层次分类（零样本属级泛化）

在 CUB-200-2011（鸟类物种）上进行了评估。
在训练期间 withhold（隐藏）特定属的物种的零样本设置中，CONVEYANCE 实现了最高的 OOD 属级准确率（85.1%），优于 CE+SupCon（84.1%）和 CE+Triplet（80.9%）。
该方法成功地将同属物种在逻辑值空间中组织成连贯的簇，证明了分类学结构向未见类别的有效迁移。

意义与主张

论文声称，CONVEYANCE 为结构化输出框架（如 SSVM）所需的复杂推理提供了一种统一、可微且与架构无关的替代方案。其主要意义在于降低了将领域结构纳入监督学习的门槛，适用于那些类别拓扑已知但难以通过生成建模表达的任务。

作者强调，CONVEYANCE 以最小的超参数调节（通常仅需默认配置 $\alpha=0.1, \beta=10$ ）和相对于标准交叉熵无增加的计算复杂度实现了这些结果。

承认的局限性：

该方法依赖于输入矩阵 $Q$ 的正确性；不正确或不完整的掩码可能会强化虚假分配。
超参数 $\alpha$ 随类别数量缩放，需要针对大词汇量数据集（如 ImageNet）重新校准。
为细粒度或大规模数据集构建有意义的 $Q$ 需要结构化的领域知识或本体论，而这些并不总是可用。

论文最后展望了未来的工作，包括从辅助信号（例如标注者分歧、不确定性估计）中自动推导 $Q$ ，并将该框架扩展到样本级转换掩码。