💻 computer science

Class Adaptive Conformal Training

本文介绍了类自适应符合性训练（Class Adaptive Conformal Training, CaCT），这是一种将符合性训练构建为增广拉格朗日优化问题的新颖方法，旨在无需分布假设的情况下自适应地学习类条件预测集，从而在保持各种任务下严格覆盖保证的同时，获得更小且更具信息量的集合。

原作者： Badr-Eddine Marani, Julio Silva-Rodriguez, Ismail Ben Ayed, Maria Vakalopoulou, Stergios Christodoulidis, Jose Dolz

发布于 2026-01-15

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Badr-Eddine Marani, Julio Silva-Rodriguez, Ismail Ben Ayed, Maria Vakalopoulou, Stergios Christodoulidis, Jose Dolz

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

大问题：过度自信的 AI

想象你有一个非常聪明的 AI 助手，它通过看图片来告诉你图片里是什么。它通常很准，但有时会变得过度自信。它可能会说：“我 100% 确定这是一只猫”，而实际上那是一只狗。

在涉及高风险的场景中（如医疗诊断或自动驾驶汽车），我们不希望 AI 只是瞎猜；我们希望它能说：“我不确定，所以这里是前 3 个最可能的选项。”这被称为预测集（Prediction Set）。

目标： AI 应该在 90% 的情况下是正确的（这是一个安全保证）。
难点： 如果 AI 太过犹豫，它可能会列出所有可能的动物（猫、狗、鸟、鱼等等）。虽然这是一个有效的预测集（它确实包含了正确答案），但因为它太长了，所以毫无用处。我们希望在保证安全的前提下，让这个集合尽可能小。

旧方法：“一刀切”的惩罚机制

以前的方法试图通过在训练过程中添加一种“惩罚”来教 AI 缩短列表。这就像教练对着球员大喊：“如果你的猜测列表太长，你就会受到惩罚！”

然而，旧方法对所有人使用单一的惩罚规则。

缺陷： 想象一个有 100 名学生的教室。其中 90 名是数学天才，另外 10 名还在为基础加法而苦恼。
如果教练对所有人使用相同的惩罚，天才们可能会受到过重的惩罚（变得过于胆小不敢猜测），而那些基础薄弱的学生则会被放得太开（他们会继续给出巨大的列表）。
用 AI 的话来说，这意味着模型在处理常见事物（如“狗”或“汽车”）时表现出色，但在处理稀有事物（如某种特定的甲虫或罕见疾病）时表现糟糕。它要么为稀有项目生成过大的列表，要么无法达到安全保证。

新方案：CaCT（类别自适应共形训练）

作者引入了 CaCT，它就像是为每一位学生（或每一个类别）聘请了一位私人教练。

CaCT 不再是对全班使用统一规则，而是为每个特定类别提供定制的惩罚权重。

对于“天才”（常见类别）： AI 学习到它可以保持自信并缩短列表。
对于“基础薄弱的学生”（稀有类别）： AI 学习到它需要格外小心。它可能需要列出更多的选项以确保安全，但它能精确掌握需要列出多少个，而不至于让整个列表变得臃肿。

它是如何运作的：“智能调节器”

你可能会问：“AI 是如何知道该给每个学生多少惩罚的？难道我们要靠猜吗？”

不！论文使用了一种叫做**增广拉格朗日乘子法（Augmented Lagrangian Multipliers, ALM）**的数学技巧。

类比： 想象一个恒温器，它不仅仅有一个“开/关”按钮。相反，它有一个智能传感器，能不断检查房子里每个房间的温度。
如果厨房太热了，恒温器会自动调低仅针对厨房的空调。
如果卧室太冷了，它会调高仅针对卧室的暖气。
在 AI 中： 系统会在训练期间自动学习每个类别的完美“惩罚权重”。它不需要人类告诉它：“嘿，给那些稀有的甲虫设定一个 5 的惩罚。”AI 会自行摸索，以平衡安全性与效率。

结果：更聪明、更精简的列表

论文在许多不同的数据集上测试了这种方法，包括：

标准图像识别：（例如识别猫、狗和汽车）。
长尾数据集：（某些事物出现数千次，而另一些仅出现几次——就像一个图书馆，有一千本相同的书，却只有 999 种书各只有 1 本）。
文本分类：（将新闻文章进行分类）。

研究结果：

更好的安全性： AI 依然履行了它 90% 正确率的承诺。
更短的列表： 与之前相比，其猜测列表明显变短且更有用。
公平性： AI 不再忽视那些“稀有”的项目。它给予它们所需的特定关注，使得稀有项目不会得到巨大的、无用的列表，同时常见的项目也不会变得过度谨慎。

总结

可以将 CaCT 视为从僵化的、一刀切的规则手册向动态的、个性化训练系统的转变。它允许 AI 针对不同类型的问题，在展示不确定性方面变得更加“聪明”，从而产生既安全又对现实世界应用非常有帮助的预测结果。

技术摘要：类自适应符合训练 (Class Adaptive Conformal Training, CaCT)

问题陈述

深度神经网络经常产生不可靠的概率估计，通常表现出对预测结果的过度自信。虽然符合预测 (Conformal Prediction, CP) 提供了一个具有严格、无分布假设覆盖保证的原则性框架用于不确定性量化，但现有方法在效率和自适应性方面面临显著局限。

标准的 CP 方法（特别是后验应用的 CP）生成的预测集虽然有效，但往往缺乏信息量（例如，包含过多的类别）。为了解决这一问题，诸如 ConfTr 之类的符合训练 (Conformal Training, CT) 方法将 CP 目标直接整合到训练过程中，以最小化预测集的大小。然而，目前的 CT 方法存在两个关键缺陷：

类无关正则化： 它们通常采用单一的全局超参数来惩罚所有类别的预测集大小。这种僵化的公式无法考虑到不同类别之间内在的难度差异。
在不平衡场景中的低效性： 在长尾分布（常见于现实应用）中，全局惩罚会导致次优的表现。它往往会对代表性不足（尾部）的类别产生过于保守（大）的预测集，同时未能充分优化头部类别，从而降低了整体的效率和自适应性。

方法论

作者提出了 类自适应符合训练 (CaCT)，这是一个将符合训练重新表述为增广拉格朗日优化问题的框架。该方法能够自适应地学习特定于类的惩罚权重，而无需预先了解数据分布。

1. 类条件约束

CaCT 不再强制执行针对所有数据点的平均集合大小的边际约束，而是引入了 $K$ 个约束（每个类别 $k \in \mathcal{Y}$ 一个）。其目标是在满足每个类别 $k$ 的期望集合大小不超过目标值 $\eta$ 的条件下，最小化分类损失 $L_{cls}(\theta)$ ：
$\min_{\theta} L_{cls}(\theta) \quad \text{s.t.} \quad |C_\theta(X)| \le \eta, \quad \text{a.s. } X \sim P_{X|Y=k}$

2. 增广拉格朗日乘子 (ALM) 策略

为了解决这个约束优化问题，且无需手动调整 $K$ 个单独的惩罚权重（这在大规模数据集如 ImageNet 上是不可行的），CaCT 使用了一种改进的增广拉格朗日方法 (Augmented Lagrangian Method)。

目标重构： 将约束问题转换为无约束问题，使用由每个类别的拉格朗日乘子 $\lambda_k$ 和惩罚系数 $\rho_k$ 参数化的惩罚函数 $P$ （具体为 PHR 函数）。
自适应权重学习：
- 内层循环（原问题）： 通过随机梯度下降更新模型参数 $\theta$ ，以最小化分类损失加上当前的惩罚项。
- 外层循环（对偶问题）： 根据在验证集上观察到的类别特定约束违反情况，更新拉格朗日乘子 $\lambda_k$ 和惩罚参数 $\rho_k$ 。
- 机制： 如果某个特定类别违反了其大小约束（即平均集合大小过大），其对应的乘子 $\lambda_k$ 会增加，从而在随后的迭代中加强对该类别的惩罚。反之，如果满足约束，则惩罚减小。这使得模型能够为每个类别单独学习准确性与符合性之间的最优权衡。

3. 可微性

为了实现端到端训练，作者使用 Sigmoid 函数和可微排序技术，对 CP 中不可微的部分（集合大小的指示函数和经验分位数）进行了平滑处理。虽然这种平滑在训练期间放宽了边际覆盖保证，但作者指出，在测试时通过恢复原始的非平滑实现，可以恢复正式的保证。

核心贡献

类自适应框架： 引入了 CaCT，它用类级乘子取代了全局惩罚权重，使模型能够适应每个类别的特定难度和频率。
增广拉格朗日优化： 开发了一种改进的 ALM 算法，该算法在训练期间自动学习最优的类特定惩罚权重，消除了对手动调参或预设分布假设的需求。
对不平衡的鲁棒性： 证明了 CaCT 能有效缓解长尾分布带来的问题，在保持覆盖率的同时，为代表性不足的类别生成更小的预测集，这是以往方法（如 ConfTr、CUT 和 DPSM）所缺乏的能力。

实验结果

作者在多个基准测试上评估了 CaCT，包括标准图像分类（MNIST、CIFAR-10/100、ImageNet）、长尾变体（MNIST-LT、CIFAR-LT、ImageNet-LT）以及文本分类（20 Newsgroups）。

效率： 在所有数据集上，CaCT 生成的平均预测集大小始终显著小于最先进的符合训练方法（ConfTr、CUT、InfoCTr、DPSM）。
覆盖差距： 在长尾场景下，CaCT 实现了最低的覆盖差距（即每个类别相对于目标覆盖率 $1-\alpha$ 的偏差），表明其具有卓越的类条件覆盖能力。现有方法往往无法维持尾部类别的覆盖率，导致集合大小过大。
判别性能： 与基准方法相比，CaCT 维持或提高了 Top-1 和 Top-3 准确率，证明了减小集合大小并不会以牺牲预测能力为代价。
鲁棒性： 该方法在测试时对变化的失覆盖水平 ( $\alpha$ ) 和不同的不平衡因子 ( $\gamma$ ) 表现出鲁棒性。此外，它在不同的非一致性得分（THR、APS、RAPS）下也表现良好。
超参数敏感性： 不同于现有方法高度依赖于全局正则化权重 $\lambda$ 的选择，CaCT 的自适应学习机制使其对该特定调优具有不可知性，简化了部署过程。

意义

论文声称 CaCT 解决了符合训练中的一个根本性限制：即无法处理复杂、不平衡数据集中的类条件效率问题。通过将问题表述为自适应优化任务，CaCT 使构建既具有统计有效性又具有实际信息量的预测集成为可能，特别是在涉及少数类经常被忽视的高风险长尾分布场景中。这项工作弥合了理论覆盖保证与实际效率之间的鸿沟，为具有不确定性感知能力的深度学习系统的实际部署提供了一个可扩展的解决方案。