💻 computer science

Deep Probabilistic Supervision for Image Classification

该论文提出了深度概率监督（Deep Probabilistic Supervision, DPS），这是一个通过对模型自身预测进行统计推断来构建样本特定目标分布的有原则的框架，旨在消除对硬标签的依赖，从而在测试准确性、校准度和鲁棒性方面显著优于现有的自蒸馏方法。

原作者： Anton Adelöw, Matteo Gamba, Atsuto Maki

发布于 2026-02-06

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Anton Adelöw, Matteo Gamba, Atsuto Maki

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在教一名学生如何识别动物。在传统的课堂（标准深度学习）中，老师举起一张狗的照片并说：“这是一只狗。”如果学生猜是“猫”，老师只会说：“错。”如果学生猜是“茶壶”，老师也会说：“错。”

问题在于，“猫”其实是一个比“茶壶”更接近的答案。这种传统方法将所有的错误答案同等对待，忽略了“猫”和“狗”其实很像（都有毛发、四条腿）这一微妙线索，而它们与“茶壶”则完全不同。这会让学生变得过度自信且固执；他们学习的是死记硬背“狗”这个标签，而不是理解“狗”这个概念。

这篇论文介绍了一种新的教学方法，称为深度概率监督 (Deep Probabilistic Supervision, DPS)。它是这样运作的，我们可以使用简单的类比来理解：

1. “自我反思型”学生

DPS 不仅仅依赖于老师给出的硬性的“对/错”标签，它要求学生观察自己之前的猜测并从中学习。

旧方法： 学生猜“猫”，被判错，然后老师强迫他们记住“狗”。
DPS 方法： 学生猜“猫”。老师说：“好吧，你猜错了，但你离‘猫’比离‘茶壶’更近。让我们更新你的内部地图，记住‘狗’和‘猫’是邻居。”

学生实际上成为了自己的老师，通过不断完善自己的理解，来精炼自己对不同事物之间关系的认知。

2. “记忆衰减”类比（贝叶斯更新）

论文使用了数学中的一个概念——“贝叶斯推断”（Bayesian Inference），你可以将其理解为一个会逐渐消退的记忆库。

想象学生随身带着一个笔记本，记录下每一次见到狗的情况。

训练初期： 学生很新颖且困惑。他们的猜测是摇摆不定的。在 DPS 中，我们将这些早期的猜测视为“有噪声的”或不可靠的。我们会给予它们微小的权重，但不会让它们定义学生的整个世界观。
训练后期： 随着学生变得越来越聪明，他们的猜测也变得越来越准确。DPS 开始更加信任这些较新的猜测。
折扣因子： 论文引入了一个“折扣因子”（用希腊字母 $\gamma$ 表示）。你可以把它看作学生在慢慢忘记最初那些笨拙的猜测，以免陷入早期错误的泥潭。他们会将注意力集中在最近的、更准确的洞察上。

这使得学生能够建立一个细致的概率图谱。他们不再只是知道“100% 是狗”，而是学会了“90% 是狗，10% 是猫，0% 是茶壶”。这让他们更加灵活，不易被复杂的图像所迷惑。

3. 为什么这种方法更好（结果）

作者在著名的图像数据集（如 CIFAR 和 ImageNet）上测试了这种方法，并发现了三个主要优势：

更聪明的猜测（准确率）： 模型在识别物体方面变得更好了。例如，在一个名为 ImageNet 的复杂数据集上，该方法比标准训练提高了约 2% 的准确率。在 AI 领域，这是一个巨大的飞跃。
诚实性（校准度）： 这非常重要。标准的 AI 模型经常在明明是猫的情况下却说：“我有 99.9% 的把握这是一只狗。”它们过于自信。DPS 模型则更加诚实。如果它们不确定，它们会承认。论文显示，这些模型将“预期校准误差”（衡量过度自信的指标）降低了约 40%。
抗噪性： 想象一下，如果老师不小心把 20% 的照片贴错了标签（例如，把猫标成了狗）。标准的学生会感到困惑并失败。而 DPS 学生，因为他们依赖于对自己不断演进的关于“形状”和“特征”的理解，而非仅仅依赖老师的标签，因此表现得更加顽强。他们可以忽略错误的标签，并依然能学到正确的概念。

4. 它不是什么

它不需要第二个、更大的“老师”AI 来教导学生（这与其他一些方法不同）。学生是在自我教学。
它不需要改变神经网络的架构（不需要额外的硬件或复杂的层）。这是一种关于“如何进行训练”的改变，而不是关于 AI 本身的“构成”的改变。

总结

深度概率监督就像是教会一个学生去信任自己不断增长的直觉。与其盲目遵循一份僵化的“对/错”清单，学生学会了权衡自己过去的猜测，忘掉早期的错误，并理解不同类别之间的微妙关系。其结果是，得到的 AI 不仅更准确，而且更加谦逊、诚实，并且对不良数据具有更强的抵抗力。

技术摘要：用于图像分类的深度概率监督 (Deep Probabilistic Supervision, DPS)

1. 问题陈述

用于图像分类的深度神经网络通常使用硬目标（one-hot 编码标签）进行训练。这种方法丢弃了“暗知识”（dark knowledge）——即关于类间相似性和歧义性的细微且针对特定样本的信息（例如，将狗误分类为猫与误分类为茶壶之间的区别）。仅依赖硬目标会导致过度自信，限制了校准能力，并降低了鲁棒性，尤其是在存在标签噪声的情况下。

现有的自蒸馏（self-distillation）方法试图通过利用模型自身的预测来恢复暗知识。然而，当前的方法存在以下几个局限性：

对硬目标的依赖： 大多数方法仍然包含一个源自原始硬标签的损失项，这限制了模型学习完全校准且细致预测的能力。
缺乏不确定性建模： 它们没有显式地对预测不确定性进行建模，从而对校准产生了负面影响。
方差与不稳定性： 依赖于 epoch 级或 mini-batch 一致性的方法（如 Temporal Ensembling, DLB）可能会在数据增强下引入方差，或者依赖于近乎相同的模型状态。
对噪声的敏感性： 在过参数化机制下，依赖硬目标可能会在标签噪声存在时加剧“双下降”（double descent）现象。

2. 方法论：深度概率监督 (DPS)

作者提出了 深度概率监督 (DPS) 框架，该框架通过对模型自身预测进行统计推断，构建样本特定的目标分布，并在初始化后独立于硬目标运行。

核心框架：递归贝叶斯估计

DPS 将训练建模为一个递归贝叶斯估计问题。神经网络被视为一个观察输入 $x_i$ 的真实类别分布的“传感器”。

隐变量： 建模一个隐类别变量 $z_i$ ，其服从类别分布 $z_i \sim \text{Cat}(y_i)$ ，其中 $y_i$ 代表真实的类别概率。
先验： 使用狄利克雷先验（Dirichlet prior） $y_i \sim \text{Dir}(\alpha_i)$ 。初始参数 $\alpha^0_i$ 基于硬标签设置（在标记类别上具有高浓度，在其他类别上浓度较低），以建立先验信念。
似然： 模型在 epoch $t$ 的预测 $\hat{y}^t_i$ 被视为一种噪声测量值（证据），其似然度与类别概率的预测幂次之积成正比。
后验更新： 通过累积证据来更新后验分布。为了处理测量噪声的非平稳性质（随着训练推进，预测变得更加准确），采用了折扣贝叶斯模型（discounted Bayesian model）。

更新规则

目标分布使用折扣因子 $\gamma \in [0, 1]$ 进行递归更新：
$\alpha^t_i = \gamma \alpha^{t-1}_i + \hat{y}^t_i$
由此得出目标更新规则：
$y^t_i = \frac{\gamma A^{t-1}_i}{\gamma A^{t-1}_i + 1} y^{t-1}_i + \left(1 - \frac{\gamma A^{t-1}_i}{\gamma A^{t-1}_i + 1}\right) \hat{y}^t_i$
其中 $A^t_i$ 是狄利克雷参数之和。

机制： 在训练初期，先验占主导地位。随着训练的进行，最近的预测（更准确的预测）会被赋予更高的权重，而较旧的、带有噪声的证据则通过折扣因子被“遗忘”。
独立性： 初始化之后，目标分布完全基于模型的预测和贝叶斯更新进行演化，从而使学习过程与原始硬标签脱钩。

与现有方法的关系

作者证明了 DPS 统一并泛化了多种现有方法：

常规训练： 对应于 $\gamma \to 0$ 且具有无限先验浓度（固定目标）的情况。
标签平滑 (Label Smoothing)： 当 $\gamma$ 接近 1 且初始化在一个具有非零 $\epsilon$ 的特定固定点时，可以得到近似。
PS-KD / DLB： 通过设置 $\gamma = 0$ （仅使用最近的预测）或在 mini-batch 层面应用更新来恢复。
时间集成 (Temporal Ensembling, TE)： 对应于具有显式权重的非适当先验（improper prior）。

3. 主要贡献

新颖框架： 引入了 DPS，这是一个轻量级的、有原则的框架，用于构建精细的目标分布，该框架在初始化后独立于硬目标运行。
理论形式化： 首次将“暗知识”形式化为网络输出中类间成分 ( $\mu_k$ ) 与样本特定成分 ( $\delta(x_i)$ ) 的分解，并证明 DPS 能够同时捕捉这两者。
经验优越性： 大量的实验表明，DPS 在泛化能力和校准方面优于现有的自蒸馏方法和常规知识蒸馏。
鲁棒性： 证明了 DPS 在面对数据损坏、扰动和标签噪声时具有鲁棒性，特别是在缓解 epoch 级的双下降现象方面。

4. 实验结果

作者在 CIFAR-10、CIFAR-100、TinyImageNet 和 ImageNet 上使用 ResNet、DenseNet 和 ViT 架构对 DPS 进行了评估。

泛化与准确率

性能提升： DPS 一致地产生更高的测试准确率。例如，在 ImageNet 上使用 DenseNet-264 时，DPS 比基线提高了 +2.0%，比表现最好的自蒸馏方法提高了 +1.0%。
对比： DPS 超越了常规知识蒸馏，并接近模型集成（model ensembles）的性能。

校准

ECE 降低： DPS 显著降低了期望校准误差 (ECE)。在 CIFAR-100 上使用 ResNet-50 时，与表现最好的自蒸馏方法相比，ECE 降低了 40%；与基线相比，降低了超过 60%。
NLL： 与基线相比，卷积网络的负对数似然 (NLL) 降低了超过 70%。
可靠性： 可靠性图显示 DPS 曲线最接近对角线，表明其具有卓越的概率估计能力。

对噪声和损坏的鲁棒性

标签噪声： 在 20% 对称和非对称标签噪声下，DPS 在单网络方法中达到了最先进水平。值得注意的是，它平滑了在其他方法中观察到的双下降曲线，表明其学习过程更加稳定。
损坏： 在 CIFAR-10-C（损坏）和 CIFAR-10-P（扰动）上，DPS 在所有架构中均取得了最高的准确率和最低的平均翻转概率 (mFP)。
增强： 当与 CutOut 和 CutMix 结合使用时，DPS 一致优于基线和 DLB，在 CIFAR-100 上的增益高达 4.1 个百分点。

消融与分析

超参数： 折扣因子 $\gamma$ 和先验浓度 $c$ 允许在准确率和校准之间进行权衡。特定的配置（ $\gamma=0.97, c=2000$ ）在 CIFAR-100 上实现了 1.33% 的 ECE，尽管在准确率上略有权衡。
暗知识可视化： 可视化证实了 DPS 比常规训练更有效地促进了有意义的类间关系（例如，将动物归为一类）以及样本特定偏差的学习。

5. 重要性与主张

论文声称，DPS 代表了从启发式自蒸馏向有原则的概率方法的转变。通过显式地建模预测不确定性并脱离硬目标，DPS 解决了深度学习中过度自信和校准能力差的根本问题。

作者强调，DPS：

提供了更平滑且更鲁棒的概率估计。
缓解了标签噪声下的双下降现象。
在结合对比损失或标准增强技术时，实现了最先进的鲁棒性。
提供了一种轻量级的实现，与前向-反向传播相比，计算开销极小（每个 batch 为 $O(BK)$）。

这项工作表明，将训练过程视为一个贝叶斯推断问题（其中模型自身的预测作为不断演化的证据）是实现校准、泛化且鲁棒的深度学习模型的更优策略。