UASPL: Uncertainty-Aware Self-Paced Learning with Evidential Neural Networks

技术摘要：基于证据神经网络的不确定性感知自步学习 (UASPL)

问题陈述
自步学习 (Self-Paced Learning, SPL) 是一种模仿人类学习过程的范式，通过在从易到难的样本（通常由训练损失的大小决定）上进行训练来构建模型。尽管 SPL 非常有效，但作者指出传统 SPL 存在一个关键缺陷：在训练早期阶段具有低损失值的样本并不一定是“可靠的易学”样本。实验分析表明，最初被选为“简单”样本的平均相对损失变化 (Mean Relative Loss Variation, MRLV) 在随后的训练轮次中往往会发生显著波动或增加。这表明，低损失样本可能是“伪容易”的——它们要么缺乏模型有效学习所需的足够证据，要么代表了模型过度自信的误导性预测。因此，仅依赖基于损失的准则无法区分真正的简单样本与那些仅仅是暂时易于拟合但不具可靠性的样本。

方法论
为了解决这一问题，本文提出了 UASPL（不确定性感知自步学习），该框架在 主观逻辑 (Subjective Logic) 框架内集成了 证据神经网络 (Evidential Neural Networks, ENN)。与依赖点估计概率的传统方法不同，UASPL 利用狄利克雷分布 (Dirichlet distribution) 来参数化类别概率，从而实现对预测不确定性的直接量化。

UASPL 的核心是一个创新的不确定性感知损失函数，它将标签拟合损失与不确定性加权正则项相结合。第 $i$ 个样本的总损失 $L^{(i)}_{total}$ 公式如下：
$$L^{(i)}_{total} = L^{(i)}_{EMSE} + \text{coeff}_i \cdot L^{(i)}_{KL}$$

其中：

• $L^{(i)}_{EMSE}$ 是证据均方误差 (Evidential Mean Square Error)，衡量预测概率与地面真值之间的拟合程度。
• $L^{(i)}_{KL}$ 是 Kullback–Leibler 散度项，用于惩罚在非地面真值类别上的证据积累。
• $\text{coeff}_i$ 是一个自适应系数，定义为 $(1-c_i)(1-u_i) + c_i u_i$，其中 $c_i$ 是预测正确性指标（正确为 1，否则为 0），$u_i$ 是证据不确定性。

这种设计创造了一种动态的选择偏好：

1. 预测正确且低不确定性的样本： 这些被识别为可靠的简单样本，并被优先考虑。
2. 预测正确但高不确定性的样本： 这些被视为处于学习范围内的样本，但缺乏足够的证据；通过加强 KL 项来引导可靠的证据增长。
3. 预测错误且高不确定性的样本： 模型被允许更自由地探索这些样本，因为证据的缺乏表明预测尚不确定。
4. 预测错误且低不确定性的样本： 这些代表了虽有信心但具有误导性的错误。通过放大 KL 项来抑制错误证据的积累。

该算法迭代更新模型参数和样本权重 ($v_i$)，基于这一复合损失，有效地将不确定性估计直接嵌入到样本选择准则中，而无需外部先验。

核心贡献

1. 首次将证据不确定性引入 SPL： UASPL 是首个将模型生成的证据不确定性与标签拟合损失一同纳入优化目标的自步学习方法。这确保了所选样本不仅具有低损失，而且具有可靠性。
2. 可解释性： 本文通过理论分析证明，UASPL 诱导的样本选择偏好符合“由易到难”的原则。它明确地优先考虑可靠的易学样本，同时推迟处理那些证据不足或具有误导性的样本。
3. 通用性： 所提出的损失函数被设计为一个通用的框架，可以在不进行实质性修改的情况下扩展到不同的 SPL 变体（例如线性或混合正则化），证明其并不受限于特定的正则化形式。

实验结果
作者在多个数据集上评估了 UASPL，包括来自 UCI 仓库的 25 个表格数据集（包含平衡和不平衡数据集）以及四个图像分类基准测试（CIFAR-10, FashionMNIST, MNIST, SVHN）。该方法与 15 种基准方法进行了对比，其中包括传统的 SPL 变体、结合外部不确定性先验的方法，以及使用各种不确定性准则（如置信度、间隔、MC Dropout）改进的 SPL 方法。

结果表明，UASPL 在以下方面优于其他 SPL 方法：

• 分类性能： 在不同数据集上实现了更高的准确率和更好的稳定性。
• 可解释性： 成功选择了在训练轮次中难度保持稳定的样本，这与传统的基于损失的选择方法不同。
• 通用性： 在不同的数据模态和 SPL 公式下均展现出了有效性。

意义
本文声称，UASPL 通过将选择准则从纯粹基于损失转向基于不确定性，解决了自步学习中“伪容易”样本的根本问题。通过利用证据神经网络的内部不确定性估计，UASPL 确保课程学习过程专注于模型可以可靠学习的样本，从而提高训练效率和最终模型的鲁棒性。作者认为，这是使 SPL 在理论上更加严谨、在实践中更加有效的重大进步，特别是在模型置信度和证据充分性至关重要的场景下。