Controllable Diversity in Normalization-Based Implicit Ensembles via Softmax-Temperature Modulation

技术摘要：通过 Softmax 温度调制实现基于归一化的隐式集成中的可控多样性

问题陈述
深度集成（Deep Ensembles）仍然是深度学习中不确定性量化的金标准，通过训练多个独立的模型来提供可靠的校准和分布外（OOD）检测。然而，其计算和内存成本随集成成员数量线性增加，对于大规模模型而言成本过高。隐式集成通过在单个训练过程中共享一个主干网络（Backbone），并引入针对每个成员的调制或划分来模拟集成行为，从而解决了这一问题。

现有隐式集成方法的一个关键局限在于缺乏对**成员多样性（Member Diversity）**的控制。多样性是决定集成质量的核心因素，然而目前的方法要么在初始化时将其固定（例如适配器类方法 BatchEnsemble），要么将其硬编码进架构中（例如划分类方法 Packed Ensembles）。因此，目前缺乏在训练过程中塑造或导航准确率与校准之间权衡的机制。此外，现有方法通常需要专门的架构重新设计，难以应用于预训练模型。

方法论：$\sigma$N-Ens
作者提出了 $\sigma$N-Ens，这是一种基于归一化的隐式集成方法，它将每个成员视为多任务学习（MTL）框架下的一个不同任务。

1. 架构 ($\sigma$Norm)： 该方法将共享主干网络中的标准归一化层（BatchNorm 或 LayerNorm）替换为特定于任务的层。对于每个成员 $t$，归一化由一个受 Sigmoid 限制的缩放因子进行调制：
   $$\sigma\text{Norm}_t(x) = \sigma(\gamma_t) \odot \text{norm}_t(x)$$
   其中 $\sigma(\gamma_t) = \frac{1}{1 + e^{-\gamma_t}}$。这些缩放因子充当逐特征的重要性权重。由于仅复制了归一化层，主干网络的权重（卷积或 Transformer）保持完全共享，这使得该方法可以封装任何标准架构，并通过短时间的微调来适配预训练模型。

2. 通过 Softmax 温度实现可控多样性： 为了在训练期间主动塑造多样性，作者引入了一个应用于各成员间重要性向量（$\sigma(\gamma)$）的 Softmax 温度正则项：
   $$\mathcal{L}_{div} = \lambda \sum_{\ell \in \mathcal{R}} \sum_{i} \sum_{m=1}^{M} \log \left[ \text{softmax}_{\tau}(\sigma(\gamma_{\cdot, \ell, i})) \right]_m$$
   此处，$\tau$ 作为温度超参数，设定了共享的平衡水平。

   • 低 $\tau$： 驱动分布趋向于 One-hot 分布，迫使特征被单一成员所有（最大化多样性，类似于硬划分）。
   • 高 $\tau$： 驱动分布趋向于均匀分布，鼓励特征的充分共享。
   • 中间 $\tau$： 创建一种“软 $M$ 选 $k$”的分配机制，即特征在 $k$ 个成员的子集中进行共享。
     与标准正则化强度 $\lambda$（决定网络向目标靠拢的程度）不同，$\tau$ 选择的是系统最终趋向于哪种平衡状态。这使得从业者可以通过遍历 $\tau$ 来追踪准确率-校准前沿（Accuracy-Calibration Frontier）。

3. 调制不确定性（Modulation Uncertainty）： 作者将该集成所表达的认识不确定性（Epistemic Uncertainty）重新定义为调制不确定性。由于主干网络是共享且确定性的，不确定性仅源于调制参数对共享特征的重加权。这在结构上不同于由不同特征提取器产生的全深度集成的不确定性。

核心贡献

• 可控多样性： 本文提出了第一个能够在训练期间通过单一超参数（$\tau$）塑造成员多样性的隐式集成机制，而非在初始化或构建时将其固定。这使得导航准确率-校准帕累托前沿成为可能。
• 调制不确定性： 作者识别并定义了“调制不确定性”作为共享主干集成所表达的特定认识不确定性成分。他们证实了这种不确定性在输入损坏（Input Corruption）下保持校准，但在 OOD 检测方面弱于全深度集成，因为共享的主干网络无法在其未编码的输入上产生分歧。
• 架构无关性与高效性： 通过仅在归一化层进行操作，$\sigma$N-Ens 可以应用于卷积和 Transformer 主干，无需侵入性重新设计。它可以将现有的预训练模型转换为校准后的集成，仅需极短的微调，避免了从头开始训练成员的需求。

实验结果
该方法在 CIFAR-10/100、ImageNet 和 SST-2 上使用 ResNet、WideResNet 和 Vision Transformer (ViT) 进行了评估。

• 性能与成本： $\sigma$N-Ens 在准确率和负对数似然（NLL）方面达到或超过了深度集成，同时使用了极小比例的参数量（例如，在 CIFAR-100 的 WideResNet 上，它以显著更少的参数实现了最先进的准确率）。
• 可扩展性： 不同于随着成员数量 ($M$) 增加而因容量限制导致性能下降和崩溃的划分类方法（如 Packed Ensembles），$\sigma$N-Ens 表现出良好的扩展性。随着 $M$ 的增长，其软共享机制能有效汇聚容量，使性能得以提升或趋于饱和而非崩溃。
• 分布偏移下的校准： 该方法在分布偏移（输入损坏）下保持鲁棒的校准，预期校准误差（ECE）随损坏严重程度的变化几乎保持平稳。
• OOD 检测： 与理论分析一致，其 OOD 检测能力弱于全深度集成，尤其是在使用预训练主干时，因为特征表示是固定的。然而，当从头开始训练时，检测性能会有所提升，因为成员会在多样性压力下塑造共享的特征表示。
• 超参数敏感性： 一旦收敛，最终性能对正则化强度 $\lambda$ 基本不敏感，这使得 $\tau$ 成为从业者调节的唯一关键超参数。

意义
本文认为，可控多样性将隐式集成从一种静态的架构选择转变为一个动态的、可调的系统。通过将多样性与初始化和架构解耦，$\sigma$N-Ens 为训练全深度集成提供了一个实用的替代方案，尤其是在模型规模不断增长的背景下。将单个预训练模型转换为校准后集成的能力，解决了在资源受限或风险敏感领域部署不确定性感知深度学习的重要空白。这项工作阐明了共享主干集成固有的权衡，明确地将结构性限制（共享特征提取器）与观察到的 OOD 检测能力的减弱联系起来，同时强调了其在校准鲁棒性方面的优势。