Curvature-Based Shrinkage for Label-Budgeted Recalibration under Dataset Shift: An Empirical Risk Study

技术摘要：基于曲率的标签预算受限下的数据集偏移重校准

1. 问题陈述

当分类器被部署在一个数据分布与训练数据（源域）不同的新环境（目标域）中时，其概率估计往往会变得失准。虽然**温度缩放（Temperature Scaling, TS）**是一种标准的后验校准方法，但在仅有极少量标记样本（“标签预算”）的目标域上拟合新的温度参数在统计上是不稳定的。

核心的实际困境在于：如何确定拟合后的目标温度相对于源温度的偏离程度。

• 保留源域校准可以避免估计噪声，但会保留真实的失准。
• 拟合无约束的目标温度可以减少偏差，但会引入高方差，导致预测损失（负对数似然，NLL）可能高于源域。
• **锚定校准（Anchored calibration）**试图在这些极端情况之间进行插值，但需要仔细调优。

本研究调查了**基于曲率的收缩（Curvature-Based Shrinkage, BCS）和显著性门控风险感知收缩（Gated RAS）**是否在严格的标签预算（8、16 和 32 个标签）下，比强常数锚点基准具有更优的风险权衡。

2. 方法论

2.1 理论框架
这些方法基于经验损失的**二次代理（quadratic surrogate）和高斯收缩（Gaussian shrinkage）**解释。

• 偏差-方差权衡： 最优收缩权重取决于目标-源差异方差与估计方差的比率。
• 曲率估计： 这些方法通过估计 NLL 损失函数的局部曲率（二阶导数）来近似估计方差。
  • BCS： 在源温度 ($\theta_s$) 处测量曲率。它应用一个由估计曲率和冻结尺度参数 ($\tau_0^2 = 0.05$) 导出的收缩权重 $\hat{\kappa}_s$。
  • Gated RAS： 在目标最优解 ($\hat{\theta}_{TS}$) 处测量曲率。它使用一个从开发集导出的全局残差尺度 ($\tau_g^2 \approx 0.415$)。它采用一个“门控”机制，仅当无约束拟合相对于源域的偏离程度超过局部不确定性尺度 ($z=1$) 时，才更新温度。

2.2 实验协议

• 数据集： 一个包含 8 个家族（如占用、气体、电力）中 32 个领域的存档基准测试。评估重点是代表三种不同偏移类型的三个特定家族：
  1. 遥感（Wilt）： 采样差异。
  2. 活动识别（手腕加速度计）： 人群差异。
  3. 餐厅检查（芝加哥）： 基于日历的偏移。
• 约束： 应用了“单类排除”规则，在 8 和 16 个标签预算下留下 9 个合格领域，在 32 个标签预算下留下 8 个领域。
• 基准方法：
  • 目标 TS： 在目标标签上进行无约束拟合。
  • 常数锚点（Constant Anchor）： 一种惩罚拟合，最小化 $\bar{L}_B(\theta) + \gamma(\theta - \theta_s)^2$，其中 $\gamma=0.5$。
  • 源域保留（Source Retention）： 直接使用源域温度。
• 指标：
  • 主要指标： 相对于源域保留的平均负对数似然（NLL）增益。
  • 和谐指标（Harm Indicators）： 负增益单元的频率 ($1\{G < 0\}$) 以及最小领域平均增益。
  • 敏感性： 被定义为 $G < -0.01$ nats 的“实质性有害”更新的频率。

3. 关键结果

3.1 与源域保留的性能对比

• BCS 在所有预算下均一致地提高了相对于保留源域校准的平均 NLL。
  • 8 个标签：+0.055 nats。
  • 16 个标签：+0.072 nats。
  • 32 个标签：+0.096 nats。
• Gated RAS 也比保留源域有所改善，但在 8 和 16 个标签时的平均增益低于 BCS。

3.2 与常数锚点的性能对比

• BCS 显示出相对于常数锚点 ($\gamma=0.5$) 的微小优势，但这种差异在统计上是不确定的（置信区间跨越了零）。
  • 8 个标签：差异为 +0.005 nats ($p=0.250$)。
  • 32 个标签：差异为 +0.028 nats ($p=0.328$)。
• Gated RAS 在较低预算（8 和 16 个标签）下的平均增益方面通常表现不如常数锚点，未能达到预先声明的主要标准（正向配对平均差异）。

3.3 有害频率与严重程度

• 有害频率： 与 BCS 和锚点相比，Gated RAS 显著降低了负增益单元的频率。
  • 8 个标签时：Gated RAS 有 12.6% 的有害单元，而 BCS 和锚点均为 41.5%。
• 有害严重程度： 然而，Gated RAS 表现出更差的最小领域平均增益以及更高频率的“实质性有害”更新（损失 > 0.01 nats）相比于 BCS。
  • 8 个标签时：Gated RAS 有 11.9% 的单元损失 > 0.01 nats，而 BCS 仅为 4.4%。
• 权衡： 结果表明存在一种部署权衡：Gated RAS 避免了许多小的负向更新，但当它进行更新时，可能会带来较大的负向更新。BCS 提供了更高的平均增益，但伴随着更高频率的小额负向更新。

3.4 领域依赖性
性能增益并不均匀。BCS 的改进高度集中在 Wilt（遥感） 领域。当排除 Wilt 领域后，BCS 的平均增益降至接近于零（+0.0015 nats），这表明该方法并未实现统一的泛化。

4. 核心贡献与主张

4.1 经验风险研究
本文提供了一个在有限标签预算下对收缩规则的可追溯比较，明确区分了平均改进与有害更新的频率/严重程度。它挑战了“减少负增益频率即等于最小化所有形式的部署风险”这一观点。

4.2 实现明确的描述
作者提供了 BCS 和 Gated RAS 的详细、可复现的描述，包括特定的超参数（如曲率裁剪边界、尺度参数）以及“门控”的确切逻辑。

4.3 条件性解释
论文提供了一个基于二次代理的条件偏差-方差分析（命题 1–3）。至关重要的是，它并未声称这些方法提供了无条件的安全性保证。它明确指出，理论解释依赖于一些在实现中并未严格满足的假设（如二次损失、正确的方差规范、噪声曲率、裁剪及有界拟合）。

4.4 意义与局限性

• 意义： 研究结果支持一种“部署权衡”，而非声称具有统一的优越性。论文认为应明确报告更新频率与更新严重程度，以辅助部署决策。
• 主张的谦逊性： 作者明确表示，本研究并未建立均值最优性或相对于强常数锚点的显著优越性。他们承认了局限性，包括评估家族数量较少（三个）、遥感采样差异的主导地位，以及缺乏有效的无分布风险控制基准。
• 结论： 论文得出结论，虽然曲率收缩缓解了无约束目标拟合的失败，但其相对于经过良好调优的常数锚点的优势在统计上是不确定的。选择哪种方法取决于用户对更新频率与更新严重程度的具体容忍度。