Prediction-Only Distillation in Linear and Logistic Regression

技术摘要：线性与逻辑回归中的仅预测蒸馏

问题陈述
标准的自蒸馏（Self-Distillation, SD）通常涉及在教师模型的原始带标签训练数据上重新训练学生模型。然而，在许多实际的部署场景中，由于隐私、存储或安全限制，原始的带标签训练数据往往是无法获取的。在这些“仅预测”（prediction-only）机制下，从业者只能接触到一个训练好的预测器（教师）以及源源不断的、可能属于分布外（OOD）的新鲜无标签协变量。本文探讨的核心问题是：在原始训练数据和教师特定的正则化参数均未知的情况下，是否可以利用这些新鲜的无标签数据来改进一个固定的预测器。

方法论
作者提出了一个**预测混合自蒸馏（Prediction-Mixed Self-Distillation, PMSD）**框架。该流程包含三个阶段：

1. 纯蒸馏（Pure Distillation, PD）： 学生模型利用教师的预测值作为伪标签，在新鲜的无标签协变量上进行训练。这产生了一个“纯蒸馏”的学生模型。
2. 仿射混合（Affine Mixing）： 最终的预测器并非直接部署 PD 学生，而是通过教师的预测与 PD 学生的预测的仿射组合来构建：$f_{pmsd}(x) = (1-\xi)f_{teacher}(x) + \xi f_{pd}(x)$。混合权重 $\xi$ 是一个实值参数，不一定限制在 $[0, 1]$ 区间内。
3. 校准（Calibration）： 由于最优混合权重取决于未知的总体量，作者提出使用一小组独立的带标签校准集来估计该权重。这种估计是在模型训练完成后，通过单步后验过程完成的，无需重新训练模型。

理论分析是在比例渐近（proportional asymptotics，即当 $n, p \to \infty$ 且 $p/n$ 为常数时）条件下针对两种设置进行的：

• 岭回归（Ridge Regression）： 在一般各向异性协方差结构和确定性信号下进行分析。作者推导了最优混合权重和所得预测风险的确定性等价物。
• 逻辑回归（Logistic Regression）： 在二分类设置下进行分析，使用硬伪标签，并将分析扩展到教师错误率较高（甚至超过 50%）的情景。

核心贡献

1. PMSD 风险的理论特征化： 本文推导了岭回归中最优 PMSD 混合权重和风险的精确预言恒等式（oracle identities）及确定性等价物。这些结果在一般的各向异性协方差下依然成立，其中新鲜协变量的分布可能与教师的训练数据不同（但具有交换协方差矩阵）。
2. 严格改进保证： 作者证明，对于几乎每一对教师和学生正则化水平，最优混合的 PMSD 学生都会严格优于教师。即使在以下情况下也是如此：
   • 新鲜协变量是分布外的（例如，采样自各向同性高斯分布）。
   • 教师的正则化水平未知或并非最优。
   • 学生的正则化水平未经过最优调优。
     仅有的例外出现在风险值相等的特定有限“退化”点。
3. 无标签数据的非单调性： 与直觉相反，本文证明了增加新鲜无标签数据的数量并不一定会单调地提高性能。在相同-$\lambda$ 的各向同性设置下，最优 PMSD 风险相对于无标签样本量呈现单峰特性；超过一定阈值后，增加数据反而可能导致性能下降。
4. 无需重训的一致性校准： 作者指出，仅凭无标签数据无法识别最优混合权重（这是一个信息论层面的限制）。然而，他们证明了通过一小组独立的带标签校准集，可以在单步后验过程中一致地估计出最优权重，而无需额外的模型拟合。
5. 逻辑回归的增益： 通过将研究扩展到平方损失之外，本文展示了预测混合在逻辑回归中可以严格优于教师和 PD 学生。值得注意的是，即使教师和 PD 学生都无法恢复真实的标签（在高噪声机制下准确率为 0%），PMSD 学生仍可以通过适当的权重外推实现 100% 的总体准确率。

结果

• 实证验证： 在真实世界数据集（UCI Blog Feedback, Communities and Crime, Airfoil）和合成数据上的实验证实了上述理论预测。PMSD 学生在各种正则化水平和协方差结构（包括各向同性和 AR1）下，其平方预测风险始终低于教师和 PD 学生。
• 对 OOD 的鲁棒性： 即使新鲜协变量采样自与教师训练分布不同的各向同性分布，该方法依然有效。
• 分类性能： 在 Caltech-101、Caltech-256 和 CIFAR-100 的线性探测实验中，面对受损标签，PMSD 相比教师和 PD 学生一致性地提升了测试准确率。最优混合权重经常落在 $[0, 1]$ 之外，这验证了使用仿射组合而非凸组合的合理性。

意义与主张
本文声称，仅预测蒸馏为在数据受限的环境中改进固定预测器提供了一种具有理论依据且切实可行的方法。其重要性在于：

• 弥补数据鸿沟： 提供了一种在原始训练数据无法获取时（这在现实部署中是常见约束）调整模型的方法。
• 通用性改进： 确立了 PMSD 方案下的严格改进是一个泛化属性，并不依赖于精细调优超参数或特定的分布对齐。
• 操作效率： 证明了通过极低的计算开销（单次校准）即可实现蒸馏收益，且无需获取新鲜数据的地面真值标签。
• 理论创新： 挑战了“更多无标签数据总是有益”的假设，揭示了在“新鲜-X”设置下样本量与风险之间的非单调关系。

作者将这项工作定位为现有“相同-X”自蒸馏文献的补充，强调虽然“相同-X”方法在获得原始数据时可以恢复最优性能，但 PMSD 在仅有教师预测和新鲜协变量的情况下，提供了能达到的最佳改进方案。