技术摘要：黑盒辅助回归：相变与极小极大最优性

1. 问题形式化

本文研究了黑盒辅助非参数回归（Black-Box Assisted Non-Parametric Regression）问题。在这种设定下，学习者拥有来自目标分布的一个小型标记数据集 $\mathcal{D}_n = \{(x_i, y_i)\}_{i=1}^n$，但无法访问源数据、模型参数，也无法对预训练的基础模型进行微调。相反，学习者只能查询一个固定的黑盒预测器 $f_0: \mathcal{X} \to \mathbb{R}$。

核心统计挑战在于 $f_0$ 在目标分布上的误差是未知的。假设目标回归函数 $f^*$ 满足：
$$\|f^* - f_0\|_{L^2(P_X)} \le \delta$$
其中 $\delta \ge 0$ 是一个未知的先验误差半径。目标是构建一个估计量 $\hat{f}$，以最小化均方误差（MSE）风险 $R(\hat{f}, f^*) = \mathbb{E}[\|\hat{f} - f^*\|_{L^2(P_X)}^2]$，同时保证无负迁移（no negative transfer）——这意味着即使 $f_0$ 存在高度偏差或标记数据极其稀缺，最终的预测器也不应比仅使用 $f_0$ 的表现显著变差。

2. 方法论：安全残差估计器

作者提出了一个安全残差估计器（Safe Residual Estimator），将学习任务分解为对固定先验进行残差修正的过程。该方法基于分解式 $f^*(x) = f_0(x) + r^*(x)$ 进行操作，其中 $r^*$ 是未知的残差。

该程序采用基于样本分割的选择与估计（Select-and-Estimate）策略：

1. 数据分割： 将标记数据分为训练集 $\mathcal{D}_{tr}$ 和验证集 $\mathcal{D}_{val}$。
2. 残差学习： 在 $\mathcal{D}_{tr}$ 上训练一个残差模型 $\hat{r}$，以最小化残差 $y - f_0(x)$ 的平方误差。
   • 关键实现细节： 对于神经网络实现，残差头采用零初始化（zero-initialized）。这确保了在训练开始时，$\hat{r} \equiv 0$，从而使预测器恰好等于 $f_0$。只有当数据提供足够强的信号时，模型才会偏离先验。
3. 安全选择： 算法在留出的验证集 $\mathcal{D}_{val}$ 上评估两个候选对象：
   • 候选 A：黑盒先验 $f_0$。
   • 候选 B：修正后的预测器 $f_0 + \hat{r}$。
   • 最终估计量 $\hat{f}_{safe}$ 选择验证损失较低的候选对象：
     $$\hat{f}_{safe}(x) = f_0(x) + \hat{\alpha} \cdot \hat{r}(x), \quad \text{其中 } \hat{\alpha} = \mathbb{I}[L_{val}(f_0 + \hat{r}) < L_{val}(f_0)]$$

这种二元选择机制旨在防止负迁移。如果学习到的修正项缺乏验证数据的支持（例如由于噪声或高维性），估计器将退回到 $f_0$。

3. 核心贡献与理论结果

A. 极小极大下界与相变

本文建立了该问题的有限样本极小极大（minimax）下界。定理 5.4 证明，领先的风险项受两个量中的较小值支配：
$$\text{Risk} \gtrsim \min\left( \delta^2, \, n^{-\frac{2\beta}{2\beta+d}} \right)$$
其中 $\beta$ 是残差类（Hölder 类）的平滑参数，$d$ 是输入维度。

该结果确定了一个关键的相变，其阈值为 $\delta_c(n) \asymp n^{-\frac{\beta}{2\beta+d}}$：

• 先验主导阶段 ($\delta \ll \delta_c(n)$)： 黑盒误差较小。最优风险由不可约偏差 $\delta^2$ 决定。从数据中学习无法显著改善先验。
• 样本主导阶段 ($\delta \gg \delta_c(n)$)： 黑盒存在偏差。最优风险遵循标准的非参数速率 $n^{-\frac{2\beta}{2\beta+d}}$，因为必须由数据驱动修正。

B. 安全残差估计器的最优性

作者证明（定理 5.5 和推论 5.6）安全残差估计器达到了该极小极大下界，至多仅存在以下偏差：

1. 阶数为 $O(1/n)$ 的附加验证选择成本。
2. 由于样本分割导致的常数膨胀因子 $(1-\rho)^{-\frac{2\beta}{2\beta+d}}$（其中 $\rho$ 是验证集比例）。

至关重要的是，该估计量满足一个或界（Oracle Inequality）（定理 5.7）：
$$\text{Err}(\hat{f}_{safe}) \le (1+\gamma) \min\left( \text{Err}(f_0), \text{Err}(f_0 + \hat{r}) \right) + \frac{C \log(1/\delta')}{n_{val}}$$
这形式化了“安全性”保证：所选预测器的表现几乎与两个候选者中较优的一个一样好，确保了相对于黑盒先验不存在负迁移（除了有限样本的验证成本）。

C. 相比线性集成（Linear Ensembling）的几何优势

论文指出，线性集成（将 $f_0$ 与从零开始的估计器进行加权组合）在几何上受到限制。此类集成被约束在先验与从零开始的估计器之间的仿射线段内。相比之下，残差估计器在函数空间中以 $f_0$ 为中心搜索一个球体。这使得残差方法能够捕捉到与从零开始的估计器方向正交的高频修正，而线性集成则无法触及。

4. 实验结果

合成回归

在 1D 和高维（$d=20$）合成数据上的实验验证了理论上的相变：

• 防止负迁移： 在黑盒是完美（$\delta=0$）但数据含有噪声的阶段，“原始残差法”（始终使用 $f_0 + \hat{r}$）会遭受过拟合。安全残差法成功退回到 $f_0$（回退率 > 60%），显著降低了风险。
• 高维鲁棒性： 在样本量有限的高维情况下，“从零开始”的估计器深受维度灾难之苦。安全残差估计器具有自适应能力，当无法可靠学习残差时，它会退回到黑盒，在其他方法失效的情况下保持稳定性。

现实世界分类（视觉与 NLP）

虽然理论保证适用于平方损失回归，但作者在分类任务上也测试了该机制：

• CIFAR-100 (CLIP)： 安全残差法一致优于零样本基准、从零开始训练以及经过验证调优的加权集成。值得注意的是，在低样本量（$n=200$）下，加权集成由于验证噪声而崩溃，而安全残差法保持了鲁棒性。
• AG News (Qwen3-8B)： 在超低样本量（$n=16$）下，该方法达到了 75.2% 的准确率，优于黑盒基准（74.1%），并显著击败了遭受负迁移影响的加权集成（71.2%）。

5. 意义与主张

论文声称提供了关于黑盒辅助回归中先验质量与样本复杂度之间权衡的第一个有限样本极小极大特征描述。其意义在于：

1. 理论严谨性： 确定了精确的相变 $\delta_c(n)$，并证明了简单的安全选择策略可以达到极小极大最优速率。
2. 安全性保证： 通过一个或界形式化了“无负迁移”，确保利用基础模型不会导致性能低于仅使用该模型的基准。
3. 实用机制： 证明了将零初始化与留出选择相结合，为处理小样本和高维设置提供了一种鲁棒且计算高效的替代方案，尤其是在复杂的迁移学习或微调任务中。

作者明确指出，其形式化保证适用于随机设计假设下的平方损失回归。分类实验作为证据，展示了先验质量与修正复杂度之间的定性权衡如何扩展到实际场景，而非仅仅是针对交叉熵损失的极小极大速率证明。