技术摘要：作为两阶段无监督过程的有监督学习

问题陈述

本文探讨了机器学习中的一个基本问题：输出标签 ($y$) 对于训练有监督模型是否绝对必要，或者模型的结构是否可以完全以无监督的方式学习？虽然无监督学习在无法获取 $y$ 的情况下运行，但传统的有监督学习依赖于 $y$ 来优化模型参数。作者研究了有监督学习是否可以分解为一个两阶段过程：(1) 在不接触 $y$ 的情况下选择所有模型参数（具体而言是“平滑器”或输入空间的表示），以及 (2) 在参数固定后才加入输出 $y$ 以生成预测。

方法论

1. 平滑器框架 (The Smoother Framework)

其核心理论贡献是将有监督模型表述为线性平滑器 (linear smoothers)。模型表示为：
$$\hat{f}^* = s^{*\top} y$$
其中 $\hat{f}^*$ 是对新协变量 $x^*$ 的预测，$s^*$ 是一个平滑器向量（或对于样本内数据为矩阵 $S$），它取决于训练协变量 $X$ 以及潜在的模型超参数，但不依赖于输出 $y$。

• 对于线性模型（如岭回归），$s^*$ 直接由闭式解导出。
• 对于非线性模型（如神经网络、随机森林），作者展示了如何将它们表示为平滑器。对于神经网络，这利用了神经切线核 (NTK) 框架，将网络视为线性平滑器，其中平滑器矩阵在训练期间迭代更新，但如果训练标签被替换，该矩阵与真实的 $y$ 保持独立。

2. 无 $y$ 的模型选择 (MSV)

为了在无法获取 $y$ 的情况下选择模型超参数（例如正则化强度 $\lambda$、核带宽或停止时间），作者提出了一个基于样本外预测方差的准则。

• 前提： 对于一个泛化良好的模型，样本外预测 $\hat{f}^*_v$ 的分布应与观测数据 $y$ 的分布大致匹配。
• 准则： 该方法通过最小化 $y$ 的样本方差与在验证协变量 $X^*_v$（这些协变量生成自训练分布但没有关联标签）上的预测样本方差之间的差异来进行。
• 无 $y$ 实现： 目标函数包含一个形式为 $|y^\top A y|$ 的项。为了使其独立于 $y$，作者使用随机向量 $y_R$（或零向量）替换 $y$。通过对 $y_R$ 求期望，目标函数简化为最小化矩阵 $A$ 的范数（具体为迹半范数或 Frobenius 范数），记作 MSV-Tr（样本方差匹配 - 迹）。
  $$\text{最小化 } \left| 1 - \frac{1}{n^*_v} \text{Tr}(S^{*\top}_v S^*_v) \right|$$
  这使得仅使用 $X$ 和生成的 $X^*_v$ 即可进行超参数选择，完全绕过了在选择阶段对 $y$ 的需求。

3. 理论分析

论文提供了线性岭回归在渐近极限（$n, d \to \infty$）下的偏差-方差分解分析。

• 命题 1： 表明 MSV-Tr 选择的模型使得推断函数的方差等于测量噪声的方差 ($\sigma^2_\epsilon$)。
• 定理 1： 对于线性岭回归，作者推导出了由 MSV-Tr 选择的最优正则化参数 $\lambda$ 的闭式表达式。他们证明了该方法的渐近样本外风险相对于理论最优风险（该风险需要已知信噪比）是有界的。具体而言，对于信噪比在 $[1, 80]$ 范围内的情形，风险比被限制在 2.45 以内。
• 定理 2： 证明了其他的“无 $y$”方法（如广义交叉验证 GCV 和样本内 MSV）在岭回归中是失效的。它们要么选择无限正则化（零训练），要么选择零正则化（过拟合），从而在参数选择方面毫无用处。只有样本外 MSV 能产生有限且非零的最优正则化。

核心贡献

1. 有监督学习的分解： 论文证明了标准的有监督模型（线性/核岭回归、平滑样条、k-NN、随机森林和神经网络）可以分两阶段进行训练，即在无监督方式下学习模型结构，仅在预测阶段引入标签。
2. 新型模型选择准则 (MSV)： 提出了一种基于匹配样本外预测方差与数据方差的模型选择准则，该准则可以通过用随机噪声替换 $y$ 来实现无需 $y$ 的计算。
3. 理论界限： 建立了通过 MSV-Tr 训练的线性岭回归的渐近风险界限，表明其性能在常数因子范围内接近理论最优风险。
4. 实证验证： 在合成数据集和真实世界数据集（MNIST、CIFIF-10、钢铁生产、CPU 运行时间、超导体、功耗）上的广泛实验表明，无需 $y$ 训练的模型（在参数选择阶段使用随机或零标签）达到了与标准基于 $y$ 训练相当的性能。

结果

• 性能对等： 在实验中，无需 $y$ 训练（使用 MSV 进行选择）的模型达到了与其标准基于 $y$ 训练模型非常接近的准确率和 $R^2$ 分数。例如，在 MNIST 上，标准神经网络分类器的准确率为 0.82，而无 $y$ 的 MSV 版本达到了 0.75。
• 替代方法的失败： 无 $y$ 的广义交叉验证 (GCV) 表现水平仅相当于随机猜测（例如在 10 分类问题中准确率为 0.1），证实了关于 GCV 无法有效地针对这些模型实现“无 $y$”化的理论发现。
• 随机森林： 虽然无 $y$ 训练对大多数模型都有效，但随机森林与基于 $y$ 训练相比表现出较大的性能差距。作者将其归因于决策树分裂对 $y$ 方差的依赖，而当 $y$ 被随机噪声替换时，这种依赖性就消失了。

意义与主张

论文声称，有监督学习与无监督学习之间的区别“比看起来要小”。结果表明，有监督学习的主要挑战在于寻找输入空间 $x$ 的良好表示（即平滑器 $s^*$），而这可以在没有标签的情况下实现。标签 $y$ 仅在为这些预构建的表示分配数值时才是必要的。

主张的谦逊性：
作者明确表示，他们并非建议在实际应用中排除 $y$ 对训练过程的影响。他们承认：

• 平滑器公式在数据规模较大时扩展性较差，特别是对于需要迭代重新计算 NTK 的神经网络。
• 他们的目的不是为了超越现有的基于 $y$ 的方法。
• 其目标是展示可行性并强调有监督学习与无监督学习之间的理论平行性，而非提出一种新的工业部署标准。

这项工作作为一个理论和实证的证明，展示了模型选择和表示学习可以与标签信息脱钩，挑战了传统上认为标签在整个训练流水线中都是必要的观点。