Generalized nonparametric regression in reproducing kernel Hilbert spaces: Consistency and rates of convergence

技术摘要：再生核希尔伯特空间中的广义非参数回归

问题陈述
本文研究了再生核希尔伯特空间（RKHS）中正则化 M-估计量的理论分析。其目标是通过最小化正则化经验风险来估计未知的回归函数 $f_0: \mathbb{R}^d \to \mathbb{R}$，观测数据为独立观测值 $\{(x_i, y_i)\}_{i=1}^n$：
$$\hat{f}_n = \arg\min_{f \in \mathcal{H}} \left[ \frac{1}{n} \sum_{i=1}^n \rho(y_i - f(x_i)) + \lambda \|f\|_{\mathcal{H}}^2 \right]$$
其中 $\rho$ 是一个通用的损失函数，$\lambda > 0$ 是正则化参数。虽然最小二乘情形（$\rho(x)=x^2/2$）已被广泛研究，但现有文献缺乏一个统一的框架来处理通用的凸及非凸损失（例如分位数损失、分位数回归损失、Huber 或 Tukey 等稳健损失）。现有的理论结果通常依赖于仅在最小二乘法中存在的显式谱表示，这使得它们无法应用于不存在此类闭式解的一般 M-估计量。

方法论
作者结合泛函分析和经验过程理论，开发了一个全面的理论框架。关键的方法论组成部分包括：

1. 存在性与可测性： 本文证明，在极其宽松的条件下，该估计量是存在且可测的：$\rho$ 仅需满足连续且有下界。这涵盖了广泛的非光滑或非凸损失函数。
2. 谱复杂度 ($N_\infty(\lambda)$)： 引入了一种新的复杂度度量，定义为 $N_\infty(\lambda) = \sup_{x \in \mathcal{X}} K_\lambda(x, x)$，其中 $K_\lambda$ 是与惩罚内积 $\langle f, g \rangle_{\mathcal{H}, \lambda} = \langle f, g \rangle_{L^2} + \lambda \langle f, g \rangle_{\mathcal{H}}$ 相关的核。不同于最小二乘分析中使用的有效维度 $N(\lambda)$，$N_\infty(\lambda)$ 提供了对函数类的一致控制，这对于处理子梯度非线性的通用 M-估计量至关重要。
3. 渐近线性化： 为了克服缺乏闭式解的问题，作者在目标函数及其总体对应物（抽象正则化插值）周围进行了渐近线性化。这种方法避免了对损失函数全局 Lipschitz 条件的依赖，允许通过对线性化余项进行对称化和收缩论证，来分析具有不连续导数的损失函数（如分位数损失）。
4. 偏差-方差分解： 该分析得出了 $L^2_v$ 误差的显式分解，其中方差项由 $N_\infty(\lambda)$ 控制，平方偏差项由源条件参数 $\beta$ 控制。

核心贡献与结果

• 通用存在性与一致性： 本文证明了在对损失函数要求极低的情况下，正则化 M-估计量的存在性和可测性。
• 尖锐的收敛速率： 定理 1 确立了收敛速率：
  $$\int_{\mathcal{X}} (\hat{f}_n(x) - f_0(x))^2 v(dx) = O_P\left(\frac{N_\infty(\lambda)}{n}\right) + O_P(\lambda^\beta)$$
  至关重要的是，方差项被证明与模型误设无关（即与 $\beta < 1$ 无关），而偏差则取决于真实函数相对于 RKHS 的光滑度。
• 张量积空间与维度之咒： 本文研究了张量积 Sobolev 空间 $\mathcal{H}^m([0,1])^{\otimes d}$。定理 2 推导出了这些空间的全新收敛速率，表明方差的缩放比例为 $(n \lambda^{1/(2m)})^{-1}$（忽略对数因子），而非各向同性 Sobolev 空间中典型的 $(n \lambda^{d/(2m)})^{-1}$。作者将 $\mathcal{H}^m([0,1])^{\otimes d}$ 与具有主导混合光滑性的 Sobolev 空间联系起来，为张量积估计量如何规避“维度之咒”提供了理论解释。
• 广泛的适用性： 该框架适用于包括绝对损失、分位数损失、Huber 损失、分位数回归损失以及有界稳健损失在内的广泛损失函数，且不需要损失函数是光滑的或全局 Lipschitz 的。
• 数值实现： 估计量使用 C++ 实现，利用表示定理和迭代重加权最小二乘（IRLS）算法（针对非光滑损失采用局部二次近似）。数值实验证实，在重尾误差下，稳健估计器（LAD, Huber）的表现显著优于最小二乘法，同时在高斯误差下仍保持竞争力的性能。

意义与主张
本文声称填补了文献中的一个重要空白，提供了一个超越最小二乘范式的正则化 M-估计在 RKHS 中的统一理论框架。其主要意义在于：

1. 统一性： 它在单一理论框架下处理了一系列广泛的损失函数（凸、非凸、稳健、非对称），而以往的工作则是碎片化的，且往往局限于特定的损失-核组合。
2. 新颖的复杂度度量： 引入谱复杂度 $N_\infty(\lambda)$ 作为方差的控制因素，使得在由于缺乏显式积分算子表示而导致传统谱技术失效的场景中，也能进行精确的速率分析。
3. 维度洞察： 通过将张量积 RKHSs 与具有主导混合光滑性的空间联系起来，这项工作为张量型估计量在高维环境下表现优异提供了严谨的解释，并将 Lin (2000) 的结果推广到了通用损失函数。
4. 方法论创新： 渐近线性化技术避免了对闭式解或全局 Lipschitz 条件的依赖，为分析复杂的学习理论目标函数提供了一个强大的工具。

作者将这些结果定位为为非参数回归提供了一个灵活、稳健且在理论上尖锐的基础，为广泛的实际估计问题提供了显式且最优的收敛速率。