Limits of spectral learning under noise

技术摘要：噪声环境下谱学习的极限

问题陈述
从含噪声数据中学习函数关系是科学推断中的一个核心挑战。虽然谱方法（通过在选定的基函数，如傅里叶、勒让德，进行展开来近似未知函数）提供了具有可解释性的复杂度递增模态分解，但其在加性标签噪声下的稳定性仍不为人知。具体而言，目前尚不清楚噪声如何扰动系数空间的几何结构并退化所推断的谱分解。现有文献强调了噪声对恢复解析结构的限制，但噪声诱导谱表示不稳定的具体机制仍需进一步阐明。

方法论
作者研究了带有加性标签噪声的有监督回归问题，其中观测到的标签由 $y_i = f(x_i) + \epsilon_i$ 给出，其中 $\epsilon_i \sim \mathcal{N}(0, \sigma^2)$。目标函数 $f(x)$ 使用稀疏谱展开进行近似：
$$f_\sigma(x) = a(\sigma) + \sum_{k=1}^p c_k(\sigma) \phi_k(x)$$
其中 $\{ \phi_k(x) \}$ 是基函数，且 $c(\sigma)$ 代表谱系数。

其核心方法论包括：

1. 经验特征几何（Empirical Feature Geometry）： 作者分析了由采样基函数构成的设计矩阵 $\Phi$。他们定义了经验格拉姆矩阵 $G_c = \Phi_c^\top \Phi_c / N$（其中 $\Phi_c$ 包含中心化特征），该矩阵决定了系数空间的自然几何结构。
2. 白化变换（Whitening Transformation）： 为了恢复近似欧几里得几何并解耦坐标，作者使用 $A = (G_c + \rho I)^{-1/2}$ 应用白化变换。该变换将特征转变为 $\tilde{\Phi} = \Phi_c A$，并将系数转变为 $\tilde{c} = A \tilde{c}$，使得新坐标下的经验格拉姆矩阵近似为单位矩阵 ($\tilde{G} \approx I$)。
3. 扰动分析（Perturbation Analysis）： 在这些白化后的坐标系中，噪声诱导的偏差 $\delta \tilde{c}$ 被视为随机漂移。作者推导出该漂移的期望平方范数与有效活跃谱模态数 ($p_{\text{eff}}$) 以及噪声振幅 $\sigma$ 成比例缩放。
4. 通用缩放（Universal Scaling）： 通过比较扰动量与信号范数，作者定义了一个内在噪声尺度 $\sigma^*$，并推导出了噪声与无噪声系数向量之间重叠度（余弦相似度）的闭式表达式。

主要贡献与理论结果

• 内在噪声尺度 ($\sigma^*$)： 论文推导出了一个特征噪声尺度 $\sigma^* = \|\tilde{c}_0\| \sqrt{N/p_{\text{eff}}}$，其中 $\|\tilde{c}_0\|$ 是无噪声系数向量的范数，$N$ 是样本量，$p_{\text{eff}}$ 是显著激发的方向数量。该尺度支配着稳定学习与噪声主导机制之间的转换。
• 通用退化曲线： 作者提供了一个无参数的解析预测，用于描述噪声与无噪声系数向量之间的重叠度 $q(\sigma)$：
  $$q(\sigma) \approx \left( 1 + \left( \frac{\sigma}{\sigma^*} \right)^2 \right)^{-1/2}$$
  该表达式预测了一条通用退化曲线，其重叠度仅取决于噪声振幅与内在噪声尺度的比值。
• 系数漂移（Coefficient Drift）： 噪声系数与无噪声系数之间的归一化距离被证明随 $\sigma/\sigma^*$ 线性缩放，证实了噪声会在系数空间中诱导可预测的漂移。

实验结果
数值实验在多种维度（1D 和 2D）以及包括傅里叶、勒让德、贝塞尔、哈尔、雅可比和切比雪夫在内的各种正交基上进行。

• 谱展宽（Spectral Broadening）： 随着噪声增加，学习到的谱系数会偏离预期的幂律衰减。谱权重会扩散到各个模态，导致归一化谱熵急剧增加，从稀疏分布向均匀分布转变。
• 数据塌缩（Data Collapse）： 当将重叠度和系数距离的经验结果相对于原始噪声振幅 $\sigma$ 作图时，它们在不同基函数和维度下表现各异。然而，当针对归一化尺度 $\sigma/\sigma^*$ 作图时，所有曲线都塌缩到了公式 (6) 给出的单一理论预测之上。
• RMSE 行为： 测试均方根误差（RMSE）遵循相同的缩放规律。在低噪声下，RMSE 由基准近似误差（偏差）主导。一旦 $\sigma \gtrsim \sigma^*$，噪声诱导项开始占据主导，RMSE 随预测的漂移一致增长。

意义与主张
本文声称识别了从噪声数据中恢复函数结构的谱学习的基本极限。其主要意义在于证明了谱学习存在一个锐利的噪声阈值 ($\sigma^*$)，超过该阈值后，系数估计将变得不稳定。

• 几何解释： 退化被解释为白化后的系数空间中的随机漂移，受信号范数、样本量和模型有效维度 ($p_{\text{eff}}$) 之间相互作用的支配。
• 与符号回归的对比： 作者将他们的发现与符号回归进行了对比。虽然符号回归（寻求闭式模型）由于其表示空间的间隙拓扑结构（类似于康托尔集）可能表现出突发性的转换，但基于正交基的谱展开则表现出连续的退化。
• 通用权衡： 结果强调了内在信号尺度、样本量与模型复杂度之间的通用权衡。具体而言，可容忍的噪声水平随 $\sqrt{N}$ 增加，但随有效模型维度的平方根而降低。

该研究结论指出，这些缩放定律广泛适用于基于正交函数展开的谱学习方法，为预测噪声何时会从根本上破坏谱结构的恢复提供了理论框架。