Limits of spectral learning under noise

技術要約：ノイズ下におけるスペクトル学習の限界

問題の定義
ノイズを含むデータから関数関係を学習することは、科学的推論における中心的な課題である。未知の関数を、選択された基底（フーリエ、ルジャンドルなど）による展開を用いて近似するスペクトル法は、複雑さが増していくモードへの解釈可能な分解を提供するが、加法的ラベルノイズに対するその安定性は十分に理解されていない。具体的には、ノイズが係数空間の幾何学的構造をどのように摂動させ、推論されたスペクトル分解をどのように劣化させるのかが不明確である。既存の文献では、ノイズが解析的な構造の回復を制約することが指摘されているが、ノイズがスペクトル表現に不安定性を引き起こす具体的なメカニズムについては、さらなる解明が必要である。

手法
著者らは、観測されたラベルが $y_i = f(x_i) + \epsilon_i$ （ここで $\epsilon_i \sim \mathcal{N}(0, \sigma^2)$）で与えられる、加法的ラベルノイズを伴う教師あり回帰を調査している。ターゲット関数 $f(x)$ は、以下の疎なスペクトル展開を用いて近似される：
$$f_\sigma(x) = a(\sigma) + \sum_{k=1}^p c_k(\sigma) \phi_k(x)$$
ここで $\{ \phi_k(x) \}$ は基底関数であり、$c(\sigma)$ はスペクトル係数を表す。

核心となる手法アプローチは以下の通りである：

1. 経験的特徴幾何学（Empirical Feature Geometry）: 著者らは、サンプリングされた基底関数によって形成されるデザイン行列 $\Phi$ を分析する。彼らは、中心化された特徴量を含む $\Phi_c$ を用いて、経験的グラム行列 $G_c = \Phi_c^\top \Phi_c / N$ を定義する。これが係数空間の自然な幾何学を決定する。
2. 白色化変換（Whitening Transformation）: おおよそユークリッド幾何学的な構造を回復し、座標をデカップリングするために、著者らは $A = (G_c + \rho I)^{-1/2}$ を用いた白色化変換を適用する。これにより、特徴量を $\tilde{\Phi} = \Phi_c A$ に、係数を $\tilde{c} = A \tilde{c}$ に変換し、新しい座標における経験的グラム行列が単位行列 $\tilde{G} \approx I$ に近似されるようにする。
3. 摂動分析（Perturbation Analysis）: これらの白色化された座標において、ノイズによる偏差 $\delta \tilde{c}$ は確率的なドリフトとして扱われる。著者らは、このドリフトの期待二乗ノルムが、有効な活性スペクトルモード数（$p_{\text{eff}}$）およびノイズ振幅 $\sigma$ に比例してスケールすることを導出している。
4. 普遍的スケーリング（Universal Scaling）: 摂動の大きさを信号ノルムと比較することで、固有のノイズスケール $\sigma^*$ を定義し、ノイズを含む係数ベクトルとノイズを含まない係数ベクトルの間のオーバーラップ（余弦類似度）に関する閉形式の式を導出する。

主要な貢献と理論的結果

• 固有ノイズスケール ($\sigma^*$): 本論文は、特性的なノイズスケール $\sigma^* = \|\tilde{c}_0\| \sqrt{N/p_{\text{eff}}}$ を導出している。ここで $\|\tilde{c}_0\|$ はノイズを含まない係数ベクトルのノルム、$N$ はサンプルサイズ、$p_{\text{eff}}$ は有意に励起された方向の数である。このスケールは、安定した学習とノイズ支配的なレジームの間の遷移を支配する。
• 普遍的劣化曲線（Universal Degradation Curve）: 著者らは、ノイズを含む係数ベクトルとノイズを含まない係数ベクトルの間のオーバーラップ $q(\sigma)$ に関する、パラメータフリーの解析的予測を提供する：
  $$q(\sigma) \approx \left( 1 + \left( \frac{\sigma}{\sigma^*} \right)^2 \right)^{-1/2}$$
  この式は、オーバーラップがノイズ振幅と固有ノイズスケールの比率のみに依存するという、普遍的な劣化曲線を予測する。
• 係数ドリフト（Coefficient Drift）: 正規化されたノイズを含む係数とノイズを含まない係数の間の距離は、$\sigma/\sigma^*$ に対して線形にスケールすることが示されており、これはノイズが係数空間において予測可能なドリフトを引き起こすことを裏付けている。

実験結果
数値実験は、複数の次元（1Dおよび2D）および、フーリエ、ルジャンドル、ベッセル、ハール、ヤコビ、チェビシェフを含む様々な直交基底を用いて実施された。

• スペクトルの広がり（Spectral Broadening）: ノイズが増加するにつれて、学習されたスペクトル係数は期待されるべき冪乗則の減衰から逸脱する。スペクトルの重みはモード全体に広がり、正規化されたスペクトルエントロピーの急激な増加をもたらし、疎な分布から一様分布へと移行する。
• データの崩壊（Data Collapse）: オーバーラップと係数距離の経験的な結果を生のノイズ振幅 $\sigma$ に対してプロットすると、基底や次元によって結果は異なる。しかし、これらを正規化されたスケール $\sigma/\sigma^*$ に対してプロットすると、すべての曲線が式(6)による単一の理論的予測へと崩壊（集束）する。
• RMSEの挙動: テストRoot-Mean-Square Error (RMSE) も同様のスケーリングに従う。低ノイズ時、RMSEはベースラインの近似誤差（バイアス）によって支配される。一旦 $\sigma \gtrsim \sigma^*$ となると、ノイズ誘発項が支配的となり、RMSEは予測されたドリフトに従って一貫して増大する。

意義と主張
本論文は、ノイズを含むデータから関数構造を回復するためのスペクトル学習における根本的な限界を特定したと主張している。主な意義は、スペクトル学習が、係数推定が不安定になる明確なノイズ閾値 ($\sigma^*$) を持つことを示した点にある。

• 幾何学的解釈: 劣化は、信号ノルム、サンプルサイズ、およびモデルの有効次元数 ($p_{\text{eff}}$) の相互作用によって支配される、白色化された係数空間における確率的ドリフトとして解釈される。
• 記号回帰（Symbolic Regression）との比較: 著者らは、自らの知見を記号回帰と比較している。記号回帰（閉形式のモデルを求めるもの）は、その表現空間のギャップのあるトポロジー（カンター集合に類似）により、不連続な遷移を示す可能性があるが、直交基底を用いたスペクトル展開は連続的な劣化を示す。
• 一般的なトレードオフ: これらの結果は、固有の信号スケール、サンプルサイズ、およびモデル複雑性の間の普遍的なトレードオフを浮き彫りにしている。具体的には、許容可能なノイズレベルは $\sqrt{N}$ に比例して増加するが、有効モデル次元の平方根に反比例して減少する。

本研究は、これらのスケーリング則が、直交関数展開に基づくスペクトル学習手法に広く適用されることを結論付けており、ノイズがいつスペクトル構造の回復を根本的に損なうかを予測するための理論的枠組みを提供している。