Limits of spectral learning under noise

기술 요약: 노이즈 하에서의 스펙트럼 학습의 한계

문제 정의
노이즈가 포함된 데이터로부터 함수적 관계를 학습하는 것은 과학적 추론의 핵심 과제이다. 선택된 기저(예: 푸리에, 르장드르)를 통한 전개로 미지의 함수를 근사하는 스펙트럼 방법은 점진적으로 복잡해지는 모드(mode)들로의 해석 가능한 분해를 제공하지만, 가법적 라벨 노이즈(additive label noise)에 대한 이들의 안정성은 여전히 명확히 밝혀지지 않았다. 특히, 노이즈가 계수 공간(coefficient space)의 기하학적 구조를 어떻게 왜곡하고 추론된 스펙트럼 분해를 저하시키는지에 대해서는 아직 불분명하다. 기존 문헌들은 노이즈가 해석적 구조의 회복을 제한한다는 점을 강조해 왔으나, 노이즈가 스펙트럼 표현의 불안정성을 유발하는 구체적인 메커즘에 대해서는 추가적인 규명이 필요하다.

방법론
저자들은 관측된 라벨이 $y_i = f(x_i) + \epsilon_i$ (여기서 $\epsilon_i \sim \mathcal{N}(0, \sigma^2)$)로 주어지는 가법적 라벨 노이즈 환경에서의 지도 회귀를 조사한다. 대상 함수 $f(x)$는 희소 스펙트럼 전개(sparse spectral expansion)를 사용하여 근사된다:
$$f_\sigma(x) = a(\sigma) + \sum_{k=1}^p c_k(\sigma) \phi_k(x)$$
여기서 $\{ \phi_k(x) \}$는 기저 함수들이며, $c(\sigma)$는 스펙트럼 계수를 나타낸다.

핵심 방법론적 접근 방식은 다음과 같다:

1. 경험적 특징 기하학(Empirical Feature Geometry): 저자들은 샘플링된 기저 함수들로 형성된 디자인 행렬 $\Phi$를 분석한다. 이들은 중심화된 특징들을 포함하는 $\Phi_c$를 사용하여 경험적 그람 행렬(empirical Gram matrix) $G_c = \Phi_c^\top \Phi_c / N$을 정의하며, 이는 계수 공간의 자연스러운 기하학을 결정한다.
2. 백화 변환(Whitening Transformation): 근사적으로 유클리드 기하학을 복원하고 좌표를 디커플링하기 위해, 저자들은 $A = (G_c + \rho I)^{-1/2}$를 사용하는 백화 변환을 적용한다. 이는 특징을 $\tilde{\Phi} = \Phi_c A$로, 계수를 $\tilde{c} = A \tilde{c}$로 변환하여, 새로운 좌표에서의 경험적 그람 행렬이 항등 행렬에 근사($\tilde{G} \approx I$)하도록 만든다.
3. 섭동 분석(Perturbation Analysis): 이러한 백화된 좌표계에서, 노이즈로 인한 편차 $\delta \tilde{c}$는 확률적 드리프트(stochastic drift)로 취급된다. 저자들은 이 드리프트의 기대 제곱 노름(expected squared norm)이 유효한 활성 스펙트럼 모드의 수($p_{\text{eff}}$)와 노이즈 진폭 $\sigma$에 따라 스케일링됨을 도출한다.
4. 보편적 스케일링(Universal Scaling): 섭동의 크기를 신호 노름(signal norm)과 비교함으로써, 저자들은 고유한 노이즈 스케일 $\sigma^*$를 정의하고 노이즈가 포함된 계수 벡터와 노이즈가 없는 계수 벡터 사이의 중첩(코사인 유사도)에 대한 폐쇄형 표현식을 도출한다.

주요 기여 및 이론적 결과

• 고유 노이즈 스케일 ($\sigma^*$): 본 논문은 특성 노이즈 스케일 $\sigma^* = \|\tilde{c}_0\| \sqrt{N/p_{\text{eff}}}$를 도출한다. 여기서 $\|\tilde{c}_0\|$는 노이즈가 없는 계수 벡터의 노름, $N$은 샘플 크기, $p_{\text{eff}}$는 유의미하게 흥분된 방향의 수이다. 이 스케일은 안정적인 학습과 노이즈 지배 영역 사이의 전이를 결정한다.
• 보편적 저하 곡선(Universal Degradation Curve): 저자들은 노이즈가 없는 계수 벡터와 노이즈가 포함된 계수 벡터 사이의 중첩 $q(\sigma)$에 대한 파라미터 프리(parameter-free) 해석적 예측을 제공한다:
  $$q(\sigma) \approx \left( 1 + \left( \frac{\sigma}{\sigma^*} \right)^2 \right)^{-1/2}$$
  이 식은 중첩이 노이즈 진폭과 고유 노이즈 스케일의 비율에만 의존하는 보편적 저하 곡선을 예측한다.
• 계수 드리프트(Coefficient Drift): 노이즈가 포함된 계수와 노이즈가 없는 계수 사이의 정규화된 거리는 $\sigma/\sigma^*$에 선형적으로 스케일링됨이 입증되었으며, 이는 노이즈가 계수 공간에서 예측 가능한 드리프트를 유발함을 확인시켜 준다.

실험 결과
수치 실험은 다양한 직교 기저(푸리에, 르장드르, 베셀, Haar, Jacobi, Chebyshev 포함)를 사용하여 여러 차원(1D 및 2D)에서 수행되었다.

• 스펙트럼 확산(Spectral Broadening): 노이즈가 증가함에 따라, 학습된 스펙트럼 계수는 예상되는 멱법칙(power-law) 감쇠에서 벗어난다. 스펙트럼 가중치는 모드 전반으로 퍼지며, 이는 정규화된 스펙트럼 엔트로피의 급격한 증가를 초래하여 희소 분포에서 균등 분포로 이동하게 한다.
• 데이터 붕괴(Data Collapse): 중첩과 계수 거리에 대한 경험적 결과들을 원시 노이즈 진폭 $\sigma$에 대해 플롯하면, 기저와 차원에 따라 서로 다르게 나타난다. 그러나 이를 정규화된 스케일 $\sigma/\sigma^*$에 대해 플롯하면, 모든 곡선이 식 (6)의 단일 이론적 예측값으로 붕괴(collapse)된다.
• RMSE 거동: 테스트 평균 제곱 오차(RMSE) 또한 동일한 스케일링을 따른다. 낮은 노이즈 단계에서는 RMSE가 기저 근사 오차(편향)에 의해 지배된다. 일단 $\sigma \gtrsim \sigma^*$가 되면, 노이즈 유도 항이 지배적이 되며 RMSE는 예측된 드리프트와 일관되게 증가한다.

의의 및 주장
본 논문은 노이즈가 포함된 데이터로부터 함수적 구조를 회복하는 데 있어 스펙트럼 방법이 갖는 근본적인 한계를 식별한다고 주장한다. 주요 의의는 스펙트럼 학습이 계수 추정치가 불안정해지는 날카로운 노이즈 임계값($\sigma^*$)을 보인다는 점을 입증한 데 있다.

• 기하학적 해석: 저하 현상은 신호 노름, 샘플 크기, 그리고 유효 모델 차원($p_{\text{eff}}$) 사이의 상호작용에 의해 지배되는, 백화된 계수 공간에서의 확률적 드리프트로 해석된다.
• 심볼릭 회귀와의 비교: 저자들은 자신들의 연구 결과를 심볼릭 회귀(closed-form 모델을 찾는 방식)와 대조한다. 심볼릭 회귀는 (그 표현 공간의 간극이 있는 위상과 유사한) 칸토어 집합과 같은 불연속적인 전이를 보일 수 있는 반면, 직교 기저를 사용하는 스펙트럼 전개는 연속적인 저하를 보인다.
• 일반적 트레이드오프: 결과는 고유 신호 스케일, 샘플 크기, 그리고 모델 복잡성 사이의 보편적인 트레이드오프를 강조한다. 구체적으로, 허용 가능한 노이즈 수준은 $\sqrt{N}$에 비례하여 증가하지만, 유효 모델 차원의 제곱근에 반비례하여 감소한다.

본 연구는 이러한 스케일링 법칙이 직교 함수 전개에 기반한 광범의 스펙트럼 학습 방법론에 적용되며, 노이즈가 언제 스펙트럼 구조의 회복을 근본적으로 저해하는지를 예측할 수 있는 이론적 프레임워크를 제공한다고 결론짓는다.