Benign Overfitting in Economic Forecasting via Noise Regularization

1. 문제 제기 (Problem)

• 경제 예측의 본질적 특성: 경제 지표 (성장률, 인플레이션, 자산 수익률 등) 는 관측되지 않은 소수의 잠재적 요인 (Latent Factors) 에 의해 주도됩니다. 관측 가능한 예측 변수들은 이러한 잠재 요인과 상관관계를 가지며, 각 변수는 전체 신호의 일부만을 담고 있습니다.
• 희소성 (Sparsity) 가정의 실패: 기존 예측 모델 (Lasso 등) 은 중요한 변수가 소수이고 나머지는 노이즈라는 '희소성' 가정에 기반합니다. 그러나 Giannone et al. (2021) 등의 실증 연구에 따르면, 경제 데이터는 실제로는 밀집된 (Dense) 구조를 가집니다. 즉, 많은 변수가 작은 계수로 예측에 기여하며, 소수의 변수만 선택하는 것은 정보를 누락시킵니다.
• 과다모수화 (Overparameterization) 의 딜레마: 예측 변수의 수 ($p$) 가 표본 크기 ($n$) 와 비슷하거나 더 큰 경우, 기존 방법론 (변수 선택, PCA 등) 은 다음과 같은 한계에 직면합니다.
  • 변수 선택의 실패: 완벽한 변수 선택을 하더라도 $p_0/n$이 상수일 때, 설계 행렬의 고유값 (eigenvalues) 이 정규화되지 않아 예측 분산이 줄어들지 않습니다.
  • PCA 의 한계: 약한 요인 (Weak Factors) 이 존재하거나 노이즈 변수가 많을 경우 요인 추정이 불안정해집니다.
  • AR(p) 모델의 대칭성: 시계열에서 시차 (lag) 를 늘려 과다모수화를 시도해도, 유효 표본 크기가 줄어들어 유익한 과적합이 발생하지 않습니다.

2. 방법론 (Methodology)

저자들은 **"노이즈 정규화 (Noise Regularization)"**라는 새로운 예측 기법을 제안합니다.

• 핵심 아이디어: 정보 없는 변수 (노이즈) 를 제거하거나 선택하는 대신, 의도적으로 무작위 노이즈 변수를 예측 변수 집합에 추가하여 전체 차원 ($p$) 을 $n$보다 훨씬 크게 만듭니다.
• 추정 방법:
  • Ridgeless Regression (최소 노름 최소제곱법): 정규화 항이 없는 최소제곱 추정량 ($\hat{\beta} = (X'X)^+ X'y$) 을 사용합니다.
  • 노이즈 추가: 관측된 경제 변수 ($X_I$) 에 무작위 노이즈 행렬 ($X_N$) 을 결합하여 $X = [X_I, X_N]$을 구성합니다.
  • Rao-Blackwellization (반복 평균화): 추가된 노이즈의 무작위성을 제거하기 위해, 노이즈를 여러 번 생성하여 추정을 반복한 후 그 결과를 평균냅니다. 이는 분산을 줄이고 편향을 감소시킵니다.
• 작동 원리:
  • 노이즈 변수는 예측 신호는 없지만, 설계 행렬 ($X'X$) 의 고유값 스펙트럼을 팽창시킵니다.
  • 이로 인해 고유값이 축소 (Shrinkage) 되어 표외 (Out-of-sample) 분산이 감소합니다.
  • 이는 Ridge 회귀와 유사한 효과를 내지만, 노이즈에 의한 '무작위 축소 (Random Shrinkage)'가 결정적 축소 (Deterministic Shrinkage) 보다 편향이 적다는 Jensen 부등식에 기반합니다.

3. 주요 이론적 기여 (Key Contributions)

논문은 네 가지 주요 정리를 통해 이론적 근거를 제시합니다.

1. 밀집된 표현 (Theorem 1): 잠재 요인 구조 하에서, 선형 작업 모델의 모수 벡터 $\beta$는 희소하지 않고 **밀집 (Dense)**하며, 그 노름은 차원이 커질수록 0 으로 수렴합니다. 이는 경제 데이터의 본질적 특성을 반영합니다.
2. 완벽한 변수 선택의 실패 (Proposition 1): 정보 있는 변수만 완벽하게 선택하더라도, $p_0/n$이 상수인 영역에서는 설계 행렬의 차원 부족으로 인해 유익한 과적합이 발생하지 않으며, 오라클 (진짜 요인 사용) 수준의 예측 정확도를 달성할 수 없습니다.
3. 유익한 과적합의 달성 (Theorems 2 & 3):
   • 노이즈 변수를 포함하여 $p \gg n$인 영역으로 가면, Ridgeless 추정량은 요인을 추정하지 않고도 오라클 예측 오차 (MSE) 에 점근적으로 수렴합니다.
   • 노이즈를 추가하고 Rao-Blackwellization 을 적용하면 분산 수렴 속도가 더욱 빨라집니다.
4. AR(p) 의 대칭성 (Proposition 2): 시계열 예측에서 시차 $p$를 늘리는 것은 $T-p$를 줄이는 것과 동일하므로, 시차 확장을 통한 과다모수화는 고유값 팽창을 유도하지 못합니다. 따라서 예측 변수의 수를 늘리는 것 (차원 확장) 이 시차 늘리기보다 효과적임을 보여줍니다.

4. 실증 결과 (Empirical Results)

저자들은 세 가지 주요 경제 예측 시나리오에 노이즈 정규화를 적용하여 기존 방법 (Lasso, Ridge, PCA) 과 비교했습니다.

• 데이터셋:
  1. 미국 인플레이션 (FRED-MD): 102 개의 거시경제 변수 사용.
  2. 국가별 GDP 성장 (Barro & Lee): 60 개의 사회경제 변수 사용.
  3. 미국 주식 위험 프리미엄 (Welch & Goyal): 15 개의 금융 변수 사용.
• 결과:
  • 인플레이션: 노이즈 정규화 기법이 가장 낮은 예측 MSE 를 기록했습니다 (기존 방법 대비 약 11% 개선).
  • GDP 성장: 기존 60 개 변수만 사용할 때 MSE 가 약 14 였으나, 노이즈를 추가하여 차원을 늘린 후 MSE 가 1.0 미만으로 급격히 감소하고 안정화되었습니다.
  • 주식 위험 프리미엄: 기존 방법들은 대부분 음의 $R^2$를 보였으나, 노이즈 정규화는 양의 $R^2$(연간 +1.81%, 월간 +0.37%) 를 달성했습니다.
  • 강건성: 추가된 노이즈 변수의 수가 최적점 ($p_{cv}$) 을 지나도 예측 성능이 크게 변하지 않아 매우 강건한 것으로 나타났습니다.

5. 의의 및 결론 (Significance)

• 경제학 및 계량경제학의 패러다임 전환: 경제 예측에서 "변수를 선택하여 줄이는 것 (Dimension Reduction)"이 아니라, **"변수를 추가하여 차원을 확장하는 것 (Feature Expansion)"**이 더 나은 예측 성능을 낼 수 있음을 입증했습니다.
• 이중 하강 (Double Descent) 현상의 경제학적 설명: 머신러닝 분야에서 논의되던 '이중 하강' 현상 (모델 복잡도가 증가할 때 오차가 다시 감소하는 현상) 이 경제 데이터의 요인 구조 하에서도 발생하며, 이를 노이즈에 의한 고유값 축소로 설명했습니다.
• 실용적 가이드: 경제 이론이 명확한 변수를 제시하지 않거나, 변수 수가 표본 크기와 비슷할 때, 의도적인 노이즈 추가가 튜닝 파라미터에 덜 민감하고 더 안정적인 예측을 제공한다는 실용적인 통찰을 제공합니다.

결론적으로, 이 논문은 경제 데이터의 밀집된 특성을 인정하고, 노이즈를 '방해 요소'가 아닌 '정규화 도구'로 활용함으로써, 요인 추정의 어려움 없이도 최적의 예측 정확도를 달성할 수 있음을 이론적, 실증적으로 증명했습니다.