Why Machine Learning Models Systematically Underestimate Extreme Values II: How to Fix It with LatentNN

1. 문제 정의: 감쇠 편향 (Attenuation Bias)

• 현상: 천문학 관측 데이터는 일반적으로 신호 대 잡음비 (SNR) 가 낮습니다 (예: SNR $\approx$ 10). 이러한 입력 변수 ($x$) 에 측정 오차가 존재할 때, 기존의 신경망이나 선형 회귀 모델은 입력을 '정확한 값'으로 가정하고 학습합니다.
• 결과: 이로 인해 예측된 값의 동적 범위 (dynamic range) 가 수축됩니다. 즉, 실제 높은 값은 낮게, 낮은 값은 높게 예측되어 회귀 계수가 0 을 향해 편향됩니다.
• 원인: 입력의 측정 오차 ($\sigma_x$) 가 데이터의 고유 변동 범위 ($\sigma_{range}$) 에 비해 클수록 편향이 심해집니다. 이는 단순히 데이터 양을 늘리거나 모델의 복잡도를 높인다고 해결되지 않는 근본적인 통계적 문제입니다.
• 기존 한계: 선형 회귀에서는 '데밍 회귀 (Deming regression)'와 같은 통계적 기법으로 해결책이 존재하지만, 비선형성이 강하고 고차원인 신경망에는 적용되지 않았습니다.

2. 방법론: LatentNN (잠재 변수 기반 신경망)

저자는 통계학의 '오차 포함 변수 (Errors-in-Variables)' 문제를 신경망에 적용하여 LatentNN을 제안했습니다.

• 핵심 아이디어: 관측된 입력값 ($x_{obs}$) 을 고정된 값으로 취급하는 대신, 이를 **잠재 변수 (Latent Variable, $x_{latent}$)**로 간주하고 모델 파라미터 ($\theta$) 와 함께 최적화합니다.
• 수식적 접근:
  • 관측된 입력 $x_{obs}$와 출력 $y_{obs}$의 결합 확률 (Joint Likelihood) 을 최대화하는 방식으로 학습합니다.
  • 손실 함수 (Loss Function) 는 두 가지 항으로 구성됩니다:
    1. 예측 손실: 모델이 잠재 입력 $x_{latent}$를 통해 관측 출력 $y_{obs}$를 얼마나 잘 예측하는지 ($\frac{(y_{obs} - f_\theta(x_{latent}))^2}{\sigma_y^2}$).
    2. 잠재 가능도 손실: 추정된 잠재 입력 $x_{latent}$가 관측된 입력 $x_{obs}$와 얼마나 일치하는지 ($\frac{(x_{obs} - x_{latent})^2}{\sigma_x^2}$).
  • 이 두 항은 각 변수의 측정 오차 ($\sigma_x, \sigma_y$) 에 의해 가중치가 조정됩니다.
• 구현: PyTorch 나 JAX 와 같은 자동 미분 (Automatic Differentiation) 프레임워크를 사용하여, 신경망 가중치뿐만 아니라 각 학습 샘플의 잠재 입력값도 학습 가능한 파라미터로 정의하고 경사 하강법 (Gradient Descent) 으로 동시 최적화합니다.

3. 주요 실험 결과

저자는 1 차원 회귀, 상관관계가 있는 다변량 입력, 그리고 실제 천문학 데이터 (항성 스펙트럼) 에 대한 실험을 수행했습니다.

• 1 차원 및 다변량 회귀:
  • 표준 신경망 (MLP) 은 입력 SNR 이 낮을수록 (예: SNR=1) 예측 기울기가 0.5 이하로 급격히 감소하는 감쇠 편향을 보였습니다.
  • LatentNN은 SNR 이 2 이상인 경우에서 거의 완벽한 편향 보정 ($\lambda_y \approx 1$) 을 달성했습니다.
  • 특징: 입력 차원 ($p$) 이 증가할수록 (상관된 특징들), LatentNN 의 보정 성능이 향상되었습니다. 하지만 $p=3$과 같은 중간 차원에서는 보정이 다소 어려웠으나, 여전히 표준 MLP 보다 훨씬 우수한 성능을 보였습니다.
• 항성 스펙트럼 적용 (실제 천문학 시나리오):
  • 항성의 금속성 ([M/H]) 을 예측하는 실험에서, 스펙트럼 픽셀 수가 적고 노이즈가 큰 경우 (예: 3 개 픽셀, 10% 오차) 표준 MLP 는 금속성이 낮은 별을 과대평가하는 심각한 편향을 보였습니다.
  • LatentNN 은 10 개 이상의 픽셀을 사용할 때 모든 노이즈 수준에서 편향을 효과적으로 제거했습니다. 3 개 픽셀의 경우에도 표준 MLP 대비 편향을 크게 완화시켰습니다.

4. 주요 기여 및 의의

1. 신경망의 감쇠 편향 규명: 신경망이 선형 회귀와 동일한 감쇠 편향에 시달린다는 것을 이론적, 실험적으로 증명했습니다. 모델의 복잡도나 정규화 (Regularization) 만으로는 이 편향이 해결되지 않음을 보였습니다.
2. LatentNN 프레임워크 제안: 데밍 회귀의 원리를 신경망에 확장한 실용적인 알고리즘을 제시했습니다. 이는 입력 오차를 명시적으로 모델링하여, 노이즈가 있는 데이터에서도 편향되지 않은 물리 파라미터 추정을 가능하게 합니다.
3. 천문학 데이터 분석의 혁신:
   • 저 SNR 환경 (예: LAMOST, DESI, Gaia XP 등 저분해능/저신호 관측 데이터) 에서 수행되는 데이터 기반 천문학 연구의 신뢰성을 높입니다.
   • 특히 금속성이나 원소 풍부도 등 극단적인 값을 가진 천체 (예: 금속이 매우 적은 은하 헤일로 별) 를 식별할 때 발생하는 체계적 오류를 교정하여, 은하 형성 역사 연구의 정확도를 높입니다.
4. 확장성: 이 방법은 분류 문제, 이질적 오차 (Heteroscedasticity), 비가우시안 오차 등 다양한 시나리오로 확장 가능하며, 계층적 베이지안 모델링의 최대 사후 확률 (MAP) 한계로 해석될 수 있습니다.

5. 결론

이 논문은 천문학 데이터의 고유한 특성 (낮은 SNR) 을 고려할 때, 기계 학습 모델이 직면하는 통계적 편향을 해결하기 위해 고전 통계학의 통찰을 현대 딥러닝에 접목해야 함을 강조합니다. LatentNN은 입력 오차를 명시적으로 처리함으로써, 기존 신경망이 가진 체계적 과소평가 문제를 해결하고 저신호 영역에서도 신뢰할 수 있는 과학적 추론을 가능하게 하는 강력한 도구입니다.

• 코드 공개: https://github.com/tingyuansen/LatentNN