Stochasticity and probabilistic trajectory scoring are essential for data-driven closures of chaotic systems

이 논문은 혼돈 시스템의 데이터 기반 폐쇄 모델링에서 결정론적 손실 함수를 사용한 궤적 기반 학습은 예측 분산을 억제하는 본질적 결함을 가지며, 이를 극복하고 장기 통계를 정확하게 재현하기 위해서는 확률적 모델링과 적절한 확률적 스코어링 규칙을 통한 궤적 기반 보정이 필수적임을 증명합니다.

핵심

이 논문은 **"복잡한 자연 현상을 컴퓨터로 예측할 때, 왜 우리가 '확률'과 '무작위성'을 반드시 고려해야 하는가?"**에 대한 중요한 발견을 담고 있습니다.

비유하자면, 이 논문은 **"날씨 예보나 기후 모델을 만들 때, '완벽한 정답' 하나만 찾으려 하면 오히려 예측이 망가진다"**는 사실을 수학적으로 증명하고, 그 대안을 제시한 연구입니다.

다음은 이 복잡한 논문을 일상적인 언어와 비유로 풀어낸 설명입니다.

---

1. 문제 상황: 거대한 퍼즐의 일부만 보는 것

우리가 날씨나 바다의 흐름을 컴퓨터로 시뮬레이션할 때, 모든 물리 현상 (모든 분자, 모든 소용돌이) 을 다 계산하는 것은 불가능합니다. 그래서 컴퓨터는 일부만 보고 나머지는 '추측'해서 모델을 만듭니다.

• 비유: 거대한 퍼즐을 맞추는데, 조각이 너무 많아서 1000 개 중 900 개만 보고 나머지 100 개는 "아마도 이런 모양일 거야"라고 대충 채워 넣는 상황입니다.
• 문제: 이렇게 채워 넣은 부분 (미해결된 변수) 은 단순한 실수가 아니라, 시스템의 흐름에 영향을 미치는 복잡한 상호작용입니다. 특히 카오스 (혼돈) 시스템에서는 이 작은 오차가 시간이 지날수록 기하급수적으로 커져서 예측을 완전히 빗나가게 만듭니다.

2. 기존 방식의 함정: "정답 하나"를 찾으려다 망친 경우

기존의 데이터 기반 모델들은 주로 **"다음 순간의 정답이 무엇인가?"**를 맞추는 데 집중했습니다.

• 방식: "지금 상태가 A 라면, 다음 상태는 B 여야 해. B 가 아니면 틀린 거야."라고 점수를 매깁니다. (평균 제곱 오차, MSE 사용)
• 결과: 이 방식은 1 초 앞의 예측은 잘 맞을 수 있지만, 오래 예측하면 할수록 모델이 '무뎌집니다'.
• 비유:
  • 폭포수 아래에 있는 물방울의 움직임을 예측한다고 상상해 보세요.
  • 기존 모델은 "물방울이 정확히 이 지점에 있어야 해!"라고 강요합니다.
  • 하지만 물방울은 실제로는 사방으로 튀며 흐릅니다. 모델이 "정확한 지점"만 맞추려고 애쓰다 보니, 실제 물방울이 가질 수 있는 다양한 움직임 (변동성) 을 모두 지워버리고, 흐릿하고 뻔한 평균값 하나만 남게 됩니다.
  • 이걸 **"변동성 붕괴 (Variance Collapse)"**라고 합니다. 마치 생동감 넘치는 영화를 흑백의 흐릿한 정지화면으로 만들어버리는 것과 같습니다.

3. 새로운 발견: "정답"이 아니라 "확률 분포"를 맞춰야 한다

논문은 이 문제를 해결하는 열쇠는 두 가지라고 말합니다.

① 확률적 사고 (Stochasticity)

"다음 상태는 B 일 수도 있고, C 일 수도 있어. 그 확률을 알려줘."라고 해야 합니다.

• 비유: 내일 비가 올 확률을 "100% 비가 온다"라고 단정 짓는 게 아니라, "70% 는 비가 오고, 30% 는 안 올 수도 있어"라고 예측하는 것입니다. 이렇게 하면 모델은 실제 자연의 불확실성을 담을 수 있습니다.

② 궤적 기반 학습 (Trajectory-based Calibration)

단순히 "다음 1 초"만 맞추는 게 아니라, **"앞으로 10 일, 100 일 동안의 흐름 전체"**를 보고 학습해야 합니다.

• 비유: 축구 선수를 평가할 때, '한 번의 패스'만 보고 실력을 판단하지 않고, '한 경기 전체의 플레이 흐름'을 보고 평가하는 것과 같습니다.

4. 핵심 해결책: "에너지 스코어"라는 새로운 점수판

기존의 "정답과 오답"을 가르는 점수판 (MSE) 을 버리고, **"예측의 분포가 실제 분포와 얼마나 잘 맞는가"**를 평가하는 새로운 점수판인 **'에너지 스코어 (Energy Score)'**를 사용했습니다.

• 효과: 이 새로운 점수판을 쓰면, 모델은 "정답을 맞추기 위해 변동을 줄이는 것"이 아니라, **"실제 자연이 가진 다양한 움직임 (변동성) 을 잘 재현하는 것"**을 목표로 학습하게 됩니다.
• 결과:
  • 기존 방식: 예측이 너무 매끄럽고 지루해짐 (실제 폭풍우의 격렬함을 못 잡음).
  • 새로운 방식: 예측이 실제 자연처럼 생동감 있고, 장기적으로도 기후 통계가 정확함.

5. 결론: 왜 이것이 중요한가?

이 연구는 **"불확실성을 인정하고, 확률적으로 예측하는 것"**이 단순히 선택 사항이 아니라, 복잡한 시스템을 모델링할 때 수학적으로 필수적임을 증명했습니다.

• 핵심 메시지:
  • 자연은 정해진 정답이 있는 게 아닙니다.
  • 그래서 "정답 하나"를 찾으려 하면 (Deterministic), 모델은 자연의 생동감을 잃고 죽은 상태가 됩니다.
  • 대신 "가능한 모든 가능성의 범위"를 예측하는 (Stochastic) 방식으로, 그리고 오래된 흐름 전체를 보고 학습해야만, 우리가 믿을 수 있는 미래를 예측할 수 있습니다.

한 줄 요약:

"복잡한 자연을 예측할 때, '정답' 하나를 고집하면 예측은 죽습니다. 대신 '확률'이라는 렌즈를 쓰고, '오래된 흐름' 전체를 보아야 진짜 자연을 재현할 수 있습니다."

기술 요약

1. 문제 제기 (Problem Statement)

• 배경: 과학 및 공학의 복잡한 시스템 (예: 유체 난류, 기후 모델) 은 모든 자유도를 해석하는 것이 불가능하므로, 일부 변수만 해결하고 나머지는 무시하는 거시화 (coarse-graining) 모델을 사용합니다.
• 근본적 한계:
  • 해결되지 않은 자유도 (unresolved degrees of freedom) 를 무시하면 결정론적 상호작용에서 기인하는 구조화된 모델 오차가 발생합니다.
  • 카오스 시스템에서는 이 오차가 지수적으로 발산하여 장기 예측 능력을 저해하고, 정상 분포 (invariant measure) 를 왜곡시킵니다.
  • 기존 데이터 기반 폐쇄 모델들은 주로 **단일 시간 단계 (one-step)**의 오차 (예: 평균 제곱 오차, MSE) 를 최소화하도록 훈련됩니다. 이는 시스템이 **마코프 성질 (Markovian)**을 가진다고 가정하는 것으로, 실제 카오스 시스템의 비마코프적 (비기억적) 특성을 무시합니다.
• 새로운 문제: 최근에는 다단계 궤적 (multi-step trajectories) 을 기반으로 훈련하는 '온라인 학습'이 시도되고 있으나, **결정론적 점별 손실 함수 (deterministic pointwise losses, 예: MSE)**를 사용할 경우 근본적인 수학적 퇴화 (degeneracy) 가 발생합니다.
  • 이는 예측 분산 (predictive variance) 을 억제하여 물리적 변동성을 잃게 만들고, 장기적으로 과도한 감쇠 (over-dissipation) 와 매끄러운 (smoothing) 결과를 초래합니다.

2. 방법론 (Methodology)

저자는 이론적 증명과 수치 실험 (준지정적 난류, Quasi-Geostrophic Turbulence) 을 결합하여 접근했습니다.

A. 이론적 분석

1. 결정론적 손실 함수의 퇴화 증명 (Proposition 1):
   • 카오스 시스템에서 장기 예측 시 초기 조건과의 상관관계가 소멸 (decorrelation) 된다고 가정할 때, MSE 와 같은 점별 손실 함수를 최적화하면 예측 분산이 0 으로 수렴하는 해가 최적해가 됨을 증명했습니다.
   • 즉, 장기 예측 오차를 줄이려는 시도가 모델로 하여금 자연스러운 변동성을 제거하고 기후 평균 (climatology) 에 수렴하도록 강제하여, 실제 물리 현상을 왜곡시킵니다.
2. 적절 점수 규칙 (Proper Scoring Rules) 의 우월성 증명 (Proposition 2):
   • **엄격히 적절한 점수 규칙 (Strictly Proper Scoring Rules, 예: Energy Score)**을 사용하면 이러한 퇴화가 발생하지 않음을 증명했습니다.
   • 이러한 점수 규칙은 예측 분산 자체를 처벌하지 않으며, 모델의 예측 분포가 실제 시스템의 불변 측정 (invariant measure) 과 일치하도록 유도합니다.

B. 수치 실험 설계

• 시스템: 준지정적 (Quasi-Geostrophic, QG) 난류 모델을 카오스 시스템의 표준 예제로 사용했습니다.
• 모델 아키텍처:
  • 생성형 폐쇄 (Generative Closures): 모델 오차를 해결된 상태와 보조 무작위 입력 (잡음 $\xi_n$) 의 함수로 표현 ($\hat{m}_n = G_\theta(\hat{x}_n, \xi_n)$).
  • CNN: 컨볼루션 신경망을 사용하여 복잡한 조건부 분포를 학습했습니다.
• 훈련 전략 비교:
  1. 오프라인 학습: 단일 시간 단계 (window length $w=1$) 로 훈련.
  2. 온라인 학습 (결정론적): 다단계 궤적 ($w > 1$) 을 사용하지만 무작위 입력 없이 결정론적으로 훈련 (MSE/유클리드 거리 최소화).
  3. 온라인 학습 (확률론적): 다단계 궤적을 사용하며 Energy Score를 손실 함수로 사용하여 확률론적 분포를 훈련.

3. 주요 기여 (Key Contributions)

1. 수학적 증명: 결정론적 거리 기반 손실 함수를 사용하여 카오스 시스템의 궤적을 훈련할 때 발생하는 예측 분산의 붕괴 (variance collapse) 현상을 수학적으로 증명했습니다. 이는 기존 머신러닝 기반 기후 모델들이 장기적으로 변동성을 잃는 현상의 근본 원인을 규명한 것입니다.
2. 이론적 해결책 제시: **엄격히 적절한 점수 규칙 (Strictly Proper Scoring Rules)**을 사용하여 궤적 기반 훈련을 수행하면, 모델이 장기적인 불변 측정 (invariant measure) 과 일치하는 분포를 학습할 수 있음을 보였습니다.
3. 통일된 프레임워크: 결정론적 모델과 확률론적 모델을 동일한 생성형 아키텍처 내에서 비교할 수 있는 프레임워크를 제시했습니다. 아키텍처의 복잡성 증가가 아닌 훈련 목적 함수 (loss function) 의 차이가 성능 차이를 결정함을 입증했습니다.

4. 실험 결과 (Results)

• 단기 예측 능력 (Finite-time Predictive Skill):
  • 확률론적 모델은 결정론적 모델보다 모든 예측 시간 (lead time) 에서 더 낮은 Energy Score 를 보였습니다.
  • 훈련 윈도우 길이 ($w$) 가 증가할수록 성능이 향상되다가 일정 수준에서 포화되었습니다.
• 정상 통계 (Stationary Statistics):
  • 결정론적 모델: 윈도우 길이가 길어질수록 (특히 $w \approx 24$일 이상) 운동 에너지 스펙트럼이 과도하게 감쇠되었습니다. 이는 Proposition 1 에서 예측한 변동성 손실 (variance loss) 현상이며, 실제 난류의 작은 규모 와류가 사라지는 결과를 낳았습니다.
  • 확률론적 모델: 충분히 긴 윈도우로 훈련된 확률론적 모델은 실제 시스템의 운동 에너지 스펙트럼을 매우 정확하게 재현했습니다. 특히 소산 규모 (dissipation scale) 까지 에너지 분포가 정확히 유지되었습니다.
  • 안정성: 짧은 윈도우 ($w < 2$일) 로 훈련된 모델들은 (결정론적이든 확률론적이든) 수치적 불안정으로 인해 장기 시뮬레이션이 실패했습니다. 이는 **궤적 기반 훈련 (온라인 학습)**이 비마코프적 메모리를 보정하는 데 필수적임을 보여줍니다.
• 시각화: 100 년 시뮬레이션 결과, 결정론적 모델은 흐름이 과도하게 매끄럽고 구조가 사라진 반면, 확률론적 모델은 제트류와 와류의 물리적으로 현실적인 구조를 유지했습니다.

5. 의의 및 결론 (Significance and Conclusion)

• 핵심 결론: 카오스 시스템의 거시화 모델을 정확하게 표현하기 위해서는 **확률론적 모델링 (Stochasticity)**과 **궤적 기반 캘리브레이션 (Trajectory-based Calibration)**이 모두 필수적이며, 이는 선택 사항이 아닌 수학적 요구사항입니다.
• 기존 접근법의 한계: 단일 시간 단계 오차 최소화나 결정론적 궤적 최적화는 시스템의 본질적인 불확실성을 무시하여 장기 통계 왜곡을 피할 수 없습니다.
• 광범위한 적용: 이 연구는 유체 역학뿐만 아니라, 부분적으로만 해결된 (partially resolved) 모든 카오스 시스템의 축소 모델 (reduced-order models) 구축에 적용 가능한 일반적 원리를 제시합니다.
• 실제 영향: 최근 날씨 예보 모델 (GraphCast, FourCastNet 등) 에서 관찰된 장기 예측 시 세부 변동성 손실 문제를 해결하기 위해, 확률론적 생성 모델과 적절한 점수 규칙을 사용한 훈련이 필수적임을 이론적으로 뒷받침합니다.

요약하자면, 이 논문은 **"카오스 시스템의 불확실성을 무시하고 결정론적으로 훈련하면 장기적으로 물리적 현실성이 사라진다"**는 사실을 수학적으로 증명하고, **"확률론적 점수 규칙을 사용한 궤적 기반 훈련"**이 이를 해결하는 유일한 길임을 입증했습니다.