기술 요약: 글로벌 기상 모델의 스케일링 법칙 (Scaling Laws)

문제 정의

데이터 기반 모델이 기상 예보를 빠르게 변화시키고 있으나, 모델 성능이 주요 자원과 어떻게 연관되어 스케일링되는지에 대한 체계적인 이해는 부족한 실정이다. 스케일링 법칙은 모델 크기($N$), 데이터셋 크기($D$), 컴퓨팅 예산($C$)과 검증 손실($L$) 사이의 멱함수(power-law) 관계를 확립함으로써 대규모 언어 모델(LLM) 및 비전 모델의 발전을 성공적으로 이끌어 왔으나, 글로벌 기상 모델에 대한 적용 가능성은 아직 검증되지 않았다.

기상 예보는 다음과 같은 고유한 도전 과제들을 안고 있으며, 이는 자연어 처리(NLP)나 비전 분야와 구별된다:

1. 물리적 제약: 대기는 예측 가능성에 내재된 한계를 가진 혼돈계(chaotic system)이다.
2. 변수의 이질성: 모델은 서로 상관관계가 있으면서도 물리적으로는 구별되는 수백 개의 변수(예: 온도, 풍속, 기압 등)를 각각 다른 난이도로 예측해야 한다.
3. 아키텍처의 다양성: 현재의 최첨단 모델들은 다양한 백본(Transformer, Graph Neural Networks, Fourier Neural Operators)을 활용하고 있으며, 이러한 아키텍처 전반에서 스케일링 동작이 일관되게 나타나는지는 불분명하다.

본 논문은 차세대 기상 모델 개발을 가이드하고 자원 할당을 최적화하기 위한 스케일링 법칙 특성화의 시급한 필요성을 다룬다.

방법론

저자들은 다섯 가지 최첨단 모델인 Aurora, GraphCast, AIFS, Pangu, SFNO를 벤치마킹하여 기상 예측 분야에서 최초의 교차 모델 스케일링 분석을 수행하였다.

실험 설정

• 데이터: 모든 모델은 WeatherBench 2를 통해 ERA5 재분석 데이터셋(학습용 1979~2020년, 검증용 2021년)을 사용하여 학습 및 평가되었다.
• 표준화: 공정한 비교를 위해 저자들은 엄격한 통일성을 강제하였다:
  • 동일한 입출력 변수 (지오포텐셜, 온도, 풍속 성분, 습도 등).
  • 일관된 공간 해상도 ($0.25^\circ \times 0.25^\circ$ 글로벌 그리드).
  • 통일된 검증 손실 함수 (표준 편차 및 그리드 면적으로 정규화된 가중 MSE).
  • 안정적인 학습 역학을 보장하기 위한 일관된 하이퍼파라미터 튜닝 (학습률 탐색, 옵티마이저 설정).
• 변수: 연구에서는 다음 요소들을 체계적으로 변화시켰다:
  • 모델 크기 ($N$): 너비(임베딩 차원)와 깊이(레이어/블록 수) 조정을 통해 조절.
  • 데이터셋 크기 ($D$): 전체 데이터 볼륨의 부분 집합(약 3 TB에서 90 TB 범위)으로 학습.
  • 컴퓨팅 예산 ($C$): $C \approx N \times D$ (아키텍처별 모델 특성 반영)를 통해 분석.

분석 프레임워크

저자들은 다음과 같은 경험적 멱함수를 적합(fitting)시켰다:

• $L(D) = \alpha D^{-\beta}$ (데이터 스케일링)
• $L(N) = \gamma N^{-\delta}$ (파라미터 스케일링)
• $L(C) = \lambda C^{-\epsilon}$ (컴퓨팅 스케일링)

또한, 컴퓨트 최적 학습(고정된 $C$에 대해 $N$과 $D$ 사이의 최적의 트레이드오프)을 조사하였으며, 모델 형태(너비 vs 깊이) 및 변수별 성능을 분석하였다.

주요 기여 및 결과

1. 데이터 스케일링 효율성 ($\beta$)

본 연구는 모든 모델에서 검증 손실이 데이터셋 크기에 따라 멱법칙 관계를 따른다는 것을 확인하였다.

• Aurora는 $\beta \approx 0.51$의 계수를 가지며 가장 강력한 데이터 스케일링 동작을 보인다. 학습 데이터셋을 10배 늘리면 검증 손실을 최대 3.2배까지 줄일 수 있다.
• GraphCast는 가장 낮은 $\beta$ ($\approx 0.36$)를 보였는데, 이는 Aurora에 비해 대규모 데이터 증가로부터 얻는 이득이 적음을 의미한다.
• 시사점: Aurora는 더 큰 데이터셋으로 스케일링하는 데 가장 효율적인 모델인 반면, Pangu와 같은 모델은 파라미터 스케일링이 효과를 발휘하기 위해 충분한 데이터 볼륨이 선행되어야 하는 임계 효과를 보여준다.

2. 파라미터 효율성 및 하드웨어 활용도

• GraphCast는 가장 높은 파라미터 효율성(동일한 $N$ 대비 낮은 손실)을 보이지만, 심각한 하드웨어 활용도 문제를 겪는다. H100 GPU에서 GraphCast는 GNN 아키텍처의 메모리 제한적인 메시 패싱(message-passing) 작업으로 인해 피크 단정밀도 성능의 단 **1.03%**만을 활용한다.
• Aurora는 트랜스포머 기반 어텐션 메커니즘 덕분에 **37.2%**의 GPU 활용도를 달성하여 (GraphCast보다 약 36배 높음) 현대적 하드웨어에 더 최적화되어 있다.
• 결론: 이론적인 파라미터 효율성이 실제 배포 효율성을 보장하는 것은 아니다. 엔지니어링 최적화와 하드웨어 활용도가 핵심적인 요소이다.

3. 모델 형태: 너비 vs 깊이

NLP의 결과(고정된 $N$에서 성능이 형태에 크게 민감하지 않음)와 달리, 기상 모델은 깊이보다 너비를 선호하는 경괄한 경향을 보인다.

• 다섯 가지 모델 모두에서, 동일한 파라미터 수를 가진 좁고 깊은 구조보다 넓은 구조가 일관되게 더 낮은 검증 손실을 달로 달성했다.
• 깊이 포화(Depth Saturation): GraphCast와 SFNO 같은 모델은 깊이가 1일 때도 성능이 양호하며, 이는 6시간 단위의 기상 역학이 선형 모델이나 얕은 아키텍처에 의해 잘 근사될 수 있음을 시사한다. 즉, 깊은 비선형 스태킹은 수확 체감의 법칙을 따른다.
• 권고 사항: 향후 모델은 깊이를 늘리기보다 너비(표현 능력)를 높이는 것을 우선시해야 한다.

4. 컴퓨트 최적 할당

고정된 컴퓨팅 예산 하에서 기상 모델을 위한 최적의 전략은 표준 NLP 스케일링 규칙($N \propto C^{0.73}, D \propto C^{0.27}$)과 다르다.

• 분석 결과, 모델 크기($N$)를 키우는 것보다 학습 데이터셋($D$)을 늘리는 것에 자원을 할당하는 것이 더 큰 성능 향상을 가져온다.
• 고정된 $C$에 대해, 모델을 크게 만들어 데이터가 부족한 상태로 학습시키는 것보다 작은 모델을 더 오랜 시간(더 많은 스텝) 동안 학습시키는 것이 더 효과적이다.

5. 변수별 이질성

스케일링 동작은 모든 대기 변수에 걸쳐 균일하게 나타나지 않는다.

• Aurora는 10m u-성분 풍속(10U)에서 가장 낮은 RMSE를 달성했다.
• GraphCast는 특히 파라미터 수가 적을 때 2m 온도(2T)에서 타 모델보다 우수한 성능을 보인다.
• 의의: 단일 가중 검증 손실은 전체 성능에 대한 대략적인 지표일 뿐이다. 서로 다른 변수들이 각기 다르게 스강하므로, 특정 물리장에 맞춰 모델 설계를 최적화하거나 하이브리드 방식을 취할 필요가 있음을 시사한다.

의의 및 주장

본 논문은 기상 예측 스케일링 법칙에 대한 최초의 정량적 프레임워크를 제공하며, 기상 모델과 언어 모델 간의 근본적인 차이점을 밝혀냈다고 주장한다.

• 아키텍처의 전환: 기상 모델이 NLP에서 유래된 트랜스포머 중심의 설계 패턴과 달리 깊이보다 너비를 선호한다는 발견은 기존의 설계 관행에 도전한다.
• 자원 전략: 본 연구는 실질적인 기상 예보를 위해 단순히 모델 파라미터를 키우는 것보다 더 큰 유효 학습 데이터셋과 더 넓은 아키텍처를 확보하는 것이 우선순위가 되어야 한다고 주장한다.
• 엔지니어링의 현실: 본 연구는 이론적인 스케일링 법칙이 하드웨어 활용도의 현실에 의해 조정되어야 함을 강조한다. 이론적 스케일링 효율이 더 뛰어난 모델(GraphCast)이라 할지라도, 약간 낮은 스케일링 효율을 갖더라도 하드웨어 활용도가 훨씬 높은 모델(Aurora)보다 실제 운용 측면에서는 덜 실용적일 수 있다.
• 향후 방향: 저자들은 예측 성능을 극대화하기 위해 미래의 기상 모델이 더 넓은 아키텍처와 더 큰 데이터셋을 우선시해야 한다고 제안하면서도, 스케일링 개선을 완전히 활용하기 위해서는 변수별 튜닝이 필요할 수 있음을 인정한다.

결론적으로, 스케일링 법칙은 다양한 기상 모델 전반에서 예측 가능하지만, 구체적인 계수와 최적의 전략(너비 vs 깊이, 데이터 vs 파라미터)은 도메인 특유적이며 NLP와는 구별되는 특징을 가진다.