Acceleration of horizontal numerical advection for atmospheric modeling through surrogate modeling with temporal coarse-graining

기술 요약: 시간적 거시화를 통한 수평 수치 이류 가속화

문제 제기
수치 이류는 지구과학 모델에서 계산 비용이 매우 높은 연산으로, E3SM, CMAQ, GEOS-Chem, CAMx와 같은 시스템에서 가장 비용이 많이 들거나 두 번째로 비용이 많이 드는 모듈 역할을 하는 경우가 많습니다. 높은 계산 비용은 시뮬레이션의 규모와 해상도를 제한합니다. 공간 해상도를 낮추는 것 (공간적 거시화) 은 시뮬레이션을 가속화할 수 있지만, 정밀한 공간적 세부 사항이 오염 노출 및 불평등을 정확하게 평가하는 데 필수적인 대기 질 모델링과 같은 응용 분야에서 결과의 관련성을 저하시킵니다. furthermore, 기존 머신러닝 (ML) 접근법은 속도 향상을 달성하기 위해 종종 공간적 거시화나 하드웨어 가속화에 의존하거나, 공간 축소 없이 원래 공간 해상도에 적용될 때 안정적인 시뮬레이션을 생성하지 못합니다. 또한, 전통적인 수치 솔버는 안정성을 보장하기 위해 유속과 격자 간격에 따라 시간 단계 크기를 제한하는 Courant-Friedrichs-Lewy (CFL) 조건에 의해 제약받습니다.

방법론
저자들은 원래 공간 해상도를 유지하면서 시간적 거시화만으로 계산 가속화를 달성하는 머신러닝 기반 이류 솔버를 제안합니다. 핵심 혁신은 CFL 조건이 지시하는 것보다 큰 통합 단계를 수행하도록 모델을 훈련시키는 것입니다.

• 솔버 아키텍처: 이 솔버는 유한 체적 플럭스 형식 접근법을 모방하도록 설계된 합성곱 신경망 (CNN) 입니다. 이는 격자 셀과 그 이웃의 농도 및 CFL 수를 입력으로 받아 셀의 왼쪽 경계를 가로지르는 질량 플럭스를 출력합니다. 아키텍처는 각 레이어당 10 개의 병렬 합성곱 필터를 가진 3 개의 은닉 레이어로 구성됩니다. 처음 두 레이어는 GeLU 활성화 함수를 사용하고, 최종 레이어는 출력 대칭성을 보장하기 위해 쌍곡선 탄젠트 활성화 함수를 사용합니다.
• 정보 지평선: 전통적인 솔버가 국소 기울기에 의해 제한되는 것과 달리, ML 솔버의 "정보 지평선" (단일 단계에 영향을 미치는 격자 셀 수) 은 시간적 거시화 인자에 따라 확장됩니다. 저자들은 확장된 지평선을 포착하기 위해 거시화 인자가 증가함에 따라 합성곱 커널 크기를 증가시킵니다.
• 훈련 데이터: 이 모델은 GEOS-Chem Classic 모델의 Piecewise Parabolic Method (PPM) 를 사용하여 북미 지역의 지표면 풍계 (2018 년 1 월) 로 생성된 1 차원 이류 데이터로 훈련되었습니다. 훈련 데이터셋에는 5 분 시간 단계를 가진 10 일 시뮬레이션이 포함되었습니다.
• 시간적 거시화 전략: 더 큰 시간 단계를 훈련하기 위해 저자들은 거시화 인자가 4 배, 8 배, 12 배, 16 배, 32 배인 데이터셋을 생성하기 위해 훈련 데이터를 다운샘플링했습니다. 중요한 점은 질량 보존을 보장하기 위해 거시화된 시간 단계에 걸쳐 플럭스 값을 누적하여, 단일 순간 플럭스가 아닌 여러 단계에 걸친 플럭스 합계를 예측하도록 모델을 훈련시켰다는 것입니다.
• 구현: 이 모델은 Flux.jl 을 사용하여 훈련되었으며, 스택 할당 연산을 사용하여 소형 신경망에 최적화된 프레임워크인 SimpleChains.jl 로 이전되어 상당한 추론 속도 향상 (표준 딥러닝 패키지보다 5~10 배 빠름) 을 달성했습니다.
• 평가: 성능은 동일한 영역에 대한 2 차원 이류 시뮬레이션 (비방향 분할 사용) 에서 평가되었습니다. 일반화 능력은 보지 못한 데이터에 대해 테스트되었습니다: 다른 달의 풍계 (계절적 일반화) 와 72 개의 서로 다른 수직 층의 풍계 (수직 일반화).

주요 결과

• 속도 - 정확도 트레이드오프: 솔버는 속도와 정확도 사이에서 유리한 트레이드오프를 보여주었습니다. 이 모델은 $r^2$가 0.60 을 유지하면서 기준 솔버 대비 최대 92 배의 속도 향상을 달성했습니다. 선형 회귀 분석에 따르면 (8 배~32 배 거시화 범위 내에서) 속도가 10 배 증가할 때마다 모델은 약 0.26 의 $r^2$ 손실을 입는 것으로 나타났습니다.
• 일반화 성능:
  • 수직 층: 4 배 거시화 솔버는 모든 72 개의 수직 층에 걸쳐 시뮬레이션을 성공적으로 재현했습니다. 8 배16 배 거시화 솔버는 40 층 (21 km) 까지 잘 수행되었으나, 32 배 솔버는 처음 10 층 (~1.3 km) 으로 제한되었습니다.
  • 계절성: 1 월 데이터로 훈련되었을 때 솔버는 2018 년 대부분의 달에 걸쳐 잘 일반화되었습니다. 그러나 6 월과 10 월에는 특히 더 높은 거시화 인자의 경우 불안정성이 관찰되었습니다.
• 안정성 및 CFL 제한: 6 월과 10 월의 불안정성 및 더 높은 수직 층에서의 불안정성은 훈련 데이터셋에 존재했던 것보다 큰 최대 CFL 값과 상관관계가 있었습니다 (최대 훈련 CFL 은 0.386). 솔버는 유효 CFL (훈련 CFL × 거시화 인자) 이 훈련 범위를 크게 초과할 때 수치적 안정성을 유지하는 데 어려움을 겪었습니다.
• 질량 보존: 질량 보존을 위해 설계되었음에도 불구하고, 솔버는 음수 농도 예측을 0 으로 클리핑하는 것 (양수 리미터) 으로 인해 시뮬레이션 시작 시 약간의 질량 증가를 보였습니다. 이로 인해 측면 경계를 통한 질량 손실이 발생하기 전에 순 질량 증가가 발생했습니다.

의의 및 주장
이 논문은 이전 ML 기반 유체 역학 연구의 주요 한계를 해결하면서 공간 해상도를 희생하지 않고 지구과학 이류 시뮬레이션을 가속화하는 새로운 접근법을 제시한다고 주장합니다. 시간적 거시화를 활용함으로써 저자들은 추론을 위해 CFL 제약을 우회할 수 있음을 보여주며, 계산 속도와 정확도 사이의 조정 가능한 트레이드오프를 제공합니다.

저자들은 이 작업을 운영적 사용을 위한 기초적인 단계로 위치시킵니다. 그들은 현재 모델이 생산용을 위해 최적화되지 않았음을 인정하며, 훈련 분포 밖의 높은 CFL 조건에서의 불안정성 및 음수 농도 클리핑으로 인한 단조성 위반과 같은 한계를 지적합니다. 추가적인 미세 조정, 다양한 훈련 데이터 (서로 다른 계절 및 수직 층 포함), 그리고 하이퍼파라미터 최적화를 통해 이러한 솔버는 일부 정확도를 희생하더라도 상당한 속도 향상이 유리한 스크리닝 도구, 앙상블 시뮬레이션, 또는 데이터 동화 작업에 적합할 수 있다고 제안합니다. 이 연구는 계산 시간을 절약함으로써 공간 해상도를 낮추는 것이 아니라 증가시킬 수 있는 잠재력을 허용한다는 점을 강조하며, 이는 현대 대기 모델링의 목표와 부합합니다.