Gradient-free online learning of subgrid-scale dynamics with neural emulators

거대한 컴퓨터 시뮬레이션을 사용하여 날씨나 해류를 예측하려고 노력한다고 상상해 보십시오. 이 시뮬레이션은 지구의 거대한 디지털 지도와 같지만, 한 가지 문제가 있습니다. 너무 거칠어서 빗방울 하나나 작은 소용돌이 같은 아주 작은 회오리 디테일을 볼 수 없다는 점입니다. 이를 해결하기 위해 과학자들은 **매개변수화(parameterization)**라고 불리는 "지름길"을 사용합니다. 이것은 마치 요리사가 소스의 비법 레시피를 가진 것과 같습니다. 요리사는 소스가 어떤 맛이 나야 하는지 알고 있으므로, 모든 재료를 처음부터 일일이 조리하는 대신 이것저저 넣고 저것을 약간 더하는 식입니다. 기후 모델에서 이러한 지름길은 컴퓨터가 직접 볼 수 없는 작고 빠르게 움직이는 물리 현상을 나타냅니다.

오랫동안 과학자들은 컴퓨터에게 "정답지"(작은 물리 현상이 실제로 어떻게 보여야 하는지)를 보여주고 추측하게 함으로써 이 지름길을 더 잘 만드는 법을 가르치려 노력했습니다. 이것을 "오프라인(offline)" 학습이라고 합니다. 하지만 이것은 운전자에게 도로 사진만 보여주며 운전법을 가르치는 것과 같습니다. 실제로 운전대를 잡았을 때 차가 움직이는 느낌을 배우지 못했기 때문에 사고를 내게 됩니다. 더 나은 방법은 "온라인(online)" 학습입니다. 여기서 컴퓨터는 운전하는 동안 학습하며, 시뮬레이션이 어떻게 작동하는지에 따라 자신의 지름길을 실시간으로 조정합니다. 그러나 문제가 있습니다. 실제 날씨에 사용되는 컴퓨터 코드는 오래되고 경직된 금속으로 만든 블랙박스처럼 구축되어 있습니다. 내부를 쉽게 들여다볼 수 없어 작은 변화가 전체 시스템에 어떤 영향을 미치는지 알 수 없으며, 이로 인해 표준적인 도구로는 "온라인" 학습이 불가능합니다.

이 논문은 영리한 우회 방법을 소개합니다: "유령 운전자" 또는 **신경망 에뮬레이터(neural emulator)**입니다. 저자들은 기존의 경직된 컴퓨터 코드를 흉내 내는 별도의 부드럽고 유연한 AI를 구축했습니다. 이 유령은 내부를 들여다보고 이해하기 쉽습니다. 그들은 이 유령을 사용하여 지름길 레시피(매개변수화)가 실시간으로 운전하는 법을 배우도록 가르칩니다. 유령을 통해 레시피가 학습되면, 그것을 다시 실제의 경직된 자동차로 교체합니다. 그 결과, 실제 자동차를 사용해 학습한 것만큼이나 잘 작동하면서도, 실제 자동차를 부수지 않고도 학습할 수 있는 지름길을 얻게 되었습니다.

---

문제점: 블랙박스와 끊어진 연결 고리

기후 과학자들은 변화하는 지구를 예측하기 위해 더 나은 모델을 구축하려고 노력하고 있습니다. 이 모델들은 본질적으로 공기와 물이 어떻게 움직이는지를 시뮬레이션하는 거대한 수학 방정식입니다. 하지만 컴퓨터는 공기의 모든 분자를 계산할 수 없기에, 이들을 큰 덩어리로 그룹화해야 합니다. 이 과정에서 덩어리 사이에서 발생하는 아주 작은 혼돈스러운 회오리들을 놓치게 됩니다. 이 간극을 메우기 위해 그들은 하위 격자 규모(subgrid-scale, SGS) 모델—즉, 작은 회오리들이 무엇을 하고 있는지에 대한 교육적인 추측—을 사용합니다.

전통적으로 과학자들은 이러한 추측을 "오프라인" 방식으로 훈련했습니다. 그들은 매우 상세한 시뮬레이션("진실")을 실행한 뒤, 이를 큰 덩어리로 나누고, 그 덩어리를 바탕으로 누락된 회오리를 추측하도록 머신러닝 모델을 훈련했습니다. 이는 마치 실제 경기장에서 뛰어본 적은 없으면서 골 장면의 하이라이트 영상만 보고 축구를 배우려는 것과 같습니다. 이 방식은 통계적으로는 괜찮을 수 있지만, 장기간 실행할 경우 시뮬레이션이 충돌하거나 비현실적인 날씨를 만들어내는 등 불안정한 결과를 초래합니다.

"온라인" 방식이 골드 스탠다드(표준)입니다. 여기서는 머신러닝 모델이 시뮬레이션이 실행되는 동안 학습합니다. 모델은 자신의 추측이 미래의 날씨에 어떤 영향을 미치는지 관찰하고, 시뮬레이션을 안정적으로 유지하기 위해 스스로를 조정합니다. 문제는 무엇일까요? 실제 기후 모델에 사용되는 컴퓨터 코드는 종종 포트란(Fortran)과 같은 오래된 언어로 작성되어 있으며, 매우 복잡하여 "미분 불가능한" 블랙박스라는 점입니다. 쉽게 말해, 모델의 설정값을 아주 미세하게 바꿨을 때 그것이 전체 시스템에 어떤 파동을 일으키는지 계산하기가 어렵습니다. 이 파동(그레이디언트, gradients)을 추적할 수 있는 능력이 없으면 표준적인 온라인 학습은 불가능합니다.

해결책: "유령 운전자"

저자들은 프레제(Frezat)와 그의 팀이 이끄는 창의적인 해결책을 제안했습니다: **신경망 에뮬레이션(neural emulation)**입니다. 기존의 경직된 코드를 유연하게 만들려고 애쓰는 대신, 기존 코드의 동작을 흉내 내는 새로운 유연한 AI "에뮬레이터"를 구축한 것입니다.

실제 기후 솔버를 무겁고 오래된 증기 기관차라고 생각해 보십시오. 잘 작동하지만, 내부의 톱니바퀴가 어떻게 돌아가는지 알 수 없어 수정하기가 어렵습니다. 저자들은 실제 증기 기관과 똑같이 작동하지만 부드럽고 유연한 플라스틱으로 만들어진 "유령 엔진"을 만들었습니다. 이 유령 엔진은 현대적인 AI 도구로 구축되었기 때문에, 톱니바퀴를 들여다보고 어떻게 미세하게 조정할지 정확히 계산할 수 있습니다.

그들은 이 작업을 수행하기 위해 2단계 훈련 과정을 사용했습니다:

1. 1단계: 유령 훈련. 먼저, 유령 엔진이 실제 증기 기관을 흉내 내도록 가르쳤습니다. 실제 엔진의 데이터를 유령 엔진에 입력하고, 유령이 엔진의 움직임을 완벽하게 재현할 수 있을 때까지 조정했습니다.
2. 2단계: 지름길 훈련. 다음으로, 유령 엔진을 사용하여 "지름길"(SGS 모델)을 훈련했습니다. 유령 엔진은 유연하기 때문에, 온라인 학습 기법을 사용하여 지름길이 유령 엔진과 상호작용하며 어떻게 행동해야 하는지 가르칠 수 있었습니다.

결정적으로, 그들은 만약 유령과 지름길을 동시에 훈련시킨다면, 지름길이 단순히 유령의 실수를 보완하는 법을 배워버릴 것이라는 점을 깨달았습니다. 이를 막기 위해 그들은 두 가지를 분리하여 훈련했습니다. 또한 특별한 기술을 도입했는데, 단순히 지름길에게 "날씨를 올바르게 만들어라"라고 말하는 대신, "작은 회오리들을 올바르게 만들어라"라고 명령했습니다. 이를 통해 지름길이 유령 엔진의 오류를 잘못된 방식으로 고쳐버리는 것을 방지했습니다.

결과: 안정적인 주행

연구팀은 두 가지 다른 시스템에서 이 방법을 테스트했습니다. 첫째, 빠르고 느리게 움직이는 부분이 있는 대기의 단순화된 모델인 **로렌츠-96(Lorenz-96)**을 사용했습니다. 그 결과, 이 방법이 원래의 코드를 수정하지 않고도 "완벽한" 온라인 훈련과 거의 동일한 성능을 내는 지름길을 만들어냈음을 발견했습니다.

그 후, 연구팀은 더 복잡한 테스트인 준지형(quasi-geostrophic) 시스템으로 넘어갔습니다. 이는 해양과 대기의 회오리치는 바람과 해류를 시뮬레이션합니다. 이는 매우 어려운 문제인데, 작은 회오리들이 상황을 진정시킬 수도 있고, 반대로 폭발적인 혼돈을 일으킬 수도 있기 때문입니다.

이 시뮬레이션에서 그들은 기존 기법들과 비교했습니다:

• "오프라인" 모델: 정적인 데이터셋으로부터 학습한 모델입니다. 이 모델은 에너지가 통제 불능으로 쌓이면서 빠르게 실패하여 시뮬레이션을 충돌하게 만들었습니다.
• "상태(State)" 손실 모델: 전체적인 날씨 상태(큰 그림)를 보고 학습하려 했던 모델입니다. 이 모델은 불안정했으며 격렬한 진동을 만들어냈습니다.
• "하위 격자(Subgrid)" 손실 모델 (승자): 저자들의 2단계 방식으로 훈련되었으며 작은 회오리에 집중한 이 모델은, 훈련 기간보다 250배 더 긴 시간 동안 안정성을 유지했습니다. 이 모델은 원래의 경직된 코드 내부의 톱니바퀴를 전혀 보지 못했음에도 불구하고, "완벽한" 온라인 모델의 에너지 패턴과 안정성을 성공적으로 재현했습니다.

이것이 의미하는 바

이 논문은 현대적인 AI를 사용하기 위해 수십 년 된 거대한 기후 코드를 새로 쓸 필요가 없다는 점을 시사합니다. 대신, 훈련을 위한 헤비 리프팅(heavy lifting)을 수행할 "유령" 버전을 만들 수 있습니다. 이는 우리가 훨씬 더 안정적이고 정확한 기후 모델을 구축하여, 충돌 없이 수년간 실행할 수 있는 길을 열어줍니다.

하지만 저자들은 이것이 아직 마법의 지팡이는 아니라는 점을 주의 깊게 언급했습니다. "유령" 엔진은 완벽하지 않으며 작은 오류를 가지고 있습니다. 테스트 결과, 이러한 작은 오류들이 때때로 대규모 날씨 패턴에 약간의 부정확함을 초래하기도 했지만, 작은 디테일은 매우 정확했습니다. 그들은 향후 연구가 유령 엔진을 더 발전시켜야 한다고 제안하며, 예를 들어 단순히 회오리치는 와도(vorticity)뿐만 아니라 풍속과 같은 특정 대규모 특징에 집중하도록 가르쳐야 한다고 말했습니다.

궁극적으로, 이 연구는 과거의 경직되고 검증된 물리 법칙과 미래의 유연하고 강력한 학습 능력을 연결하는 유망한 경로를 제시합니다. 엔진을 분해하지 않고도 말입니다.