당신은 지구 전체를 뒤덮고 있는 거대하고 소용돌이치는 공기의 바다, 즉 기상 현상의 미래를 예측하려고 노력하고 있다고 상상해 보십시오. 이것은 기상 예보의 세계이며, 과학자들이 거대한 컴퓨터를 사용하여 대기가 어떻게 움직이는지 시뮬레이션하는 분야입니다. 수십 년 동안 이 작업에 사용된 최고의 도구는 복잡한 물리 방정식이었지만, 최근에는 머신러닝을 기반으로 하는 새로운 종류의 "스마트"한 컴퓨터 프로그램이 이들을 능가하기 시작했습니다. 이 프로그램들은 역사를 통해 학습하여 다음 날씨가 어떻게 될지 추측합니다. 하지만 이들이 직면한 까다로운 퍼즐이 하나 있습니다. 바로 컴퓨터가 미래를 향해 얼마나 빨리 "발걸음(step)"을 내디뎌야 하는가 하는 문제입니다. 만약 아주 작고 빠른 발걸음(예: 매 시간)을 낸다면, 갑작스러운 폭풍이 형성되는 세부적인 모습까지 볼 수 있지만, 먼 거리를 걸으려 할 때 지치거나 실수를 저지를 수 있습니다. 반대로 거대하고 느린 발격(예: 매일)을 내디딘다면, 넘어지지 않고 멀리 걸어갈 수는 있지만, 여정의 흥미진진한 세부 사항들을 놓치게 됩니다.

이 논문은 이 퍼즐을 해결하는 영리하고 새로운 기상 모델인 GEM-3를 소개합니다. GEM-3는 컴퓨터에게 빠른 속도의 정교한 단거리 스프린터가 될 것인지, 아니면 느리고 꾸준한 마라톤 선수가 될 것인지 중 하나를 강요하는 대신, 상황에 따라 보폭을 자유자재로 바꿀 수 있는 마법 같은 카멜레온과 같습니다. 연구진은 모델에게 한 번의 발걸음 동안 얼마나 많은 시간을 건너뛰어야 하는지 이해하도록 가르침으로써, 동일한 '두뇌'(동일한 컴퓨터 가중치 세트)를 사용하여 다음 1시간 후의 날씨나 다음 1개월 후의 날씨를 모두 예측할 수 있다는 것을 발견했습니다. 그들은 다양한 발걸음 크기를 섞어서 학습시키는 것이 모델을 더 안정적으로 만든다는 것을 발견했으며, 이러한 유연한 접근 방식이 하나의 속도에 고정된 기존 모델들보다 더 효과적이라는 것을 입증했습니다.

거대한 발걸음의 딜레마

이것이 왜 중요한 일인지 이해하기 위해, 거대하고 폭풍우 치는 바다를 건너려는 비디오 게임 캐릭터를 상상해 보십시오. 만약 캐릭터가 1인치 단위의 아주 작은 발걸음을 뗀다면, 모든 파도와 바위를 주의 깊게 헤쳐 나갈 수 있습니다. 하지만 천 마일을 건너야 한다면, 수백만 번의 발걸음을 내디뎌야 할 것입니다. 매 발걸음마다 아주 작은 실수를 할 가능성이 생깁니다. 만약 수백만 번의 발걸음을 내딛는다면, 그 작은 실수들이 쌓여서 캐릭터가 결국 엉뚱한 나라에 도착하게 될 수도 있습니다. 이것이 "세밀한(fine)" 기상 모델이 가진 문제입니다. 이 모델들은 향후 며칠간의 날씨는 잘 예측하지만, 장기적으로는 엉망이 될 수 있습니다.

반면에, 캐릭터가 100마일씩 크게 점프한다고 상상해 보십시오. 캐릭터는 단 열 번의 점프만으로 바다를 건넙니다. 몇 번의 발걸음만 내딛기 때문에 실수할 기회도 적습니다. 하지만 여기에는 함정이 있습니다. 캐릭터는 그 사이에 있는 작은 파도나 특정 바위를 볼 수 없습니다. 하루를 통째로 뛰어넘는 데 너무 집중하느라 갑작스러운 폭풍이나 시원한 미풍을 놓칠 수 있습니다. 이것이 "거친(coarse)" 모델이 가진 문제입니다. 이 모델들은 긴 여행에는 안정적이지만, 단기적인 세부 사항은 놓칩니다.

수년 동안 과학자들은 둘 중 하나를 선택해야 했습니다. 단기적이고 세밀한 예보를 위한 모델 하나와 장기적이고 안정적인 예보를 위한 모델 하나를 따로 만들었습니다. 그것은 마치 도시 주행용 스포츠카와 오프로드용 탱크를 각각 따로 사야 하는 것과 같았습니다.

마법의 카멜레온: GEM-3

이 논문의 저자들은 Salient이라는 회사의 연구진으로, GEM-3라는 새로운 모델을 만들었습니다. GEM-3를 단순한 차량 한 대가 아니라, 마법 같은 변신 능력자로 생각하십시오. 핵심 비결은 **타임스텝 컨디셔닝(timestep conditioning)**이라 불리는 기능입니다.

기존 모델에서는 컴퓨터가 오직 특정한 하나의 발걸음 크기만을 알도록 훈련되었습니다. 만약 24시간 후의 날씨를 예측하고 싶다면, 1시간 단위로 24번을 가거나 24시간 단위로 1번을 가야 했으며, 두 가지를 동시에 할 수는 없었습니다. GEM-3는 다릅니다. 연구진은 모델에게 "이 특정 예측을 위해서는 6시간 단위로 걸어라"라거나 "아니, 24시간 단위로 걸어라"라고 알려주는 "속삭임(숫자)"을 듣도록 가르쳤습니다.

모델은 단 하나의 두뇌를 가지고 있지만, 즉각적으로 자신을 재구성할 수 있습니다. 만약 당신이 내일 아침의 예보를 요청한다면, 모델은 아침의 미풍을 포착하기 위해 빠르고 상세한 모드로 전환할 수 있습니다. 만약 다음 달의 예보를 요청한다면, 경로를 벗어나지 않도록 느리고 꾸준한 모드로 전환할 수 있습니다. 이는 두 개의 서로 다른 모델이 필요한 것이 아니라, 주어진 작업에 적응할 수 있는 하나의 유연한 모델만 있으면 된다는 것을 의미합니다.

비결: 체조 선수처럼 훈련하기

어떻게 이 모델에게 이런 유연성을 가르칠 수 있었을까요? 그들은 **혼합 타임스텝 훈련(mixed-timestep training)**이라는 기술을 사용했습니다. 올림픽을 준비하는 체조 선수를 상상해 보십시오. 한 가지 특정 기술(평균대)만을 연습하는 대신, 그들은 같은 세션 안에서 평균대, 마루 운동, 그리고 이단 평균대를 모두 연습합니다.

연구진은 무작위의 발걸음 크기(때로는 1시간, 때로는 6시간, 때로는 24시간)를 사용하여 미래를 예측하도록 모델에게 요구함으로써 GEM-3를 훈련시켰습니다. 여러 가지 다른 속도를 동시에 처리하도록 강제함으로써, 모델은 대기를 이해하는 더 강력한 방법을 배웠습니다. 논문은 이 "혼합" 훈련이 안정제 역할을 한다고 제안합니다. 여러 가지 다른 속도에서 훈련된 모델이 단 하나의 속도에서만 훈련된 모델보다 오히려 짧은 발걸음을 떼는 데 더 뛰어나다는 사실이 밝혀졌습니다. 이는 마치 다양한 표면에서 균형 잡는 법을 배운 체조 선수가, 평균대 위에서만 연습한 사람보다 훨씬 더 안정적으로 균형을 잡는 것과 같습니다.

이상치 트릭: 노이즈 제거하기

또 다른 장애물이 있었습니다. 날씨에는 리듬이 있습니다. 여름에는 더 따뜻하고 겨울에는 더 추우며, 낮에는 더 따뜻하고 밤에는 더 춥습니다. 만약 모델이 정확한 온도를 예측하려고 한다면, 이러한 거대하고 예측 가능한 주기들을 끊임없이 기억해야 합니다. 이는 모델을 산만하게 만들 수 있으며, 장기적인 추세에 "취하게" 만들어 길을 잃게 할 수 있습니다.

이를 해결하기 위해 저자들은 이상치 공간 모델링(anomaly-space modeling) 기법을 사용했습니다. 모델에게 "기온이 몇 도가 될까?"라고 묻는 대신, "이 시기의 평소 평균과 비교했을 때 기온이 얼마나 다를까?"라고 물었습니다.

당신이 친구가 저녁 식사 때 얼마나 먹을지 추측한다고 상상해 보십시오. 음식의 총 무게(샐러드와 성찬 사이에서 크게 변함)를 추측하는 대신, 평소 식사량보다 얼마나 더 혹은 덜 먹을지를 추측하는 것입니다. 전체량이 아닌 "놀라움(이상치)"에 집중함으로써, 모델은 실제 날씨 변화에 집중할 수 있고 예측 가능한 계절 변화 때문에 혼란을 겪지 않습니다. 논문은 이 방식이 모델이 특히 장기 예측을 할 때 경로를 유지하는 데 도움이 된다는 것을 보여줍니다.

연구 결과

결과는 매우 인상적입니다. 그들이 GEM-3를 현재의 세계 챔피언들(유럽 기상 서비스의 모델 및 다른 최고 AI 기상 도구들)과 테스트했을 때, GEM-3는 대등하거나 심지어 승리했습니다.

• 단기: 다음 며칠간의 날씨를 높은 상세도로 예측하며, 일일 날씨의 미묘한 차이를 잡아냅니다.
• 장기: 최대 46일까지 안정성을 유지하며, 경로를 벗어나지 않고 정확한 예보를 유지하는 데 있어 많은 다른 모델들을 앞섭s니다.
• 유연성: 가장 흥러운 발견은 GEM-3가 사용자가 필요로 하는 것에 따라 마지막 순간에 6시간 단위의 발걸음과 24시간 단위의 발걸음 사이를 전환할 수 있다는 점입니다.

하지만 논문은 이것이 모든 것에 대한 마법 지팡이는 아니라는 점을 주의 깊게 언급합니다. 만약 발걸음을 너무 크게(예: 48시간) 만들려고 하면, 단 한 번의 발걸음으로 감당하기에는 날씨가 너무 많이 변하기 때문에 모델이 혼란을 겪는다는 것을 발견했습니다. 마찬가지로, 매우 긴 예보를 위해 발걸음을 너무 작게(예: 1시간) 만들려고 하면, 새로운 기술을 사용하더라도 작은 실수들이 여전히 쌓이게 됩니다. 하지만 1시간에서 24시간 사이의 "최적의 구간(sweet spot)" 내에서는 모델이 훌륭하게 작동합니다.

결론

GEM-3는 기상학자들이 상세함과 안정성 사이에서 하나를 선택하도록 강요하지 않는다는 점에서 실질적인 돌파구입니다. 이는 기상 예보의 미래가 모든 작업을 위해 더 크고 전문화된 컴퓨터를 만드는 것이 아니라, 지형에 맞춰 자신의 보폭을 바꿀 수 있는 더 똑똑하고 적응력 있는 컴퓨터를 만드는 데 있다는 것을 시사합니다. 하나의 모델에게 여러 가지 "시간 언어"를 말하도록 가르침으로써, 연구진은 피크닉 계획부터 몇 주 뒤의 폭풍 대비까지, 실제 현실의 결정에 더욱 유용하고 정확한 도구를 만들어냈습니다.