Probabilistic Deep Learning for Drought Forecasting: Role of Internal Climate Variability

다음 달의 날씨를 예측하려고 노력하는 것을 상상해 보십시오. 그것은 마치 주사위 자체가 약간 흔들리고, 테이블이 떨리고 있으며, 계절에 따라 규칙이 바뀌는 게임의 결과를 맞히려는 것과 같습니다. 이것이 기후 과학, 특히 가뭄을 예측하는 까다로운 업무의 세계입니다. 가뭄은 단순히 "비가 오지 않는 것"에 관한 것이 아닙니다. 그것은 하늘에서 떨어지는 물의 양, 공기 중으로 증발하는 양, 그리고 땅이 수분을 머금는 방식 사이의 복잡한 춤입니다. 과학자들은 설령 우리가 게임의 정확한 규칙을 알고 있더라도, 날씨에는 본질적으로 무작위적인 부분이 있다는 것을 오래전부터 알고 있었습니다. 이를 "내적 변동성(internal variability)"이라고 부릅니다. 이것은 기후 시스템 자체의 무작위적인 떨림이며, 순전히 운이 나빠서 특정 지역을 건조하게 만들 수도 있습니다.

이것이 왜 중요할까요? 농부가 작물을 계획하거나, 도시 관리자가 물 부족에 대비하거나, 산불을 걱정하는 집주인이라면, 당신은 단순히 "평균적인" 미래가 아니라 최악의 시나리오를 알아야 하기 때문입니다. 만약 예보가 "조금 건조할 수도 있다"라고 말한다면, 그것만으로는 충분하지 않습니다. 당신은 "기후 주사위가 정말 나쁘게 던져진다면, 이론적으로 얼마나 더 건조해질 수 있는가?"를 알아야 합니다. 오랫동안 이러한 위험을 예측하기 위해 사용된 컴퓨터 모델들은 그 무작위적인 떨림을 무시해도 되는 단순한 노이즈로 취급하거나, 과거에 일어났던 일만을 보고 최악의 경우를 추측하려 했습니다. 하지만 과거는 변화하는 미래에 대한 답을 가지고 있지 않을 수도 있습니다.

이 논문은 추측하는 것을 멈추고 미래를 더 명확하게 보기 위해 아주 똑똑한 기술을 사용하기로 결심한 탐정 팀과 같습니다. 그들은 딥러닝이라는 인공지능을 사용하여 유럽 가뭄을 위한 새로운 종류의 "수정구슬"을 만들었습니다. 하지만 반전이 있습니다. 그들은 단순히 AI에게 추측하게 내버려 둔 것이 아니라, 거대한 기후 시뮬레이터가 생성한 방대한 양의 "만약에(what-if)" 시나리오 라이브러리를 AI에게 입력했습니다. 이것은 마치 50명의 서로 다른 기후 전문가에게 동일한 규칙에서 시작하되 각자 자신만의 주사위를 굴려 향후 몇 년을 상상해 보라고 요청하는 것과 같습니다. 이 50개의 가상 미래를 비교함으로써, 팀은 마침내 그 "무작위적인 떨림" 자체의 형태를 볼 수 있었습니다. 그들은 이 50개의 시뮬레이션 군집을 사용함으로써 훨씬 더 안전하고 현실적인 "위험선"을 그릴 수 있다는 것을 발견했습니다. 이 선은 기후의 자연스러운 무작위성이 우리에게 불리하게 작용할 때 상황이 얼마나 나빠질 수 있는지를 알려줍니다. 그 결과는 무엇일까요? 단순히 "건조할 수도 있다"라고 말하는 것이 아니라, "이것이 이론적으로 발생 가능한 최악의 상황이며, 우리는 이에 대비하고 있다"라고 말하는 경고 시스템입니다.

"흔들리는 주사위"와 "50개의 수정구슬" 이야기

이 연구의 저자인 독일 뮌헨의 헨리 펑크(Henri Funk)와 그의 팀은 가뭄을 예측하는 것이 어렵다는 좌절스러운 문제를 해결하고자 했습니다. 가뭄 예측이 어려운 이유는 기후가 놀라움으로 가득 차 있기 때문입니다. 지구 온난화와 같은 큰 그림을 알고 있더라도, 기후 시스템은 특정 지역을 예측하기 어려운 방식으로 건조하거나 습하게 만들 수 있는 자체적인 "흔들림(내적 변동성)"을 가지고 있습니다. 과거의 기록(과거 데이터)만을 본다면, 특히 기후가 변하고 있을 때 이러한 격렬한 변화를 놓칠 수 있습니다.

옛날 방식 vs 새로운 기술
전통적으로 과학자들은 과거를 살펴봄으로써 가뭄을 예측하려고 노력해 왔습니다. 그들은 긴 기간의 날씨 데이터를 가져와 패턴을 찾아내도록 컴퓨터를 훈련시킵니다. 이것은 이전에 운전했던 경로의 지도를 보고 운전을 배우는 것과 같습니다. 문제는 도로가 바뀌거나 자동차의 움직임이 달라지면 옛날 지도는 도움이 되지 않는다는 점입니다. 이 연구에서 팀은 과거에만 의존하는 것(구체적으로 ERA5-Land라는 데이터셋)이 잘못된 안도감을 준다는 것을 보여주었습니다. 그들이 기존 방식의 예측을 2020~2024년의 실제 건조한 해와 대조하여 테스트했을 때, 그들이 그린 "위험선"은 너무 높았습니다. 그들은 매우 건조했던 사건들의 상당 부분을 놓쳤습니다. 그것은 마치 폭풍이 오고 있는데 가벼운 이슬비가 내릴 것이라고 경고하는 것과 같았습니다.

이를 해결하기 위해 팀은 새로운 재료를 도입했습니다: "대규모 앙상블(Large Ensemble)". 여러분이 슈퍼컴퓨터 기후 시뮬레이터를 가지고 있다고 상상해 보십시오. 미래를 얻기 위해 시뮬레이션을 한 번만 실행하는 대신, 그들은 이를 50번 실행했습니다. 각 실행은 정확히 동일한 규칙과 물리 법칙에서 시작했지만, 그들은 시작 조건을 아주 미세하게 조정했습니다—마치 주사위를 50번 굴리는 것처럼 말입니다. 규칙은 동일했기 때문에, 50개의 결과 사이의 모든 차이점은 기후 시스템의 자연스럽고 무작위적인 "흔들림"에 의해 발생한 것이 틀림없었습니다.

AI와 앙상블
팀은 "템포럴 퓨전 트랜스포머(Temporal Fusion Transformer, TFT)"라고 불리는 정교한 AI 모델을 사용했습니다. 이 AI를 유럽의 50년 치 날씨 역사를 공부한 매우 똑똑한 학생이라고 생각하십시오. 이 AI는 해수면 온도, 기압, 계절적 요인 등을 바탕으로 다음 달의 수분 균형(강수량 - 증발량)을 예측하는 법을 배웠습니다.

하지만 AI 단독으로는 전체적인 "흔들림"의 모습을 볼 수 없었습니다. 그래서 팀은 영리한 방법을 썼습니다. 훈련된 AI를 가져와 50개의 "만약에" 기후 시뮬레이션에 대해 예측을 수행하도록 시킨 것입니다.

1. 중심(The Center): AI는 실제 역사적 데이터를 바탕으로 "최선의 추측" 예보를 내놓았습니다.
2. 확산(The Spread): 50개의 서로 다른 시뮬레이션이 서로 어떻게 다른지 관찰함으로써, 팀은 기후가 스스로 얼마나 "흔들리는지"를 정확히 측정할 수 있었습니다.

그들은 이 두 가지를 결합했습니다. AI의 최선의 추측에 50개 시뮬레이션의 확산(spread)을 기반으로 한 "안전 완충 장치"를 더했습니다. 이것은 "기후 주사위가 정말 나쁘게 던져지더라도, 이보다 더 나빠질 가능성은 낮다"라고 말해주는 그래프상의 선인 새로운 "하한선(lower bound)"을 만들어냈습니다.

그들이 발견한 것
결과는 눈을 뜨게 할 만큼 놀라웠습니다. 이 새로운 방법을 2020~2024년의 실제 건조한 해에 대조하여 테스트했을 때, 과거에만 의존하는 기존 방식은 처참하게 실패했습니다. 알프스와 프랑스 같은 일부 지역에서는 기존 방식이 가뭄 사건의 거의 절반을 놓쳤습니다. 그것은 비가 퍼붓고 있는데 "맑음"이라고 말하는 날씨 앱과 같았습니다.

50개의 시뮬레이션을 사용한 새로운 방식은 훨씬 더 나았습니다.

• 더 나은 커버리지: 유럽 대부분의 지역에서 새로운 "위험선"은 건조한 사건들을 훨씬 더 정확하게 포착했습니다. 예를 들어, 지중해와 이베리아 반도에서는 거의 모든 가뭄과 극심한 가뭄을 잡아냈습니다.
• "흔들리는" 현실: 이 연구는 기후의 자연스러운 무작위성이 예측 가능한 실재하는 현상임을 보여주었습니다. 이 무작위성을 무시해야 할 '노이즈'가 아닌 하나의 '특징'으로 다룸으로써, 그들은 "리스크를 인지하는(risk-aware)" 예보를 만들 수 있었습니다.
• 한계점: 새로운 방식이 모든 곳에서 완벽했던 것은 아닙니다. 알프스 지역의 경우, 컴퓨터 모델의 해상도(지도의 상세함)가 너무 낮아 작고 복잡한 산악 기후 패턴을 포착하기에 부족했습니다. 그 특정 지점들에서는 새로운 방식도 여전히 일부 극심한 가뭄을 놓쳤지만, 그럼에도 기존 방식보다는 나았습니다.

이것이 왜 중요한가
이 논문은 우리가 기후의 자연스러운 무작위성을 단순히 무시해야 할 "노이즈"로 취급하는 것을 멈춰야 한다고 제안합니다. 대신, 그것을 그 자체의 예측 가능한 양으로 취급해야 합니다. 대규모 시뮬레이션 그룹(앙상블)을 사용함으로써, 우리는 기후 변동성의 물리학을 머신러닝 모델로 전달할 수 있습니다. 이것은 우리에게 조금 더 신중하고 최악의 상황에 대비하는 "보수적인" 예보를 제공합니다.

저자들은 이것이 하나의 "개념 증명(proof of concept)"임을 주의 깊게 밝히고 있습니다. 그들은 2020년부터 2024년까지의 데이터를 사용하여 이것이 유럽에서 작동함을 보여주었습니다. 그들은 이것이 가뭄 예측을 영원히 해결했다고 주장하는 것이 아니라, 단 하나의 과거를 보는 것보다 50개의 "만약에" 미래를 보는 것이 위험에 대해 훨씬 더 명확한 시야를 제공한다는 것을 입증했습니다. 이것은 단순히 미래를 추측하는 것에서 벗어나, 가능한 모든 범위의 가능성을 이해함으로써 기후 주사위가 우리에게 불리하게 던져질 때 우리가 당황하지 않도록 보장하는 변화입니다.