Does Feature Engineering Improve Meteorological Predictions Across Asia?

우리 머리 위의 공기는 결코 정지해 있지 않습니다. 공기는 열, 습도, 기압의 혼돈스러운 춤 속에서 변화하고 소용돌이치며, 이것이 농부의 작물이 살아남을지 아니면 도시가 폭풍에 대비해야 할지를 결정합니다. 수십 년 동안 과학자들은 대기의 물리학을 시뮬레이션하는 거대한 컴퓨터 모델을 사용하여 이러한 움직임을 예측하려고 노력해 왔습니다. 이 시뮬레이션들은 강력하지만, 실행하는 데 비용이 매우 많이 들며 때로는 국지적인 날씨의 순수한 복잡성을 다루는 데 어려움을 겪기도 합니다. 최근 몇 년 동안, 머신러닝을 사용하는 다른 접근 방식이 힘을 얻고 있습니다. 머신러닝은 방대한 양의 과거 기상 데이터를 통해 패턴을 학습하여 미래를 예측하는 컴퓨터 프로그램입니다. 하지만 여기에는 함정이 있습니다. 만약 머신러닝 프로그램에 특정 순간에 기록된 온도나 풍속 같은 가공되지 않은 숫자만을 입력한다면, 그 프로그램은 종종 큰 그림을 놓치게 됩니다. 오늘의 날씨가 어제의 날씨와 깊게 연결되어 있다는 점이나, 계절이 예측 가능한 주기를 따른다는 사실을 파악하지 못하는 것입니다. 이를 해결하기 위해 과학자들은 '특징 공학(feature engineering)'이라 불리는 기술을 사용합니다. 이는 컴퓨터가 연구할 새로운 단서들을 수동으로 만들어내는 과정입니다. 단순히 온도만을 주는 대신, 3일 전의 온도를 함께 주거나 온도와 습도가 어떻게 상호작용하는지에 대한 계산값을 제공하기도 합니다. 이러한 추가적인 단서들이 컴퓨터가 날씨를 더 잘 이해하도록 도울 것이라는 희망을 품는 것입니다. 그러나 여전히 의문은 남아 있습니다. 더 많은 단서를 추가하는 것이 항상 도움이 될까요, 아니면 때때로 기계를 혼란스럽게 만들까요?

이란과 아시아 전역의 대학 연구진은 이 질문에 답하기 위해 대규모 조사를 실시했습니다. 그들은 단 하나의 도시나 단 하나의 날씨 유형만을 본 것이 아니라, 북쪽의 얼어붙은 땅부터 열대 지방의 후끈한 지역까지 지리적으로나 기후적으로 매우 다양한 아시아 대륙 전체를 조사했습니다. 그들은 24년 동안 1,634개의 서로 다른 기상 관측소에서 수집한 일일 기상 기록을 모았습니다. 그들의 목표는 머신러닝 모델을 위한 15가지의 서로 다른 데이터 준비 방법을 테스트하는 것이었습니다. 어떤 방법은 날짜나 요일을 추가하는 것처럼 단순했습니다. 또 다른 방법은 여러 기상 요인을 곱하거나 지난 일주일 동안 날씨가 어떻게 변했는지 계산하여 새로운 변수를 만드는 것처럼 복잡했습니다. 그들은 기온, 습도, 기압, 풍속, 구름 양, 강수량, 그리고 일일 최고 및 최저 기온이라는 8가지 서로 다른 기상 변수를 대상으로 이 방법들을 테스트했습니다. 그리고 어떤 데이터 준비 방법이 가장 정확한 예보를 만들어내는지 확인하기 위해 '랜덤 포레스트(random forest)'라고 알려진 표준 머신러닝 모델을 사용했습니다.

결과는 놀라웠으며, 기상 데이터를 준비하는 데 있어 단 하나의 '최선'의 방법은 없다는 사실을 드러냈습니다. 연구진은 특징 공학을 통해 생성된 특징들을 추가하는 것이 테스트한 사례 중 절반 미만의 경우에서만 예측 정확도를 향상시킨다는 것을 발견했습니다. 실제로, 테스트한 관측소 및 변수 조합의 약 42%에서만 추가된 단서들이 통계적으로 유의미한 차이를 만들어냈습니다. 하지만 나머지 경우에는 그 추가 작업이 쓸모없거나, 어떤 경우에는 오히려 해롭기까지 했습니다. 이 연구는 적절한 접근 방식이 당신이 무엇을 예측하려 하는지, 그리고 어디에서 예측하려 하는지에 따라 전적으로 달라진다는 것을 보여주었습니다. 예를 들어, 기압을 예측할 때는 가장 복잡한 방법이 가장 효과적이었습니다. 연중 시기부터 지난 며칠간의 기압 수치까지 가능한 모든 단서를 포함함으로써, 모델은 대륙 전체에서 예측 오차를 41~42% 줄였습니다. 이는 기압이 느리고 예측 가능하게 변하기 때문에, 컴퓨터가 공부할 수 있는 긴 과거 데이터를 갖는 것이 유리하다는 점에서 타당합니다.

하지만 극단적인 기온의 경우는 이야기가 완전히 달랐습니다. 연구진이 일일 최고 또는 최저 기온을 예측하려고 했을 때, 복잡한 특징들을 추가하는 것은 종종 모델의 성능을 저하시켰습니다. 최저 기온에 대한 사례 중 거의 절반에 가까운 경우에서, 추가적인 공학적 기법 없이 오직 가공되지 않은 데이터만을 사용하는 가장 단순한 접근 방식이 가장 정확했습니다. 연구진은 이러한 특정 극한 상황의 경우, 기본적인 데이터에 이미 필요한 모든 정보가 포함되어 있으며, 더 많은 복잡성을 더하는 것은 컴퓨터를 혼란스럽게 하는 노이즈를 유입시킬 뿐이라고 제안합니다. 마찬가지로 습도와 풍속의 경우, 월이나 요일을 아는 것과 같은 단순한 시간 기반의 단서들만으로도 충분했습니다. 가장 복잡한 방법들은 이러한 변수들에 대해 거의 혹은 전혀 이득을 주지 못했습니다.

기상 관측소의 위치 또한 매우 중요했습니다. 연구진은 열대 지방에서 북쪽으로 이동함에 따라 명확한 패턴을 발견했습니다. 동남아시아와 인도와 같은 따뜻한 열대 지역에서는 온도와 구름 양을 예측하는 데 있어 '상호작와 특징(interaction features)'을 만드는 것이 가장 성공적인 방법이었습니다. 이는 온도와 습도가 어떻게 함께 작용하는지를 컴퓨터가 볼 수 있게 하는 수학적 조합으로, 지표면과 공기가 복잡하게 상호작용하는 기후에서 매우 중요합니다. 그러나 시베리아나 카자흐스탄 같은 더 추운 북쪽 지역으로 이동함에 따라, 이러한 복잡한 상호작용은 효용성이 떨어졌습니다. 이 고위도 지역에서는 단순한 시간 기반의 특징들만으로도 충분했습니다. 또한 연구는 강수량이 개선하기 가장 어려운 변수라는 점을 발견했습니다. 단 하나의 방법이 모든 곳에서 잘 작동하지 않았으며, 개선 효과는 작고 산발적이었습니다. 이는 비 자체의 예측 불가능한 특성을 반영합니다.

궁극적으로, 이 연구는 머신러닝을 사용하여 날씨를 예측하려는 모든 이들에게 명확한 로드맵을 제공합니다. 이는 모든 날씨 문제에 동일한 데이터 기법을 적용하여 성공을 기대할 수 있다는 생각이 환상임을 입증합니다. 가장 좋은 전략은 구체적이어야 합니다. 기압을 위해서는 복잡하고 포괄적인 데이터 세트를 사용하고, 습도와 풍속을 위해서는 단순한 시간 표식을 활용하며, 극단적인 기온을 예측할 때는 지나친 복잡성을 피해야 합니다. 나아가, 예측하는 위치는 예측하려는 변수만큼이나 중요합니다. 열대 우림에서 통하는 방식이 온대 평원에서 실패할 수도 있습니다. 이러한 미묘한 차이를 이해함으로써, 과학자들은 단순히 더 똑똑한 모델이 아니라, 데이터가 무엇을 말할 수 있고 무엇을 말할 수 없는지에 대해 더 정직한 모델을 구축할 수 있습니다. 연구는 결론적으로, 미래의 날씨 예측은 단순히 복잡함을 더하는 것이 아니라, 적재적소에 맞는 도구를 신중하게 선택하는 데 달려 있다고 밝히고 있습니다.