A century of monthly rainfall in the Senegal River Basin (1895–2020): automated quality control, machine learning gap-filling, and the cost of network attrition

위대한 강우 탐정 이야기

지구를 거대한, 숨 쉬는 기계라고 상상해 보세요. 이 기계의 가장 중요한 장기 중 하나는 날씨, 구체적으로는 지면에 내리는 비입니다. 과학에서는 이를 수문학(hydrology), 즉 물이 육지, 강, 구름을 통해 어떻게 이동하는지를 연구하는 학문이라고 부릅니다. 이 기계가 어떻게 작동하는지 이해하기 위해 과학자들에게는 길고 끊김 없는 강우 일기가 필요합니다. 그들은 이를 "시계열(time series)"이라고 부릅니다. 이것은 마치 가족 사진첩과 같습니다. 만약 100년 동안 매년 사진을 찍었다면, 가족이 어떻게 성장했는지, 누가 떠났는지, 그리고 큰 사건이 있을 때 날씨가 어떠했는지를 알 수 있습니다. 하지만 누군가 페이지를 찢어내거나, 여백에 잘못된 숫자를 적거나, 아예 사진 찍는 것을 멈춘다면 어떻게 될까요? 그것이 바로 과학자들이 서아프ка에서 직면한 문제입니다.

수십 년 동안 이 지역은 줄어드는 강우계(비를 받는 장치) 네트워크와 오타로 가득 찬 오래된 기록들로 고통받아 왔습니다. 이것이 중요한 이유는 세네갈 강 유역이 수백만 명의 사람들에게 생명선이기 때문입니다. 이곳은 식수, 농사, 그리고 거대한 저수지를 채우는 데 필요한 물을 제공합니다. 만약 비의 "일기"가 깨져 있거나 거짓말로 가득하다면, 물을 관리하는 사람들은 끔찍한 실수를 할 수 있습니다. 예를 들어, 홍수가 나기 직전에 댐을 열거나, 작물이 말라 죽고 있을 때 댐을 닫는 것 같은 실수 말입니다. 큰 질문은 이것입니다: 우리는 이 깨진 일기를 고칠 수 있을까요? 우리가 결코 내리지 않은 새로운 비를 만들어내지 않고도, 현대적인 컴퓨터 기술을 사용하여 빠진 페이지를 채우고 오타를 수정할 수 있을까요?

세기적 강우 구조 미션

이 논문은 기니, 말리, 모리타니, 세네갈이 공유하는 광활한 지역인 세네갈 강 유역을 위한 거대한 구조 미션입니다. 저자인 연구진은 1895년부터 2020년까지 찾을 수 있는 모든 월간 강우 기록을 모으기로 했습니다. 그들은 단순히 수집만 한 것이 아니라, 이 난장판을 정리하기 위해 매우 똑똑하고 자동화된 시스템을 구축했습니다. 마치 책을 찾는 것뿐만 아니라, 누군가 장부에 "10.00" 대신 "1000"이라고 적었거나, 두 사람이 같은 날에 대해 서로 다른 이야기를 썼을 때 이를 찾아내는 사서와 같습니다.

연구팀은 138개의 관측소와 80,000개 이상의 관측값을 모았습니다. 하지만 이 데이터를 사용하기 전에, 그들은 "오류 찾기" 놀이를 해야 했습니다. 그들의 자동화된 시스템은 기록의 **1.4%**가 엉망이라는 것을 발견했습니다. 어떤 오류는 엄청났습니다. 말리의 한 관측소는 한 달 동안 111,622.8 mm의 비를 기록했는데(이는 111미터가 넘는 비로, 물리적으로 불가능한 양입니다!), 또 다른 곳은 90,120 mm를 기록했습니다. 시스템은 이것들이 단순히 소수점 실수임을 알아차렸고, 100으로 나누어 수정했습니다. 여기서 얻는 교훈은 무섭지만 중요합니다. 이러한 오류 중 단 하나라도 수정하지 않고 남겨둔다면, 지역 전체의 강우 역사를 수십 표준 편차만큼 변화시킬 수 있습니다. 이는 마치 100명이 있는 방에서 한 사람이 갑자기 10톤이 된 것과 같습니다. 그러면 방 전체의 평균 무게가 완전히 잘못되어 보일 것입니다.

데이터가 깨끗해지자, 연구원들은 다음의 큰 질문을 던졌습니다. 빈 곳을 어떻게 채울 것인가? 수년에 걸쳐 많은 강우 관측소가 폐쇄되었고, 특히 1990년대 이후로 기록에 커다란 구멍이 생겼습니다. 저자들은 비가 내렸던 빠진 달들을 추측하기 위해 여섯 가지 다른 방법을 테스트했습니다. 그들은 이웃이 받은 양을 살펴보는 단순한 수학부터, 패턴을 학습하는 컴퓨터 프로그램인 정교한 머신러닝까지 모두 활용했습니다.

여기서 이야기는 흥ente해집니다. 연구진은 데이터의 일부를 숨긴 뒤 어떤 방법이 그것을 가장 잘 맞히는지 확인하기 위해 수천 번의 시뮬레이션을 실행했습니다.

• 무작위 간격(여기저기 몇 달씩 빠진 경우)이나 블록 간격(몇 년 전체가 통째로 빠진 경우)의 경우, 가장 단순한 방법들이 승리했습니다. "정규 비율(normal-ratio)" 방식이라 불리는 고전적인 기법과 단순 선형 회귀가 챔피언이었습니다. 그들은 빠진 강우량을 0.90에 가까운 기술 점수(클링-굽타 효율성)로 복구해 냈습니다. Random Forest나 XGBoost 같은 화려한 머신러닝 모델들도 단순한 모델들만큼 잘 해냈지만, 결코 그들을 앞지르지는 못했습니다. 이웃 네트워크가 조밀할 때는 슈퍼컴퓨터가 필요한 것이 아니라, 그저 옆집에 누가 사는지에 대한 좋은 지도만 있으면 된다는 것이 밝혀졌습니다.
• 하지만 함정이 있습니다. 논문은 간격이 기록의 끝부분(기후가 변하는 시기에 관측소가 폐쇄됨에 따라 발생하는 경우)에서 발생할 때, 단순한 방법들이 실패한다는 것을 발견했습니다. 이 방법들은 실제보다 더 습하다고 추측하기 시작합니다. 이를 "습윤 편향(wet bias)"이라고 합니다. 모델들이 과거의 습했던 해들을 바탕으로 학습되었기 때문에, 가뭄이 시작되었음에도 불구하고 계속해서 "비가 오고 있어!"라고 추측한 것입니다. 이러한 특정 "종단 간격(terminal gaps)" 상황에서 단순한 방법들의 편향은 월평균 9.4 mm에 달할 수 있었습니다.

하지만 머신러닝 모델이 이 특정 시나리오에서 구원투수가 되었습니다. 연구진이 모든 관측소를 통합하고 컴퓨터에게 "달력 연도"라는 힌트를 주었을 때(즉, "이봐, 지금은 1990년대야, 점점 건조해지고 있어"라고 알려주었을 때), 머신 러닝 모델은 이 편향을 수정할 수 있었습니다. 그들은 오차를 단 2.0 mm per month로 줄였습니다. 따라서 머신러닝은 모든 문제에 마법 같은 것은 아니지만, 기후가 변하고 데이터 네트워크가 무너지고 있을 때 작동하는 유일한 도구입니다.

연구팀은 또한 위성 데이터와 대조하여 자신들의 작업을 확인했습니다. 위성은 이 지역이 1968년부터 1993년까지 지속된 긴 가뭄으로부터 실제로 회복 중임을 확인해 주었습니다. 그러나 위성 데이터는 강우계 데이터가 시사하는 것보다 회복 속도가 완만함을 보여주었습니다. 이는 줄어드는 강우계 네트워크가 최근의 비를 실제보다 더 강하게 보이게 만들었다는 것을 증명했습니다—전형적인 "감소 편향(attrition bias)" 사례입니다.

결국, 이 논문은 세네갈 강 유역을 위한 깨끗하고 교정된 1세기의 강우 일기를 우리에게 제공합니다. 이는 일상적인 누락 데이터의 경우, 단순한 이웃 기반의 수학이 여전히 왕이라는 것을 알려줍니다. 하지만 네트워크가 축소되고 기후가 변할 때는, 우리 스스로를 속이지 않기 위해 더 똑똑한 통합 머신러닝 모델이 필요합니다. 저자들은 이 정제된 데이터베이스를 공개하여, 강을 공유하는 네 나라가 물을 관리하고, 홍수를 계획하며, 평화를 협상할 수 있는 신뢰할 수 있는 토대를 마련해 주었습니다. 이는 과학에서 과거를 정리하는 것이 미래를 예측하는 것만큼이나 중요하다는 사실을 상기시켜 줍니다.