Evaluating and improving crop-yield forecasting methods during extreme drought

매년 여름, 농부들과 정부는 들판에서 얼마나 많은 식량이 수확될지를 예측하기 위해 희망과 불안이 뒤섞인 시선으로 하늘을 바라봅니다. 이러한 추측은 단순히 전통의 문제가 아닙니다. 이는 기상 패턴, 토양 상태, 그리고 식물 생물학이 어떻게 상호작용하여 수확물을 만들어내는지를 계산하는 복잡한 과정입니다. 날씨가 정상적으로 작동할 때, 컴퓨터는 과거의 패턴을 살펴봄으로써 상당히 정확하게 이러한 예측을 수행할 수 있습니다. 하지만 자연은 항상 규칙을 따르지는 않습니다. 극심한 가뭄이 몰아쳐 땅을 그을리고 토양을 말려버리는 것과 같은 극단적인 사건이 발생하면, 일반적인 패턴은 무너집니다. 이러한 위기 상황에서 식물이 직면하는 조건들은 역사 속에서 보았던 그 어떤 범위도 벗어나는 경우가 많으며, 이로 인해 표준 예측 도구들은 혼란에 빠지고 무력해집니다. 이는 잘못된 예측이 경제적 불안정과 식량 부족으로 이어질 수 있기 때문에 매우 중요한 문제이며, 날씨가 전례 없는 방식으로 변할 때조차 수확량을 예측할 방법을 찾는 것이 필수적입니다.

보스턴 칼리지의 연구진은 미국 중서부의 파괴적인 2012년 가뭄 동안 옥수수 수확량을 얼마나 잘 예측할 수 있는지 다양한 유형의 컴퓨터 모델을 테스트함으로써 이 구체적인 퍼즐을 해결하고자 했습니다. '콘 벨트(Corn Belt)'로 알려진 이 지역은 50년 만에 최악의 건조한 시기를 겪었으며, 이로 인해 국가 전체 옥수스 생산량이 약 13% 감소했습니다. 연구팀은 과거로부터 배우면서도 재난의 해와 같은 기이하고 극단적인 조건을 다룰 수 있을 만큼 유연함을 유지할 수 있는 시스템을 구축할 수 있는지 확인하고 싶었습니다. 그들은 두 가지 주요 접근 방식을 비교했습니다. 하나는 확립된 통계적 규칙을 사용하는 전통적인 머신러닝이고, 다른 하나는 인간의 뇌가 정보의 층을 통해 처리하는 방식을 모방하는 더 발전된 형태의 인공지능인 딥러닝입니다. 과제는 가뭄 해의 데이터가 모델이 이전에 본 적 없는 것과 근본적으로 달랐다는 점이었으며, 이는 훈련 데이터와 테스트 데이터가 서로 판이하게 다른 상황을 만들어냈습니다.

이를 해결하기 위해 연구진은 수백 개 카운티의 일일 기상 데이터를 수집하여 온도, 습도, 바람, 태양 복사 등을 포함한 16가지의 서로 다른 대기 요인을 추적했습니다. 그들은 데이터가 지저지고 일부 카운티에는 기록이 누락되어 있으며, 일일 측정치가 일 년 전체가 아닌 성장기만을 다루고 있다는 점을 발견했습니다. 이를 처리하기 위해 연구진은 먼저 '특징 선택(feature selection)'이라는 기술을 사용하여 문제를 단순화하려고 시 시도했습니다. 컴퓨터에 모든 기상 측정값을 입력하는 대신, 어떤 특정 동인들이 실제로 작물 수확량의 변화를 일으키는지 식별하는 방법을 사용했습니다. 연구진은 사람들이 흔히 비와 온도를 가장 중요한 요인이라고 생각하지만, 실제 모델은 증기압 결핍(vapor pressure deficit)과 증발산량(evapotranspiration)에 더 크게 의존한다는 것을 발견했습니다. 이것들은 열기, 습도, 햇빛의 효과를 하나의 강력한 신호로 결합하여 공기가 식물과 토양으로부터 얼마나 많은 물을 끌어당기는지를 나타내는 척도입니다.

연구 결과, 서로 다른 모델들이 위기에 대처하는 방식에서 명확한 차이가 드러났습니다. 선형 회귀나 결정 트리와 같은 방법을 포함하는 전통적인 머신러닝 모델들은 극심한 가뭄에 직면했을 때 어려움을 겪었습니다. 이 모델들은 '정상적인' 해를 바탕으로 훈련되었기 때문에 2012년의 기이한 패턴을 인식하지 못해 성과가 저조했습니다. 그러나 연구진이 이 모델들을 가장 중요한 기상 동인에만 집중하도록 수정하고, 가뭄이 들었던 몇몇 과거의 해들에 더 높은 가중치를 부여하자 예측력이 크게 향상되었습니다. 이는 단순한 모델의 경우, 어떤 특정 기상 요인이 중요한지를 이해하는 것이 데이터 불일치에서 살아남는 핵심임을 보여주었습니다.

반면, VITA라고 불리는 딥러닝 모델은 이러한 구체적인 수정 없이도 놀라울 정도로 우수한 성능을 보였습니다. 이 모델은 테스트를 받기 전 방대한 양의 글로벌 기상 데이터를 통해 사전 학습되었습니다. 이미 다양한 출처로부터 복잡한 기상 패턴을 인식하는 법을 배웠기 때문에, 2012년의 가뭄에도 자연스럽게 적응할 수 있었습니다. 이 모델은 극심한 가뭄 해와 일반적인 해 모두에서 다른 모든 모델보다 뛰어난 성능을 보였으며, 이는 거대하고 사전 학습된 시스템이 데이터가 이상해질 때 더 작고 특화된 시스템보다 더 잘 일반화할 수 있음을 입증했습니다. 또한 연구진은 모델이 어떻게 결정을 내리는지 조사했으며, 모델이 성장기의 중간, 특히 열기와 건조함에 가장 취약한 6월과 7월의 주간에 주의를 집중하고 있음을 확인했습니다. 이는 모델이 단순히 추측하는 것이 아니라 실제 작물의 생물학적 현실을 학습하고 있음을 확인시켜 주었습니다.

궁극적으로 이 연구는 첨단 딥러닝 모델이 극단적인 날씨 속에서 작물 수확량을 예측하는 강력한 도구이지만, 그것만이 유일한 해결책은 아니라는 점을 시사합니다. 크고 복잡한 시스템을 사용할 수 없는 상황에서는 적절한 데이터를 신중하게 선택하고 가장 결정적인 역사적 사건들에 가중치를 부여함으로써 단순한 모델도 효과적으로 만들 수 있습니다. 이 연구는 예측의 가장 큰 장애물이 단순히 데이터의 부족이 아니라, 극단적인 사건들이 과거와 너무나 다르게 나타나 표준 도구들이 이를 인식하지 못한다는 사실임을 강조합니다. 이러한 차이점을 이해하고 모델이 올바른 신호에 주목하도록 조정함으로써, 과학자들은 하늘이 작물을 거스르는 순간에도 수확량을 예측할 수 있는 더 나은 시스템을 구축할 수 있습니다.