Can we create a `race to the top' for weather forecasts to inform smallholder farmer decisions?

저소득 및 중소득 국가의 수백만 소농들에게 풍성한 수확과 망친 시즌 사이의 차이는 종종 단 하나의 결정, 즉 언제 심고, 언제 물을 주고, 언제 수확할 것인가에 달려 있습니다. 이러한 선택은 날씨가 다음에 어떻게 변할지를 아는 것에 크게 의존합니다. 수십 년 동안 더 나은 기상 예보의 약속은 예보를 생성하는 데 드는 막대한 비용과 복잡성으로 인해 지체되어 왔습니다. 전통적인 기상 예측에는 거대한 슈퍼컴퓨터와 전문가 팀이 필요하며, 이는 특정 지역이나 개별 농장에 맞춤화된 예보를 제작하는 것을 어렵게 만듭니다. 그러나 새로운 인공지능의 물결이 지형을 바꾸어 놓았습니다. 이제 이러한 AI 모델들은 훨씬 적은 계산 능력으로도 고품질의 기상 예측을 생성할 수 있어, 스타트업, 연구자, 지역 기관들이 농업적 필요에 특화된 예보를 만들 수 있는 길을 열어주었습니다.

이러한 기술적 변화는 새로운 과제를 가져왔습니다. 진입 장벽이 낮아졌기 때문에 시장은 갑자기 다양한 품질의 예보 제품들로 넘쳐나게 되었습니다. 이 중 일부는 진정으로 정확하지만, 다른 것들은 결함이 있거나, 오해의 소지가 있거나, 혹은 농민의 생계에 맡기기에는 너무 신뢰할 수 없는 것들입니다. 위험한 점은 좋은 것과 나쁜 것을 구별할 방법이 없다면, 농민들과 그들에게 자금을 지원하는 조직들이 저렴하지만 부정확한 예보에 의존하게 될 수도 있다는 것입니다. 만약 농민이 잘못된 예보를 바탕으로 값비싼 실수를 저지른다면, 그들은 기상 정보에 대한 믿음을 완전히 잃게 되어 시스템 전체가 붕괴될 수 있습니다. 핵심 질문은 더 이상 단순히 더 나은 예보를 만드는 것이 아니라, 품질을 증명하고 신뢰할 수 있는 체계를 만드는 것입니다.

전 세계 대학과 기관의 연구진들은 이 문제를 해결하기 위해 연구진이 제안한 해결책, 즉 농민에게 도달하기 전 기상 예보를 평가하기 위한 명확한 규칙과 표준 세트를 제안했습니다. 최근 발표된 논문에서 그들은 현재의 표준 부재가 저품질의 예보가 고품질의 예보를 몰아내는 '하향 평준화(race to the bottom)'의 위험을 초래한다고 주장합니다. 이를 방기하기 위해, 그들은 예보자들이 엄격하고 투명한 테스트를 통해 자신의 정확성을 입증하도록 경쟁하는 '상향 평준화(race to the top)'를 제안합니다. 연구진은 새로운 예측 모델을 발명했다고 주장하는 것이 아니라, 검증을 위한 프레임워크를 구축한 것입니다. 그들은 농업용으로 사용되는 모든 예보가 신뢰할 수 있다고 간주되기 위해 통과해야 하는 원칙들의 체크리스트를 제시합니다.

첫 번째이자 가장 중요한 원칙은 투명성입니다. 연구진은 정확하다는 주장은 그 정확성을 증명하는 방법이 누구에게나 공개되지 않는 한 의미가 없다고 주장합니다. 어떤 회사가 자신들의 예보가 평균보다 낫다고 말한다면, 그들은 그 개선 사항을 어떻게 측정했는지 정확히 보여주어야 합니다. 여기에는 독립적인 전문가들이 오류를 확인할 수 있도록 테스트에 사용된 코드와 데이터를 공유하는 것이 포함됩니다. 논문은 모델이 서류상으로는 좋아 보일 수 있지만 실제로는 실패할 수 있는 흔한 함정을 강조합니다. 예를 들어, 어떤 모델이 매우 취약한 기준점(baseline)을 대상으로 테스트를 받으면, 실제로는 표준적이고 자유롭게 이용 가능한 예보들보다 더 나쁜 상태임에도 불구하고 우수해 보일 수 있습니다. 제안된 규칙은 새로운 예보가 오픈 소스 모델과 과거 기상 패턴을 포함한 기존의 최선 옵션들과 비교되어야 함을 요구하며, 이를 통해 진정한 개선이 이루어졌는지 확인하도록 합니다.

또 다른 주요 초점은 '표본 외(out-of-sample)' 숙련도라는 개념입니다. 간단히 말해, 이것은 모델을 이전에 본 적이 없는 기상 데이터로 테스트하는 것을 의미합니다. 연구진은 많은 AI 모델이 방대한 양의 역사적 데이터로 학습되며, 만약 이들이 학습한 데이터로 테스트를 받는다면 미래를 예측하는 것이 아니라 단순히 과거를 암기하는 것에 불과할 수 있다고 경고합니다. 이는 과적합(overfitting)의 한 형태입니다. 이를 피하기 위해, 제안된 표준은 예보자들이 훈련 데이터와 테스트 데이터를 명확히 분리할 것을 요구합니다. 그들은 또한 특정 연도의 성능을 높이기 위해 모델을 미세 조정하는 것과 같이 테스트 단계에서 내린 결정에 대해 정직해야 합니다. 만약 모델이 테스트 결과에 따라 조정되었다면, 그 결과는 더 이상 미지의 것을 예측하는 능력을 측정하는 공정한 척도가 될 수 없습니다.

논문은 또한 예보가 농민이 내려야 하는 실제 결정과 관련이 있어야 한다는 점을 강조합니다 한 달 동안의 총 강수량을 예측하는 데는 탁월할 수 있지만, 농민이 작물을 수확하기 위해 특정 날에 비가 올지 알아야 한다면 그 기술은 무용지물입니다. 연구진은 많은 예보가 농민들이 던지는 구체적인 질문에 맞춰 테스트되지 않기 때문에 실패한다고 지적합니다. 그들은 예보자들이 자신의 제품이 씨앗을 심을 시기를 선택하는 것과 같은 구체적인 결정을 내리는 데 어떻게 도움이 되는지를 입증해야 한다고 제안합니다. 나아가, 예보에 사용되는 언어는 농민이 이해할 수 있어야 합니다. "강수 확률 90%"와 같은 통계치는 폭우에 대한 보장으로 오해받아 농민이 불필요한 대비를 하게 만들 수 있습니다. 제안된 표준은 예보자들이 메시지가 명확하고 실행 가능한지 확인하기 위해 실제 사용자들을 대상으로 메시지를 테스트할 것을 권고합니다.

연구진은 두 가지 경고 사례를 통해 그 중요성을 설명합니다. 한 시나리오에서, 정부는 표준 지표에서 높은 점수를 받은 선도적인 글로벌 모델의 예보를 배포합니다. 그러나 이 모델에는 숨겨진 결함이 있습니다. 즉, 비가 오지 않는 날에 자주 가벼운 비를 예측한다는 것입니다. 이것이 전체적인 점수를 망치지는 않지만, 농민들이 수확을 위한 좁은 기회를 놓치게 만들어 작물 손실을 초래합니다. 또 다른 사례에서는, 한 단체가 지난 세 번의 주요 홍수 날짜를 맞춘 것을 보여줌으로써 홍수를 예측할 수 있다고 주장합니다. 한 기관이 이 시스템에 수백만 달러를 투자했지만, 나중에 그 단체가 홍수가 발생할 것이라고 예측했으나 발생하지 않았던 모든 경우를 무시했다는 사실을 발견하게 됩니다. 그 모델은 "지난 세 번의 홍수 중 10번을 예측했다"라고 말했는데, 이는 높은 실패율을 숨기기 위한 전형적인 데이터 선택 편향(cherry-picking) 사례입니다. 이러한 예시들은 단순한 성공의 주장이 충분하지 않은 이유를 보여줍니다. 성과의 전체 모습이 가시적이어야 합니다.

이러한 문제들을 해결하기 위해, 저자들은 인증 프로세스를 제안합니다. 그들은 연구자, 기상 기관, 그리고 비영리 단체들이 모여 예보자들이 따라야 할 일련의 원칙에 합의하는 그룹을 구상합니다. 이 그룹은 새로운 팀들에게 이러한 표준을 교육하고, 원칙이 준수되었음을 인증하며, 과학이 발전함에 따라 규칙을 업데이트하는 방법에 대한 합의를 구축할 것입니다. 목표는 자금 지원자와 정부가 신뢰할 수 있는 신뢰할 수 있는 승인 인장을 만드는 것입니다. 만약 어떤 예보가 이 인증을 받았다면, 그것은 엄격한 체크리스트를 통과했음을 의미합니다. 즉, 방법론이 투명하고, 비교가 공정하며, 데이터가 진정으로 새로운 것이며, 메시지가 농민에게 유용하다는 것입니다.

논문은 이것이 최종적인 해결책이 아니라 시작점임을 인정합니다. 기상 예측의 과학, 특히 인공지능의 부상과 함께 기상 예측의 과학은 빠르게 진화하고 있으며, 새로운 도전 과제가 발생함에 따라 규칙도 업데이트되어야 합니다. 그러나 저자들은 이러한 기초적인 표준을 확립하는 것이 시장이 신뢰할 수 없는 제품들로 넘쳐나는 것을 방 prevent하는 데 필수적이라고 믿습니다. 품질이 검증되고 투명한 체계를 구축함으로써, 그들은 예보자와 그들에게 의존하는 농민들 사이의 신뢰를 쌓기를 희망합니다. 만약 성공한다면, 이 접근 방식은 고품질의 예보가 수억 명의 사람들에게 도달하게 하여, 그들이 더 나은 결정을 내리고 예측 불가능한 날씨로부터 생계를 보호할 수 있도록 도울 수 있을 것입니다. 앞으로의 길은 단지 더 나은 기술에 관한 것이 아니라, 더 나은 신뢰에 관한 것입니다.