Comparative Analysis of Exponential Smoothing and ARIMA Models for Forecasting Major Agricultural Crops in Bangladesh

내년에 나무에서 사과가 몇 개나 떨어질지 추측하려고 한다고 상상해 보세요. 그냥 짐작할 수도 있겠지만, 작년, 재작년, 그리고 그 전해에 몇 개가 떨어졌는지 살펴볼 수도 있습니다. 이것이 **시계열 예측(time series forecasting)**의 핵심입니다. 즉, 과거의 숫자들을 이용해 미래를 예측하는 것이죠. 과학의 세계에서 이것은 데이터의 탐정이 되어, 단서의 흔적 속에 숨겨진 패턴을 찾는 것과 같습니다. 때때로 그 흔적은 위로 향하는 직선(추세)이기도 하고, 때로는 심장 박동처럼 위아래로 꿈틀거리기도 하며(계절성), 때로는 그저 엉망진창인 낙서 같기도 합니다. 이러한 낙서들을 이해하기 위해 과학자들은 수학적인 "수정구슬"을 사용합니다. 가장 대중적인 두 가지는 **지수 평활법(Exponential Smoothing)**인데, 이는 먼 과거는 잊어버리는 대신 가장 최근의 소식에 더 많은 비중을 두는 방식입니다. 그리고 ARIMA가 있는데, 이는 오늘의 숫자와 어제의 숫자가 맺고 있는 깊고 리드미컬한 연결 고리를 이해하려고 노력하는 더 복잡한 기계입니다. 이것이 왜 중요할까요? 농부나 정부 지도자의 입장에서, 내년에 국민을 먹여 살릴 충분한 식량이 있을지 아는 것은 단순한 수학 문제가 아니라, 배를 채울 수 있느냐 비우느냐의 차이이기 때문입니다.

이제 방글라데시에서 일어나고 있는 구체적인 탐정 이야기에 집중해 봅시다. 두 명의 연구자, 마힘 엠디. 문타시르 프라마닉(Mahim Md. Muntashil Pramanik)과 모하메드 샤헤드 마수드(Dr. Mohammad Shahed Masud) 박사는 네 가지 주요 작물인 쌀, 옥수수, 감자, 밀의 수확량을 예측하는 데 어떤 도구가 가장 좋은지 알아보기 위해 세 가지 서로 다른 예측 도구를 테스트하기로 했습니다. 그들은 단순히 추측한 것이 아니라, 쌀의 경우 1961년까지 거슬러 올라가는 긴 역사적 데이터부터 옥수수의 경우 2000년까지의 비교적 최근 데이터까지 활용하여 데이터를 두 그룹으로 나누었습니다. 한 그룹은 모델이 학습하는 방법을 배우는 데 사용되는 "훈련 세트(training set)"였고, 다른 한 그룹은 모델이 실제로 얼마나 잘 수행하는지 확인하는 기말고사와 같은 역할을 하는 "검증 세트(validation set)"였습니다.

연구진은 세 가지 특정 방법을 테스트했습니다. 첫째, **단순 지수 평활법(SES)**은 데이터의 굴곡을 매끄럽게 다듬는 직관적인 접근 방식입니다. 둘째, **홀트의 선형 방법(Holt's Linear Method)**은 SES에 초능력을 더한 것으로, 숫자가 시간이 지남에 따라 전반적으로 상승하는지 혹은 하락하는지(추세)를 포착할 수 있습니다. 마지막으로 ARIMA는 과거의 오차와 과거의 값이 미래에 어떻게 영향을 미치는지 파악함으로써 복잡한 패턴을 포착하려는 정교한 모델입니다. 승자를 결정하기 위해, 그들은 단순히 누가 가장 근접하게 맞혔는지만 본 것이 아니라, 평균 제곱근 오차(RMSE), 평균 절대 오차(MAE), 평균 절대 백분율 오차(MAPE), 그리고 **테일의 U 통계량(Theil's U statistic)**이라는 엄격한 점수판을 사용했습니다. 이것들은 예측이 얼마나 빗나갔는지를 측정하는 서로 다른 방식이며, 점수가 낮을수록 더 나은 예측을 의미합니다.

이 농업 경연 대회의 결과는 명확했지만, 모든 작물에 대해 동일하지는 않았습니다. 쌀, 옥수수, 감자라는 세 가지 작물의 경우 홀트의 선형 방법이 챔피언으로 떠올랐습니다. 이 작물들의 경우, 최선의 전략은 최근의 이력을 살펴보고 전반적인 상승 추세를 파악하며, 너무 복잡하게 만들지 않으면서 노이즈를 매끄럽게 다듬는 것이라는 사실이 밝혀졌습니다. 연구진은 "평활 매개변수(smoothing parameters)"를 적절하게 조정함으로써 홀트의 방법이 일관되게 가장 낮은 오차율을 기록한다는 것을 발견했습니다. 그러나 밀은 이 집단의 반항아였습니다. 밀의 경우, 더 단순한 방법으로는 그 패턴을 잡아낼 수 없었습니다. 대신, ARIMA(0,3,2) 모델이 왕좌를 차지했습니다. 데이터를 안정적으로 만들기 위해 데이터를 조정하는 특정한 방식을 포함하는 이 특정 버전의 ARIMA만이 밀 생산량을 정확하게 예측할 수 있었습니다.

이러한 조사 결과를 바탕으로 저자들은 2022년부터 2031년까지의 10년 치 예측치를 생성했습니다. 그들은 방글라데시의 정책 입안자와 농부들에게 주는 핵심 교훈은 단 하나의 모델이 모든 것에 완벽하다는 것이 아니라고 제안합니다. 대신, "최선의" 도구는 당신이 재배하는 작물에 따라 완전히 달라집니다. 만약 쌀, 옥수수, 또는 감자를 계획하고 있다면, 추세 중심의 홀트 방법이 가장 좋은 친구가 될 것입니다. 하지만 밀을 다루고 있다면, 더 복적인 ARIMA 기계를 사용해야 합니다. 이 연구는 미래의 미스터리를 영원히 해결했다고 주장하는 것이 아니라, 이해관계자들이 식량 안보를 지키고 자원을 잘 계획하여 더 현명한 결정을 내릴 수 있도록 돕는 신뢰할 수 있는 지도를 제공하는 것입니다.