Kalimati Vegetable Price Index Forecasting with a Momentum Corrected Online Stacking Ensemble

기술 요약: 모멘텀 보정 온라인 스태킹 앙상블을 이용한 칼리마티 채소 가격 지수 예측

문제 정의
네팔과 같은 신흥 경제국에서 농산물 가격을 예측하는 것은 높은 변동성, 공급망의 취약성, 몬순 의존성, 그리고 문화적으로 유발되는 수요 급증(예: 축제)으로 인해 어려움을 겪는다. 기존 문헌은 종종 개별 품목에 집중하는 "원자론적(atomistic)" 접근 방식을 취하는데, 이는 품목별 충격, 데이터 희소성 및 특이적 노이즈에 취약하여 모델의 일반화 능력을 제한한다. 또한, 표준적인 모델링 패러다임은 이러한 맥락에서 뚜렷한 과제에 직면한다. 고전적 통계 모델(예: ARIMA)은 비선형 상호작용과 고차원의 외생 변수를 처리하는 데 어려움을 겪으며, 최첨단 딥러닝 모델(예: Transformer)은 개발도상국 시장의 전형적인 특징인 중간 규모의 노이즈가 섞인 시계열 데이터에서 과적합(overfitting)과 일반화 성능 저하 문제를 겪는 경우가 많다. 아직 단일 패러다임이 이처럼 변동성이 큰 환경에서 견고한 다중 시계열 예측을 수행하기에 충분하다는 것이 입증되지 않았다.

방법론
본 연구는 새로운 거시적 지수와 적응형 앙상블 학습 전략을 중심으로 한 종합적인 프레임워크를 제안한다.

1. 데이터 구축 (KVPI):

   • 출처: 2013년 6월부터 2023년 9월까지의 카트만두 칼리마티 과일 및 채소 시장(Kalimati Fruits and Vegetables Market)의 일일 도매 가격 기록(280,939개 레코드, 136개 품목).
   • 지수 생성: 노이즈를 완화하기 위해, 저자들은 **칼리마티 채소 가격 지수(KVPI)**를 구축하였다. 이는 135개 품목(데이터가 365일 이상 존재하는 품목)을 집계한 역변동성 가중 합성 지수이다.
   • 가중치 설정: 변동성이 큰 품목의 영향을 줄이기 위해 변동계수($CV_c$)에 반비례하여 가중치를 부여하였다. 지수는 3,757일 동안 지속되며 범위는 [90.1, 219.9]이다.
   • 전처리: 엄격한 클리닝 과정에는 훈련 세트의 IQR 경계에 기반한 이상치 캡핑(winsorization), 결측치 대체(forward-fill 및 양방향 보간법), 그리고 데이터 누수(data leakage)를 방지하기 위한 엄격한 훈련(2013–2022) 및 테스트(2022–2023) 세트 분리가 포함되었다.

2. 특징 공학 (Feature Engineering):

   • 64개의 인과적으로 유효한 예측 변수로 구성된 고차원 행렬을 설계하였다.
   • 구성 요소: 자기회귀 시차(1~30일), 이동 평균(mean, std, min, max, median), 지수 가중 이동 평균, 차분, 달력 특징(네팔 특유의 주말 지표 포함), 그리고 주요 행사(Dashain, Tihar 등)에 대한 리드/래그 윈도우를 포함한 축제 더미 변수.
   • 제약 조건: 룩어헤드 편향(look-ahead bias)을 엄격히 제거하기 위해 모든 특징은 하루 전으로 시프트(shift)되었다. 비인과적 글로벌 스무더(global smoothers)는 제외되었다.

3. 모델링 및 평가:

   • 벤치마크: 4개의 예측 시계($h \in \{7, 14, 30, 90\}$일)에 대해 14개의 아키텍처를 평가하였다: Naïve 베이스라인, 통계 모델(Auto-ARIMA, SARIMA), 트리 기반 앙상블(Random Forest, ExtraTrees, HistGB, XGBoost), 딥러닝(LSTM, GRU), 하이브리드 모델(ARIMA-LSTM, ARIMA-HistGB), 그리고 최첨단 트랜스포머(PatchTST, NBEATSx).
   • 제안된 솔루션: 모멘텀 보정 온라인 스태킹 앙상블(Momentum-Corrected Online Stacking Ensemble).
     • 메커니즘: 이 메타 학습자는 인과적 온라인 메커니즘을 사용한다. 각 단계 $t$에서, 윈도우 $w$ 동안의 최근 예측 오차의 롤링 잔차 미분(기울기)을 계산한다.
     • 보정: 체계적인 편향($\beta > 0$)이 감지되면, 베이스 블렌드 예측에 모멘텀 페널티를 적용한다.
     • 최적화: 조합 탐색을 통해 고빈도 변동성 포착을 위한 ExtraTrees와 추세 인식을 위한 GRU의 최적 블렌드를 식별하였으며, 동적 가중치를 통해 불필요한 모델들을 효과적으로 배제하였다.

주요 결과
제안된 모멘텀 보정 온라인 스태킹 앙상블은 모든 예측 시계, 특히 장기 예측에서 탁월한 성능을 보였다.

• 장기 시계 (90일):
  • RMSE: 1.771 (모든 모델 중 최저).
  • MAPE: 0.684%.
  • $R^2$: 0.845 (분산의 84.5%를 설명).
  • 비교: 이는 최상의 개별 모델인 XGBoost($R^2 = 0.824$)를 유의미하게 능가하였으며, 음수의 $R^2$ 값을 보이는 경우가 많은 통계적 베이스라인 및 트랜스포머 모델들(예: NBEATSx $R^2 = -21.371$)을 크게 압도하였다.
• 단기 및 중기 시계: 앙상블은 $h=7$ (2.330), $h=14$ (2.237), $h=30$ (1.828)에서 가장 낮은 RMSE를 유지하였다.
• 모델 계층 구조:
  • 트리 기반 앙상블이 가장 강력한 개별 경쟁자로 입증되었다.
  • 딥러닝 (LSTM/GRU): 엄격한 하이퍼파라미터 튜닝(100회 실험)과 전체 특징 접근 권한을 가졌을 때, 이 모델들은 경쟁력 있는 결과($R^2 \approx 0.77$)를 달성하여, 반드시 방대한 데이터셋이 필요하다는 통념에 도전하였다.
  • 트랜스포머 (PatchTST, NBEATSx): 노이즈가 많고 문화적 요인이 반영된 데이터에서 어려움을 겪으며 심각한 성능 저하를 보였다.
  • 통계 모델: 선형성 가정으로 인해 장기 시계에서 심각한 성능 저하를 보였다.

의의 및 주장
본 논문은 모멘텀 보정 온라인 스태킹 앙상블이 변동성이 큰 신흥 시장의 가격 움직임을 예측하는 데 실용적이고 신뢰할 수 있는 도구를 제공한다고 주장한다. 본 연구의 주요 의의는 다음과 같다:

1. 안정성: 135개 품목을 KVPI로 통합함으로써, 개별 작물 모델링에 내재된 노이즈를 줄이는 안정적인 거시적 신호를 생성한다.
2. 적응성: 모멘텀 보정 메커니즘은 구조적 변화 및 문화적 수요 충격(예: 축제 급증) 동안 발생하는 체계적 편향을 동적으로 조정하여, 정적 앙상블에서 흔히 나타나는 "지연(lagging)" 현상을 해결한다.
3. 방법론적 통찰: 본 연구는 중간 규모의 노이즈가 섞인 경제 시계열의 경우, 정교하게 튜닝된 트리 기반 모델과 순환 모델의 앙상블이 복잡하고 파라미터가 많은 트랜스포머 아키텍처나 고전적 통계 방법보다 우수함을 입증한다.
4. 정책적 유용성: 오픈 소스 파이프라인은 네팔 및 유사한 시장의 정책 입안자와 공급망 참여자들에게 시장 투명성을 높이고, 증거 기반 의사결정을 지원하며, 식량 안보를 강화할 수 있는 재현 가능한 토대를 제공한다.

저자들은 기상 조건이나 연료비와 같은 명시적인 외생적 동인을 고려하지 않은 역사적 가격 구조에 대한 의존성, 그리고 다양한 경제 체제에 걸친 더 긴 검증 기간의 필요성 등 한계점을 언급하였다. 그러나 본 프레임워크는 향-확장 가능한 견고한 기초로 제시된다.