Kalimati Vegetable Price Index Forecasting with a Momentum Corrected Online Stacking Ensemble

Resumen Técnico: Pronóstico del Índice de Precios de Vegetales de Kalimati con un Ensamble de Apilamiento en Línea Corregido por Momento

Planteamiento del Problema
El pronóstico de los precios de los productos agrícolas en economías emergentes como Nepal se ve obstaculizado por la alta volatilidad, la fragilidad de la cadena de suministro, la dependencia del monzón y los aumentos de demanda impulsados culturalmente (por ejemplo, festivales). La literatura existente a menudo se centra en productos individuales, un enfoque "atomista" que es vulnerable a choques específicos de cada producto, escasez de datos y ruido idiosincrásico, lo que limita la generalización del modelo. Además, los paradigmas de modelado estándar enfrentan desafíos distintos en este contexto: los modelos estadísticos clásicos (por ejemplo, ARIMA) luchan con las interacciones no lineales y los factores exógenos de alta dimensión, mientras que los modelos de aprendizaje profundo de vanguardia (por ejemplo, Transformers) a menudo sufren de sobreajuste y una pobre generalización en las series temporales de tamaño moderado y ruidosas típicas de los mercados en desarrollo. Ningún paradigma único ha demostrado ser suficiente para un pronóstico robusto y de múltiples horizontes en estos entornos volátiles.

Metodología
El estudio propone un marco integral centrado en un nuevo índice a nivel macro y una estrategia de aprendizaje de ensamble adaptativa.

1. Construcción de Datos (KVPI):

   • Fuente: Registros diarios de precios al por mayor del Mercado de Frutas y Verduras de Kalimati (Katmandú) que cubren desde junio de 2013 hasta septiembre de 2023 (280,939 registros, 136 productos).
   • Creación del Índice: Para mitigar el ruido, los autores construyeron el Índice de Precios de Vegetales de Kalimati (KVPI). Este es un índice compuesto ponderado por la inversa de la volatilidad que agrega 135 productos (aquellos con >365 días de datos).
   • Ponderación: Los productos se ponderan inversamente a su coeficiente de variación ($CV_c$) para reducir la influencia de los artículos erráticos. El índice abarca 3,757 días con un rango de [90.1, 219.9].
   • Preprocesamiento: La limpieza rigurosa incluyó el recorte de valores atípicos (winsorización) basado en los límites del rango intercuartílico (IQR) del conjunto de entrenamiento, la imputación de valores faltantes (relleno hacia adelante e interpolación bidireccional) y una separación estrica de los conjuntos de entrenamiento (2013–2022) y prueba (2022–2023) para evitar la fuga de datos (data leakage).

2. Ingeniería de Características:

   • Se diseñó una matriz de alta dimensión de 64 predictores causalmente válidos.
   • Componentes: Lags autorregresivos (1–30 días), estadísticas móviles (media, desviación estándar, mínimo, máximo, mediana), medias móviles ponderadas exponencialmente, diferenciación, características de calendario (incluyendo indicadores de fines de semana específicos de Nepal) y variables dummy de festivales con ventanas de adelanto y retraso para eventos principales (Dashain, Tihar, etc.).
   • Restricción: Todas las características se desplazaron un día hacia atrás para eliminar estrictamente el sesgo de anticipación (look-ahead bias). Se excluyeron los suavizadores globales no causales.

3. Modelado y Evaluación:

   • Benchmarks: Se evaluaron 14 arquitecturas a través de cuatro horizontes ($h \in \{7, 14, 30, 90\}$ días): bases ingenuas (Naïve), modelos estadísticos (Auto-ARIMA, SARIMA), ensambles basados en árboles (Random Forest, ExtraTrees, HistGB, XGBoost), aprendizaje profundo (LSTM, GRU), modelos híbridos (ARIMA-LSTM, ARIMA-HistGB) y Transformers de vanguardia (PatchTST, NBEATSx).
   • Solución Propuesta: Un Ensamble de Apilamiento en Línea Corregido por Momento.
     • Mecanismo: Este meta-aprendiz utiliza un mecanismo causal en línea. En cada paso $t$, calcula una derivada de residuo rodante (pendiente de los errores de pronóstico recientes) sobre una ventana $w$.
     • Corrección: Si se detecta un sesgo sistemático ($\beta > 0$), se aplica una penalización de momento a la predicción de la mezcla base.
     • Optimización: Una búsqueda combinatoria identificó una mezcla óptima de ExtraTrees (para la captura de volatilidad de alta frecuencia) y GRU (para el reconocimiento de tendencias), con una ponderación dinámica que efectivamente anuló los modelos extraños.

Resultados Clave
El Ensamble de Apilamiento en Línea Corregido por Momento demostró un desempeño superior en todos los horizontes, particularmente en el largo plazo.

• Horizonte de Largo Plazo (90 días):
  • RMSE: 1.771 (el más bajo entre todos los modelos).
  • MAPE: 0.684%.
  • $R^2$: 0.845 (explicando el 84.5% de la varianza).
  • Comparación: Superó significativamente al mejor modelo individual, XGBoost ($R^2 = 0.824$), y excedió ampliamente a los baselines estadísticos y a los Transformers, que a menudo produjeron valores de $R^2$ negativos en este horizonte (por ejemplo, NBEATSx $R^2 = -21.371$).
• Corto y Medio Plazo: El ensamble mantuvo el RMSE más bajo en $h=7$ (2.330), $h=14$ (2.237) y $h=30$ (1.828).
• Jerarquía de Modelos:
  • Los ensambles basados en árboles demostraron ser los competidores individuales más robustos.
  • Aprendizaje Profundo (LSTM/GRU): Con un ajuste de hiperparámetros riguroso (100 ensayos) y acceso total a las características, estos modelos lograron resultados competitivos ($R^2 \approx 0.77$), desafiando la noción de que requieren estrictamente conjuntos de datos masivos.
  • Transformers (PatchTST, NBEATSx): Tuvieron dificultades con los datos ruidosos y culturalmente impulsados, exhibiendo una degradación severa del desempeño.
  • Modelos Estadísticos: Mostraron una degradación severa en horizontes más largos debido a las suposiciones de linealidad.

Significancia y Reivindicaciones
El artículo afirma que el Ensamble de Apilamiento en Línea Corregido por Momento ofrece una herramienta práctica y confiable para anticipar los movimientos de precios en mercados emergentes volátiles. Su principal significancia radica en:

1. Estabilidad: Al agregar 135 productos en el KVPI, el estudio crea una señal macroestable que reduce el ruido inherente al modelado de productos individuales.
2. Adaptabilidad: El mecanismo de corrección de momento ajusta dinámicamente para el sesgo sistemático durante las rupturas estructurales y los choques de demanda cultural (por ejemplo, picos de festivales), abordando el comportamiento de "retraso" común en los ensambles estáticos.
3. Perspectiva Metodológica: El estudio demuestra que, para series temporales económicas de tamaño moderado y ruidosas, un ensamble cuidadosamente ajustado de modelos basados en árboles y recurrentes supera a las arquitecturas de Transformers complejas y pesadas en parámetros, así como a los métodos estadísticos clásicos.
4. Utilidad para Políticas: El pipeline de código abierto proporciona a los responsables de políticas y actores de la cadena de suministro en Nepal y mercados similares una base reproducible para mejorar la transparencia del mercado, apoyar la toma de decisiones basada en evidencia y fortalecer la seguridad alimentaria.

Los autores señalan limitaciones, incluyendo la dependencia de las estructuras de precios históricas sin impulsores exógenos explícitos como el clima o los costos de combustible, y la necesidad de ventanas de validación más largas a través de diversos regímenes económicos. Sin embargo, el marco se presenta como una base robusta para futuras extensiones.