Kalimati Vegetable Price Index Forecasting with a Momentum Corrected Online Stacking Ensemble

Resumo Técnico: Previsão do Índice de Preços de Vegetais de Kalimati com um Ensemble de Stacking Online Corrigido por Momento

Definição do Problema
A previsão de preços de commodities agrícolas em economias emergentes como o Nepal é dificultada pela alta volatilidade, fragilidade da cadeia de suprimentos, dependência das monções e picos de demanda culturalmente impulsionados (ex: festivais). A literatura existente foca frequentemente em commodities individuais, uma abordagem "atomística" que é vulnerável a choques específicos de commodities, escassez de dados e ruído idiossincrático, limitando a generalização do modelo. Além disso, os paradigmas de modelagem padrão enfrentam desafios distintos neste contexto: modelos estatísticos clássicos (ex: ARIMA) têm dificuldade com interações não lineares e fatores exógenos de alta dimensão, enquanto modelos de aprendizado profundo de última geração (ex: Transformers) frequentemente sofrem de overfitting e baixa generalização em séries temporais de tamanho moderado e ruidosas, típicas de mercados em desenvolvimento. Nenhum paradigma único provou ser suficiente para uma previsão robusta de múltiplos horizontes nestes ambientes voláteis.

Metodologia
O estudo propõe uma estrutura abrangente centrada em um novo índice de nível macro e uma estratégia de aprendizado de ensemble adaptativa.

1. Construção de Dados (KVPI):

   • Fonte: Registros diários de preços no atacado do Mercado de Frutas e Vegetais de Kalimati (Kathmandu) cobrindo de junho de 2013 a setembro de 2023 (280.939 registros, 136 commodities).
   • Criação do Índice: Para mitigar o ruído, os autores construíram o Índice de Preços de Vegetais de Kalimati (KVPI). Este é um índice composto ponderado pela inversa da volatilidade, agregando 135 commodities (aquelas com >365 dias de dados).
   • Ponderação: As commodities são ponderadas inversamente ao seu coeficiente de variação ($CV_c$) para reduzir a influência de itens erráticos. O índice abrange 3.757 dias com uma amplitude de [90,1, 219,9].
   • Pré-processamento: A limpeza rigorosa incluiu o limite de outliers (winsorização) baseado nos limites de IQR do conjunto de treinamento, imputação de valores ausentes (preenchimento para frente e interpolação bidirecional) e separação estrita dos conjuntos de treinamento (2013–2022) e teste (2022–2023) para evitar vazamento de dados (data leakage).

2. Engenharia de Atributos (Feature Engineering):

   • Uma matriz de alta dimensão de 64 preditores causalmente válidos foi projetada.
   • Componentes: Lags autorregressivos (1–30 dias), estatísticas móveis (média, desvio padrão, mínimo, máximo, mediana), médias móveis exponencialmente ponderadas, diferenciação, recursos de calendário (incluindo indicadores de fins de semana específicos do Nepal) e variáveis dummy de festivais com janelas de lead/lag para grandes eventos (Dashain, Tihar, etc.).
   • Restrição: Todos os atributos foram deslocados um dia para trás para eliminar estritamente o viés de antecipação (look-ahead bias). Suavizadores globais não causais foram excluídos.

3. Modelagem e Avaliação:

   • Benchmarks: 14 arquiteturas foram avaliadas em quatro horizontes ($h \in \{7, 14, 30, 90\}$ dias): baselines Naïve, modelos estatísticos (Auto-ARIMA, SARIMA), ensembles baseados em árvores (Random Forest, ExtraTrees, HistGB, XGBoost), Aprendizado Profundo (LSTM, GRU), modelos híbridos (ARIMA-LSTM, ARIMA-HistGB) e Transformers de última geração (PatchTST, NBEATSx).
   • Solução Proposta: Um Ensemble de Stacking Online Corrigido por Momento.
     • Mecanismo: Este meta-aprendiz utiliza um mecanismo online causal. Em cada etapa $t$, ele calcula uma derivada de resíduo móvel (inclinação dos erros de previsão recentes) sobre uma janela $w$.
     • Correção: Se um viés sistemático é detectado ($\beta > 0$), uma penalidade de momento é aplicada à previsão do blend base.
     • Otimização: Uma busca combinatória identificou um blend ideal de ExtraTrees (para captura de volatilidade de alta frequência) e GRU (para reconhecimento de tendência), com ponderação dinâmica que efetivamente zerou modelos extrínsecos.

Resultados Principais
O Ensemble de Stacking Online Corrigido por Momento proposto demonstrou desempenho superior em todos os horizontes, particularmente no longo prazo.

• Horizonte de Longo Prazo (90 dias):
  • RMSE: 1,771 (o mais baixo entre todos os modelos).
  • MAPE: 0,684%.
  • $R^2$: 0,845 (explicando 84,5% da variância).
  • Comparação: Superou significativamente o melhor modelo individual, XGBoost ($R^2 = 0,824$), e excedeu vastamente os baselines estatísticos e os Transformers, que frequentemente produziram valores de $R^2$ negativos neste horizonte (ex: NBEATSx $R^2 = -21,371$).
• Curto a Médio Prazo: O ensemble manteve o menor RMSE em $h=7$ (2,330), $h=14$ (2,237) e $h=30$ (1,828).
• Hierarquia de Modelos:
  • Ensembles baseados em árvores provaram ser os competidores individuais mais robustos.
    • Aprendizado Profundo (LSTM/GRU): Com ajuste rigoroso de hiperparâmetros (100 tentativas) e acesso total aos atributos, estes modelos alcançaram resultados competitivos ($R^2 \approx 0,77$), desafiando a noção de que exigem estritamente conjuntos de dados massivos.
  • Transformers (PatchTST, NBEATSx): Tiveram dificuldades com os dados ruidosos e culturalmente impulsionados, exibindo uma severa degradação de desempenho.
  • Modelos Estatísticos: Mostraram severa degradação em horizontes mais longos devido às suposições de linearidade.

Significância e Alegações
O artigo afirma que o Ensemble de Stacking Online Corrigido por Momento oferece uma ferramenta prática e confiável para antecipar movimentos de preços em mercados emergentes voláteis. Sua principal significância reside na:

1. Estabilidade: Ao agregar 135 commodities no KVPI, o estudo cria um sinal macro de nível estável que reduz o ruído inerente à modelagem de culturas individuais.
2. Adaptabilidade: O mecanismo de correção de momento ajusta dinamicamente para vieses sistemáticos durante quebras estruturais e choques de demanda cultural (ex: picos de festivais), abordando o comportamento de "atraso" comum em ensembles estáticos.
3. Insight Metodológico: O estudo demonstra que, para séries temporais econômicas de tamanho moderado e ruidosas, um ensemble cuidadosamente ajustado de modelos de árvores e recorrentes supera arquiteturas de Transformers complexas e pesadas em parâmetros e métodos estatísticos clássicos.
4. Utilidade Política: O pipeline de código aberto fornece aos formuladores de políticas e atores da cadeia de suprimentos no Nepal e em mercados similares uma base reproduzível para aumentar a transparência do mercado, apoiar decisões baseadas em evidências e fortalecer a segurança alimentar.

Os autores observam limitações, incluindo a dependência de estruturas de preços históricas sem drivers exógenos explícitos, como clima ou custos de combustível, e a necessidade de janelas de validação mais longas através de diversos regimes econômicos. No entanto, a estrutura é apresentada como uma base robusta para futuras extensões.