Kalimati Vegetable Price Index Forecasting with a Momentum Corrected Online Stacking Ensemble

Technische Samenvatting: Voorspelling van de Kalimati Groente Prijsindex met een Momentum-gecorrigeerd Online Stacking Ensemble

Probleemstelling
Het voorspellen van prijzen van landbouwproducten in opkomende economieën zoals Nepal wordt bemoeilijkt door hoge volatiliteit, kwetsbaarheid van de toeleveringsketen, afhankelijkheid van de moesson en cultureel gedreven vraagpieken (bijv. festivals). Bestaande literatuur richt zich vaak op individuele producten, een "atomistische" benadering die kwetsbaar is voor productspecifieke schokken, dataschaarste en idiosyncratische ruis, wat de generaliseerbaarheid van modellen beperkt. Bovendien worden standaard modelleringsparadigma's geconfronteerd met duidelijke uitdagingen in deze context: klassieke statistische modellen (bijv. ARIMA) worstelen met niet-lineaire interacties en hoogdimensionele exogene factoren, terwijl state-of-the-art deep learning-modellen (bijv. Transformers) vaak lijden onder overfitting en een gebrekkige generalisatie op de matig omvangrijke, ruisgevoelige tijdreeksen die typerend zijn voor ontwikkelende markten. Geen enkel paradigma is tot nu toe voldoende gebleken voor robuuste, multi-horizon voorspellingen in deze volatiele omgevingen.

Methodologie
De studie stelt een uitgebreid kader voor dat gecentreerd is rond een nieuwe macro-niveau index en een adaptieve ensemble learning-strategie.

1. Dataconstructie (KVPI):

   • Bron: Dagelijkse groothandelsprijzen van de Kalimati Fruits and Vegetables Market (Kathmandu) van juni 2013 tot september 2023 (280.939 records, 136 producten).
   • Indexcreatie: Om ruis te verminderen, hebben de auteurs de Kalimati Vegetable Price Index (KVPI) geconstrueerd. Dit is een inverse-volatiliteitsgewogenel composietindex die 135 producten aggregeert (producten met >365 dagen aan data).
   • Weging: Producten worden gewogen als invers van de variatiecoëfficiënt ($CV_c$) om de invloed van grillige artikelen te verminderen. De index beslaat 3.757 dagen met een bereik van [90,1, 219,9].
   • Preprocessing: Grondige opschoning omvatte outlier capping (winsorisatie) op basis van training-set IQR-grenzen, imputatie van ontbrekende waarden (forward-fill en bidirectionele interpolatie), en een strikte scheiding tussen trainings- (2013–2022) en testsets (2022–2023) om datalekken te voorkomen.

2. Feature Engineering:

   • Een hoogdimensionele matrix van 64 causaal geldige voorspellers is ontwikkeld.
   • Componenten: Autoregressieve lags (1–30 dagen), rollende statistieken (gemiddelde, standaarddeviatie, min, max, mediaan), exponentieel gewogen voortschrijdende gemiddelden, differentiatie, kalenderkenmerken (inclusief Nepal-specifieke weekendindicatoren) en festival dummy-variabelen met lead/lag vensters voor belangrijke evenementen (Dashain, Tihar, etc.).
   • Restrictie: Alle features zijn één dag teruggeschoven om look-ahead bias strikt te elimineren. Niet-causale globale smoothers werden uitgesloten.

3. Modellering en Evaluatie:

   • Benchmarks: 14 architecturen werden geëvalueerd over vier horizonten ($h \in \{7, 14, 30, 90\}$ dagen): Naïeve baselines, Statistische modellen (Auto-ARIMA, SARIMA), Tree-gebaseerde ensembles (Random Forest, ExtraTrees, HistGB, XGBoost), Deep Learning (LSTM, GRU), Hybride modellen (ARIMA-LSTM, ARIMA-HistGB), en State-of-the-Art Transformers (PatchTST, NBEATSx).
   • Voorgestelde Oplossing: Een Momentum-gecorrigeerd Online Stacking Ensemble.
     • Mechanisme: Deze meta-learner gebruikt een causaal online mechanisme. Op elk tijdstip $t$ wordt een rollende residu-afgeleide (helling van recente voorspellingsfouten) berekend over een venster $w$.
     • Correctie: Als een systematische bias wordt gedetecteerd ($\beta > 0$), wordt een momentum-straf toegepast op de basis-blend voorspelling.
     • Optimalisatie: Een combinatorische zoektocht identificeerde een optimale blend van ExtraTrees (voor het opvangen van hoogfrequente volatiliteit) en GRU (voor trendherkenning), met dynamische weging die overbodige modellen effectief uitschakelde.

Belangrijkste Resultaten
Het voorgestelde Momentum-gecorrigeerde Online Stacking Ensemble vertoonde superieure prestaties over alle horizonten, met name op de lange termijn.

• Lange-termijn horizon (90 dagen):
  • RMSE: 1,771 (laagst van alle modellen).
  • MAPE: 0,684%.
  • $R^2$: 0,845 (verklaart 84,5% van de variantie).
  • Vergelijking: Het presteerde aanzienlijk beter dan het beste individuele model, XGBoost ($R^2 = 0,824$), en overtrof de statistische baselines en Transformers ruimschoots, die vaak negatieve $R^2$-waarden produceerden bij deze horizon (bijv. NBEATSx $R^2 = -21,371$).
• Korte- tot middellange termijn: Het ensemble behield de laagste RMSE bij $h=7$ (2,330), $h=14$ (2,237) en $h=30$ (1,828).
• Modelhiërarchie:
  • Tree-gebaseerde ensembles bleken de meest robuuste individuele concurrenten te zijn.
  • Deep Learning (LSTM/GRU): Met rigoureuze hyperparameter-tuning (100 proeven) en volledige toegang tot features, bereikten deze modellen concurrerende resultaten ($R^2 \approx 0,77$), wat de opvatting uitdaagt dat zij strikt massieve datasets vereisen.
  • Transformers (PatchTST, NBEATSx): Kampten met de ruisgevoelige, cultureel gedreven data en vertoonden ernstige prestatieverslechtering.
  • Statistische Modellen: Toonden ernstige degradatie over langere horizonten door lineariteitsveronderstellingen.

Betekenis en Claims
Het artikel claimt dat het Momentum-gecorrigeerd Online Stacking Ensemble een praktisch, betrouwbaar instrument biedt voor het anticiperen op prijsbewegingen in volatiele opkomende markten. De primaire betekenis ligt in:

1. Stabiliteit: Door 135 producten te aggregeren in de KVPI, creëert de studie een stabiel macro-niveau signaal dat de ruis die inherent is aan de modellering van individuele gewassen vermindert.
2. Adaptiviteit: Het momentum-correctiemechanisme past zich dynamisch aan voor systematische bias tijdens structurele breuken en culturele vraagschokken (bijv. festivalpieken), waarmee het "achterlopende" gedrag van statische ensembles aanpakt.
3. Methodologische Inzicht: De studie demonstreert dat voor matig grote, ruisgevoelige economische tijdreeksen een zorgvuldig afgestemd ensemble van tree-gebaseerde en recurrente modellen beter presteert dan complexe, parameter-zware Transformer-architecturen en klassieke statistische methoden.
4. Beleidsnut: De open-source pipeline biedt beleidsmakers en actoren in de toeleveringsketen in Nepal en soortgelijke markten een reproduceerbare basis om de markttransparantie te vergroten, besluitvorming op basis van bewijs te ondersteunen en voedselzekerheid te versterken.

De auteurs merken beperkingen op, waaronder de afhankelijkheid van historische prijsstructuren zonder expliciete exogene drijfveren zoals weer of brandstofkosten, en de noodzaak van langere validatievensters over diverse economische regimes. Het framework wordt echter gepresenteerd als een robuust fundament voor toekomstige uitbreidingen.