💰 quantitative finance

Kalimati Vegetable Price Index Forecasting with a Momentum Corrected Online Stacking Ensemble

Cette étude introduit l'Indice des prix des légumes de Kalimati (KVPI) et un modèle d'ensemble de type « Momentum-Corrected Online Stacking » qui parvient à des prévisions de prix à 90 jours hautement précises (MAPE de 0,68 %) pour les produits agricoles au Népal, offrant ainsi un outil robuste aux décideurs politiques pour renforcer la sécurité alimentaire face à la volatilité du marché.

Auteurs originaux : Sahaj Raj Malla

Publié 2026-06-01

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sahaj Raj Malla

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez de prédire la météo dans une région montagneuse et chaotique où le vent change de direction chaque heure et où des tempêtes soudaines surviennent à cause de festivals locaux. Maintenant, imaginez que vous essayiez de faire cela non pas pour la météo, mais pour le prix des légumes à Katmandou, au Népal. C'est exactement ce que cet article tente de résoudre.

Voici l'histoire de la recherche, décomposée en concepts simples et en analogies.

1. Le Problème : Le marché des légumes « bruyant »

Au Népal, le prix des légumes est incroyablement instable. Il grimpe et chute de manière sauvage en raison de :

Des pluies de mousson qui coupent les routes.
Des festivals (comme Dashain ou Tihar) où tout le monde veut soudainement acheter plus de nourriture.
Des accidents dans la chaîne d'approvisionnement.

Essayer de prédire le prix d'un seul légume (comme la tomate) revient à essayer d'entendre une seule personne chuchoter dans un stade bondé et hurlant. Le signal est trop bruyant. Les données sont désordonnées, il manque des morceaux et elles sont pleines de « statique ».

2. La Solution : Créer une « carte météorologique » (le KVPI)

Au lieu d'écouter le chuchotement d'un seul légume, les chercheurs ont décidé d'écouter toute la foule. Ils ont créé un nouvel outil appelé l'Indice du Prix des Légumes de Kalimati (KVPI).

L'analogie : Imaginez que vous avez 135 légumes différents. Certains sont très volatils (comme les oignons dont le prix change quotidiennement) et d'autres sont stables (comme les pommes de terre). Les chercheurs ne se sont pas contentés de faire une moyenne. Ils ont construit une « moyenne intelligente ».
Comment ça marche : Ils ont donné moins de « volume » aux légumes qui crient le plus fort (haute volatilité) et plus de « volume » aux plus stables. Cela a créé un « signal macro » fluide et stable qui représente la santé globale du marché des légumes, filtrant le bruit individuel de chaque culture.

3. La Boîte à Outils : 64 indices (Caractéristiques)

Pour prédire l'avenir, les chercheurs ne se sont pas contentés de regarder les prix passés. Ils ont rassemblé 64 indices ou indices différents, en veillant à ne pas tricher en regardant le corrigé (un problème appelé « biais d'anticipation » ou look-ahead bias).

Les indices comprenaient :
- L'historique : Qu'est-ce qui s'est passé il y a 1 jour ? 7 jours ? 30 jours ?
- Statistiques mobiles : Quel était le prix moyen au cours de la dernière semaine ?
- Le calendrier des festivals : Ils ont spécifiquement marqué les dates des grands festivals népalais. Ils savaient que les prix augmentent souvent avant un festival (les gens font des stocks) et chutent après (la ruée est terminée).
- Le temps : Est-ce un samedi ? Est-ce un jour férié ?

4. Le Concours : 14 prévisionnistes différents

Les chercheurs ont organisé une compétition avec 14 « prévisionnistes » (modèles informatiques) pour voir qui pouvait prédire le mieux les prix des légumes. Ils les ont testés sur des prédictions à court terme (1 semaine), moyen terme (1 mois) et long terme (3 mois).

La Vieille Garde (Modèles statistiques) : C'étaient comme des comptables expérimentés utilisant des règles mathématiques simples (ARIMA). Ils étaient bons pour les tendances stables mais perdaient leurs moyens lorsque le marché devenait fou ou lors des festivals.
Les Apprentis Profonds (IA/Transformers) : C'étaient comme des robots super intelligents entraînés sur des ensembles de données massifs. Cependant, comme les données sur les légumes étaient « bruyantes » et non volumineuses, ces robots s'embrouillaient et commençaient à « halluciner » (surapprentissage ou overfitting), faisant des prédictions terribles.
Les Ensembles d'Arbres : C'étaient comme un comité de décideurs (XGBoost, Random Forest). Ils étaient très doués pour gérer les données désordonnées et les règles complexes.

5. Le Vainqueur : L'équipe « Corrigée par le Momentum »

Le champion n'était pas un modèle unique, mais une approche de travail d'équipe appelée l'Ensemble de Stacking en Ligne Corrigé par le Momentum.

Comment ça marche (L'analogie) : Imaginez une équipe de relais.
- Les coureurs : L'équipe combine les meilleurs modèles d'« Arbres » (bons pour repérer les pics soudains) et les meilleurs modèles « Récurrents » (bons pour repérer les tendances à long terme).
- L'entraîneur (Correction du Momentum) : C'est la recette secrète. Habituellement, les équipes de prédiction sont lentes à réagir lorsque le marché change soudainement de direction (comme un pic de prix soudain avant un festival).
- L'astuce : Cet entraîneur observe les erreurs commises par l'équipe au cours des derniers jours. Si l'équipe sous-estime systématiquement le prix (la pente de l'erreur est montante), l'entraîneur crie : « Ajoutez du momentum ! » et pousse la prédiction vers le haut avant le prochain pic. C'est comme un surfeur ajustant sa planche en fonction de la vitesse actuelle de la vague, et non en fonction de l'endroit où la vague se trouvait il y a une minute.

6. Les Résultats : Une victoire nette

Les résultats ont été impressionnants, surtout pour les prédictions à long terme (90 jours) :

Précision : Le modèle gagnant était incroyablement précis, avec un taux d'erreur de moins de 1 % (0,68 %).
Comparaison : Les modèles statistiques de la « Vieille Garde » et les robots sophistiqués du « Deep Learning » ont échoué lamentablement au seuil des 90 jours, prédisant souvent l'opposé de ce qui s'est réellement passé. L'équipe « Corrigée par le Momentum », quant à elle, a vu juste.
Pourquoi cela a fonctionné : Cela a combiné la capacité à gérer des données désordonnées (comme les modèles d'arbres) avec la capacité à s'adapter rapidement aux changements de tendances (la correction du momentum).

Résumé

Cet article affirme : « Si vous voulez prédire le prix des légumes dans un marché chaotique et dicté par les festivals comme celui du Népal, ne comptez pas sur des mathématiques simples ou sur une IA trop complexe. À la place, créez un indice stable de tous les légumes, nourrissez-le de nombreux indices culturels et temporels, et utilisez une équipe intelligente de modèles capables de "ressentir" le momentum du marché pour corriger leurs propres erreurs en temps réel. »

Les chercheurs ont rendu leur code et leurs données publics, afin que quiconque puisse utiliser cette « carte météorologique intelligente » pour aider les agriculteurs et les décideurs politiques au Népal à mieux planifier et éviter les pénuries alimentaires.

Résumé Technique : Prévision de l'indice des prix des légumes de Kalimati par un ensemble de stacking en ligne corrigé par le momentum

Énoncé du problème
La prévision des prix des produits agricoles dans les économies émergentes comme le Népal est entravée par une forte volatilité, la fragilité des chaînes d'approvisionnement, la dépendance à la mousson et les pics de demande dictés par la culture (ex. : les festivals). La littérature existante se concentre souvent sur des produits individuels, une approche « atomiste » qui est vulnérable aux chocs spécifiques à chaque produit, à la rareté des données et au bruit idiosyncrasique, limitant ainsi la généralisabilité des modèles. De plus, les paradigmes de modélisation standards font face à des défis distincts dans ce contexte : les modèles statistiques classiques (ex. : ARIMA) peinent avec les interactions non linéaires et les facteurs exogènes de haute dimension, tandis que les modèles d'apprentissage profond de pointe (ex. : Transformers) souffrent souvent de surapprentissage et d'une faible généralisation sur les séries temporelles de taille modérée et bruitées, typiques des marchés en développement. Aucun paradigme unique n'a encore prouvé sa suffisance pour une prévision robuste à multi-horizons dans ces environnements volatils.

Méthodologie
L'étude propose un cadre complet centré sur un nouvel indice de niveau macro et une stratégie d'apprentissage d'ensemble adaptative.

Construction des données (KVPI) :
- Source : Registres quotidiens des prix de gros du marché des fruits et légumes de Kalimati (Katmandou) couvrant la période de juin 2013 à septembre 2023 (280 939 enregistrements, 136 produits).
- Création de l'indice : Pour atténuer le bruit, les auteurs ont construit l'Indice des prix des légumes de Kalimati (KVPI). Il s'agit d'un indice composite pondéré par l'inverse de la volatilité agrégeant 135 produits (ceux ayant >365 jours de données).
- Pondération : Les produits sont pondérés inversement à leur coefficient de variation ( $CV_c$ ) afin de réduire l'influence des articles erratiques. L'indice s'étend sur 3 757 jours avec une plage de [90,1, 219,9].
- Prétraitement : Un nettoyage rigoureux a inclus le plafonnement des valeurs aberrantes (winsorisation) basé sur les limites de l'IQR de l'ensemble d'entraînement, l'imputation des valeurs manquantes (remplissage vers l'avant et interpolation bidirectionnelle), et une séparation stricte des ensembles d'entraînement (2013–2022) et de test (2022–2023) pour éviter la fuite de données (data leakage).
Ingénierie des caractéristiques (Feature Engineering) :
- Une matrice de haute dimension de 64 prédicteurs causalement valides a été élaborée.
- Composantes : Retards autorégressifs (1–30 jours), statistiques roulantes (moyenne, écart-type, min, max, médiane), moyennes mobiles exponentiellement pondérées, différenciation, caractéristiques calendaires (incluant les indicateurs de week-end spécifiques au Népal), et variables muettes de festivals avec fenêtres d'avance et de retard pour les événements majeurs (Dashain, Tihar, etc.).
- Contrainte : Toutes les caractéristiques ont été décalées d'un jour vers l'arrière pour éliminer strictement le biais d'anticipation (look-ahead bias). Les lisseurs globaux non causaux ont été exclus.
Modélisation et Évaluation :
- Benchmarks : 14 architectures ont été évaluées sur quatre horizons ( $h \in \{7, 14, 30, 90\}$ jours) : bases naïves, modèles statistiques (Auto-ARIMA, SARIMA), ensembles basés sur les arbres (Random Forest, ExtraTrees, HistGB, XGBoost), apprentissage profond (LSTM, GRU), modèles hybrides (ARIMA-LSTM, ARIMA-HistGB), et Transformers de pointe (PatchTST, NBEATSx).
- Solution proposée : Un Ensemble de stacking en ligne corrigé par le momentum.
  - Mécanisme : Ce méta-apprenant utilise un mécanisme en ligne causal. À chaque étape $t$ , il calcule une dérivée résiduelle roulante (pente des erreurs de prévision récentes) sur une fenêtre $w$ .
  - Correction : Si un biais systématique est détecté ( $\beta > 0$ ), une pénalité de momentum est appliquée à la prédiction du mélange de base.
  - Optimisation : Une recherche combinatoire a identifié un mélange optimal d'ExtraTrees (pour la capture de la volatilité à haute fréquence) et de GRU (pour la reconnaissance de tendance), avec une pondération dynamique qui a efficacement neutralisé les modèles superflus.

Résultats Clés
L'ensemble de stacking en ligne corrigé par le momentum a démontré une performance supérieure sur tous les horizons, particulièrement à long terme.

Horizon à long terme (90 jours) :
- RMSE : 1,771 (le plus bas de tous les modèles).
- MAPE : 0,684 %.
- $R^2$ : 0,845 (expliquant 84,5 % de la variance).
- Comparaison : Il a nettement surperformé le meilleur modèle individuel, XGBoost ( $R^2 = 0,824$ ), et a largement dépassé les bases statistiques et les Transformers, qui produisent souvent des valeurs $R^2$ négatives à cet horizon (ex. : NBEATSx $R^2 = -21,371$ ).
Court et moyen terme : L'ensemble a maintenu le RMSE le plus bas à $h=7$ (2,330), $h=14$ (2,237) et $h=30$ (1,828).
Hiérarchie des modèles :
- Les ensembles basés sur les arbres se sont révélés les concurrents individuels les plus robustes.
- Apprentissage profond (LSTM/GRU) : Avec un réglage hyperparamétrique rigoureux (100 essais) et un accès complet aux caractéristiques, ces modèles ont obtenu des résultats compétitifs ( $R^2 \approx 0,77$ ), contestant l'idée qu'ils nécessitent strictement des jeux de données massifs.
- Transformers (PatchTST, NBEATSx) : Ils ont eu des difficultés avec les données bruitées et culturellement dictées, affichant une dégradation sévère des performances.
- Modèles statistiques : Ont montré une dégradation sévère sur les horizons plus longs en raison des hypothèses de linéarité.

Signification et Revendications
L'article affirme que l'Ensemble de stacking en ligne corrigé par le momentum offre un outil pratique et fiable pour anticiper les mouvements de prix dans les marchés émergents volatils. Sa principale importance réside dans :

Stabilité : En agrégeant 135 produits dans le KVPI, l'étude crée un signal macro-niveau stable qui réduit le bruit inhérent à la modélisation de produits individuels.
Adaptabilité : Le mécanisme de correction par le momentum ajuste dynamiquement le biais systématique lors des ruptures structurelles et des chocs de demande culturels (ex. : pics de festivals), répondant au comportement de « retard » (lagging) commun aux ensembles statiques.
Aperçu méthodologique : L'étude démontre que, pour des séries temporelles économiques de taille modérée et bruitées, un ensemble soigneusement ajusté de modèles basés sur les arbres et récurrents surpasse les architectures de Transformers complexes et gourmandes en paramètres ainsi que les méthodes statistiques classiques.
Utilité politique : Le pipeline en code ouvert fournit aux décideurs politiques et aux acteurs de la chaîne d'approvisionnement au Népal et dans des marchés similaires une base reproductible pour améliorer la transparence du marché, soutenir les décisions fondées sur des preuves et renforcer la sécurité alimentaire.

Les auteurs notent des limites, notamment la dépendance aux structures de prix historiques sans l'intégration explicite de facteurs exogènes comme la météo ou les coûts du carburant, ainsi que la nécessité de fenêtres de validation plus longues à travers divers régimes économiques. Cependant, le cadre est présenté comme une base robuste pour de futures extensions.