A Benchmark of Classical and Deep Learning Models for Agricultural Commodity Price Forecasting on A Novel Bangladeshi Market Price Dataset

Cet article présente le jeu de données AgriPriceBD et évalue sept modèles de prévision des prix agricoles au Bangladesh, révélant que les approches classiques comme la persistance naïve surpassent souvent les architectures d'apprentissage profond complexes sur ces séries temporelles à faible volume.

L'essentiel

🌾 Le Grand Défi : Prédire le prix des légumes au Bangladesh

Imaginez que vous êtes un agriculteur au Bangladesh. Vous devez décider quand vendre vos oignons ou vos piments. Si vous vendez trop tôt, vous perdez de l'argent. Si vous attendez trop, le prix s'effondre. Pour les gouvernements aussi, c'est vital : si les prix flambent, les familles ne peuvent plus se nourrir.

Le problème ? Personne n'a jamais eu de carte précise pour naviguer dans cette mer de prix. Les données étaient cachées dans des rapports papier illisibles, et les outils pour les prédire étaient soit trop simples, soit trop complexes pour ce type de marché.

Cette équipe de chercheurs a décidé de changer la donne avec deux grandes actions : créer une carte et tester différents compas.

---

1. La Carte : AgriPriceBD (Le trésor de données)

Avant, les chercheurs devaient deviner ou utiliser des données de pays voisins. Ici, ils ont fait le travail de détective.

• L'outil magique : Ils ont utilisé une intelligence artificielle (un "LLM", un robot très intelligent) pour lire des milliers de rapports PDF du gouvernement bangladais. C'est comme si un robot avait passé cinq ans à copier à la main tous les prix du marché, jour après jour, pour cinq légumes clés : l'ail, les pois chiches, le piment vert, le concombre et la citrouille douce.
• Le résultat : Ils ont créé un jeu de données public et gratuit, nommé AgriPriceBD. C'est la première fois que quelqu'un a une liste aussi précise et quotidienne pour ce pays. C'est comme si on avait enfin une carte au trésor pour tous les chercheurs du monde.

---

2. Le Test : Qui est le meilleur devin ?

Une fois la carte en main, ils ont organisé un grand tournoi. Ils ont pris 7 méthodes différentes pour essayer de prédire les prix des 14 prochains jours, et ils ont vu qui gagnait.

Voici les concurrents et leur performance, expliqués avec des métaphores :

🐢 Le Concurrent "Sage et Simple" (Persistence Naïve)

• La méthode : "Demain, le prix sera exactement le même qu'aujourd'hui."
• Le verdict : Pour certains légumes (comme l'ail), c'est le champion ! Pourquoi ? Parce que les prix de ces légumes bougent au hasard, comme une feuille emportée par le vent. Essayer de deviner le vent est inutile ; il vaut mieux juste dire "le vent souffle pareil".
• Leçon : Parfois, la solution la plus bête est la meilleure.

📉 Le Concurrent "L'Architecte Trop Doux" (Prophet)

• La méthode : Un outil très populaire qui imagine que les prix montent et descendent en courbes lisses, comme des vagues.
• Le verdict : Échec total.
• Pourquoi ? Les prix au Bangladesh ne font pas de vagues lisses. Ils sont comme des escaliers. Pendant des jours, le prix ne bouge pas, puis soudain, il saute d'un coup (à cause d'une inondation ou d'une fermeture de frontière). L'outil "Prophet" essaie de relier ces marches d'escalier avec une courbe lisse, ce qui donne des prédictions complètement fausses. C'est comme essayer de dessiner une ligne droite entre deux étages d'un immeuble.

🤖 Le Concurrent "Le Surdoué Trop Petit" (Informer)

• La méthode : Une intelligence artificielle très puissante conçue pour analyser des données industrielles massives (des millions de points).
• Le verdict : Catastrophe.
• Pourquoi ? Imaginez un éléphant (l'IA) dans une boîte à chaussures (le petit jeu de données de 5 ans). L'IA a trop de muscles pour si peu de données. Elle commence à halluciner, à inventer des motifs qui n'existent pas, et ses prédictions deviennent folles (elle prédit des variations de prix 50 fois plus grandes que la réalité). C'est un outil trop grand pour ce petit marché.

🧠 Le Concurrent "Le Mémoriste" (BiLSTM)

• La méthode : Une IA qui se souvient de l'ordre des événements passés, un peu comme un humain qui se souvient de la météo de la semaine dernière.
• Le verdict : Le gagnant des IA.
• Pourquoi ? Sur les légumes dont les prix ne sont pas totalement aléatoires, cette méthode a réussi à faire un peu mieux que le "Sage et Simple". Elle a compris que l'histoire aide à prédire l'avenir, mais seulement un peu.

⏳ Le Grand Débat : Le Calendrier Fixe vs Le Calendrier Apprenant

Les chercheurs ont aussi testé deux façons de donner l'heure à l'IA :

1. Calendrier Fixe : On dit à l'IA "C'est le 15 du mois, c'est toujours la saison des pluies".
2. Calendrier Apprenant (Time2Vec) : On laisse l'IA apprendre toute seule ce que signifie "le 15 du mois".

• Le verdict : Le calendrier fixe gagne.
• La surprise : Laisser l'IA apprendre toute seule a été un désastre, surtout pour le piment vert. Au lieu d'apprendre, l'IA a commencé à "halluciner" des cycles qui n'existaient pas. Avec si peu de données, il vaut mieux lui donner des règles simples et fixes plutôt que de lui laisser tout inventer.

---

🎯 Les 3 Leçons à retenir pour demain

1. Un marché, pas une règle unique : On ne peut pas utiliser la même méthode pour tous les légumes. Certains sont imprévisibles (gagner avec la méthode simple), d'autres ont des cycles (gagner avec l'IA).
2. Attention aux outils trop complexes : Dans les pays en développement, les données sont souvent rares. Utiliser des IA géantes (comme Informer) ou des outils trop "lisses" (comme Prophet) est souvent une erreur. Parfois, un outil simple et adapté à la réalité "en escalier" des prix locaux est bien meilleur.
3. La transparence est clé : En publiant leurs données et leur code, les chercheurs disent : "Voici la vérité, testez-la vous-mêmes". Cela aide les gouvernements et les agriculteurs à prendre de meilleures décisions pour nourrir la population.

En résumé : Ce papier nous dit que pour prédire les prix de la nourriture au Bangladesh, il ne faut pas chercher la solution la plus technologique, mais la solution la plus adaptée à la réalité parfois brutale et sautillante de ces marchés. Et surtout, il faut arrêter de croire que l'IA peut tout résoudre si on n'a pas assez de données pour l'entraîner !

Résumé technique

Titre : Benchmark des modèles d'apprentissage classique et profond pour la prévision des prix des produits agricoles sur un nouveau jeu de données du marché bangladais

1. Problématique

La prévision précise des prix des produits agricoles à court terme est cruciale pour la sécurité alimentaire, la politique économique et la stabilisation des revenus des petits exploitants dans les économies en développement. Cependant, deux lacunes majeures entravent la recherche dans cette région :

• Absence de données : Il n'existe aucun jeu de données public, prêt pour l'apprentissage automatique, contenant des prix de détail quotidiens pour plusieurs produits agricoles au Bangladesh. La recherche précédente s'est limitée à des produits uniques (principalement le riz) et à des méthodes statistiques classiques.
• Dynamique de marché spécifique : Les prix de détail au Bangladesh présentent des dynamiques de "fonction en escalier" (périodes de stabilité suivies de sauts discrets), contrairement aux séries temporelles lisses souvent modélisées. Il est incertain si les modèles modernes (comme les Transformers ou Prophet) sont adaptés à ces dynamiques non linéaires et discontinues.

2. Méthodologie

A. Construction du jeu de données (AgriPriceBD)
Les auteurs ont créé un nouveau jeu de données de référence, AgriPriceBD, couvrant la période du 22 juillet 2020 au 4 juin 2025 (1 779 observations quotidiennes).

• Produits : Ail, pois chiche, piment vert, concombre et courge douce.
• Extraction : Un pipeline assisté par LLM (via l'API Gemini) a été développé pour extraire les prix minimums et maximums des rapports PDF gouvernementaux. Le prix cible est le prix médian : $p_t = (min_t + max_t)/2$.
• Prétraitement : Les données ont été normalisées (MinMax), divisées en ensembles d'entraînement (80 %), de validation (10 %) et de test (10 %) avec une séparation temporelle stricte pour éviter les fuites d'information.

B. Modèles Évalués
Sept approches de prévision ont été comparées :

1. Modèles Classiques :
   • Persistence naïve : Prédit le prix actuel pour les 14 prochains jours.
   • SARIMA : Modèle autorégressif intégré à moyenne mobile saisonnière.
   • Prophet : Modèle de décomposition de séries temporelles (tendance, saisonnalité, jours fériés).
2. Architectures d'Apprentissage Profond (Deep Learning) :
   • BiLSTM : Réseau de neurones récurrent bidirectionnel.
   • Vanilla Transformer : Architecture Transformer standard avec encodage de position sinusoïdal fixe.
   • T2V-Transformer : Variante du Transformer utilisant des embeddings temporels appris (Time2Vec) au lieu des encodages fixes.
   • Informer : Architecture Transformer à attention sparse (probabiliste), conçue pour de très longues séquences.

C. Évaluation

• Métriques : MAE (Erreur Absolue Moyenne), RMSE (Racine de l'Erreur Quadratique Moyenne), MAPE (Erreur Absolue Moyenne en Pourcentage).
• Significativité Statistique : Test de Diebold-Mariano (DM) avec correction HLN pour comparer les performances des modèles, notamment l'impact de l'encodage temporel (Time2Vec vs Sinusoïdal).

3. Contributions Clés

1. AgriPriceBD : Le premier jeu de données public de prix de détail quotidiens multi-produits au Bangladesh, rendu disponible pour la recherche reproductible.
2. Évaluation Comparative Systématique : Une analyse rigoureuse de sept modèles, incluant des architectures non testées auparavant sur des marchés de détail en développement (Prophet, Informer).
3. Ablation Contrôlée de l'Encodage Temporel : Une étude démontrant que les embeddings temporels appris (Time2Vec) n'apportent aucun avantage significatif par rapport aux encodages fixes dans ce contexte de petite taille d'échantillon.
4. Documentation des Modes d'Échec : Identification explicite des raisons pour lesquelles certains modèles (Prophet, Informer) échouent sur ce type de données.

4. Résultats Principaux

• Hétérogénéité de la Prévisibilité : La prévisibilité des prix varie considérablement selon le produit. La persistance naïve domine sur les produits à comportement de "marche aléatoire" (ex: piment vert), où le bruit est prédominant.
• Échec de Prophet : Le modèle Prophet échoue systématiquement sur tous les produits (MAPE élevé, ex: 74,6 % pour la courge). Cela est attribué à son hypothèse de tendances lisses, incompatible avec les dynamiques de sauts discrets (fonction en escalier) des marchés de détail des économies en développement.
• Échec de l'Architecture Informer : Bien que l'entraînement converge, les prédictions sont erratiques et mal calibrées. La variance des prédictions atteint jusqu'à 4987 % de la variance réelle (pour les pois chiches). L'attention sparse et les convolutions de distillation, conçues pour des milliers d'observations, amplifient le bruit sur des fenêtres courtes (90 jours) et des jeux de données limités.
• Supériorité du BiLSTM : Le BiLSTM est le seul modèle d'apprentissage profond à surpasser statistiquement la persistance naïve sur certains produits (ail, concombre), suggérant que les biais inductifs récurrents sont plus adaptés aux petites séries non stationnaires que l'attention.
• Inutilité de Time2Vec à petite échelle : L'utilisation d'embeddings temporels appris (Time2Vec) dégrade les performances par rapport aux encodages sinusoïdaux fixes sur 4 des 5 produits. Sur le piment vert, cela entraîne une dégradation catastrophique de +146,1 % du MAE (p < 0,001), car le modèle surajuste le bruit et découvre des périodicités spurious.
• Rôle du rapport Résidu/Saisonnalité (R/S) : Un ratio R/S élevé (plus de bruit) rend la prévision difficile, mais ce ratio ne prédit pas toujours la difficulté lorsque la dynamique est pilotée par des événements discrets imprévisibles (ex: mousson, fermetures de frontières).

5. Signification et Implications

• Pour les Praticiens : Dans les contextes agricoles de petite échelle avec peu de données, les architectures complexes (Transformers à attention sparse, Time2Vec) ne sont pas toujours supérieures et peuvent être contre-productives. Des modèles plus simples (BiLSTM, SARIMA) ou même la persistance naïve sont souvent préférables.
• Pour les Politiques : Les outils de décomposition standard comme Prophet ne sont pas adaptés aux marchés de détail des économies en développement sans adaptation majeure, en raison de la nature discontinue des prix.
• Pour la Recherche : Ce travail établit une ligne de base reproductible pour la prévision des prix agricoles au Bangladesh et met en garde contre l'application aveugle de modèles "state-of-the-art" conçus pour de grands ensembles de données industriels à des contextes de données limitées.

En conclusion, l'article démontre que la structure du signal (bruit vs saisonnalité) et la taille de l'échantillon sont des déterminants plus critiques de la performance que la complexité du modèle, et fournit une infrastructure de données et de code pour les travaux futurs.