Hierarchical Industrial Demand Forecasting with Temporal and Uncertainty Explanations

Cet article présente une nouvelle méthode d'interprétabilité pour les prévisions de séries temporelles hiérarchiques probabilistes, conçue pour expliquer les prévisions et leurs incertitudes dans des contextes industriels complexes, comme démontré par des études de cas réels et des données semi-synthétiques issues d'une grande entreprise chimique.

L'essentiel

Imaginez que vous dirigez une immense usine chimique qui produit des milliers de produits différents, vendus dans des centaines de pays. Pour ne pas produire trop (ce qui coûte cher) ou pas assez (ce qui fait perdre des clients), vous devez prédire la demande future. C'est ce qu'on appelle la prévision de la demande.

Mais la réalité est complexe : les ventes d'un produit spécifique dépendent de la région, de la catégorie de produit, et même d'autres produits liés. C'est comme une gigantesque famille d'arbres où chaque branche influence les autres. C'est ce qu'on appelle une prévision hiérarchique.

Le problème ? Les meilleurs ordinateurs (les modèles d'intelligence artificielle) sont très bons pour faire ces prédictions, mais ils sont des "boîtes noires". Ils vous donnent un chiffre, mais ils ne vous disent pas pourquoi. C'est comme si un chef cuisinier vous donnait un plat délicieux mais refusait de vous dire quels ingrédients il a utilisés ou pourquoi il a mis du sel. Dans l'industrie, c'est dangereux : si vous ne comprenez pas le "pourquoi", vous ne pouvez pas faire confiance à la prédiction ni prendre de bonnes décisions.

Voici comment les auteurs de cet article ont résolu ce problème, expliqué simplement :

1. Le Problème : Une forêt trop dense

Imaginez que vous essayez de comprendre pourquoi un arbre dans une forêt géante a des feuilles jaunies.

• L'approche classique (qui échoue) : Vous regardez chaque arbre de la forêt, chaque feuille, et chaque vent qui souffle, et vous essayez de calculer l'influence de tout sur tout. C'est trop lent, trop bruyant, et vous vous perdez dans les détails.
• Le défi supplémentaire : Parfois, l'ordinateur ne vous donne pas un seul chiffre (ex: "100 ventes"), mais une fourchette de possibilités (ex: "entre 80 et 120 ventes"). C'est une prévision probabiliste. Les outils d'explication habituels ne savent pas lire ces fourchettes.

2. La Solution : Deux Astuces Magiques

Les chercheurs ont inventé deux méthodes pour rendre ces "boîtes noires" transparentes.

Astuce A : La "Carte de la Forêt" (Approximation par Sous-arbre)

Au lieu de regarder toute la forêt d'un coup, ils disent : "Regardons seulement les branches proches".

• L'analogie : Imaginez que vous voulez savoir qui a influencé la décision du grand-père (le niveau le plus haut de l'arbre). Au lieu de demander à chaque cousin, on regarde d'abord le père, puis le grand-père, puis le grand-père de celui-ci. On remonte l'échelle pas à pas.
• Le résultat : Cela simplifie énormément le calcul. Au lieu de faire des milliards de calculs inutiles, on suit le chemin logique de l'arbre. C'est comme utiliser un GPS pour trouver le chemin le plus court au lieu de marcher au hasard dans la forêt. Cela permet de dire avec précision : "C'est la vente en Allemagne qui a fait augmenter la prévision mondiale, pas celle du Brésil."

Astuce B : Le "Traducteur de Probabilités" (Quantiles)

Comment expliquer une fourchette de résultats (ex: "entre 80 et 120") ?

• L'analogie : Imaginez que l'ordinateur vous dit : "Il y a 90% de chances qu'il pleuve, mais je ne suis pas sûr". Les outils d'explication classiques disent : "Attends, je ne comprends pas, donne-moi un chiffre précis !"
• La solution : Les auteurs disent : "On va prendre des 'photos' de cette fourchette à différents moments." Ils regardent le seuil de 70%, 90% et 95% de la fourchette.
  • Exemple : "Pour le seuil de 90% (le scénario pessimiste), c'est le prix du pétrole qui a le plus d'impact."
  • Cela permet de traduire l'incertitude en explications claires, même pour les scénarios les plus extrêmes.

3. Les Résultats : Plus de Confiance, Moins de Mystère

Pour tester leur méthode, ils ont créé des "forêts factices" où ils savaient exactement quelle branche était responsable d'un problème (comme un virus qui touche une branche spécifique).

• Le verdict : Leur méthode a réussi à identifier la bonne cause dans plus de 90% des cas, là où les anciennes méthodes échouaient souvent.
• Dans la vraie vie (chez Dow Chemical) : Ils ont appliqué cela aux données réelles d'une grande entreprise chimique.
  • Cas 1 : Pendant la pandémie, la demande pour les produits de rénovation a explosé. Le modèle a prédit cela, et leur méthode a expliqué : "C'est parce que les gens restaient à la maison, donc ils ont acheté plus de peinture."
  • Cas 2 : Quand un gros client a quitté l'entreprise, la prévision est devenue incertaine. La méthode a expliqué : "L'ordinateur est confus car il voit deux types de données contradictoires (avant et après le départ du client)."

En Résumé

Ce papier nous dit : "Ne faites plus confiance aveuglément à l'IA."

Grâce à ces deux nouvelles astuces (regarder les branches proches et traduire les fourchettes de probabilités), ils ont transformé une "boîte noire" mystérieuse en un tableau de bord transparent. Les décideurs peuvent maintenant voir :

1. Quels facteurs (prix, météo, région) comptent le plus.
2. Quand dans le passé ces facteurs ont eu un impact.
3. Pourquoi la prévision change si les données changent.

C'est comme passer d'un oracle qui murmure des chiffres à un expert qui vous explique son raisonnement, vous permettant de prendre des décisions plus sûres et plus intelligentes pour l'avenir de l'entreprise.

Résumé technique

1. Problématique

La prévision de la demande industrielle repose souvent sur des modèles de séries temporelles hiérarchiques (HTSF). Ces modèles sont essentiels pour la planification de la production et la gestion des stocks dans des secteurs complexes comme la chimie, où des milliers de produits sont interconnectés selon une structure hiérarchique (ex: produit > région > pays).

Bien que les modèles d'apprentissage profond (Deep Learning) aient atteint une grande précision et une bonne évolutivité, ils fonctionnent comme des "boîtes noires". Dans les contextes industriels, l'absence d'interprétabilité est un frein majeur à l'adoption, car les parties prenantes (planificateurs, experts métier) doivent comprendre :

• Quelles variables (internes ou externes) influencent le plus la prévision ?
• Quels pas de temps historiques sont les plus critiques pour la prédiction ?
• Pourquoi les prévisions changent-elles lorsque les données d'entrée ou les conditions de marché évoluent ?

Les méthodes d'interprétabilité existantes pour les séries temporelles ne sont pas directement applicables aux HTSF car elles ne gèrent pas :

1. La structure hiérarchique complexe (dépendances entre les niveaux).
2. La nature probabiliste des sorties (les modèles modernes prédisent des distributions, pas des points fixes).
3. Le coût computationnel prohibitif lié au grand nombre de séries temporelles.

2. Méthodologie

Les auteurs proposent une méthode nommée HiereInterpret, qui adapte les techniques d'interprétabilité génériques aux défis spécifiques des prévisions hiérarchiques et probabilistes via deux innovations majeures :

A. Approximation par Sous-arbre (Subtree Approximation)

Pour résoudre le problème de la complexité et du bruit dans les structures hiérarchiques profondes :

• Au lieu de calculer l'importance entre toutes les paires de variables (ce qui est $O(N^2)$ et bruyant), la méthode décompose l'importance globale en une chaîne d'importances entre niveaux adjacents.
• L'importance entre deux nœuds non adjacents ($x_i \to x_j$) est approximée par le produit des importances le long du chemin reliant ces nœuds dans l'arbre hiérarchique.
• Cela réduit considérablement la complexité computationnelle et améliore la précision en se concentrant sur les relations de cohérence hiérarchique locales.

B. Adaptation aux Tâches Probabilistes (Non-parameterized Transition)

Les méthodes d'interprétabilité classiques supposent des sorties déterministes. Pour les modèles probabilistes (qui sortent des distributions) :

• La méthode transforme le modèle probabiliste en un modèle déterministe équivalent en utilisant les quantiles de la distribution de sortie (ex: 75e, 90e, 95e percentiles) comme sorties alternatives.
• Les scores d'importance sont ensuite calculés sur ces quantiles spécifiques, permettant d'expliquer non seulement la tendance centrale, mais aussi l'incertitude et la variabilité des prévisions.

C. Établissement d'un Benchmark Synthétique

Pour évaluer ces méthodes, les auteurs ont créé un benchmark unique combinant :

• Des données réelles (ex: données de Dow Chemical, M5, Tourism-L, Wiki).
• Des séries synthétiques injectées avec des motifs d'anomalies connus (formes fréquentes, combinaisons de séquences, faible variance) et des dépendances hiérarchiques contrôlées.
• Cela permet de comparer les explications générées par le modèle avec une "vérité terrain" (ground truth) connue, ce qui est impossible avec des données purement réelles.

3. Contributions Clés

1. Solution Généralisée : Première approche généralisée pour adapter les méthodes d'explicabilité aux tâches de prévision hiérarchique et probabiliste.
2. Nouveau Benchmark : Création d'un ensemble de données semi-synthétiques basé sur des scénarios industriels réels pour évaluer rigoureusement l'interprétabilité.
3. Améliorations Algorithmiques : Introduction de l'approximation par sous-arbre et de la traduction non paramétrique par quantiles.
4. Études de Cas Réelles : Validation sur des données de Dow Chemical démontrant la capacité du modèle à identifier des tendances pandémiques, des changements d'indicateurs économiques et des variations d'incertitude.

4. Résultats Expérimentaux

Les expériences ont été menées sur plusieurs jeux de données (Dow, M5, Tourism-L, Wiki) et plusieurs modèles d'état de l'art (HAILS, HierE2E, SHARQ, DeepAR).

• Précision de l'Explication (Deterministe) :
  • L'approximation par sous-arbre a amélioré la précision des explications (mesurée par le Importance Accuracy Score - IAS) de 62,0 % en moyenne pour les dépendances entre toutes les variables.
  • Pour les dépendances de la variable cible uniquement, l'amélioration est de 12,3 %.
  • La détection des variables externes correctes (EVDA) a été améliorée de 40,4 % sur le jeu de données Dow.
• Précision (Probabiliste) :
  • L'approche a montré des améliorations de 10 à 25 % sur les prévisions probabilistes, avec des gains particulièrement notables sur les quantiles 90 et 95.
• Évolutivité (Scalability) :
  • La complexité temporelle est réduite drastiquement. Sur le jeu de données Dow, l'utilisation de l'approximation par sous-arbre a réduit le temps d'exécution de 6114 secondes à 123,5 secondes (un gain d'ordre de grandeur) tout en maintenant la précision.
• Études de Cas :
  • Le modèle a correctement identifié l'impact de la pandémie (changement de tendance upward en 2020) sur les produits liés au logement.
  • Il a détecté l'impact d'un changement d'indicateur économique (CPI) sur la demande d'emballage.
  • Il a expliqué l'augmentation de l'incertitude des prévisions suite à la perte d'un client majeur (disparition des pics périodiques).

5. Signification et Impact

Ce travail comble un fossé critique entre la performance des modèles de prévision avancés et leur utilité pratique dans l'industrie.

• Confiance et Adoption : En rendant les modèles "boîtes noires" transparents, la méthode favorise la confiance des utilisateurs et l'adoption de l'IA dans la chaîne d'approvisionnement.
• Prise de Décision : Elle permet aux décideurs de comprendre les drivers de la demande, d'identifier les risques (incertitude) et d'ajuster les stratégies en conséquence.
• Généralité : La méthode est applicable à divers secteurs industriels au-delà de la chimie, offrant un cadre robuste pour l'interprétabilité des systèmes de prévision complexes et probabilistes.

En résumé, l'article propose une solution technique rigoureuse qui ne se contente pas d'expliquer ce que le modèle prédit, mais pourquoi et avec quelle confiance, en tenant compte de la structure complexe des données industrielles.