📊 statistics

Going NUTS with ADVI: Exploring various Bayesian Inference techniques with Facebook Prophet

Cet article présente une réimplémentation complète de Facebook Prophet dans PyMC afin de surmonter les limitations de ses méthodes d'inférence par défaut, permettant ainsi une comparaison détaillée de diverses techniques bayésiennes — incluant MCMS, MAP et l'inférence variationnelle — sur des problèmes de prévision de séries temporelles.

Auteurs originaux : Jovan Krajevski, Biljana Tojtovska Ribarski

Publié 2026-01-29

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jovan Krajevski, Biljana Tojtovska Ribarski

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

La vue d'ensemble : Essayer de prédire l'avenir

Imaginez que vous essayiez de prédire combien de personnes visiteront une page Wikipédia spécifique demain. Vous avez un outil appelé Facebook Prophet qui est très doué pour cela. Il examine les données passées et tente de deviner l'avenir en décomposant le problème en trois parties :

La Tendance (The Trend) : Est-ce que la page devient plus populaire avec le temps ? (Comme une colline qui monte lentement).
Les Saisons (The Seasons) : Est-ce que les visites augmentent le week-end ou pendant les vacances ? (Comme les marées qui entrent et sortent).
Le Bruit (The Noise) : Des bosses aléatoires et imprévisibles dans les données.

Les auteurs de ce papier ont voulu utiliser cet outil pour tester différentes manières de "résoudre" les mathématiques derrière la prédiction. Ils ont trouvé que l'outil original était un peu trop rigide, ils l'ont donc reconstruit de zéro en utilisant une nouvelle boîte à outils appelée PyMC.

Les trois façons de résoudre l'énigme

Le papier compare trois différents "détectives" (méthodes d'inférence) essayant de résoudre le mystère des données futures. Considérez-les comme trois manières différentes de trouver le meilleur itinéraire à travers une montagne embrumée.

1. Le détective de la "Meilleure Intuition" (Estimation MAP)

L'analogie : Imaginez que vous cherchez le sommet le plus haut d'une chaîne de montagnes. Ce détective regarde la carte, trouve le point le plus élevé et dit : "La réponse est juste ici".
Ce que dit le papier : Cette méthode est très rapide. Elle vous donne un nombre spécifique pour la réponse. Cependant, elle ignore le fait qu'il puisse y avoir d'autres sommets élevés à proximité ou que le sol puisse être instable. Elle vous dit où se trouve la réponse, mais pas à quel point elle est certaine.
Résultat : C'était rapide et donnait de bonnes prédictions, mais cela ne racontait pas toute l'histoire sur l'incertitude.

2. Le "Randonneur Exhaustif" (MCMC complet / NUTS)

L'analogie : Ce détective ne se contente pas de choisir un point. Il envoie toute une équipe de randonneurs pour parcourir chaque sentier de la chaîne de montagnes, faisant des milliers de pas pour cartographier l'ensemble du terrain. Ils veulent connaître la forme de toute la montagne, pas seulement le sommet.
Ce que dit le papier : C'est la méthode la plus précise. Elle explore la "distribution postérieure" (la forme complète des réponses possibles). Les auteurs ont testé trois types de randonneurs :
- Metropolis-Hastings (MH) : Un randonneur qui fait des pas aléatoires et lents. Ils se sont perdus et n'ont pas bien exploré la montagne.
- DMZ : Un randonneur qui essaie de copier les pas des autres. Ils ont également eu du mal à couvrir le terrain efficacement.
- NUTS (No-U-Turn Sampler) : Un super-randonneur qui utilise une carte et une boussole (les gradients) pour marcher efficacement. C'était le gagnant. Il a trouvé le meilleur chemin rapidement et a parfaitement cartographié la montagne sans perdre de temps.
Résultat : NUTS était le plus fiable, mais il mettait plus de temps à s'exécuter que le détective de la "Meilleure Intuition".

3. L' "Approximateur Rapide" (Inférence Variationnelle / VI)

L'analogie : Au lieu de parcourir toute la montagne, ce détective regarde la montagne depuis un hélicoptère et dessine une forme ovale simple et lisse qui ressemble à la montagne. C'est un raccourci.
Ce que dit le papier : Cette méthode tente d'ajuster une forme simple (comme une courbe en cloche) aux données complexes. Elle est beaucoup plus rapide que le "Randonneur Exhaustif".
- ADVI : A dessiné un ovale simple. C'était rapide mais un peu trop confiant (l'ovale était trop étroit).
- FullRank ADVI : A dessiné un ovale plus complexe et étiré. C'était également rapide mais un peu trop incertain (l'ovale était trop large).
Résultat : C'était la méthode la plus rapide, mais la "forme" de la réponse n'était pas parfaitement exacte par rapport au Randonneur Exhaustif.

Les résultats de la course

Les auteurs ont mis ces détectives à l'épreuve en utilisant des données sur la page Wikipédia d'un célèbre joueur de football. Voici comment ils se sont comparés :

Vitesse : L' "Approximateur Rapide" (VI) a été le plus rapide. La "Meilleure Intuition" (MAP) était également très rapide. Le "Randonneur Exhaustif" (NUTS) était plus lent mais restait gérable. Les autres randonneurs (MH et DMZ) étaient si lents et inefficaces qu'ils n'ont pas bien terminé le travail.
Précision : Le "Randonneur Exhaustif" (NUTS) a donné la carte la plus digne de confiance du futur. L' "Approximateur Rapide" était proche mais présentait des défauts dans sa mesure de l'incertitude. La "Meilleure Intuition" était bonne pour une réponse rapide mais manquait de détails.
Le Gagnant : Pour ce problème spécifique, NUTS était le meilleur choix global. Ce n'était pas le plus rapide, mais c'était le seul qui avait réussi à cartographier toute la montagne sans se perdre ou faire de mauvaises suppositions.

Le nouvel outil (L'API reconstruite)

Les auteurs ont également mentionné que l'outil original de Facebook Prophet était comme un plat pré-emballé : vous pouviez le manger, mais vous ne pouviez pas facilement changer les ingrédients.
Ils ont reconstruit l'outil dans PyMC pour qu'il soit comme un ensemble de LEGO modulaires. Désormais, au lieu de simplement suivre une recette, vous pouvez emboîter différentes pièces (comme "Tendance Linéaire" + "Saisonnalité Annuelle") pour construire exactement le modèle que vous voulez. Cette nouvelle façon "intuitive" de construire des modèles rend l'expérimentation d'idées différentes beaucoup plus facile.

Résumé

Le papier est essentiellement une course pour voir comment mieux prédire l'avenir en utilisant un modèle mathématique spécifique.

Si vous avez besoin de vitesse et d'une réponse unique, utilisez la Meilleure Intuition (MAP).
Si vous avez besoin d'une approximation rapide de l'incertitude, utilisez l' Approximateur Rapide (VI).
Si vous avez besoin de l'image la plus précise et la plus fiable du futur et de ses incertitudes, le Randonneur Exhaustif (NUTS) est le meilleur choix, même s'il prend un peu plus de temps.

Les auteurs ont conclu que, bien que les méthodes rapides soient tentantes, la méthode intelligente et approfondie (NUTS) offrait le meilleur équilibre entre précision et fiabilité pour leur problème de prévision de séries temporelles.

Résumé technique : Devenir DINGUE avec l'ADVI : Exploration de diverses techniques d'inférence bayésienne avec Facebook Prophet

Énoncé du problème
Facebook Prophet a gagné en popularité pour la prévision de séries temporelles grâce à sa structure de modèle décomposable et ses méthodes d'inférence intégrées : l'estimation du Maximum A Posteriori (MAP) via L-BFGS-B et l'échantillonnage par Monte Carlo par chaînes de Markov (MCMC) via l'échantillonneur No-U-Turn (NUTS). Cependant, les auteurs ont identifié deux limitations principales dans l'implémentation originale :

Manque de flexibilité : La conception de l'API fluide restreint la capacité d'incorporer des composants de modélisation personnalisés ou des techniques d'inférence alternatives au-delà des choix par défaut.
Contraintes d'inférence : L'échantillonnage MCMC complet est souvent trop coûteux en termes de calcul pour une expérimentation rapide, tandis que l'estimation MAP réduit la distribution postérieure à un point unique, écartant ainsi les informations critiques concernant l'incertitude des paramètres.

Pour répondre à ces problèmes, les auteurs ont cherché à évaluer et comparer plusieurs techniques d'inférence bayésienne (MCMC complet, MAP et Inférence Variationnelle) sur un scénario spécifique de prévision de séries temporelles.

Méthodologie
Le cœur du travail consiste en une réimplémentation complète du modèle Facebook Prophet en utilisant PyMC, une bibliothèque de programmation probabiliste.

Réimplémentation du modèle : Les auteurs ont reconstruit le modèle Prophet ( $y(t) \sim g(t) + \sum s(t; p_i, c_i) + h(t) + \epsilon(t)$ ) au sein de PyMC. Ils ont remplacé l'API fluide originale par une API modulaire et intuitive qui reflète la notation mathématique. Cela permet aux utilisateurs de définir des composants (ex: LinearTrend, FourierSeasonality) séparément et de les combiner à l'aide d'opérateurs arithmétiques standards (ex: model = trend * (1 + yearly + weekly)).
Techniques d'inférence évaluées :
- MCMC complet : Trois algorithmes ont été testés : Metropolis-Hastings (MH), NUTS et l'adaptation du score Z de DEMetropolis (DMZ).
- Estimation MAP : Réalisée en utilisant l'algorithme L-BFGS-B.
- Inférence Variationnelle (VI) : Deux algorithmes ont été étudiés : l'Inférence Variationnelle par Différentiation Automatique (ADVI) et l'ADVI à rang complet (FR ADVI).
Configuration expérimentale :
- Jeu de données : Deux années de vues de pages quotidiennes logarithmiques pour la page Wikipédia de Peyton Manning (prévision de l'année suivante).
- Configuration du modèle : Paramètres Prophet par défaut (tendance linéaire par morceaux avec 25 points de changement, saisonnalité annuelle et hebdomadaire additive).
- Diagnostics : La convergence a été évaluée via R-hat (Gelman-Rubin), la taille d'échantillon efficace (ESS) et les graphiques d'autocorrélation pour MCMC ; ainsi que la convergence de la borne inférieure d'évidence négative (ELBO) pour la VI.
- Métriques : La performance de prévision a été mesurée via MSE, RMSE, MAE et MAPE, parallèlement au temps d'exécution et à l'efficacité computationnelle (échantillons effectifs par seconde).

Principales contributions

Réimplémentation de Prophet basée sur PyMC : Un cadre flexible et modulaire qui découple la définition du modèle du moteur d'inférence, permettant l'intégration de composants personnalisés et de divers algorithmes d'inférence.
Analyse comparative : Une comparaison empirique détaillée entre MAP, MCMC complet (MH, DMZ, NUTS) et VI (ADVI, FR ADVI) sur un problème de série temporelle standard, analysant à la fois la qualité statistique et l'efficacité computationnelle.
Aperçus diagnostiques : Le document fournit des conclusions diagnostiques spécifiques concernant le comportement de convergence de différents échantillonneurs sur la structure du modèle Prophet, soulignant que les MH et DMZ standards peinent à converger dans ce contexte par rapport à NUTS.

Résultats

Convergence MCMC :
- NUTS était le seul algorithme MCMC à atteindre la convergence (R-hat < 1,01, ESS > 400) efficacement, ne nécessitant que 550 échantillons pour converger. Il a démontré des taux d'échantillonnage effectifs supérieurs (169,69 échantillons/sec) par rapport à MH et DMZ.
- MH et DMZ n'ont pas réussi à converger même après 1 000 000 d'échantillons. MH a montré une forte autocorrélation, et DMZ a produit des valeurs ESS faibles, indiquant une exploration inefficace de la distribution postérieure.
- Malgré la non-convergence, DMZ a étonnamment produit les meilleures métriques de prévision parmi les méthodes MCMC, bien que cela soit attribué à la nature spécifique des estimations ponctuelles plutôt qu'à une approximation fiable de la distribution postérieure.
Inférence Variationnelle :
- ADVI et FR ADVI ont convergé autour de 80 000 itérations.
- ADVI a produit les prévisions de la plus haute qualité parmi les méthodes VI, mais a sous-estimé l'incertitude postérieure (surconfiance).
- FR ADVI a surestimé l'incertitude postérieure (moins de certitude) et a obtenu de moins bons résultats en termes de métriques de prévision.
- Les méthodes VI étaient nettement plus rapides (environ 18–23 secondes) que les méthodes MCMC, bien qu'elles n'aient pas égalé la fidélité de la distribution postérieure de NUTS.
Estimation MAP :
- MAP a fourni des prévisions de haute qualité avec les temps d'exécution les plus rapides.
- Les auteurs notent que MAP est équivalent à l'estimation du maximum de vraisemblance (MLE) avec régularisation (L1 pour les priors de Laplace, L2 pour les priors Normaux).
Approximation de la distribution postérieure :
- Les histogrammes du paramètre de pente ont révélé que NUTS fournissait une distribution postérieure robuste.
  - ADVI était "surconfiant" (distribution plus étroite), tandis que FR ADVI était "sous-confiant" (distribution plus large) par rapport à la vérité terrain de NUTS.

Signification et conclusions
Le document conclut qu'il n'existe pas de méthode d'inférence universellement optimale ; le choix dépend du compromis entre le coût de calcul et la nécessité d'une quantification précise de l'incertitude.

NUTS est identifié comme le meilleur choix pour ce problème spécifique compte tenu des paramètres actuels, offrant un équilibre entre fiabilité de convergence et un temps de convergence raisonnable, malgré sa lenteur par rapport à la VI.
MAP est approprié pour les scénarios où la capture de la forme complète de la distribution postérieure est moins critique que la vitesse et la précision des estimations ponctuelles.
La VI (spécifiquement ADVI) offre une alternative viable lorsque les ressources de calcul sont limitées, fournissant des métriques de prévision comparables à celles de MCMC avec un temps d'exécution considérablement réduit, bien qu'elle souffre de limitations dans la capture précise de l'incertitude postérieure.

Les auteurs soulignent que, bien que la VI soit plus rapide, la sur-estimation/sous-estimation de l'incertitude par ADVI et FR ADVI respectivement reste un problème nécessitant des recherches supplémentaires. Les travaux futurs se concentreront sur l'accélération par GPU (via JAX/NumPyro) pour accélérer les calculs de vraisemblance, bien que les auteurs notent que la nature séquentielle de MCMC limite les bénéfices de la parallélisation par rapport aux approches VI, plus parallélisables.