Nonlinear Probabilistic Forecast Reconciliation

1. Énoncé du problème

La réconciliation des prévisions est le processus d'ajustement de prévisions générées indépendamment (prévisions de base) afin qu'elles satisfont des contraintes d'agrégation connues, garantissant ainsi la « cohérence ». Alors que la réconciliation probabiliste pour des contraintes linéaires (par exemple, des sommes) est bien établie, de nombreux problèmes de prévision réels impliquent des contraintes non linéaires.

Des exemples de telles relations non linéaires incluent :

• Ratios : Taux d'immigration (immigrants/population) ou taux de tourisme (touristes régionaux/touristes totaux).
• Ratios démographiques : Taux de mortalité ou de chômage.
• Relations géométriques/trigonométriques : par exemple, $Z = X/Y$ ou $Z = \sin(X) + \cos(Y)$.

Les méthodes existantes pour la réconciliation non linéaire se limitent aux prévisions ponctuelles (valeurs uniques). Cet article comble cette lacune en abordant la réconciliation probabiliste des prévisions sous contraintes non linéaires, visant à produire des distributions de probabilité cohérentes plutôt que de simples estimations ponctuelles.

2. Méthodologie

Les auteurs proposent deux approches distinctes pour étendre la réconciliation probabiliste aux variétés non linéaires. Ils définissent le système où les séries temporelles libres $B_t$ sont mappées vers des séries temporelles contraintes $U_t$ via une fonction non linéaire $f_u(B_t)$. Le vecteur complet $Y_t$ réside sur une variété cohérente non linéaire $\mathcal{M}$.

A. Réconciliation par projection

Cette approche généralise le concept de mesure « push-forward » linéaire aux variétés non linéaires.

• Mécanisme : Elle mappe des échantillons de la distribution de prévision de base (incohérente) vers le point le plus proche sur la variété cohérente non linéaire $\mathcal{M}$.
• Formulation mathématique : Étant donné un échantillon de base $\hat{y}$, l'échantillon réconcilié $\tilde{y}$ est trouvé en résolvant un problème d'optimisation :
  $$\psi(\hat{y}) = \arg \min_{x \in \mathcal{M}} \| \hat{y} - x \|_W$$
  où $\| \cdot \|_W$ est une norme pondérée définie par une matrice définie positive $W$.
• Implémentation : Puisque $\mathcal{M}$ est non linéaire, la carte $\psi$ n'a pas de solution sous forme fermée. Les auteurs utilisent l'algorithme Newton-Raphson pour résoudre numériquement l'optimisation pour chaque échantillon.
• Schémas de pondération : Trois variantes sont testées :
  1. OLS : Matrice identité (distance euclidienne).
  2. WLS : Matrice diagonale des variances d'erreur (prend en compte l'échelle).
  3. FULL : Matrice de covariance complète des erreurs (prend en compte la corrélation et l'hétéroscédasticité).
• Limite : Coûteuse en calcul car elle nécessite une optimisation itérative pour chaque échantillon.

B. Réconciliation par conditionnement (basée sur UKF)

Cette approche généralise le « tranchage » (slicing) de la densité conjointe sur la variété de contrainte.

• Mécanisme : Elle traite les prévisions contraintes comme des observations bruitées des prévisions libres et met à jour la distribution des séries libres sur la base de ces contraintes.
• Algorithme : Les auteurs proposent un algorithme inspiré du Filtre de Kalman Unscented (UKF).
  1. Hypothèse : La distribution de prévision de base des séries libres est approximée comme gaussienne.
  2. Transformée Unscented : Au lieu de linéariser la fonction (comme dans les Filtres de Kalman étendus), la méthode génère un ensemble de points sigma représentant la moyenne et la covariance des séries libres.
  3. Propagation : Ces points sigma sont passés à travers la fonction non linéaire $f_u$ pour estimer la moyenne et la covariance des séries contraintes.
  4. Mise à jour : Une mise à jour de style Kalman est effectuée pour conditionner la distribution des séries libres sur les valeurs contraintes observées (ou prévisionnées de base), produisant une distribution gaussienne réconciliée pour les séries libres.
  5. Échantillonnage : Des échantillons sont tirés de cette gaussienne réconciliée et mappés à travers la fonction complète $f$ pour générer des échantillons cohérents pour toutes les séries.
• Avantage : Évite l'optimisation itérative par échantillon ; repose sur la propagation déterministe des points sigma.

3. Contributions clés

1. Premier cadre probabiliste non linéaire : C'est le premier travail à aborder la réconciliation probabiliste des prévisions spécifiquement pour des contraintes non linéaires.
2. Extensions méthodologiques : Étend avec succès les paradigmes de Projection et de Conditionnement des sous-espaces linéaires aux variétés non linéaires.
3. Adaptation UKF : Introduit une application novatrice du Filtre de Kalman Unscented non pas comme filtre dynamique, mais comme outil numérique pour approximer les distributions conditionnelles sous contraintes non linéaires.
4. Évaluation complète : Valide les méthodes sur des données synthétiques (surfaces paraboloides, selles, ondulations) et deux études de cas réels impliquant des ratios socio-démographiques suisses et des taux de tourisme australiens.

4. Résultats expérimentaux

Les méthodes ont été évaluées en utilisant le Score d'Énergie (pour les distributions conjointes) et le CRPS (pour les distributions marginales) par rapport à une base (prévisions de base indépendantes) et une approche Probabilistic Bottom-Up (PBU).

• Précision :
  • Les deux méthodes de réconciliation surpassent généralement les prévisions de base et PBU.
  • L'approche de conditionnement basée sur UKF a constamment obtenu les meilleures performances globales, surpassant légèrement les méthodes de projection en termes de précision (Score d'Énergie et CRPS plus faibles).
  • Parmi les méthodes de projection, WLS et FULL ont généralement surpassé OLS, confirmant que la prise en compte de l'échelle et de la corrélation est cruciale.
• Efficacité computationnelle :
  • L'approche UKF est substantiellement plus rapide que l'approche par projection.
  • Dans les expériences, UKF était 3 à 4 ordres de grandeur plus rapide que la méthode de projection (par exemple, millisecondes contre secondes pour 1000 échantillons). Cela est dû au fait que UKF évite l'optimisation numérique lourde requise pour chaque échantillon dans la méthode de projection.
• Études de cas :
  • Démographie suisse : UKF a amélioré les prévisions de base d'environ 9,4 % (Immigration) et 3,7 % (Citoyenneté).
  • Tourisme australien : UKF était la seule méthode à améliorer les prévisions de base (amélioration de 2,6 %), tandis que les méthodes de projection n'ont pas réussi à battre la base dans ce scénario de ratio spécifique.

5. Importance et limites

Importance :

• L'article fournit une boîte à outils pratique pour gérer des hiérarchies de prévision complexes et réelles où les contraintes de somme simples ne s'appliquent pas (par exemple, taux, ratios, pourcentages).
• Il démontre que le conditionnement via UKF offre un compromis supérieur entre précision et coût computationnel, le rendant viable pour des applications en temps réel ou à grande échelle où les méthodes de projection seraient trop lentes.

Limites :

• Hypothèse gaussienne : La méthode UKF suppose que les séries temporelles sous-jacentes de niveau libre suivent une distribution gaussienne. Elle peut avoir des difficultés avec des données fortement asymétriques, intermittentes ou discrètes.
• Données discrètes/mixtes : La méthode de projection nécessite des modifications ad hoc pour les séries discrètes, et l'approche UKF actuelle ne leur convient pas.
• Règles de notation : Les auteurs notent que les scores basés sur l'Euclidien standard (Score d'Énergie, CRPS) peuvent être trompeurs sur des variétés non linéaires. Ils suggèrent un travail futur sur des règles de notation basées sur la distance géodésique plus appropriées pour la géométrie de la variété.
• Garanties d'optimalité : Alors que la réconciliation linéaire possède des garanties théoriques d'optimalité (MinT), les garanties probabilistes pour le cas non linéaire restent empiriques et ne sont pas encore pleinement dérivées.

Conclusion

L'article comble avec succès le fossé entre la réconciliation probabiliste linéaire et les contraintes non linéaires. Il établit que la réconciliation par conditionnement utilisant le Filtre de Kalman Unscented est l'approche la plus efficace, offrant une précision de pointe avec une surcharge computationnelle considérablement réduite par rapport aux méthodes basées sur la projection.