ForeComp: An R Package for Comparing Predictive Accuracy Using Fixed-Smoothing Asymptotics

Cet article présente ForeComp, un package R permettant de comparer la précision prédictive à l'aide de tests de type Diebold-Mariano avec des inférences à lissage fixe, incluant des outils de diagnostic visuel et des illustrations empiriques.

L'essentiel

🌤️ ForeComp : Le "GPS" pour ne pas se tromper en comparant les prévisions

Imaginez que vous êtes un chef d'orchestre (ou un manager) et que vous avez deux musiciens, Pierre et Paul, qui doivent prédire la météo de demain.

• Pierre dit : "Il va pleuvoir."
• Paul dit : "Il va faire beau."

Le lendemain, il pleut. Qui a raison ? Qui est le meilleur ?
C'est là que l'article parle d'un outil appelé ForeComp. C'est une boîte à outils informatique (un "package" pour le logiciel R) qui aide les économistes et les analystes à répondre à cette question de manière très précise, surtout quand ils ont peu de données.

1. Le Problème : Le "Météo-Test" classique est parfois trop confiant

Pendant des décennies, les experts ont utilisé une méthode standard (appelée le test de Diebold-Mariano) pour comparer les prévisions. C'est comme un test de vitesse simple.

• Le souci : Dans les petits échantillons (quand on n'a que quelques mois de données, comme pour une nouvelle équipe de prévision), ce test classique a tendance à être trop confiant.
• L'analogie : Imaginez un juge qui, après seulement 3 essais de lancer de fléchettes, déclare : "Pierre est définitivement meilleur que Paul !" alors que la différence est peut-être due au hasard. Ce juge "rejette" trop souvent l'idée qu'ils sont égaux. En statistique, on appelle cela une distorsion de taille (il crie "Coupable !" alors que l'accusé est innocent).

2. La Solution : ForeComp et la méthode "Fixe"

Les auteurs (Minchul Shin et Nathan Schor) ont créé ForeComp pour corriger ce problème. Ils proposent des méthodes plus prudentes, basées sur ce qu'on appelle les "asymptotiques à lissage fixe".

• L'analogie du "Lissage" :
  Imaginez que vous essayez de tracer une ligne droite à travers des points de données bruyants (comme des points de pluie dispersés).
  • La méthode classique utilise un "filtre" très fin qui suit chaque petit pic. Elle est très sensible au bruit et peut voir des tendances là où il n'y en a pas.
  • La méthode ForeComp utilise un "filtre" plus large (un lissage plus fort). Elle ignore les petits détails parasites pour voir la tendance globale. C'est comme regarder une photo floue de loin : on voit mieux la forme générale que les pixels individuels. Cela permet de ne pas se faire piéger par le hasard dans les petits échantillons.

3. Le "Trade-off" (Le compromis) : La balance entre prudence et détection

Le package propose une fonction géniale appelée Plot Tradeoff (Graphique du compromis).

• L'analogie de la balance :
  Imaginez une balance à deux plateaux :

  1. Le plateau "Sécurité" (Taille) : Voulez-vous être sûr à 100 % que votre conclusion n'est pas un faux positif ? (Alors, vous devez être très prudent).
  2. Le plateau "Puissance" : Voulez-vous avoir la chance de détecter une vraie différence, même petite ? (Alors, vous devez être plus audacieux).

  Le graphique montre que si vous augmentez la sécurité (en élargissant le filtre), vous risquez de rater de vraies différences (vous perdez de la puissance). Si vous cherchez trop la puissance, vous risquez de faire des erreurs.
  ForeComp vous montre visuellement où se trouve votre point de décision. Il vous dit : "Attention, si vous choisissez ce réglage, vous allez rejeter l'hypothèse nulle (dire qu'il y a une différence), mais si vous changez un tout petit peu le réglage, vous ne la rejeterez plus." Cela aide l'utilisateur à éviter les conclusions fragiles.

4. Ce que disent les tests (Les résultats)

Les auteurs ont testé leur outil sur de vraies données de prévisions économiques (les prévisions du "Survey of Professional Forecasters" aux États-Unis) et sur des simulations informatiques.

• Le verdict : Les méthodes classiques (le test standard) disent souvent qu'un prévisionniste est meilleur qu'un autre alors que ce n'est pas le cas, surtout quand on a peu de données.
• L'avantage de ForeComp : Les nouvelles méthodes (comme DM-FB ou DM-EWC) sont beaucoup plus honnêtes. Elles disent "Je ne suis pas sûr" quand il n'y a pas assez de preuves, au lieu de crier "Victoire !". Et quand elles disent qu'il y a une différence, c'est généralement une vraie différence, pas un artefact mathématique.

En résumé

ForeComp, c'est comme passer d'un test de conduite avec un instructeur qui vous félicite pour chaque petit mouvement, à un test avec un instructeur très strict qui vous demande de prouver que vous maîtrisez vraiment la route avant de vous donner votre permis.

C'est un outil essentiel pour les économistes qui veulent éviter de prendre de mauvaises décisions basées sur des "bruits" statistiques, en particulier lorsqu'ils travaillent avec des données récentes ou limitées. Il offre une boussole plus fiable pour naviguer dans l'incertitude des prévisions futures.

Résumé technique

Voici un résumé technique détaillé du document « ForeComp: An R Package for Comparing Predictive Accuracy Using Fixed-Smoothing Asymptotics » en français.

1. Problématique et Contexte

La comparaison de la précision prédictive de modèles concurrents est une tâche fondamentale en économétrie et en finance. Le test standard utilisé est le test de Diebold-Mariano (DM) (1995), qui évalue si la différence de perte moyenne entre deux prévisions est statistiquement différente de zéro.

Cependant, le test DM classique souffre de distorsions de taille (size distortions) importantes dans les échantillons finis, en particulier lorsque la taille de l'échantillon d'évaluation est petite. La source principale de ce problème réside dans l'estimation de la variance à long terme des différences de perte.

• La recommandation originale de DM utilise un noyau rectangulaire tronqué à $h-1$ retards (où $h$ est l'horizon de prévision), supposant une structure de processus MA($h-1$).
• En pratique, les erreurs de prévision peuvent présenter une corrélation sérielle au-delà de $h-1$ retards (due à des prévisions sous-optimales, à l'estimation des paramètres in-sample, ou à une mauvaise spécification du modèle).
• Dans les petits échantillons, le choix de la fenêtre de lissage (bandwidth) influence fortement la taille du test et la décision de rejet, conduisant souvent à un rejet excessif de l'hypothèse nulle (faux positifs) lorsque l'on utilise l'approximation normale standard.

2. Méthodologie et Approche

L'article introduit le package R ForeComp, qui consolide plusieurs procédures de test sous une interface commune, en mettant l'accent sur les asymptotiques à lissage fixe (fixed-smoothing asymptotics).

A. Cadre Théorique

Le package implémente deux grandes catégories de méthodes :

1. Procédures Standards :
   • DM-R : Test DM original avec noyau rectangulaire et valeurs critiques normales.
   • DM-M : Test DM modifié (Harvey et al., 1997) avec correction de biais et valeurs critiques de Student.
   • DM-NW : Utilisation du noyau de Bartlett avec sélection de bande passante Newey-West (1994) et approximation normale.
2. Procédures à Lissage Fixe (Fixed-Smoothing) :
   Ces méthodes, développées par Kiefer & Vogelsang (2005) et Sun (2013), supposent que le paramètre de lissage ne tend pas vers zéro lorsque la taille de l'échantillon augmente. Elles dérivent des distributions limites non standard qui tiennent compte de l'erreur d'estimation de la variance.
   • DM-FB (Fixed-b) : Utilise le noyau de Bartlett avec une bande passante plus large ($M \approx 1.3\sqrt{P}$) et des valeurs critiques basées sur la distribution asymptotique fixe-b.
   • DM-EWC : Estimateur de cosinus à poids égal (orthonormal series) avec asymptotiques fixe-b.
   • DM-WPE : Estimateur périodogramme pondéré avec asymptotiques fixe-m (Sun, 2013).
   • DM-IM : Approche par regroupement (clustering) d'Ibragimov & Müller (2010), évitant l'estimation explicite de la variance à long terme.

B. Outil de Diagnostic Visuel : Plot Tradeoff

Une contribution majeure est l'intégration d'un diagnostic visuel nommé Plot Tradeoff. Cet outil permet aux utilisateurs de :

• Tracer la courbe de compromis entre la distorsion de taille (erreur de type I) et la perte de puissance (erreur de type II) sur une grille de valeurs de bande passante.
• Identifier si le rejet de l'hypothèse nulle est robuste ou s'il dépend d'un choix spécifique de la bande passante.
• Visualiser où se situe la décision de rejet par rapport à la frontière de compromis, aidant ainsi à choisir un paramètre de lissage justifié par les données.

3. Contributions Clés

1. Logiciel Unifié : Le package ForeComp offre une interface cohérente pour appliquer des tests DM classiques et des méthodes avancées à lissage fixe, facilitant la comparaison directe des résultats.
2. Diagnostic de Robustesse : L'outil Plot Tradeoff répond au problème de la sensibilité au choix de la bande passante, permettant une sélection de paramètres plus transparente et fondée sur le compromis taille-puissance.
3. Validation Empirique et Simulée :
   • Reproduction de résultats empiriques sur les données de l'enquête Survey of Professional Forecasters (SPF).
   • Étude de Monte Carlo basée sur la conception de McCracken (2019) pour évaluer les propriétés en échantillon fini.

4. Résultats Principaux

A. Résultats de Simulation (Monte Carlo)

L'étude de simulation compare les performances des différentes méthodes sur des échantillons de tailles variées ($P=25$ à $1000$) et des horizons de prévision ($h=1, 3, 12$).

• Contrôle de la taille : Les procédures standards (DM-R, DM-NW) souffrent d'un rejet excessif (over-rejection) dans les petits échantillons, avec des taux de rejet empiriques pouvant atteindre 16% pour un niveau nominal de 5% (surtout pour les horizons longs).
• Performance des méthodes à lissage fixe : Les méthodes DM-FB, DM-EWC et DM-WPE maintiennent un contrôle de la taille très proche du niveau nominal (5%) même dans les petits échantillons.
• Puissance corrigée de la taille : Contrairement à une idée reçue, les méthodes à lissage fixe ne sacrifient pas la puissance. Une fois corrigées pour la distorsion de taille, elles affichent une puissance compétitive, souvent supérieure ou égale à celle des méthodes standards.

B. Applications Empiriques (SPF)

• Application 1 (Stark, 2010) : Reproduction des résultats montrant que les prévisions du SPF surpassent le benchmark « pas de changement » (no-change), mais que la supériorité diminue aux horizons longs.
• Application 2 (Coroneo & Iacone, 2020) : Démonstration que les tests standards peuvent produire des résultats significatifs de manière erronée dans de petits échantillons, tandis que les méthodes à lissage fixe corrigent ces conclusions.
• Application 3 (Sensibilité) : Utilisation de Plot Tradeoff pour montrer que dans certains cas, le rejet de l'hypothèse nulle par les tests standards est fragile (dépendant d'une petite bande passante), alors que les méthodes à lissage fixe confirment l'absence de différence significative.

5. Signification et Conclusion

Le papier démontre que l'utilisation de l'approximation normale standard pour les tests de comparaison de prévisions dans des échantillons de taille modeste ou petite conduit fréquemment à des conclusions erronées (faux positifs).

Recommandations des auteurs :

1. Privilégier les méthodes à lissage fixe (DM-FB, DM-EWC, DM-WPE) pour une meilleure fiabilité statistique, car elles offrent un contrôle de la taille robuste sans pénalité de puissance significative.
2. Utiliser systématiquement le diagnostic Plot Tradeoff pour évaluer la robustesse des conclusions face au choix de la bande passante.
3. Le package ForeComp fournit l'infrastructure nécessaire pour mettre en œuvre ces meilleures pratiques en économétrie appliquée.

En résumé, ce travail fournit un cadre méthodologique et un outil logiciel essentiels pour améliorer la rigueur des tests de précision prédictive, en particulier dans le contexte des données macroéconomiques où les échantillons d'évaluation sont souvent limités.