Sequential model confidence sets

Résumé Technique : Ensembles de Confiance de Modèles Séquentiels

Énoncé du Problème
Dans la prédiction et l'estimation statistique, les praticiens sont souvent confrontés au défi de sélectionner le ou les meilleurs modèles parmi un ensemble de candidats ($M_0 = \{1, \dots, m\}$) en se basant sur une fonction de perte spécifiée par l'utilisateur. L'approche standard, les Ensembles de Confiance de Modèles (MCS) proposés par Hansen et al. (2011), réduit l'ensemble des candidats à un sous-ensemble contenant les meilleurs modèles avec un niveau de confiance donné. Cependant, le MCS classique repose sur deux hypothèses restrictives qui entrent en conflit avec les scénarios de prévision du monde réel :

1. Taille d'échantillon fixe : Il suppose une période d'évaluation préspécifiée et fixe, alors que la sélection de modèles et l'évaluation des prévisions sont intrinsèquement des tâches séquentielles où les données arrivent au fil du temps et où les décisions de poursuivre ou d'arrêter une étude dépendent des résultats intermédiaires.
2. Stationnarité : Il suppose que les séquences de différences de pertes observées sont stationnaires, une hypothèse souvent violée car les modèles évoluent, corrigent des erreurs ou s'adaptent à des biais systématiques au fil du temps.

De plus, le MCS classique repose sur des approximations par bootstrap et des propriétés de la limite centrale (CLT) asymptotique, n'offrant que des garanties de couverture asymptotiques et entraînant des coûts de calcul élevés. Il existe un besoin pour des méthodes permettant de surveiller en continu la performance des modèles avec des garanties de couverture non asymptotiques et uniformes dans le temps.

Méthodologie
Les auteurs proposent les Ensembles de Confiance de Modèles Séquentiels (SMCS), qui généralisent le cadre MCS à un cadre séquentiel en utilisant des e-processus et des suites de confiance. La méthodologie est fondée sur une « inférence sûre à tout moment » (safe anytime-valid inference), garantissant la validité quel que soit le moment où l'analyse est interrompue.

Le cœur de l'approche repose sur trois définitions distinctes de modèles « supérieurs », correspondant à différentes hypothèses sur la performance des modèles :

1. Fortement Supérieur ($M_{s,\star}$) : Modèles qui surpassent tous les autres à chaque point dans le temps en termes de différences de pertes espérées conditionnelles ($\mu_{ij,t} \le 0$).
2. Uniformément Faiblement Supérieur ($M_{uw,\star}$) : Modèles qui surpassent tous les autres en moyenne sur l'ensemble des points temporels ($\Delta_{ij,t} \le 0$ pour tout $t$).
3. Faiblement Supérieur ($M_{w,\star,t}$) : Modèles qui surpassent tous les autres à un instant $t$ spécifique basé sur la perte moyenne jusqu'à ce point.

Construction du SMCS :

• Pour les hypothèses Fort et Uniformément Faible : Les auteurs utilisent des e-processus (spécifiquement ceux de Howard et al., 2020, et Choe et Ramdas, 2023) sous l'hypothèse de différences de pertes conditionnellement bornées ou uniformément bornées. Ils emploient le principe de clôture avec une moyenne arithmétique comme fonction de fusion d'e-processus pour contrôler le taux d'erreur globale de la famille (FWER) à travers de multiples comparaisons par paires. Un modèle est exclu du SMCS si l'e-processus correspondant dépasse un seuil ($1/\alpha$).
• Pour les hypothèses Faibles : La construction repose sur des suites de confiance uniformes dans le temps. Les auteurs définissent une région de confiance pour le vecteur des différences de pertes moyennes. Un modèle est exclu si la région de confiance n'intersecte pas le demi-espace où le modèle est supérieur.
• Gestion des pertes non bornées : Pour les fonctions de perte qui ne sont pas uniformément bornées (ex: CRPS avec un support non borné), les auteurs proposent une transformation vers des différences conditionnellement bornées, qui sont ensuite mises à l'échelle pour être uniformément bornées, permettant ainsi l'application des e-processus dérivés.

Principales Contributions

1. Extension Séquentielle : Le papier étend le concept de MCS à un cadre séquentiel, permettant une surveillance continue de la performance des modèles sans nécessiter une taille d'échantillon fixe.
2. Garanties Uniformes dans le Temps : Les SMCS proposés offrent des garanties de couverture non asymptotiques et uniformes dans le temps. Cela signifie que la probabilité que les vrais modèles supérieurs soient contenus dans l'ensemble est d'au moins $1-\alpha$ pour tous les points temporels simultanément, une garantie plus forte qu'une couverture asymptotique ponctuelle.
3. Hypothèses Minimales : Les méthodes reposent sur des hypothèses de distribution minimales (différences de perte sub-gaussiennes ou sub-exponentielles) et ne nécessitent pas d'approximations par bootstrap coûteuses en calcul.
4. Flexibilité des Définitions de Supériorité : Le cadre accommode trois notions différentes de supériorité de modèle, permettant aux chercheurs de choisir l'hypothèse (forte, uniformément faible ou faible) qui correspond le mieux à leur contexte d'application (ensembles d'informations imbriqués vs performance des modèles évolutive).

Résultats
Le papier valide la méthodologie à travers des études de simulation et deux études de cas réels :

• Simulations :
  • Simulation 1 (Hypothèse Forte) : Avec 49 prévisionnistes, le SMCS a atteint un taux de couverture de 100 % pour le meilleur modèle réel, démontrant une performance conservatrice mais valide. La taille moyenne du SMCS a diminué au fil du temps.
  • Simulation 2 (Hypothèse Uniformément Faible) : Dans un scénario où le meilleur modèle n'était supérieur qu'en moyenne (et non à chaque instant précis), le SMCS a correctement identifié le modèle uniformément faiblement supérieur, là où l'hypothèse forte aurait produit un ensemble vide.
  • Simulation 3 (Hypothèse Faible) : Dans un contexte où le meilleur modèle changeait au fil du temps (dégradation $\to$ biais $\to$ amélioration), le SMCS pour l'hypothèse faible a suivi avec succès le changement du modèle supérieur, incluant ou excluant des modèles à mesure que leurs performances relatives changeaient.
• Étude de Cas 1 (Prévisions Covid-19) : Appliqué à 69 modèles du Covid-19 Forecast Hub. Le SMCS (sous l'hypothèse forte) a identifié les modèles d'ensemble comme étant systématiquement supérieurs et a rejeté certains modèles épidémiologiques spécifiques (ex: PSI-draft) relativement tôt. Cela a démontré l'utilité de la surveillance séquentielle pour la prise de décision politique, permettant le rejet précoce de modèles sous-performants sans attendre une taille d'échantillon fixe.
• Étude de Cas 2 (Prédictions de Rafales de Vent) : Appliqué à 9 méthodes de post-traitement pour les rafales de vent. Sous l'hypothèse faible, le SMCS a révélé que si certains modèles étaient initialement inférieurs, ils sont redevenus compétitifs après des mises à jour du modèle de prévision numérique du temps (NWP) sous-jacent. Ce comportement dynamique (modèles réintégrant l'ensemble de confiance) aurait été manqué par les approches à échantillon fixe ou par l'hypothèse forte.

Signification et Revendications
Le papier affirme que les Ensembles de Confiance de Modèles Séquentiels offrent une alternative statistiquement rigoureuse à la sélection de modèles traditionnelle, particulièrement dans des environnements dynamiques.

• Validité à Tout Moment (Anytime-Validity) : La principale signification est la capacité de « s'arrêter quand on veut » sans gonfler les taux d'erreur de Type I, une caractéristique cruciale pour la surveillance continue dans des domaines comme l'épidémiologie et la météorologie.
• Gestion de la Non-Stationnarité : En distinguant la supériorité forte, uniformément faible et faible, la méthode reconnaît que les modèles peuvent évoluer. Elle permet de détecter des modèles qui sont supérieurs en moyenne ou temporairement, plutôt que d'exiger une dominance à chaque instant.
• Utilité Pratique : Les auteurs soutiennent que leurs méthodes fournissent une justification théorique à la pratique courante de l'évaluation régulière des modèles dans des situations d'urgence (comme la pandémie), offrant un moyen de collecter des preuves séquentiellement et de prendre des décisions basées sur l'état actuel des connaissances tout en respectant l'incertitude de sélection.

Les auteurs restent modestes, notant que bien qu'ils se soient concentrés sur les différences de perte bornées, la théorie n'est pas strictement limitée à celles-ci, bien que des recherches supplémentaires soient nécessaires pour des fonctions de perte générales. Ils reconnaissent également que si leurs méthodes contrôlent les taux d'erreur globale de la famille (FWER), des travaux futurs pourraient explorer le contrôle du taux de fausse découverte (FDR) pour potentiellement augmenter la puissance.