Distribution-Aware Conformal Prediction: A Framework for generating efficient prediction intervals for time series

Ce papier présente la Prédiction Conformale Sensible à la Distribution (DCP), un cadre modulaire qui intègre divers prédicteurs probabilistes avec une calibration agnostique du score pour générer des intervalles de prédiction valides et efficaces pour les séries temporelles, s'adaptant efficacement à des régimes d'incertitude variables grâce à une approche d'inversion numérique novatrice et à un score de Winkler modifié.

L'essentiel

Le Gros Problème : Deviner Sans Filet de Sécurité

Imaginez que vous êtes un météorologue. Un modèle informatique standard pourrait vous dire : « Il fera 24 °C demain ». C'est une prévision ponctuelle. C'est un chiffre unique. Mais que se passe-t-il s'il fait en réalité 15 °C ou 32 °C ? Dans des domaines à haut risque comme les réseaux électriques, le contrôle du trafic ou la finance, deviner le chiffre exact ne suffit pas ; vous devez connaître la plage de possibilités pour éviter le désastre.

Si vous dites : « Il fera entre 21 °C et 27 °C », mais que vous vous trompez 30 % du temps, votre filet de sécurité est inutile. Vous avez besoin d'une prédiction qui soit à la fois précise (couvre la vraie réponse) et serrée (pas une plage inutilement immense comme 0 °C à 100 °C).

La Solution : Un Harnais de Sécurité « Plug-and-Play »

Les auteurs introduisent un nouveau cadre appelé Prédiction Conformale Consciente de la Distribution (DCP). Imaginez le DCP comme un harnais de sécurité universel que vous pouvez clipser sur presque n'importe quelle machine de prédiction.

Voici comment cela fonctionne, décomposé en étapes simples :

1. La « Boule de Cristal » (Le Prédictor)

D'abord, vous avez un modèle de prédiction (comme un réseau de neurones). Certains modèles sont « bêtes » et ne devinent qu'un seul chiffre. D'autres sont « intelligents » et peuvent deviner toute une distribution (un nuage de possibilités).

• Analogie : Imaginez un lanceur de fléchettes. Un lanceur « bête » dit simplement : « Je vais toucher le centre ». Un lanceur « intelligent » dit : « Je vais probablement toucher le centre, mais je pourrais manquer à gauche ou à droite selon la stabilité de ma main ».
• Le papier utilise des lanceurs intelligents comme le Dropout Monte Carlo (secouer la main aléatoirement de nombreuses fois pour voir la dispersion) et la Régression Quantile (apprendre directement les bords de la zone cible).

2. Le « Mètre Ruban de Calibration » (Prédiction Conformale)

Même les lanceurs intelligents peuvent être trop confiants. Ils pourraient penser que leur plage est de 21–27 °C, alors que la vraie météo est de 18 °C.

• La Correction : Le papier utilise une technique appelée Prédiction Conformale. Imaginez que vous avez un rouleau de ruban adhésif. Vous regardez les erreurs passées du modèle (sur un ensemble de données de « calibration ») et vous mesurez exactement combien de ruban supplémentaire vous devez ajouter sur les côtés pour attraper la vraie réponse 90 % du temps.
• L'Innovation : Les anciennes méthodes utilisaient un ruban de taille fixe. Si le modèle était instable, le ruban avait la même taille que lorsque le modèle était stable. Cela donnait des intervalles soit trop larges (gaspillage), soit trop étroits (risqué).
• L'astuce du DCP : Le DCP utilise un ruban extensible et intelligent. Il regarde l'« instabilité » du modèle pour ce moment précis. Si le modèle est très incertain, le ruban s'étend largement. Si le modèle est confiant, le ruban se rétrécit serré.

3. L'« Adaptateur Universel » (Conception Agnostique du Score)

C'est la plus grande avancée technique du papier.

• Le Problème : Habituellement, si vous changez votre modèle de prédiction, vous devez réécrire les mathématiques pour mesurer ses erreurs. C'est comme devoir acheter un nouvel adaptateur pour chaque marque différente de chargeur.
• La Solution DCP : Les auteurs ont construit un adaptateur universel. Ils ont créé un système « boîte noire » capable de prendre n'importe quel type de modèle intelligent et n'importe quelle méthode de mesure d'erreurs, et il calcule automatiquement le bon intervalle.
• Comment ? Au lieu de faire des mathématiques complexes pour chaque nouveau modèle, ils utilisent une recherche numérique (comme un aveugle qui cherche un cadre de porte). Ils commencent à la valeur prédite et avancent vers la gauche et la droite jusqu'à trouver l'endroit exact où le « score d'erreur » atteint la limite. Cela fonctionne aussi bien pour les modèles simples que pour les modèles complexes aux formes étranges.

4. Le « Bulletin de Notes » (Le Score Winkler Modifié)

Comment savez-vous si votre harnais de sécurité est bon ?

• Ancienne méthode : Vous vérifiez si la vraie réponse était dans la boîte (Validité) et quelle était la largeur de la boîte (Précision).
• La Nouvelle Métrique du Papier : Ils ont créé un nouveau score appelé le Winkler Moyen Modifié (MMW).
• Analogie : Imaginez un étudiant passant un examen.
  • S'il a la bonne réponse, c'est tant mieux.
  • S'il se trompe, la pénalité dépend de combien il se trompe.
  • La Surprise : Le papier dit : « Si vous manquez la cible, c'est une énorme pénalité ». Mais, « Si vous êtes juste un peu trop large (sûr), c'est une petite pénalité ».
  • Cependant, si le modèle commence à manquer la cible trop souvent (sous-coverage), la pénalité explose. Cela force le système à prioriser le fait de ne pas manquer par rapport à être parfaitement serré.

Qu'Ont-ils Découvert ?

Les auteurs ont testé cela sur des données de séries temporelles (comme la consommation d'énergie, les prix des actions et les comptes de piétons).

1. Adapter l'Outil au Travail :

   • Si l'incertitude provient du bruit aléatoire (comme des parasites sur une radio), les modèles qui apprennent des « bords » spécifiques (Régression Quantile) fonctionnaient le mieux.
   • Si l'incertitude provient du fait que le modèle ignore quelque chose (comme un changement soudain dans les schémas de trafic), les modèles qui « secouent » leur main pour voir la dispersion (Dropout Monte Carlo/Ensembles) fonctionnaient le mieux.
   • Point Clé : Il n'existe pas un seul modèle « meilleur ». Vous devez faire correspondre le type d'incertitude au bon outil de prédiction.

2. Le « Plug-and-Play » Fonctionne :
   Le système a combiné avec succès différents modèles avec différentes méthodes de notation. Il a constaté que l'utilisation du « ruban intelligent » (intervalles adaptatifs) était presque toujours meilleure que l'utilisation d'un « ruban fixe ».

3. Les Limites :
   Si le monde change radicalement (un « changement de distribution », comme une pandémie modifiant le comportement des piétons), même le meilleur harnais de sécurité ne peut pas réparer une boussole cassée. Si la prédiction sous-jacente du modèle est fausse, le harnais de sécurité ne fait que créer une grande boîte sûre mais inutile. Le système peut vous dire quand cela se produit (en signalant des scores d'erreur élevés), mais il ne peut pas magiquement corriger l'ignorance du modèle.

Résumé

La Prédiction Conformale Consciente de la Distribution (DCP) est un cadre universel qui prend n'importe quel modèle de prédiction probabiliste et l'enveloppe dans un filet de sécurité intelligent et extensible. Il ajuste automatiquement la taille du filet en fonction de l'incertitude du modèle à ce moment précis. Il utilise un nouveau système de notation pour s'assurer que le filet est assez serré pour être utile mais assez large pour être sûr, ce qui en fait un outil puissant pour les décisions à haut risque où se tromper n'est pas une option.

Résumé technique

Résumé technique : Prédiction conforme consciente de la distribution (DCP)

Énoncé du problème

Les réseaux de neurones standards fournissent des prévisions ponctuelles dépourvues de mesures intrinsèques de l'incertitude prédictive, une limitation critique dans des domaines à haut risque tels que l'énergie, le trafic et la finance. Des intervalles de prédiction (IP) mal calibrés peuvent être aussi trompeurs que l'absence totale d'informations sur l'incertitude. Bien que les prédicteurs probabilistes (par exemple, dropout de Monte Carlo, ensembles profonds, régression quantile) génèrent des distributions prédictives, leurs intervalles bruts manquent souvent de garanties formelles de couverture. À l'inverse, la prédiction conforme (PC) standard offre des garanties rigoureuses de couverture marginale mais produit souvent des intervalles conservateurs et non adaptatifs lorsqu'elle est appliquée à des prédicteurs ponctuels déterministes. Les approches hybrides existantes qui combinent la PC avec des prédicteurs probabilistes sont généralement ad hoc, fixant des paires prédicteur-score spécifiques sans cadre unifié pour les comparer ou guider leur sélection en fonction du régime d'incertitude sous-jacent (aléatoire vs épistémique).

Méthodologie : Prédiction conforme consciente de la distribution (DCP)

Les auteurs proposent la Prédiction conforme consciente de la distribution (DCP), un cadre unifié qui intègre des prédicteurs générant des distributions (DGPs) avec un calibrage conforme agnostique aux scores. Le cadre fonctionne en quatre étapes conceptuelles :

1. Entraîner un Prédicteur Générant des Distributions (DGP) : Le cadre traite tout modèle produisant une distribution prédictive (par exemple, régression quantile, dropout de Monte Carlo, ensembles bootstrap, ensembles profonds) comme une boîte noire. Il génère un nombre fixe d'échantillons (tirages) à partir de la distribution prédictive pour chaque entrée.
2. Sélectionner un Score Conscient de la Distribution : Un score de non-conformité à valeur réelle $s(y, \hat{y}(x))$ est sélectionné pour mesurer à quel point un résultat candidat est atypique par rapport à la distribution prédictive. L'article évalue trois familles :
   • Basé sur l'erreur : Résidus absolus (baseline symétrique et non adaptative).
   • Violation d'intervalle : Mesure la distance par rapport à des bornes pré-calculées (par exemple, quantiles conditionnels ou intervalles de densité maximale).
   • Basé sur la densité : Utilise les distances des K-plus proches voisins (KNN) dans l'espace de sortie prédictif pour exploiter la forme complète de la distribution (asymétrie, multimodalité).
3. Calibrer un Seuil Global : En utilisant un ensemble de calibration retenu, la quantile empirique $(1-\alpha)$ ($\hat{q}$) des scores de non-conformité est calculée. Cela garantit une couverture marginale sur un échantillon fini sous l'hypothèse d'échangeabilité.
4. Localiser les Intervalles par Inversion Numérique : Au lieu de s'appuyer sur une inversion analytique (qui nécessite des formes algébriques spécifiques), la DCP emploie un algorithme de recherche de racines par balayage et dichotomie. Pour une entrée de test, elle résout $f_i(y) = s(y, \hat{y}_i) - \hat{q} = 0$ pour trouver les limites de l'intervalle. Cette approche est agnostique au score, gérant des scores arbitraires, asymétriques ou non monotones, et reproduit les cas sous forme fermée jusqu'à la tolérance numérique.

Pour traiter la non-exchangeabilité des données de séries temporelles, les auteurs emploient une variante en ligne à fenêtre glissante de la prédiction conforme divisée. Cela met à jour l'ensemble de calibration avec les cibles de test récentes, permettant au seuil $\hat{q}$ de s'adapter à la dérive distributionnelle.

Contributions clés

1. Cadre Unifié (DCP) : Une architecture générale qui couple des DGPs arbitraires avec des scores de non-conformité arbitraires sous un seul pipeline de calibrage conforme, permettant une comparaison systématique des paires prédicteur-score.
2. Inversion Numérique Agnostique au Score : Un backend de recherche de racines qui construit des bornes d'intervalle sans nécessiter de dérivations algébriques spécifiques au score, facilitant l'expérimentation plug-and-play.
3. Métrique Winkler Moyenne Modifiée (MMW) : Une nouvelle métrique d'efficacité qui combine la largeur de l'intervalle et la distance de manque. Crucialement, elle introduit une pénalité de sous-couverture qui amplifie le coût de l'absence de la cible lorsque la couverture empirique tombe en dessous d'un seuil minimal acceptable, équilibrant validité et netteté.
4. Benchmarking Étendu : Évaluation sur des données synthétiques (isolant l'incertitude aléatoire vs épistémique) et six jeux de données de séries temporelles réels (énergie, finance, mobilité) à travers trois architectures de réseaux de neurones (TCN, LSTM, TFT).

Résultats

• Alignement du Régime d'Incertitude : L'efficacité de la DCP dépend fortement de l'alignement entre le signal d'incertitude du DGP et le régime des données.
  • Dans les régimes aléatoires (hétéroscédastiques), la Régression Quantile (QR) couplée à des scores basés sur l'intervalle ou la densité a produit les intervalles les plus nets, car la QR apprend directement la dispersion conditionnelle.
  • Dans les régimes épistémiques (changement de distribution), le Dropout de Monte Carlo (MCD) et les ensembles ont surpassé la QR. La dispersion dépendante de l'entrée du MCD a permis aux scores adaptatifs d'élargir les intervalles de manière appropriée lors de décalages hors distribution (OOD), tandis que la QR a échoué à capturer l'incertitude épistémique, conduisant à une sous-couverture.
• Adaptativité vs Baseline : Les scores conscients de la distribution (KNN, QIS) ont généralement amélioré l'efficacité par rapport aux baselines de résidus non adaptatifs lorsque le DGP fournissait un signal de dispersion locale informatif. Cependant, si le signal d'incertitude du DGP était désaligné par rapport à l'erreur au moment du test (par exemple, MCD dans un bruit hétéroscédastique), l'adaptativité pouvait conduire à des intervalles trop confiants et sous-couverts.
• Modes de Défaillance : Dans les cas de décalage de distribution sévère (par exemple, l'ensemble de données Pedestrian pendant la période COVID-19), aucune paire DGP-score ne pouvait entièrement récupérer la validité ou l'efficacité si le prédicteur ponctuel de base ne pouvait pas suivre le nouveau régime. Des scores MMW élevés couplés à une couverture volatile ont servi d'indicateurs pour de tels changements de régime.
• Conseils Pratiques : Les auteurs suggèrent une règle de sélection : conserver les méthodes atteignant une couverture acceptable, puis sélectionner la paire ayant le MMW le plus bas. Pour des données asymétriques ou contraintes, la QR avec des scores adaptatifs est préférée ; pour des séries bruyantes et bien spécifiées, les scores basés sur l'intervalle sont des défauts robustes.

Importance et Revendications

L'article revendique que la DCP fournit un point de départ flexible et théoriquement fondé pour la quantification de l'incertitude consciente de la distribution dans les séries temporelles. En faisant le pont entre l'apprentissage profond probabiliste et le calibrage conforme rigoureux, la DCP permet des estimations d'incertitude qui sont non seulement statistiquement valides, mais aussi efficaces et conscientes du contexte.

Les auteurs positionnent la DCP comme un outil qui aligne la solidité technique avec les exigences réglementaires émergentes (telles que la loi européenne sur l'IA), qui imposent la divulgation de la précision et des limites de performance. Le cadre généralise les méthodes existantes comme la Régression Quantile Conformalisée (CQR) et le Monte Carlo Conformalisé (CMC) en tant que cas particuliers tout en les étendant pour permettre des combinaisons précédemment ad hoc (par exemple, des scores basés sur la densité sur des prédicteurs d'ensembles). Les auteurs notent modestement que la DCP vise une couverture marginale approchée dans les séries temporelles en raison de la dépendance temporelle et que son efficacité repose sur la qualité du DGP sous-jacent ; le calibrage conforme ne peut pas compenser un signal d'incertitude fondamentalement non informatif. Les orientations futures incluent l'extension du cadre à la prévision multivariée, aux horizons multi-étapes, et à l'émission explicite de composantes d'intervalle disjoints pour les distributions multimodales.