Extreme Conformal Prediction: Reliable Intervals for High-Impact Events

1. Problématique

Le conformal prediction (prédiction conforme) est une méthode populaire permettant de construire des intervalles de prédiction avec des garanties de couverture marginale, indépendamment du modèle d'apprentissage automatique sous-jacent (boîte noire). Cependant, cette méthode classique rencontre une limitation fondamentale dans les applications à fort impact (inondations, crises financières, catastrophes naturelles) où les régulateurs exigent des niveaux de confiance extrêmement élevés (par exemple, $1-\alpha$ proche de 1, avec $\alpha$ très petit).

Le problème majeur est le suivant :

• Pour un niveau de confiance $1-\alpha$ très élevé par rapport à la taille de l'ensemble de calibration $n_c$ (spécifiquement lorsque $\alpha < 1/(n_c+1)$), le quantile empirique nécessaire pour construire l'intervalle n'est pas défini (il faudrait extrapoler au-delà de la plus grande observation disponible).
• Dans ce cas, la méthode conforme classique produit des intervalles de prédiction infinis (ou indéfinis), ce qui les rend inutilisables et non informatifs.
• Même pour des niveaux de confiance légèrement inférieurs à cette limite, la variance de l'estimateur du quantile devient énorme, rendant les intervalles trop larges pour être utiles.

L'objectif de l'article est de proposer une méthode capable de fournir des intervalles de prédiction fins, informatifs et fiables pour des événements extrêmes, même lorsque le niveau de confiance dépasse les capacités des données de calibration empiriques.

2. Méthodologie : Conformal Prediction Extrême

Les auteurs proposent une nouvelle approche qui fusionne la prédiction conforme et la statistique des valeurs extrêmes (Extreme Value Theory - EVT). La méthode se déroule en deux étapes principales :

A. Modélisation de base (Étape 1)

Utilisation d'une méthode de régression de quantiles extrêmes (Extreme Quantile Regression) pour entraîner un modèle prédictif $\hat{Q}_{1-\alpha}(\mathbf{x})$. Ce modèle doit être capable d'extrapoler au-delà de la plage des données d'entraînement.

• Le modèle peut être une « boîte noire » (réseaux de neurones, forêts aléatoires, boosting) ou un modèle paramétrique.
• L'objectif est d'estimer le quantile conditionnel extrême de la variable réponse $Y$ étant donné les covariables $\mathbf{X}$.

B. Calibration par extrapolation (Étape 2)

Au lieu d'utiliser les statistiques d'ordre empiriques pour déterminer la correction conforme (le terme $\hat{q}_\alpha$), l'approche proposée utilise la théorie des valeurs dépassant un seuil (Peaks-Over-Threshold, POT).

1. Calcul des scores : On calcule les scores de non-conformité $S_i = s(\mathbf{X}_i, Y_i)$ sur un ensemble de calibration.
2. Modélisation de la queue : On suppose que la queue de la distribution des scores $S$ suit une Distribution de Pareto Généralisée (GPD) au-dessus d'un seuil élevé $u$.
3. Estimation du quantile : On utilise la GPD pour extrapoler le quantile $\hat{q}_\alpha$ correspondant au niveau de confiance extrême $1-\alpha$, qui est situé au-delà des observations disponibles.
4. Approche conservatrice (Intervalle de confiance) : Pour garantir la couverture malgré les biais d'estimation et d'approximation inhérents à l'extrapolation, les auteurs ne se contentent pas de l'estimateur ponctuel de la GPD. Ils construisent un intervalle de confiance (IC) pour le quantile de la GPD (en utilisant la vraisemblance profilée, le bootstrap ou la méthode delta).
   • L'intervalle de prédiction final est défini par la borne supérieure de cet IC.
   • Cela garantit théoriquement que la couverture marginale $P(Y_{test} \in \hat{C}(\mathbf{X}_{test})) \ge 1-\alpha$ est respectée, même pour des $\alpha$ très petits.

Extensions

• Données non stationnaires : Une version pondérée de la méthode est proposée pour gérer les dérifts de distribution (ex: saisonnalité). Elle attribue des poids aux observations de calibration en fonction de leur similarité avec la période de test (ex: poids sinusoïdaux pour la saisonnalité des crues).
• Intervales unilatéraux ou bilatéraux : La méthode est présentée principalement pour des intervalles unilatéraux (pertinents pour les risques de dépassement de seuil), mais peut être adaptée aux intervalles bilatéraux.

3. Contributions Clés

1. Combinaison EVT-Conformal : C'est la première méthode qui relie rigoureusement la théorie des valeurs extrêmes à la prédiction conforme pour résoudre le problème de l'extrapolation des niveaux de confiance.
2. Garantie de couverture pour $\alpha \to 0$ : La méthode permet de construire des intervalles finis et informatifs pour des niveaux de confiance inaccessibles aux méthodes classiques (où $\alpha < 1/(n_c+1)$).
3. Robustesse via IC conservateur : L'utilisation d'intervalles de confiance pour le paramètre de la GPD (plutôt que l'estimateur ponctuel) compense les biais d'extrapolation, assurant une couverture fiable.
4. Flexibilité : La méthode est compatible avec n'importe quel modèle de régression de quantiles extrêmes (y compris les modèles d'apprentissage profond) et s'adapte aux données non stationnaires via des poids.

4. Résultats

Les auteurs valident leur méthode à travers une étude de simulation et une application réelle.

• Étude de Simulation :

  • Comparaison entre la méthode conforme classique, une méthode GPD simple (sans IC) et les variantes de la méthode proposée (GPD avec IC : profil de vraisemblance, bootstrap, delta).
  • Résultat : La méthode classique produit des intervalles infinis pour les niveaux de confiance extrêmes. La méthode GPD simple sous-estime souvent la couverture (sous-coverage) en raison des biais d'estimation.
  • Les variantes avec IC (notamment la vraisemblance profilée et le bootstrap) atteignent systématiquement la couverture cible ($1-\alpha$) tout en fournissant des intervalles finis. La méthode « GPD safeprofile » (combinaison de profil de vraisemblance et bootstrap pour éviter les instabilités numériques) est recommandée.

• Application : Prévision des risques d'inondation (Suisse) :

  • Contexte : Prédiction du débit journalier de la rivière Aare à Berne avec un horizon d'un jour, en utilisant des données de précipitations en amont.
  • Défi : Données saisonnières et événements extrêmes rares.
  • Résultats :
    • Les prédictions de quantiles bruts (modèles EQRN, GBEX, etc.) sous-couvrent souvent les événements extrêmes.
    • La méthode conforme classique échoue pour les niveaux de confiance élevés ($>0.99$), produisant des intervalles infinis.
    • La méthode conforme extrême fournit des intervalles finis qui respectent strictement les niveaux de confiance demandés (jusqu'à 0.9999), même avec des ensembles de calibration de taille modeste (3 à 15 ans).
    • L'approche pondérée gère efficacement la saisonnalité, ajustant la largeur de l'intervalle selon la période de l'année (plus large en été lors des crues).

5. Signification et Implications

Cette recherche est cruciale pour la gestion des risques catastrophiques. Elle permet aux régulateurs et aux ingénieurs de quantifier l'incertitude pour des événements rares (crues centennales, crises financières) avec une rigueur statistique que les méthodes traditionnelles ne peuvent offrir.

• Avantage principal : Transformation d'intervalles de prédiction « vides » (infinis) en outils décisionnels concrets et fiables pour des niveaux de confiance extrêmes.
• Compromis (Trade-off) : La méthode est légèrement plus conservatrice (intervalles plus larges) que les méthodes empiriques pour des niveaux de confiance modérés, en raison de la nécessité de corriger les biais d'extrapolation. Cependant, ce compromis est inévitable pour obtenir des garanties théoriques au-delà de la plage des données observées.
• Implémentation : Les auteurs ont rendu la méthode accessible via un package R open-source (ExtremeConformal), facilitant son adoption par la communauté scientifique et industrielle.

En résumé, cet article comble un vide théorique et pratique majeur en permettant l'application rigoureuse de la prédiction conforme aux scénarios de « cygne noir » ou d'événements à très faible probabilité mais à fort impact.