Multivariate Standardized Residuals for Conformal Prediction

Résumé Technique : Résidus Standardisés Multivariés pour la Prédiction Conformelle

Énoncé du Problème
La prédiction conformelle offre un cadre indépendant du modèle pour construire des ensembles prédictifs avec une couverture marginale garantie à échantillon fini. Cependant, une limitation majeure réside dans la difficulté d'atteindre une couverture conditionnelle, où la validité s'applique à des entrées observées spécifiques plutôt qu'en moyenne. Ceci est particulièrement critique dans les contextes hétéroscédastiques où l'incertitude de prédiction varie selon les caractéristiques d'entrée. Les approches existantes présentent des compromis :

• Méthodes univariées : Des techniques comme les « résidus standardisés » (normalisation des erreurs par la variance locale) améliorent la couverture conditionnelle en régression univariée mais ne s'étendent pas naturellement aux sorties multivariées.
• Estimation de densité multivariée : Les méthodes estimant la densité conditionnelle complète peuvent produire des ensembles valides mais sont coûteuses en calcul, nécessitant souvent un échantillonnage, et peinent face à la « malédiction de la dimensionnalité ».
• Méthodes à forme fixe : Les approches produisant des ensembles de taille fixe ou non adaptatifs échouent à capturer l'incertitude dépendante de l'entrée.
• Méthodes basées sur l'échantillonnage : Les stratégies récentes visant à améliorer la couverture conditionnelle introduisent souvent du hasard et de la variabilité pour des entrées identiques, compromettant la reproductibilité.

Méthodologie
Les auteurs proposent un cadre étendant le concept de résidus standardisés au contexte multivarié. L'idée centrale consiste à apprendre une matrice de covariance locale dépendante des caractéristiques pour « blanchir » les résidus, découplant efficacement les corrélations de sortie et standardisant la variance locale.

1. Modélisation : Étant donné un vecteur de caractéristiques $X$ et une réponse multivariée $Y \in \mathbb{R}^k$, la méthode apprend deux fonctions :

   • Un prédicteur $f_\theta(X)$ estimant l'espérance conditionnelle $\mathbb{E}[Y|X]$.
   • Un estimateur de covariance $\Sigma_\varphi(X)$ estimant la matrice de covariance conditionnelle.
     Celles-ci peuvent être apprises conjointement par vraisemblance maximale (en supposant une approximation gaussienne) ou appliquées au-dessus d'un prédicteur ponctuel existant de type boîte noire.

2. Score de non-conformité : La méthode définit un score de non-conformité basé sur la distance de Mahalanobis :
   $$S_{\text{Mah}}(X, Y) = \|\Sigma_\varphi(X)^{-1/2}(Y - f_\theta(X))\|_2$$
   Ce score mesure la distance d'un résidu par rapport à la moyenne, mise à l'échelle par la structure de covariance locale.

3. Ensembles conformes : L'ensemble de prédiction résultant $C_\alpha(X_{\text{test}})$ est un ellipsoïde centré en $f_\theta(X_{\text{test}})$, dont la forme et la taille sont déterminées par $\Sigma_\varphi(X_{\text{test}})$ et un seuil dérivé de l'ensemble de calibration. Cela permet à l'ensemble de s'adapter à l'hétéroscédasticité.

4. Extensions : Le cadre prend en charge naturellement plusieurs extensions pratiques :

   • Sorties manquantes : En marginalisant la densité gaussienne vers les dimensions observées et en utilisant la fonction de répartition du Chi-deux, la méthode construit des scores valides même lorsque les données de calibration contiennent des valeurs manquantes.
   • Sorties partiellement révélées : Si une partie de la sortie $Y_r$ est révélée au moment du test, la méthode utilise les propriétés gaussiennes conditionnelles pour affiner l'ensemble de prédiction pour la partie cachée $Y_h$ sans réentraînement.
   • Transformations de sortie : Pour les transformations linéaires de la sortie (par exemple, les rendements de portefeuille), la méthode construit des ensembles conformes directement sur les variables transformées en utilisant la moyenne et la covariance transformées, évitant ainsi le conservatisme du projection des ensembles existants.

Garanties Théoriques
L'article établit une condition suffisante pour que la méthode atteigne une couverture conditionnelle asymptotique. Plus précisément, si le résidu standardisé $U = \Sigma(X)^{-1/2}(Y - f(X))$ est indépendant de $X$, la méthode produit une couverture conditionnelle exacte asymptotiquement. Cette condition s'applique à une large classe de distributions, y compris les distributions elliptiques, sans exiger strictement que le bruit soit elliptique. Même lorsque cette indépendance ne tient pas, il est démontré que la méthode améliore la couverture conditionnelle en normalisant les deux premiers moments des résidus.

Contributions Clés

• Extension Multivariée : Une généralisation naturelle des résidus standardisés à la régression multivariée utilisant une matrice de covariance locale apprise.
• Efficacité sous forme fermée : Contrairement aux méthodes basées sur la densité nécessitant un échantillonnage, cette approche produit des ensembles conformes sous forme fermée, la rendant computationnellement efficace au moment de l'inférence.
• Caractérisation Théorique : Une condition suffisante caractérisant les distributions pour lesquelles les résidus standardisés produisent une couverture conditionnelle asymptotique.
• Flexibilité Pratique : Le cadre permet la gestion des sorties de calibration manquantes, l'affinement des ensembles lors de la révélation partielle des sorties, et la construction d'ensembles valides pour les transformations de sortie.

Résultats Expérimentaux
Les auteurs évaluent la méthode sur des données synthétiques et réelles (par exemple, Bias, CASP, House, rf1, scm1d, Taxi) par rapport à des références incluant HPD (basée sur la densité), C-PCP, L-CP, ECM (covariance empirique) et OT (transport optimal).

• Couverture Conditionnelle : La méthode atteint une couverture conditionnelle plus proche du niveau cible (par exemple, 90 %) que les références multivariées existantes, surpassant particulièrement les méthodes « uniquement marginales » qui sur-couvrent dans certaines régions pour compenser une sous-couverture ailleurs.
• Taille de l'Ensemble : La méthode produit des ensembles conformes plus étroits (volume plus petit) que les méthodes basées sur la densité tout en maintenant la couverture.
• Efficacité Computationnelle : La méthode est significativement plus rapide que les approches basées sur la densité (HPD, PCP, C-PCP), qui nécessitent souvent un échantillonnage de Monte Carlo coûteux. Par exemple, évaluer la couverture pour 1 000 points prend un temps négligeable comparé aux centaines ou milliers de secondes requis par les références.
• Robustesse : La méthode fonctionne bien même lorsque l'hypothèse gaussienne sous-jacente est mal spécifiée (par exemple, avec un bruit exponentiel), suggérant une robustesse au-delà des hypothèses théoriques.

Signification et Revendications
L'article revendique que cette approche constitue une « étape encourageante » vers l'objectif d'une couverture conditionnelle fiable sous des hypothèses minimales. En évitant la nécessité d'une estimation complète de la densité conditionnelle, la méthode offre une alternative computationnellement traitable et robuste qui équilibre le compromis entre les garanties strictes de la couverture marginale et l'adaptabilité de la couverture conditionnelle. Les auteurs soulignent que si une couverture conditionnelle stricte ne peut être garantie pour toutes les distributions, la méthode l'atteint asymptotiquement pour une large classe et fournit une couverture approximative robuste en pratique. La capacité à gérer les valeurs manquantes et à affiner les prédictions avec des informations partielles étend davantage l'applicabilité de la prédiction conformelle à des scénarios réels où les données sont souvent incomplètes ou partiellement observées.