Co-optimization for Adaptive Conformal Prediction

Ce papier propose CoCP, un cadre d'optimisation conjointe qui améliore l'efficacité des intervalles de prédiction conformes en apprenant simultanément un centre et un rayon adaptatifs, garantissant ainsi une validité marginale à échantillon fini tout en produisant des intervalles plus courts et mieux centrés que les méthodes existantes.

L'essentiel

🎯 Le Problème : La "Boîte à Outils" Trop Large

Imaginez que vous êtes un prévisionniste météo. Votre travail est de dire aux gens : "Demain, la température sera entre X et Y degrés".

Les méthodes actuelles (comme le "CQR" mentionné dans l'article) fonctionnent un peu comme un tailleur rigide. Si vous leur demandez une boîte qui contient 90 % des cas possibles, ils vous donnent une boîte parfaitement symétrique : ils prennent la moyenne, puis ajoutent 10 % de marge à gauche et 10 % à droite.

Le problème ? La réalité n'est pas toujours symétrique.

• Parfois, les données sont "tordues" (asymétriques). Imaginez une distribution où il y a beaucoup de cas autour de 20°C, mais quelques cas extrêmes à 40°C, et très peu en dessous de 10°C.
• Si votre boîte est symétrique (centrée sur la moyenne), elle va s'étirer inutilement vers le vide (vers les 10°C) pour attraper les rares cas extrêmes, tout en laissant de côté la zone où il y a vraiment beaucoup de chances qu'il fasse beau.
• Résultat : Votre boîte est trop large, donc peu précise, même si elle est techniquement "correcte".

💡 L'Idée Géniale : La "Boîte Intelligente" (CoCP)

Les auteurs proposent une nouvelle méthode appelée CoCP (Co-optimisation pour la Prédiction Conformale Adaptative).

Au lieu de faire une boîte rigide, CoCP apprend à faire une boîte flexible et intelligente qui s'adapte à la forme des données. Pour y arriver, ils utilisent une astuce géométrique brillante qu'ils appellent la "méthode du drapeau plié".

🧶 L'Analogie du Drapeau Plié

Imaginez que vous avez une distribution de données (une montagne de probabilités) et que vous voulez y placer une boîte.

1. Le pliage : Au lieu de regarder la montagne de gauche à droite, imaginez que vous pliez la montagne en deux autour de votre centre actuel. Tout ce qui est à gauche est rabattu sur la droite.
2. L'équilibre : Maintenant, vous regardez les deux bords de votre boîte sur ce "drapeau plié".
   • Si un bord touche une zone très dense (beaucoup de données) et l'autre une zone vide, c'est déséquilibré.
   • L'astuce de CoCP : Si un bord est dans une zone dense, la méthode dit : "Hé, déplace un peu le centre de la boîte vers cette zone dense !"
   • Pourquoi ? En déplaçant le centre vers la densité, vous "poussent" les données denses dans la boîte et "tirez" les données vides hors de la boîte.
3. Le résultat : Comme vous avez plus de données à l'intérieur, vous n'avez plus besoin d'une boîte aussi large pour atteindre votre objectif de 90 %. Vous pouvez rétrécir la boîte tout en gardant la même sécurité.

C'est comme si vous ajustiez la taille d'un filet de pêche : au lieu de le lancer au hasard, vous le glissez exactement là où les poissons sont les plus nombreux, pour attraper le même nombre de poissons avec un filet plus petit.

🛠️ Comment ça marche en pratique ?

L'algorithme fonctionne en deux étapes qui s'alternent, comme un danseur qui ajuste sa position :

1. Ajuster la taille (Le Rayon) : "Si je reste ici, quelle taille de boîte me faut-il pour attraper 90 % des données ?" (C'est la partie mathématique de la régression quantile).
2. Ajuster le centre (Le Déplacement) : "Est-ce que ma boîte est bien placée ?" Si un côté de la boîte touche une zone vide et l'autre une zone pleine, l'algorithme pousse le centre vers la zone pleine. Il utilise une "poussée douce" (un gradient) qui ne regarde que les bords de la boîte, sans avoir besoin de connaître toute la forme de la montagne de données.

En répétant ces deux pas, la boîte finit par se caler parfaitement sur la zone la plus dense, devenant aussi petite que possible tout en restant fiable.

🏆 Pourquoi c'est important ?

Dans le monde réel, les prédictions (prix de l'immobilier, demande de vélos en libre-service, température, etc.) sont souvent tordues et imprévisibles.

• Les anciennes méthodes donnent des intervalles de prédiction larges et conservateurs (trop prudents).
• CoCP donne des intervalles plus courts et plus précis.

C'est comme passer d'une veste trop grande qui vous fait avoir froid à un costume sur mesure qui vous va parfaitement. Vous avez la même protection (la même fiabilité statistique), mais vous êtes beaucoup plus à l'aise et efficace.

En résumé

CoCP est une nouvelle façon de faire des prédictions qui dit : "Ne soyez pas symétrique par défaut. Soyez intelligent, glissez votre boîte là où les données sont denses, et réduisez-la au strict nécessaire."

C'est une victoire de l'efficacité : plus de précision, moins de gaspillage d'espace, le tout garanti mathématiquement.

Résumé technique

1. Problématique

La prédiction conforme (CP) est une méthode robuste fournissant des intervalles de prédiction avec une couverture marginale garantie sur un échantillon fini, sans hypothèse de distribution sous-jacente. Cependant, les méthodes standards, comme la Régression de Quantiles Conformalisée (CQR), souffrent de limitations majeures dans des contextes réalistes :

• Hétéroscédasticité et Asymétrie : Les méthodes classiques (ex: CQR) construisent souvent des intervalles à queues égales (equal-tailed), c'est-à-dire qu'elles placent $\alpha/2$ de la masse de probabilité de chaque côté de l'estimateur central.
• Inefficacité sous asymétrie : Lorsque la distribution conditionnelle $Y|X$ est asymétrique (skewed), l'approche à queues égales déplace l'intervalle loin des régions de forte densité de probabilité. Cela entraîne des intervalles plus larges que nécessaire pour atteindre le même niveau de couverture, car ils incluent des zones de faible densité pour compenser les queues.
• Objectif manquant : L'intervalle idéal pour minimiser la longueur tout en maintenant une couverture de $1-\alpha$ est l'Intervalle de Haute Densité (HDI - Highest Density Interval). Pour une distribution unimodale, les bornes de l'HDI satisfont une condition d'égalité des densités aux extrémités ($f(\ell) = f(u)$), contrairement à la condition d'égalité des masses des méthodes à queues égales.

Le défi central est donc de concevoir une méthode qui s'adapte non seulement à la variance locale (échelle), mais qui déplace également le centre de l'intervalle vers les régions de plus haute densité, sans avoir à estimer la densité conditionnelle complète (ce qui est difficile et instable).

---

2. Méthodologie : CoCP (Co-optimization for Adaptive Conformal Prediction)

Les auteurs proposent CoCP, un cadre d'apprentissage qui co-optimise simultanément le centre $m(x)$ et le rayon $h(x)$ d'un intervalle de prédiction $C(x) = [m(x) - h(x), m(x) + h(x)]$.

A. Fondement Géométrique : La Représentation "Pliée" (Folded Geometry)

L'idée centrale repose sur une visualisation géométrique :

1. Pour un centre $m$ fixé, le rayon minimal $h$ nécessaire pour capturer une masse $1-\alpha$ est déterminé par le quantile $(1-\alpha)$ du résidu plié $|Y - m|$.
2. Si les densités aux deux extrémités de l'intervalle ($m-h$ et $m+h$) sont déséquilibrées, déplacer le centre $m$ vers le côté à densité plus élevée permet de "pousser" de la masse dense dans l'intervalle et de "tirer" de la masse sparse hors de l'intervalle.
3. Ce mécanisme de poussée-tirage (push-pull) permet de réduire le rayon requis tout en maintenant la couverture, jusqu'à ce que les densités aux extrémités s'équilibrent (atteignant ainsi l'HDI).

B. Algorithme d'Optimisation Alternée

CoCP implémente ce principe via un processus d'apprentissage alterné différentiable :

1. Mise à jour du Rayon ($h$) :

   • Fixé le centre $m$, le rayon est appris via une régression de quantiles (perte "pinball") sur les résidus pliés $|Y - m(x)|$.
   • Cela assure que $h(x)$ correspond au quantile conditionnel de la distribution pliée.

2. Mise à jour du Centre ($m$) :

   • Fixé le rayon $h$, le centre est raffiné pour corriger le désalignement.
   • Au lieu d'estimer la densité complète, CoCP utilise un objectif de couverture douce (soft-coverage) différentiable.
   • Une fonction sigmoïde $\sigma(\cdot)$ sert d'approximation lisse de l'indicateur de couverture. Les gradients de cette fonction se concentrent naturellement près des frontières de l'intervalle.
   • Si la densité est plus élevée à droite, le gradient pousse $m$ vers la droite, réduisant ainsi le rayon nécessaire.

3. Calibration Conforme :

   • Une fois $m$ et $h$ appris, une étape de calibration conforme standard (split-conformal) est appliquée sur un ensemble de calibration pour garantir une validité marginale exacte en échantillon fini, indépendamment de la qualité de l'apprentissage des réseaux de neurones.

4. Cross-fitting :

   • Pour réduire la variance et réutiliser les données efficacement, l'algorithme utilise un pliage croisé (K-fold cross-fitting) et un ensembling des modèles appris.

---

3. Contributions Clés

1. Perspective Géométrique et "Folded-Flag" :

   • Introduction d'une vue géométrique unifiée expliquant l'inefficacité des intervalles à centre fixe sous asymétrie. La méthode formalise le passage d'un intervalle arbitraire à un HDI via un problème d'équilibrage des frontières dans une géométrie pliée.

2. Construction Co-optimisée Pratique (CoCP) :

   • Proposition d'un cadre d'optimisation alternée différentiable qui évite l'estimation coûteuse et instable de la densité conditionnelle complète.
   • Utilisation d'un objectif de couverture douce pour guider le centre vers les régions de haute densité, couplé à une régression de quantiles pour l'échelle.

3. Garanties Théoriques :

   • Validité : Garantie de couverture marginale exacte en échantillon fini (via la calibration).
   • Efficacité Asymptotique : Sous des conditions de régularité standard, l'article démontre que CoCP converge asymptotiquement vers la longueur de l'intervalle conditionnel optimal (HDI) lorsque l'erreur d'estimation et le paramètre de lissage $\beta$ tendent vers zéro.
   • Couverture Conditionnelle : La méthode améliore la fiabilité de la couverture conditionnelle, réduisant les écarts locaux par rapport au niveau cible.

---

4. Résultats Expérimentaux

Les auteurs ont évalué CoCP sur des données synthétiques et des benchmarks réels, comparé à des méthodes de référence (Split, CQR, C-HDR, CHR, CPL, etc.).

• Données Synthétiques (Distributions Symétriques et Asymétriques) :

  • Normal (Symétrique) : CoCP est compétitif, produisant des intervalles proches de l'optimum.
  • Log-Normal et Exponentiel (Asymétriques) : CoCP surpasse nettement les méthodes à queues égales (comme CQR).
    • Réduction de la longueur moyenne de ~13% à ~20% par rapport à CQR.
    • Réduction drastique de l'erreur de couverture conditionnelle (ConMAE), prouvant que l'intervalle est mieux centré sur la masse de probabilité.
  • Visualisation : Les graphiques montrent que CoCP déplace activement le centre vers la région de haute densité, contrairement aux méthodes baselines qui restent centrées sur la moyenne ou la médiane, créant des intervalles décalés et larges.

• Données Réelles (7 jeux de données : Bike, Bio, Blog, Facebook, Homes, Superconductor) :

  • CoCP produit les intervalles les plus courts sur 5 des 7 jeux de données tout en maintenant une couverture marginale proche de 0.9.
  • Sur les deux autres jeux, bien que certaines méthodes (comme CHR) soient légèrement plus courtes, CoCP offre une fiabilité conditionnelle bien supérieure (MSCE, WSC et ERT plus faibles), indiquant une meilleure répartition spatiale de la couverture et moins de sous-couverture locale.

---

5. Signification et Impact

Ce travail est significatif car il résout un compromis fondamental en prédiction conforme : la validité vs l'efficacité.

• Au-delà de la simple calibration : La plupart des méthodes conformes se contentent d'ajuster la largeur d'un intervalle préexistant. CoCP reconnaît que la position de l'intervalle est tout aussi critique pour l'efficacité, surtout sous asymétrie.
• Éviter l'estimation de densité : Contrairement aux approches basées sur des modèles génératifs ou des estimateurs de densité complexes (qui peuvent être instables), CoCP atteint des performances proches de l'HDI théorique en n'apprenant qu'un quantile et en utilisant des gradients locaux.
• Robustesse : La méthode offre un nouveau standard pour la construction d'intervalles de prédiction adaptatifs, particulièrement utiles dans les domaines où les distributions d'erreurs sont naturellement asymétriques (finance, biologie, physique).

En résumé, CoCP transforme la construction d'intervalles conformes en un problème d'optimisation géométrique conjointe, permettant d'obtenir des prédictions plus précises et plus fiables sans sacrifier les garanties théoriques de validité.