eCP: Equivariant Conformal Prediction with pre-trained models

1. Problématique

La Prédiction Conformale (CP) est une méthode post-hoc, sans hypothèse de distribution, permettant de quantifier l'incertitude des modèles d'apprentissage automatique avec des garanties formelles de couverture (c'est-à-dire que la vraie étiquette se trouve dans l'ensemble de prédiction avec une probabilité donnée). Cependant, la CP souffre d'un problème majeur d'efficacité :

• Dans les tâches à long horizon (comme la prédiction de trajectoires) ou à des niveaux de confiance élevés, les régions d'incertitude (ensembles de prédiction) deviennent excessivement grandes.
• Ces ensembles larges rendent les garanties statistiques peu informatives pour la prise de décision (ex: navigation autonome).
• La CP standard traite chaque échantillon de manière isolée, ignorant les structures de symétrie géométrique inhérentes aux données (translations, rotations, réflexions). Par conséquent, des versions transformées d'un même input peuvent recevoir des scores de non-conformité différents, augmentant inutilement la variance et la taille des ensembles de prédiction.

2. Méthodologie : eCP (Equivariant Conformal Prediction)

Les auteurs proposent eCP, une procédure post-hoc qui intègre l'information géométrique dans la CP sans réentraîner le modèle. L'idée centrale est d'exploiter les symétries du problème pour lisser les scores d'incertitude.

A. Principe de Symétrisation

Au lieu d'utiliser le score de non-conformité $s(f(x), y)$ d'un modèle pré-entraîné $f_\theta$ directement, eCP calcule un score symétrisé en moyennant sur l'orbite du groupe de symétrie $G$ :
$$\Pi_G[s; f](x, y) = \mathbb{E}_{g \sim \mu_G} \left[ s\left( f(\phi_{g^{-1}}(x)), \psi_{g^{-1}}(y) \right) \right]$$
Où $\phi$ et $\psi$ sont les actions du groupe sur l'espace d'entrée et de sortie, et $\mu_G$ est la mesure de Haar (probabilité invariante à gauche).

B. Projection Équivariante

Grâce à l'inégalité de Jensen (en supposant que le score de non-conformité est convexe par rapport à la prédiction), les auteurs montrent que cette symétrisation équivaut à utiliser un modèle pré-entraîné équivariantisé :
$$f^G_\theta(x) = \mathbb{E}_{g \sim \mu_G} \left[ \psi_g \circ f_\theta \circ \phi_{g^{-1}}(x) \right]$$
Ce nouveau prédicteur est la projection canonique du modèle original sur l'espace des fonctions équivariantes.

C. Garanties Théoriques

• Validité : Sous l'hypothèse d'échangeabilité généralisée ($G$-invariance), eCP conserve les garanties de couverture finie de la CP standard.
• Réduction de la Variance : La symétrisation réduit la variance des scores de non-conformité.
• Ordre Convexe Croissant (ICX) : Le score de non-conformité équivariantisé $S_{f^G}$ est dominé par le score original $S_f$ dans l'ordre convexe croissant ($S_{f^G} \preceq_{icx} S_f$). Cela implique :
  • Une réduction des moments d'ordre supérieur.
  • Une contraction des queues de distribution (meilleures bornes exponentielles de type Chernoff).
  • Une réduction du CVaR (Conditional Value at Risk), ce qui se traduit directement par des ensembles de prédiction plus petits, surtout aux niveaux de confiance élevés.

3. Contributions Clés

1. Proposition de eCP : Une méthode générique et post-hoc qui injecte des symétries de groupe dans la CP via la symétrisation des scores de non-conformité, applicable à n'importe quel modèle pré-entraîné.
2. Analyse Théorique Rigoureuse : Preuve que la symétrisation contracte les scores de non-conformité dans l'ordre convexe croissant, garantissant une meilleure efficacité (ensembles plus petits) tout en préservant la validité.
3. Validation Empirique : Démonstration que eCP réduit significativement l'incertitude dans la prédiction de trajectoires de piétons, en particulier aux niveaux de confiance stricts (ex: 99%), là où la CP classique est trop conservatrice.

4. Résultats Expérimentaux

Les expériences ont été menées sur des benchmarks de prédiction de trajectoires de piétons (ETH-UCY, Stanford Drone Dataset, SportVU NBA) avec deux modèles de base :

• SocialVAE (modèle stochastique).
• TUTR (modèle déterministe basé sur Transformer).

Résultats principaux :

• Réduction de la taille des ensembles : eCP réduit le quantile de calibration (rayon de l'ensemble de prédiction à 95% de confiance) d'environ 28% en moyenne par rapport à la CP standard.
• Performance aux niveaux élevés : Les gains sont les plus importants aux niveaux de confiance élevés (ex: 99%), confirmant la théorie sur la contraction des queues de distribution.
• Préservation de la couverture : La couverture empirique reste proche du niveau nominal (ex: ~95% ou ~99%), validant les garanties théoriques.
• Impact du groupe de symétrie : La performance s'améliore avec la richesse du groupe de symétrie ($C_4 < C_8 < SO(2)$). Le groupe continu $SO(2)$ (rotations planes) offre les meilleurs résultats.
• Agnosticisme du modèle : La méthode fonctionne aussi bien sur des modèles stochastiques que déterministes, sans nécessiter de réentraînement ni de modification architecturale.

5. Signification et Impact

L'article eCP comble un fossé important entre l'induction géométrique (bias d'architecture) et la quantification d'incertitude post-hoc.

• Pratique : Il permet d'obtenir des ensembles de prédiction beaucoup plus précis et informatifs pour la planification robotique et la navigation autonome, sans coût de réentraînement.
• Théorique : Il établit un lien formel entre la symétrie des données et la réduction de la variance des scores de non-conformité, prouvant que l'exploitation de la symétrie améliore non seulement la précision du modèle, mais aussi la fiabilité de ses intervalles de confiance.
• Limites : La méthode dépend de la connaissance d'un groupe de symétrie valide et introduit un coût computationnel supplémentaire pour le calcul de la moyenne sur l'orbite (bien que négligeable par rapport à l'entraînement).

En résumé, eCP offre un mécanisme principiel pour « resserrer » les estimations d'incertitude dans des tâches à long horizon en exploitant les structures de symétrie déjà présentes dans les données et les modèles pré-entraînés.