Résumé Technique : Remise en question de la métrique Couverture-Longueur dans la Prédiction Conforme

1. Énoncé du Problème

La Prédiction Conforme (CP - Conformal Prediction) est un cadre standard pour la quantification de l'incertitude sans hypothèse de distribution, généralement évaluée à l'aide de deux métriques : la couverture marginale (la probabilité que la véritable étiquette se trouve dans l'ensemble de prédiction) et la longueur de l'intervalle (la taille de l'ensemble de prédiction, où une taille plus courte est généralement préférée pour la précision).

L'article identifie une lacune critique dans ce paradigme d'évaluation : l'hypothèse selon laquelle une méthode atteignant une couverture valide et des intervalles moyens plus courts est intrinsèquement supérieure pour un déploiement pratique. Les auteurs soutiennent que ces métriques standards peuvent être « piratées » par des constructions contre-intuitives qui réduisent artificiellement la longueur de l'intervalle tout en maintenant la couverture marginale, mais au prix de l'introduction d'une instabilité (des sorties incohérentes pour une même entrée) et d'une injustice (fournir des prédictions non informatives pour un sous-ensemble d'utilisateurs).

2. Méthodologie : Le Truc Préjudiciable (PT - Prejudicial Trick)

Pour démontrer l'insuffisance de la métrique couverture-longueur, les auteurs introduisent une construction théorique nommée le Truc Préjudiciable (PT). Le PT est une modification a posteriori appliquée à n'importe quel algorithme de CP de base.

Mécanisme :
Pour un taux de sous-couverture cible $\alpha$ et un point de test $x'$, le PT opère de manière probabiliste avec un paramètre $p \in (1-\alpha, 1)$ :

1. Assignation Nulle : Avec une probabilité $1-p$, l'algorithme retourne un ensemble nul (un ensemble vide pour la classification ou un point unique/un intervalle de longueur zéro pour la régression).
2. Assignation Ajustée : Avec une probabilité $p$, l'algorithme retourne un intervalle de prédiction construit à l'aide d'un taux de sous-couverture ajusté $\alpha' = 1 - \frac{1-\alpha}{p}$. Puisque $p < 1$, $\alpha' > \alpha$, ce qui résulte en un intervalle plus large pour cette exécution spécifique.

Justification Théorique :

• Préservation de la Couverture : La couverture marginale est préservée car l'espérance de la couverture est $p \times (1-\alpha') + (1-p) \times 0 = p(1 - (1 - \frac{1-\alpha}{p})) = 1-\alpha$.
• Réduction de la Longueur : La longueur moyenne de l'intervalle est réduite car les ensembles nuls (longueur 0) sont moyennés avec les intervalles ajustés. L'article dérive des conditions suffisantes (par exemple, Lemme 3.6, Théorème 3.7) sous lesquelles ce mélange produit un intervalle d'espérance strictement plus petit que l'algorithme de base, particulièrement dans les scénarios de spécification incorrecte du modèle (model misspecification).

3. Contributions Clés

A. Analyse Théorique du PT

Les auteurs fournissent un cadre théorique rigoureux caractérisant le comportement du PT :

• Garanties de Couverture : Le Théorème 3.3 prouve que le PT maintient la couverture marginale. De plus, si l'algorithme de base satisfait la couverture conditionnelle, le PT hérite de celle-ci. La Remarque 3.5 suggère que le PT peut même surpasser l'algorithme de base en termes de couverture conditionnelle sur certains sous-ensembles spécifiques sous certaines conditions.
• Amélioration de la Longueur : Les Théorèmes 3.7 et 3.10 établissent des conditions suffisantes (impliquant la dérivabilité et la concavité de la fonction de longueur) sous lesquelles le PT réduit strictement la longueur moyenne. Les auteurs notent que la spécification incorrecte du modèle est un scénario courant dans le monde réel qui satisfait ces conditions.
• Cas d'Échec : L'Exemple 4 démontre que le PT ne réduit pas toujours la longueur (par exemple, lorsque les scores de non-conformité suivent une distribution gaussienne), soulignant que l'amélioration n'est pas universelle mais possible dans des contextes réalistes.

B. Introduction de la Stabilité de l'Intervalle

Pour détecter de telles améliorations trompeuses, l'article propose une nouvelle métrique de diagnostic : la Stabilité de l'Intervalle (IS - Interval Stability).

• Définition : L'IS mesure l'espérance de la variance de la taille de l'intervalle (ou de la mesure de l'ensemble) pour un point de test fixe à travers plusieurs exécutions de l'algorithme, conditionnellement aux données de calibration.
• Objectif : Elle quantifie l'incohérence de l'ensemble de prédiction. Une IS élevée indique que la même entrée produit des ensembles de prédiction différents lors de répétitions successives, signalant un recours potentiel à un caractère aléatoire vacueux.
• Proposition 4.2 : Prouve que le PT introduit intrinsèquement une stabilité d'intervalle non nulle, alors que les modèles de base déterministes ont une stabilité nulle.

C. Validation Empirique

Les auteurs valident leurs conclusions à travers divers jeux de données et tâches :

• Régression et Classification : Les expériences sur des jeux de données tels que MEPS, BIKE et CONCRETE montrent que le PT-VCP atteint des longueurs moyennes plus courtes tout en maintenant la couverture nominale (Tableau 2).
• Métriques de Stabilité : Le Tableau 3 démontre que tandis que la VCP standard a une stabilité d'intervalle nulle, la PT-VCP présente une instabilité significative. La CP localisée, qui repose sur des procédures d'entraînement randomisées, montre également une stabilité non nulle, liant la métrique à la stochasticité pratique.
• Généralisabilité : Le phénomène est observé à travers différents algorithmes de base (VCP, CQR, RAPS) et critères d'évaluation (efficacité basée sur la p-valeur), suggérant que le risque n'est pas limité à la longueur moyenne.

4. Signification et Revendications

L'article ne prétend pas que le PT est une solution pratique ; il sert plutôt d'exemple de mise en garde et de « test de résistance » pour la communauté d'évaluation de la CP.

• Défi lancé aux Métriques Standards : La revendication principale est que la métrique couverture-longueur est insuffisante pour évaluer l'utilité pratique. Une méthode peut paraître supérieure sur ces métriques tout en échouant dans un déploiement à enjeux élevés en raison de l'instabilité et de l'injustice (fournir aucune information à un sous-ensemble aléatoire d'utilisateurs).
• Objectif Défensif : Ce travail vise à empêcher l'adoption de méthodes de CP complexes qui reposent implicitement sur des « trucs » similaires (des constructions randomisées qui dégradent la fiabilité par instance) pour obtenir des gains trompeurs en longueur.
• Recommandation : Les auteurs préconisent l'inclusion de la Stabilité de l'Intervalle comme outil de diagnostic complémentaire. Ils suggèrent que tout pipeline de CP randomisé devrait rapporter des métriques de stabilité aux côtés de la couverture et de la longueur afin de garantir que les améliorations sont authentiques et non des artefacts d'un caractère aléatoire vacueux.

En résumé, l'article soutient que « des intervalles plus courts ne sont pas meilleurs » si la réduction est obtenue par des mécanismes qui compromettent la cohérence et la fiabilité des prédictions pour les utilisateurs individuels.