Résumé Technique : Prédiction Conforme Localisée pour la Classification d'Images avec des Modèles Vision-Langage

1. Énoncé du Problème

La Prédiction Conforme (CP - Conformal Prediction) est un cadre statistique largement utilisé pour la quantification de l'incertitude en apprentissage automatique, offrant de solides garanties de couverture marginale (c'est-à-dire que l'ensemble de prédiction contient la véritable étiquette avec une probabilité définie par l'utilisateur $1-\alpha$ en moyenne sur l'ensemble de la distribution des données). Cependant, une limitation bien connue de la CP standard est son incapacité à garantir une couverture conditionnelle pour des sous-groupes spécifiques (par exemple, des classes ou des régions de caractéristiques spécifiques). Cela conduit à des disparités de couverture où certaines sous-populations sont sous-couvertes ou sur-couvertes.

Bien que la Prédiction Conforme Localisée (LCP - Localized Conformal Prediction) ait été proposée pour remédier à cela en pondérant les exemples de calibration en fonction de leur similitude avec l'échantillon de test, son application est restée largement restreinte aux tâches de régression et aux jeux de données synthétiques. L'application de la LCP à la classification d'images, particulièrement en utilisant des Modèles Vision-Langage (VLM), demeure sous-explorée. Une question cruciale reste ouverte : le choix intuitif d'utiliser la similitude cosinus entre les caractéristiques visuelles dans les espaces latents des VLM est-il suffisant pour améliorer les bases non locales dans les tâches de classification ?

2. Méthodologie

2.1 Cadre et Configuration

Les auteurs appliquent le cadre LCP aux tâches de classification en utilisant des VLM (spécifiquement des modèles basés sur CLIP avec des backbones ViT et CNN). Le processus implique :

1. Calibration : Un ensemble d'échantillons de calibration est utilisé pour calculer les scores conformes.
2. Scoring : Quatre scores de classification conforme standards sont évalués :
   • TopK : Utilise le rang de la classe réelle dans le vecteur de prédiction.
   • LAC (Least Ambiguous set-valued Classifier) : Utilise $1 - \text{probabilité de la classe réelle}$.
   • APS (Adaptive Prediction Sets) : Utilise la somme cumulative des probabilités triées jusqu'à la classe réelle.
   • RAPS (Regularized APS) : Ajoute un terme de pénalité à l'APS pour contrôler la taille de l'ensemble.
3. Localisation : Au lieu d'utiliser une distribution uniforme sur les scores de calibration, la LCP construit une distribution empirique pondérée basée sur une fonction de localisation $H(f_{test}, f_i)$, qui attribue un poids plus élevé aux échantillons de calibration similaires à l'échantillon de test.

2.2 L'Innovation Centrale : Transformation Non Linéaire de la Similitude Cosinus

Le papier étudie la fonction de localisation $H$. Dans les VLM, la similitude cosinus entre les plongements d'images ($f_i^T f_j$) est une mesure intuitive de la similitude visuelle. Les auteurs testent deux approches :

1. Approche Naïve : Utiliser la similitude cosinus brute directement comme poids de localisation ($H = f_i^T f_j$).
2. Approche Proposée : Appliquer une transformation sigmoïde normalisée à la similitude cosinus :
   $$H(f_i, f_j) = \frac{1 + \exp(-m(1-\tau))}{1 + \exp(-m(f_i^T f_j - \tau))}$$
   où $m > 0$ contrôle la pente et $\tau \in [0, 1]$ définit le point d'inflexion.

Les hyperparamètres $m$ et $\tau$ sont ajustés via une validation croisée à 5 plis sur l'ensemble de calibration afin de minimiser la taille moyenne des ensembles de prédiction. Les paramètres finaux sont dérivés de la médiane de $m$ et de la moyenne de $\tau$ à travers les plis.

2.3 Conception Expérimentale

• Jeux de Données : Neuf jeux de données de classification d'images diversifiés (SUN397, Aircraft, EuroSAT, StanfordCars, Food101, Pets, Flower102, DTD, UCF101).
• Modèles : Quatre backbones VLM (ViT-B/16, ViT-L/14, RN50, RN101).
• Métriques :
  • Efficacité : Taille Moyenne des Ensembles (MSS - Mean Set Size).
  • Validité : Écart de Couverture (CovGap) et Couverture Minimale par Classe (MCCC - Minimum Class-Conditional Coverage).
• Baselines : Méthodes de CP non locales standards utilisant les mêmes scores.

3. Résultats Clés

3.1 Taille Moyenne des Ensembles (Efficacité)

La transformation non linéaire proposée améliore considérablement l'efficacité par rapport aux baselines non locales et à l'approche de localisation naïve.

• Performance : La méthode proposée a obtenu une réduction statistiquement significative des tailles moyennes d'ensembles pour 9 jeux de données sur 9 à travers 3 des 4 backbones (ViT-B/16, ViT-L/14, RN50) par rapport à la baseline non locale TopK.
• Échec de l'approche Naïve : L'approche naïve (utilisant la similitude cosinus brute) a souvent dégradé les performances, augmentant considérablement les tailles d'ensembles par rapport aux baselines non locales dans plusieurs cas (par exemple, DTD avec ViT-B/16, UCF101 avec RN50).
• Consistance : L'amélioration s'est maintenue à travers différents scores de classification (LAC, APS, RAPS), bien que l'ampleur varie.

3.2 Métriques de Couverture (Validité)

Les résultats concernant la validité conditionnelle étaient plus nuancés :

• CovGap : Les approches localisées (tant la naïve que la proposée) ont produit des valeurs de CovGap presque identiques aux baselines non locales sur tous les jeux de données et backbones. Cela suggère que la localisation seule n'est pas suffisante pour minimiser l'écart de couverture pour la classification d'images avec les VLM.
• MCCC : Les améliorations de la couverture dans le pire des cas (MCCC) ont été inconsistantes. Bien que la méthode proposée ait amélioré le MCCC dans certains cas spécifiques (ex: score LAC sur Pets avec ViT-B/16), elle a dégradé les performances dans d'autres (ex: score TopK sur ce même jeu de données).

4. Contributions

Le papier apporte trois contributions principales :

1. LCP pour la Classification : Il évalue la LCP pour la classification d'images en utilisant des VLM et démontre que l'utilisation intuitive de la similitude cosinus est sous-optimale. Il propose une simple transformation sigmoïde non linéaire pour améliorer l'efficacité du localisateur.
2. Évaluation Approfondie : Il fournit une évaluation complète à travers neuf jeux de données diversifiés et quatre backbones VLM, montrant que la méthode proposée réduit systématiquement les tailles moyennes des ensembles de prédiction.
3. Implémentation Open-Source : Les auteurs publient la première implémentation open-source de la LCP pour la classification, conçue pour être compatible avec un large éventail de jeux de données et de modèles.

5. Signification et Revendications

Le papier affirme que si la LCP est un cadre prometteur pour adapter les ensembles de prédiction aux propriétés distributionnelles locales, son succès dans les tâches de classification avec les VLM est fortement dépendant de la conception de la fonction de localisation.

• Résultat Clé : L'intuition "naïve" consistant à utiliser la similitude cosinus brute dans l'espace latent visuel est insuffisante et peut même être préjudiciable à l'efficacité.
• Solution : Une simple transformation non linéaire et ajustable de ces similitudes est nécessaire pour obtenir des réductions statistiquement significatives des tailles d'ensembles de prédiction tout en maintenant les garanties de couverture marginale.
• Limitation : Les auteurs notent modestement que bien que l'efficacité soit améliorée, la méthode ne résout pas actuellement le problème des disparités de couverture conditionnelle (CovGap) pour ce contexte spécifique, car l'écart de couverture reste similaire aux baselines non locales.

Ce travail vise à faciliter le déploiement de la prédiction conforme localisée dans des applications réelles en fournissant un outil open-source robuste et en clarifiant les étapes de prétraitement nécessaires pour la classification basée sur les VLM.