Résumé technique : Prédiction conforme auditée pour la classification sous décalage de distribution inconnu

Énoncé du problème

L'article traite du défi de la quantification de l'incertitude pour les modèles de classification pré-entraînés (« legacy ») déployés dans des environnements soumis à des décalages de distribution inconnus. Bien que la prédiction conforme standard garantisse une couverture marginale (c'est-à-dire que la véritable étiquette est contenue dans l'ensemble de prédiction avec une probabilité de $1-\alpha$ en moyenne sur la population), cette garantie peut masquer de graves échecs conditionnels. Plus précisément, lorsque les distributions d'entraînement et cibles diffèrent, les méthodes standards peuvent produire des ensembles de prédiction excessivement conservateurs pour certains intrants tout en sous-couvrant systématiquement d'autres échantillons (par exemple, les échantillons où le modèle hérité est susceptible d'échouer).

Les approches existantes pour atténuer cela nécessitent soit de réentraîner le modèle (ce qui est gourmand en ressources et souvent sous-optimal avec peu de nouvelles données étiquetées), soit reposent sur des hypothèses concernant la nature du décalage de distribution. Les auteurs notent que si le réentraînement est intuitif, il peut être inefficace lorsque les nouvelles données étiquetées sont rares par rapport aux ensembles de données historiques. De plus, les méthodes conformes standards ne distinguent pas intrinsèquement les échantillons « faciles » des échantillons « difficiles » sous décalage, ce qui conduit à des ensembles de prédiction peu informatifs précisément là où la fiabilité est la plus nécessaire.

Méthodologie : Prédiction conforme auditée (ACP)

La solution proposée, la Prédiction Conforme Auditée (ACP), introduit un modèle d'audit auxiliaire pour identifier les intrants où le modèle hérité est susceptible d'échouer, sans nécessendre de réentraîner le modèle hérité ni de faire des suppositions sur la structure du décalage.

Composants clés

1. Le modèle d'audit ($\hat{r}$) : Un classificateur binaire entraîné sur un petit sous-ensemble de données cibles étiquetées. Sa tâche est de prédire la justesse de la prédiction ponctuelle du modèle hérité ($f_0$) pour un intrant $X$ donné.

   • Entraînement : Le modèle d'audit est entraîné pour prédire l'étiquette binaire $R_i = \mathbb{1}[f_0(X_i) = Y_i]$ en utilisant des caractéristiques dérivées de l'intrant $X_i$ et des signaux du modèle hérité (par exemple, probabilités softmax, entropie, distances d'embedding).
   • Concept d'oracle : Théoriquement, la méthode repose sur un modèle d'audit oracle $r^*(x) = P(f_0(X)=Y | X=x)$, qui représente la véritable fiabilité conditionnelle du modèle hégué.

2. Stratégies d'intégration : L'article propose deux stratégies complémentaires pour intégrer le modèle d'audit dans le cadre conforme :

   • Stratégie 1 : ACP avec couverture marginale (ACP-MC)

     • Mécanisme : Le modèle d'audit $\hat{r}$ est utilisé pour affiner l'estimation de la distribution de l'étiquette conditionnelle du modèle hérité. Pour une classification binaire, si $f_0(x)=1$, la probabilité estimée est $(\hat{r}(x), 1-\hat{r}(x))$ ; sinon, elle est $(1-\hat{r}(x), \hat{r}(x))$.
     • Objectif : Cette distribution affinée est utilisée pour calculer les scores de non-conformité. La méthode garantit la couverture marginale standard ($1-\alpha$) tout en améliorant empiriquement la couverture conditionnelle en adaptant la taille de l'ensemble de prédiction en fonction de la fiabilité estimée de l'intrant.

   • Stratégie 2 : ACP avec couverture conditionnelle auditée (ACP-ACC/AEC)

     • Mécanisme : Cette approche cible explicitement la couverture conditionnelle par groupe. L'espace des caractéristiques est partitionné en fonction de la sortie du modèle d'audit (par exemple, en segmentant $\hat{r}(x)$ en groupes de haute et basse confiance).
     • Objectif : Elle impose des garanties de couverture conditionnelles à ces groupes définis par l'audit. L'article établit un théorème à échantillon fini montrant que si le modèle d'audit estime de manière cohérente l'oracle, la méthode atteint des garanties de couverture pour les véritables groupes de fiabilité, avec une erreur bornée par la divergence entre les groupes d'audit estimés et réels.

3. ACP Adaptative (AACP) : Une procédure pilotée par les données qui sélectionne de manière adaptative entre l'ACP et une base de référence réentraînée. Elle divise les données de calibration pour évaluer quelle méthode produit une couverture conditionnelle plus élevée sur les groupes « peu fiables » (identifiés par le modèle d'audit) et sélectionne la gagnante.

Contributions clés

• Cadre novateur : L'introduction de l'ACP, qui exploite un petit ensemble de données cibles étiquetées pour entraîner un modèle d'audit prédisant l'échec du modèle hérité, plutôt que de réentraîner le modèle hérité lui-même.
• Garanties théoriques :
  • Preuve que l'ACP-MC maintient les garanties de couverture marginale.
  • Dérivation d'une borne à échantillon fini pour l'ACP-ACC, démontrant que la couverture conditionnelle approche la garantie de l'oracle à mesure que l'erreur d'estimation du modèle d'audit s'amenuise.
• Efficacité pratique : La méthode évite le coût computationnel du réentraînement complet du modèle et l'appétence en données associée au réglage fin (fine-tuning) de modèles complexes, ce qui la rend adaptée aux scénarios avec peu de nouvelles données étiquetées.
• Validation empirique : Des expériences approfondies sur des données synthétiques (couvrant le décalage de concept, le décalage de covariable et le bruit d'étiquette) et des jeux de données du monde réel (Camelyon17 et CIFAR-10/CIFAR-10-C) démontrent que les variantes de l'ACP atteignent une couverture conditionnelle nettement supérieure par rapport à la prédiction conforme standard, à l'AdaTS (Adaptive Temperature Scaling) et aux bases de référence de réentraînement, sans gonfler la taille moyenne des ensembles de prédiction.

Résultats

• Données synthétiques : Dans des scénarios d'incertitude intrinsèque de l'étiquette (décalage de concept) ou de proportion accrue d'échantillons difficiles (décalage de covariable), les méthodes standards et le réentraînement échouent souvent à distinguer les échantillons faciles des difficiles, entraînant une sous-couverture sur les segments difficiles. Les variantes de l'ACP parviennent à assigner des ensembles de prédiction plus larges aux échantillons difficiles et plus petits aux échantillons faciles, atteignant une couverture conditionnelle quasi parfaite sur les segments difficiles tout en maintenant des tailles d'ensembles de prédiction compactes.
• Données réelles : Sur Camelyon17 (histopathologie) et CIFAR-10-C (images corrompues), l'ACP surpasse systématiquement les bases de référence en termes de couverture conditionnelle à travers les segments de fiabilité. Alors que le réentraînement produit souvent des ensembles trop conservateurs qui échouent à différencier les niveaux de fiabilité, l'ACP maintient des tailles d'ensembles informatives.
• Compromis : Les expériences mettent en évidence un compromis entre la rigueur des garanties conditionnelles et la taille de l'ensemble. L'ACP-ACC (imposant la couverture sur plusieurs groupes chevauchants) est la plus conservatrice mais offre les garanties conditionnelles les plus fortes, tandis que l'ACP-MC offre un équilibre avec des tailles d'ensembles plus petites.

Signification et affirmations

L'article affirme que l'ACP fournit une approche pratique et statistiquement fondée pour la classification consciente de l'incertitude sous des décalages de distribution arbitraires. Sa principale importance réside dans sa capacité à améliorer la couverture conditionnelle — assurant la fiabilité là où elle est cruciale — sans les exigences de données prohibitives du réentraînement de modèles complexes.

Les auteurs soulignent que leur contribution n'est pas la conception d'une nouvelle procédure d'apprentissage pour le modèle d'audit (qui peut être n'importe quel classificateur standard), mais plutôt l'intégration des prédictions d'audit dans le cadre conforme. Cela permet une mesure directe de la fiabilité qui ne nécessite pas l'accès aux données d'entraînement originales ni d'hypothèses sur le mécanisme de décalage.

L'article conclut modestement, reconnaissant que l'efficacité de la méthode dépend de la qualité du modèle d'audit, ce qui peut être un défi dans des régimes de très faibles données. Les travaux futurs suggérés par les auteurs incluent des extensions plus efficaces en termes de données (par exemple, via des méthodes de validation croisée conforme) et des adaptations pour des contextes en ligne ou en flux (streaming).