Résumé technique : Mise à l'échelle de la température adaptative aux quantiles pour le calibrage de la confiance

1. Définition du problème et motivation

Les réseaux de neurones profonds produisent fréquemment des estimations de confiance mal calibrées, affichant souvent un excès de confiance même lorsque les prédictions sont incorrectes. Bien que la mise à l'échelle de la température (Temperature Scaling - TS) reste la méthode de calibrage post-hoc standard en raison de sa simplicité, elle repose sur une mise à l'échelle globale et uniforme des logits. Les auteurs soutiennent que cette approche ne parvient pas à traiter la structure hautement hétérogène de la mauvaise calibration observée à travers tout le spectre de confiance.

Par une analyse par quantiles, l'article démontre que les écarts les plus importants entre l'exactitude et la confiance ne se produisent pas de manière uniforme. Au contraire, l'emplacement et la forme de la mauvaise calibration varient considérablement selon le régime :

• Configurations standards : Les erreurs sont concentrées dans les quantiles de confiance les plus bas.
• Configurations à longue traîne (Long-tailed) : Les erreurs se déplacent vers les quantiles de confiance moyenne en raison de la prévalence des classes de fréquence moyenne.
• Décalages de distribution (Distributional Shifts) : Les méthodes de mise à l'échelle globale peinent car les perturbations covariantes modifient l'échelle absolue des valeurs de confiance tout en préservant leur ordre relatif.

Les méthodes existantes, y compris les variantes avancées comme le calibrage de groupe (Group Calibration - GC) ou les températures dépendantes de l'entrée, supposent implicitement une transformation lisse et globalement cohérente. Cette rigidité structurelle les empêche de cibler efficacement les régions spécifiques où la mauvaise calibration est la plus sévère, conduisant à des performances sous-optimales dans des scénarios difficiles tels que le déséquilibre des classes et les décalages de domaine.

2. Méthodologie : Mise à l'échelle de la température adaptative aux quantiles (QaTS)

Pour remédier à ces limitations, les auteurs proposent la Mise à l'échelle de la température adaptative aux quantiles (Quantile-Adaptive Temperature Scaling - QaTS), une méthode de calibrage post-hoc qui adapte le paramètre de température en fonction du quantile de confiance empirique d'une prédiction plutôt que de sa magnitude de confiance brute.

Mécanisme central

1. Reparamétrage par quantile :
   La méthode projette les confiances brutes $p$ dans un espace de quantile uniforme $\tau \in [0, 1]$ en utilisant la fonction de répartition empirique (CDF) de l'ensemble de calibrage. Cela transforme l'objectif de l'erreur de calibration attendue (Expected Calibration Error - ECE) en une intégrale sur l'axe des quantiles uniformes, empêchant les régions de confiance denses de dominer la métrique d'erreur et rendant explicite la structure hétérogène de la mauvaise calibration.

2. Fonction de température par échantillon :
   Au lieu d'un scalaire unique $T$, QaTS définit une température dépendante de l'échantillon $T(x)$ comme une fonction linéaire monotone de la quantité empirique $q(x)$ :
   $$T(x) = a \cdot (1 - q(x)) + b$$
   où $a$ et $b$ sont des paramètres positifs apprenables.

   • Les prédictions à faible quantile (généralement trop confiantes et sujettes aux erreurs) reçoivent des températures plus élevées, adoucissant la confiance.
   • Les prédictions à haut quantile reçoivent des ajustements plus faibles, préservant l'exactitude et évitant toute distorsion inutile.

3. Optimisation :
   Les paramètres $a$ et $b$ sont optimisés sur un ensemble de calibrage en minimisant la négative du logarithme de la vraisemblance (Negative Log-Likelihood - NLL), une règle de score strictement propre. Cette optimisation de substitution aligne les probabilités calibrées avec les fréquences d'exactitude empiriques, minimisant efficacement l'ECE reparamétrée.

4. Inférence :
   Pour un échantillon de test $x$, les logits sont mis à l'échelle par le $T(x)$ calculé avant d'appliquer la fonction softmax. Comme $T(x)$ dépend du rang (quantile) de la confiance plutôt que de sa valeur absolue, la méthode hérite de la stabilité basée sur le rang des quantiles. Cela rend QaTS robuste aux effets de mise à l'échelle globale des logits souvent associés aux décalages de covariables, à condition que l'ordre relatif des confiances soit approximativement préservé.

3. Principales contributions

L'article présente trois contributions principales :

1. Analyse par quantile : Une analyse détaillée révélant que les erreurs de calibration sont hautement hétérogènes à travers le spectre de confiance et varient considérablement selon les différents régimes (standard vs longue traîne). Cette analyse expose les limitations structurelles des méthodes basées sur TS existantes qui ne peuvent pas cibler les régions où les erreurs sont concentrées.
2. Algorithme QaTS : L'introduction d'une stratégie simple et efficace qui opère directement dans l'espace des quantiles. Elle formalise un reparamétrage par quantile de l'ECE et introduit une fonction de température monotone qui s'adapte au rang relatif de chaque prédiction.
3. Validation empirique complète : Des expériences approfondies sur 162 configurations, incluant la vision par ordinateur standard, l'imagerie médicale, la classification de texte et la segmentation sémantique, sous diverses conditions (distributions à longue traîne, dérives de distribution).

4. Résultats expérimentaux

Les auteurs évaluent QaTS par rapport aux meilleures méthodes post-hoc de l'état de l'art, notamment les modèles non calibrés, TS, la régression isotonique (IR), AdaTS, le calibrage de groupe (GC) et FeatClip.

• Benchmarks standards : Sur CIFAR-10, CIFAR-100 et ImageNet, QaTS obtient systématiquement l'ECE la plus faible, surpassant toutes les méthodes concurrentes sur les architectures CNN et Vision Transformer.
• Distributions à longue traîne : Dans des scénarios de déséquilibre de classe sévère (ex. CIFAR-100-LT, ImageNet-LT), les méthodes standards échouent souvent ou se dégradent. QaTS démontre une robustesse substantielle, réduisant l'ECE de 80 à 90 % dans certains cas par rapport à des bases comme AdaTS et GC.
• Décalages de distribution : Sous des corruptions synthétiques (CIFAR-100-C) à différents niveaux de sévérité, QaTS surpasse significativement les méthodes préservant l'exactitude, atteignant un ECE 2 à 3 fois plus faible. Notamment, il surpasse HFE, une méthode spécifiquement conçue pour les dérives de distribution qui nécessite l'accès à des échantillons hors distribution (OOD) pour chaque domaine cible. QaTS atteint ce résultat sans nécessuer de données de domaine cible.
• Généralisation : La méthode montre une performance supérieure dans la classification d'images médicales (HAM10000, MedMNIST2D), la segmentation sémantique (Pascal VOC) et la classification de texte (20 Newsgroups).
• Préservation de l'exactitude : Contrairement à FeatClip, qui améliore le calibrage au prix d'une dégradation significative de l'exactitude (jusqu'à 4–6 %), QaTS préserve le classement des classes prédites, maintenant la performance discriminante tout en améliant le calibrage.
• Compatibilité : QaTS agit comme une couche post-hoc complémentaire, réduisant davantage l'ECE lorsqu'il est appliqué sur des modèles entraînés avec des objectifs de calibrage (ex. perte Brier, perte Focal, lissage de labels).

5. Signification et affirmations

L'article affirme que QaTS offre une fondation simple, efficace et robuste pour le calibrage post-hoc. Sa signification réside dans :

• Traitement de l'hétérogénéité : En passant des scores de confiance bruts à l'espace des quantiles, QaTS cible explicitement les régions où la mauvaise calibration est la plus sévère, surmontant la limitation du "taille unique" de la mise à l'échelle de la température globale.
• Robustesse au décalage : La formulation basée sur le rang assure la stabilité sous les décalages de distribution où les magnitudes absolues de confiance changent mais où l'ordre relatif est préservé.
• Praticité : Il ne nécessite aucun réentraînement, aucun accès aux poids du modèle ou aux gradients, et aucun réseau auxiliaire, ce qui le rend adaptable aux grands modèles pré-entraînés et aux backbones gelés.
• Applicabilité universelle : La méthode démontre une efficacité constante à travers diverses tâches, architectures et scénarios réels complexes, se positionnant comme une stratégie de calibrage universelle qui améliore la fiabilité sans compromettre l'exactitude prédictive.