Résumé technique : Au-delà de l'ECE : Ratio de taille calibrée, évaluation des risques et métriques pondérées par la confiance

1. Énoncé du problème

L'article aborde une limitation critique dans l'évaluation de l'étalonnage de la confiance des modèles d'apprentissage automatique, en particulier dans les domaines à haut risque. La norme actuelle, l'Erreur d'Étalonnage Attendue (ECE), est identifiée comme fondamentalement défaillante pour l'évaluation des risques. L'ECE est une métrique linéaire qui traite les écarts d'étalonnage de manière égale, indépendamment du niveau de confiance auquel ils se produisent. Par conséquent, l'ECE peut rester faible même lorsqu'un modèle présente un risque de surconfiance arbitrairement élevé (par exemple, attribuer une haute confiance à des prédictions incorrectes).

Les auteurs soutiennent que l'ECE échoue à extraire l'information d'étalonnage la plus importante : l'ampleur de l'échec impliquée par un écart à des niveaux de confiance élevés. Parce que l'ECE est dominée par les bins de faible confiance (où les populations sont les plus grandes), elle est systématiquement aveugle à la « queue » de la distribution où la désétalonnage est la plus dangereuse. De plus, l'article note que les méthodes d'étalonnage standard conçues pour minimiser l'ECE peuvent involontairement produire des profils de confiance risqués.

2. Méthodologie et métriques proposées

Les auteurs proposent un cadre qui sépare l'évaluation de l'étalonnage en deux aspects distincts et complémentaires : l'évaluation des risques (détection de la surconfiance) et la valeur discriminative (mesure de l'utilité du profil de confiance).

2.1 Ratio de taille calibrée (CSR) et probabilité de risque ($P_{risk}$)

Pour répondre au risque de surconfiance, les auteurs introduisent le Ratio de Taille Calibrée (CSR). Contrairement à l'ECE, le CSR évalue les écarts d'étalonnage par rapport à $(1-c)$, reflétant la véritable ampleur de l'échec implicite.

• Définition : Pour un ensemble de données $D$ avec $N$ échantillons, des classes prédites $\hat{y}_i$, des étiquettes réelles $y_i$, et des scores de confiance $conf_i < 1$ :
  $$CSR = \frac{1}{N} \sum_{i: \hat{y}_i \neq y_i} \frac{1}{1 - conf_i}$$
• Interprétation : Dans le cas d'un étalonnage ponctuel parfait, $CSR = 1$.
  • $CSR > 1$ indique une surconfiance (risquée).
  • $CSR < 1$ indique une sous-confiance.
  • Une valeur de $CSR = 10$ implique que les erreurs observées à leurs niveaux de confiance attribués seraient attendues à partir d'un ensemble de données 10 fois plus grand sous un modèle parfaitement étalonné.
• Probabilité de risque ($P_{risk}$) : Pour quantifier la preuve statistique de surconfiance, les auteurs dérivent l'écart-type du CSR ($\sigma_{CSR}$) sous l'hypothèse d'un étalonnage limite parfait. Ils modélisent la déviation à l'aide d'une distribution normale pour calculer un score z :
  $$z = \frac{CSR - 1}{\sigma_{CSR}}$$
  La probabilité de risque est alors $P_{risk} = \Phi(z)$, où $\Phi$ est la fonction de répartition cumulative normale standard. Cela permet une évaluation rigoureuse de savoir si un profil de confiance est risqué sans nécessiter de rééchantillonnage de type Monte Carlo.

2.2 Métriques pondérées par la confiance et $cwAUC$

Les auteurs soutiennent qu'un profil sûr (faible risque) n'est pas nécessairement utile. Ils proposent la Précision pondérée par la confiance (cwA) comme complément naturel au CSR, mesurant la fraction de la masse totale de confiance attribuée aux prédictions correctes.

• Définition :
  $$cwA = \frac{\sum_{i} conf_i \cdot \mathbb{1}[\hat{y}_i = y_i]}{\sum_{i} conf_i}$$
• Extension à d'autres métriques : L'article démontre que la pondération par la confiance s'étend naturellement à toutes les métriques de classification standard (Précision, Rappel, F1, etc.) en pondérant les entrées de la matrice de confusion par la confiance.
• AUC pondérée par la confiance ($cwAUC$) : Les auteurs prouvent que l'AUC classique est invariante à toute redimensionnement strictement monotone des scores de confiance (y compris l'étalonnage a posteriori) car elle repose uniquement sur le classement. En revanche, la $cwAUC$ pondère les comparaisons par paires par le produit des confiances attribuées aux classes prédites.
  • Signification : L'écart $cwAUC - AUC$ capture la valeur discriminative ajoutée par l'étalonnage. Un écart positif indique que le modèle est plus confiant sur les paires correctement classées que sur les paires incorrectement classées.

2.3 Indépendance par rapport à l'ECE

L'article fournit des preuves théoriques et des contre-exemples montrant que le CSR et la $cwA$ sont indépendants de l'ECE. Il est possible de construire des profils de confiance avec une ECE arbitrairement faible mais un CSR non borné (risque extrême), et inversement, des profils avec $ECE=0$ qui sont complètement non informatifs (confiance plate).

3. Résultats expérimentaux

Les indicateurs proposés ont été validés sur des ensembles de données synthétiques et réels.

3.1 Ensembles de données synthétiques

Les auteurs ont généré dix distributions de confiance synthétiques sous huit régimes d'étalonnage contrôlés (incluant parfait, surconfiant, sous-confiant et aléatoire).

• Détection des risques : Le CSR a séparé avec succès les attributions risquées des non risquées. Sous un étalonnage parfait, les taux de faux positifs empiriques pour $P_{risk}$ sont restés proches des prédictions théoriques (par exemple, ~9,77 % pour $>1\sigma$ contre 15,87 % théoriques, et ~0,30 % pour $>3\sigma$ pour un grand $N$).
• Sensibilité : Dans les régimes surconfiants (par exemple, $Overconf \ 1-\sqrt{1-c}$), les valeurs de CSR étaient significativement élevées, et $P_{risk}$ a atteint 100 % dans de nombreux cas, signalant correctement le risque.

3.2 Ensembles de données réels

Des expériences ont été menées sur 15 ensembles de données (UCI, CIFAR-10, MNIST) utilisant XGBoost avec trois régimes : sortie brute, régression isotone et mise à l'échelle de Platt.

• Risques de la régression isotone : Bien que la régression isotone ait souvent amélioré la $cwA$, elle a fréquemment produit des profils de confiance risqués. Dans 11 des 15 ensembles de données, l'étalonnage isotone a résulté en un $CSR > 1$ (dépassant $1\sigma$), plusieurs ensembles de données montrant des valeurs de CSR catastrophiques ($>10^5$). Cela s'est produit parce que la régression isotone peut attribuer une confiance extrême (1 ou 0) à des prédictions incorrectes lorsque les ensembles d'étalonnage contiennent des plateaux de seulement des échantillons positifs ou négatifs.
• Mise à l'échelle de Platt : Cette méthode a généralement produit des profils plus sûrs (seuls 3 ensembles de données sur 15 ont été signalés comme risqués) tout en maintenant une $cwA$ compétitive.
• Limites de l'ECE : Les méthodes standard optimisées pour l'ECE (comme la régression isotone) se sont avérées produire des profils risqués, confirmant que la minimisation de l'ECE ne garantit pas la sécurité.

3.3 AUC vs $cwAUC$

• Données synthétiques : Les distributions synthétiques bien étalonnées ont montré un $\Delta AUC$ positif ($cwAUC - AUC$), indiquant que l'étalonnage ajoutait une valeur discriminative.
• Données réelles : Les résultats étaient mitigés. Bien que la $cwA$ se soit constamment améliorée par rapport à la précision brute, le $\Delta AUC$ était souvent faible ou négatif. Les auteurs attribuent cela au fait que les modèles réels (comme XGBoost) utilisent déjà les scores de confiance comme signaux de classement, et que les méthodes d'étalonnage a posteriori (qui alignent les distributions marginales) peuvent ne pas ajouter d'informations de classement significatives.

4. Contributions clés

1. Ratio de taille calibrée (CSR) : Une nouvelle métrique interprétable où $CSR=1$ implique un étalonnage parfait. Elle fournit une mesure directe du risque de surconfiance.
2. Probabilité de risque ($P_{risk}$) : Un test statistique dérivé du CSR qui quantifie la probabilité d'observer les données sous l'hypothèse nulle d'un étalonnage parfait, évitant le besoin de rééchantillonnage coûteux en calcul.
3. Métriques pondérées par la confiance : Un cadre formel étendant les métriques standard (Précision, AUC, etc.) pour être pondérées par la confiance.
4. $cwAUC$ et valeur de l'étalonnage : Une preuve que l'AUC classique est invariante à l'étalonnage, et l'introduction de la $cwAUC$ pour mesurer la valeur discriminative spécifique gagnée par l'étalonnage.
5. Preuve empirique : Démonstration que les techniques d'étalonnage standard (spécifiquement la régression isotone) peuvent augmenter le risque (CSR) même en améliorant d'autres métriques, soulignant la nécessité d'une évaluation consciente des risques.

5. Importance et limites

L'article affirme que les métriques proposées offrent une approche plus robuste et orientée vers la sécurité pour l'évaluation de la confiance des modèles d'apprentissage automatique. En découplant l'évaluation des risques (CSR) de l'utilité discriminative ($cwA$), les praticiens peuvent identifier des modèles qui sont non seulement précis, mais aussi sûrs à déployer dans des scénarios à haut risque.

Les auteurs reconnaissent plusieurs limites :

• Stabilité numérique : Le CSR est sensible aux scores de confiance proches de 1, nécessitant un écrêtage ou une manipulation prudente.
• Changement de distribution : L'évaluation des risques suppose que l'ensemble d'évaluation est un échantillon i.i.d. de la distribution limite ; les changements de déploiement peuvent rendre $P_{risk}$ trompeur.
• Petites tailles d'échantillon : L'approximation gaussienne pour $P_{risk}$ peut être moins précise pour très petits $N$, bien que des corrections standard (par exemple, Student-t) puissent s'appliquer.
• Optimisation : L'article se concentre sur l'évaluation des profils de confiance, et non sur l'utilisation du CSR ou de la $cwA$ pour guider l'étalonnage a posteriori, ce qui est suggéré comme travail futur.

En conclusion, les auteurs soutiennent que se fier uniquement à l'ECE est insuffisant pour une IA digne de confiance. La combinaison du CSR pour la détection des risques et de la $cwA$/$cwAUC$ pour l'évaluation de l'utilité offre une image plus complète de la fiabilité de la confiance d'un modèle.