Résumé Technique : Perte de Cohérence des Espérances pour l'Étalonnage de la Confiance sous Décalage de Covariable

Énoncé du Problème

L'étalonnage de la confiance dans les modèles de classification est crucial pour la prise de décision dans des contextes critiques pour la sécurité, garantissant que les probabilités prédites reflètent les vrais risques d'événements. Cependant, les méthodes d'étalonnage standard supposent généralement que les données d'entraînement (source) et de test (cible) sont indépendantes et identiquement distribuées (i.i.d.). Dans des scénarios réels impliquant un décalage de covariable — où la distribution des caractéristiques d'entrée change ($P_s(X) \neq P_t(X)$) tandis que la distribution conditionnelle des étiquettes reste invariante ($P_s(Y|X) = P_t(Y|X)$) — ces méthodes échouent souvent.

Les approches existantes pour l'étalonnage sous décalage de covariable reposent principalement sur le pondération par l'importance pour aligner les distributions globales de covariables. Ces méthodes souffrent de limitations significatives :

1. Instabilité : Elles deviennent instables ou non bornées lorsque les rapports de densité sont élevés.
2. Portée : Elles traitent principalement uniquement l'étalonnage de l'étiquette principale, négligeant l'étalonnage par classe et l'étalonnage canonique (vecteur de probabilité complet).
3. Surcharge Théorique : Elles supposent que l'alignement de la distribution globale est nécessaire, ce qui peut être une exigence trop stricte pour atteindre une confiance étalonnée.

Méthodologie

L'article propose un nouveau cadre centré sur la Condition de Cohérence des Espérances et une fonction de perte correspondante, la Perte de Cohérence des Espérances (ECL).

1. Fondement Théorique : Condition de Cohérence des Espérances

Les auteurs dérivent une condition nécessaire et suffisante pour l'étalonnage de la confiance sous décalage de covariable.

• Théorème 3.1 : Un classifieur est étalonné sur le domaine cible si et seulement si la probabilité a posteriori vraie attendue étant donné un score de confiance est cohérente entre les domaines. Formellement, pour toute classe $k$ :
  $$E_{X \sim P_s(X|S)}[P(Y_k=1|X)] = E_{X \sim P_t(X|S)}[P(Y_k=1|X)]$$
• Implication : Cette condition révèle que l'alignement de la distribution globale de covariables ($P_s(X) = P_t(X)$) n'est pas nécessaire. L'étalonnage peut être atteint tant que la précision attendue conditionnée à des niveaux de confiance spécifiques est cohérente entre les domaines, même si les distributions d'entrée diffèrent considérablement. Cette condition est strictement plus faible que l'alignement global.

2. La Fonction de Perte : Perte de Cohérence des Espérances (ECL)

Sur la base de la condition dérivée, l'article introduit l'ECL, une perte d'adaptation de domaine non supervisée conçue pour minimiser l'écart entre les espérances source et cible.

• Formulation : La perte mesure la distance entre la probabilité a posteriori vraie attendue $P(Y|X)$ estimée sur le domaine source et le domaine cible, conditionnée aux scores de confiance prédits $S$.
  $$L_{ecl} = E_{P_t(S)} \left[ \left| E_{P_s(X|S)}[P(Y|X)] - E_{P_t(X|S)}[P(Y|X)] \right| \right]$$
• Polyvalence : Le cadre prend en charge trois paradigmes d'étalonnage :
  • Étalonnage Canonique : Correspondance du vecteur de probabilité complet.
  • Étalonnage par Classe : Correspondance des probabilités pour chaque classe individuellement.
  • Étalonnage de l'Étiquette Principale : Correspondance de la confiance de la classe prédite.
• Implémentation : Pour estimer $P(Y|X)$ sans étiquettes cibles, la méthode entraîne une tête de classification auxiliaire sur le domaine source (ou conjointement avec le backbone) pour prédire la probabilité a posteriori vraie.

3. Optimisation et Entraînabilité

• Différentiabilité : Puisque le binning standard est non différentiable, les auteurs proposent une affectation douce basée sur des ancres utilisant un paramètre de température $\tau$ pour permettre une optimisation basée sur le gradient.
• Entraînabilité par Mini-Lots : Le calcul direct de la perte sur des mini-lots introduit un biais car l'opérateur de norme ne commute pas avec les espérances. Pour résoudre ce problème, les auteurs proposent une formulation à variable auxiliaire (Théorème 3.3). Ils introduisent des paramètres apprenables ($u^s_j, u^t_j$) pour approximer les espérances de domaine, permettant une rétropropagation de gradient non biaisée via des mises à jour proximales alternées (Algorithme 1).
• Complexité Échantillonnaire : L'analyse théorique montre que l'ECL a une complexité échantillonnaire de $O(B/\epsilon^2)$, comparable au binning par histogramme pour l'Erreur d'Étalonnage Attendue (ECE), où $B$ est le nombre de bins.

Contributions Clés

1. Insight Théorique : Dérivation de la Condition de Cohérence des Espérances, prouvant que l'alignement global des covariables n'est pas nécessaire pour l'étalonnage sous décalage de covariable.
2. Fonction de Perte Nouvelle : Proposition de l'ECL, une fonction de perte unifiée compatible avec les paradigmes d'étalonnage canonique, par classe et d'étiquette principale.
3. Innovation Algorithmique : Développement d'un schéma d'entraînement par mini-lots théoriquement fondé utilisant des variables auxiliaires pour assurer une estimation de gradient non biaisée, surmontant les limitations du binning direct sur de petits lots.
4. Évaluation Complète : Démonstration que l'ECL surpasse les bases de référence de l'état de l'art (y compris la pondération par l'importance et les méthodes basées sur le mixup) sur des données simulées et réelles.

Résultats Expérimentaux

La méthode a été validée sur :

• Données Simulées : Décalages de covariables normaux et uniformes, montrant que l'ECL réduit l'erreur d'étalonnage sur les trois paradigmes.
• Benchmarks Réels :
  • Reconnaissance de Chiffres : MNIST, USPS, SVHN.
  • Adaptation de Domaine : PACS (Photo, Art, Dessin, Croquis).
  • Grande Échelle : ImageNet-Sketch.
• Performance :
  • L'ECL a constamment obtenu les erreurs d'étalonnage les plus faibles (ou quasi les plus faibles) (ECE, CwECE, ECEKDE) par rapport aux bases de référence telles que TransCal, DRL et PseudoCal.
  • Des améliorations notables ont été observées dans des scénarios à fort décalage (par exemple, SVHN), où l'ECL a réduit l'ECE de l'étiquette principale d'environ 61,9 % (non étalonné) à environ 21,5 % sur LeNet-5.
  • La méthode a généralement préservé ou légèrement amélioré la précision de classification ($\Delta ACC$), démontrant que l'étalonnage ne se fait pas au détriment de la puissance discriminative.
  • Des études d'ablation ont confirmé la nécessité du schéma d'entraînement par mini-lots et de la stratégie de pondération de perte adaptative.

Signification et Revendications

L'article prétend repenser fondamentalement l'étalonnage de la confiance sous décalage de covariable en s'éloignant du paradigme traditionnel de l'alignement de distribution globale. En établissant que la cohérence locale dans les statistiques critiques (probabilité a posteriori attendue étant donné la confiance) est suffisante, les auteurs fournissent une base théorique plus robuste et flexible.

La signification réside dans :

• Robustesse : Offrir une solution qui ne repose pas sur des pondérations par l'importance instables.
• Généralité : Fournir une approche unifiée pour tous les principaux types d'étalonnage (canonique, par classe, étiquette principale), alors que les méthodes précédentes étaient souvent limitées à l'étiquette principale.
• Praticité : Permettre une optimisation efficace, entraînable par mini-lots, adaptée aux flux de travail modernes d'apprentissage profond.

Les auteurs reconnaissent des limitations, notant que la méthode suppose des probabilités de classes a posteriori invariantes ($P(Y|X)$) et ne traite pas actuellement du décalage d'étiquettes. Des travaux futurs sont suggérés pour étendre le cadre à des scénarios impliquant à la fois des décalages de covariables et d'étiquettes.