Résumé Technique : Class Adaptive Conformal Training (CaCT)

Énoncé du Problème

Les réseaux de neurones profonds produisent fréquemment des estimations de probabilité peu fiables, faisant souvent preuve d'un excès de confiance dans leurs prédictions. Bien que la Prédiction Conforme (CP) offre un cadre fondé sur des principes pour la quantification de l'incertitude avec des garanties de couverture rigoureuses et sans distribution préalable, les méthodes existantes font face à des limitations significatives en termes d'efficacité et d'adaptativité.

Les méthodes de CP standard, particulièrement lorsqu'elles sont appliquées a posteriori, génèrent souvent des ensembles de prédiction qui sont valides mais peu informatifs (par exemple, contenant trop de classes). Pour y remédier, les méthodes de Conformal Training (CT) comme ConfTr intègrent les objectifs de CP directement dans le processus d'entraînement afin de minimiser la taille des ensembles de prédiction. Cependant, les approches actuelles de CT souffrent de deux défauts critiques :

1. Régularisation Agnostique à la Classe : Elles emploient généralement un hyperparamètre global unique pour pénaliser la taille des ensembles de prédiction pour toutes les classes. Cette formulation rigide ne parvient pas à prendre en compte les différences de difficulté intrinsèques entre les classes.
2. Inefficacité dans les Scénarios Déséquilibrés : Dans les distributions à longue traîne (courantes dans les applications réelles), une pénalité globale conduit à des performances sous-optimales. Elle entraîne souvent des ensembles de prédiction excessivement conservateurs (grands) pour les classes sous-représentées (la traîne) tout en échouant à optimiser de manière adéquate les classes de tête, réduisant ainsi l'efficacité et l'adaptativité globales.

Méthodologie

Les auteurs proposent le Class Adaptive Conformal Training (CaCT), un cadre qui reformule l'entraînement conforme comme un problème d'optimisation lagrangien augmenté. Cette approche apprend de manière adaptative des poids de pénalité spécifiques à chaque classe sans nécessiter de connaissance préalable de la distribution des données.

1. Contraintes Conditionnelles à la Classe

Au lieu d'imposer une contrainte marginale sur la taille moyenne des ensembles pour tous les points de données, CaCT introduit $K$ contraintes (une pour chaque classe $k \in \mathcal{Y}$). L'objectif est de minimiser la perte de classification $L_{cls}(\theta)$ sous la condition que la taille attendue de l'ensemble pour chaque classe $k$ ne dépasse pas une cible $\eta$ :
$$\min_{\theta} L_{cls}(\theta) \quad \text{sous réserve de} \quad |C_\theta(X)| \le \eta, \quad \text{presque sûrement (a.s.) } X \sim P_{X|Y=k}$$

2. Stratégie de Multiplicateur de Lagrangien Augmenté (ALM)

Pour résoudre ce problème d'optimisation contraint sans devoir ajuster manuellement $K$ poids de pénalité distincts (ce qui est irréalisable pour des jeux de données à grande échelle comme ImageNet), CaCT utilise une méthode de Lagrangien Augmenté modifiée.

• Reformulation de l'Objectif : Le problème contraint est converti en un problème non contraint à l'aide d'une fonction de pénalité $P$ (spécifiquement la fonction PHR) paramétrée par des multiplicateurs de Lagrange $\lambda_k$ et des coefficients de pénalité $\rho_k$ pour chaque classe.
• Apprentissage Adaptatif des Poids :
  • Boucle Interne (Primal) : Les paramètres du modèle $\theta$ sont mis à jour via une descente de gradient stochastique pour minimiser la perte de classification plus les termes de pénalité actuels.
  • Boucle Externe (Dual) : Les multiplicateurs de Lagrange $\lambda_k$ et les paramètres de pénalité $\rho_k$ sont mis à jour en fonction de la violation des contraintes spécifiques à la classe observée sur un ensemble de validation.
  • Mécanisme : Si une classe spécifique viole sa contrainte de taille (c'est-à-dire que la taille moyenne de l'ensemble est trop grande), son multiplicateur correspondant $\lambda_k$ augmente, renforçant la pénalité pour cette classe lors des itérations suivantes. Inversement, si la contrainte est satisfaite, la pénalité diminue. Cela permet au modèle d'apprendre un compromis optimal entre précision et conformalisation pour chaque classe individuellement.

3. Différentiabilité

Pour permettre un entraînement de bout en bout, les composantes non différentiables de la CP (la fonction indicatrice pour la taille de l'ensemble et le quantile empirique) sont lissées à l'aide d'une fonction sigmoïde et de techniques de tri différentiables. Bien que ce lissage relâche la garantie de couverture marginale pendant l'entraînement, les auteurs notent que la garantie formelle est restaurée au moment du test en revenant à l'implémentation originale non lissée.

Principales Contributions

1. Cadre Adaptatif à la Classe : Introduction de CaCT, qui remplace les poids de pénalité globaux par des multiplicateurs par classe, permettant au modèle de s'adapter à la difficulté et à la fréquence spécifiques de chaque classe.
2. Optimisation par Lagrangien Augmenté : Développement d'un algorithme ALM modifié qui apprend automatiquement les poids de pénalité optimaux spécifiques à chaque classe pendant l'entraînement, éliminant ainsi le besoin de réglage manuel des hyperparamètres ou d'hypothèses de distribution préalables.
3. Robustesse à l'Imbalance : Démonstration que CaCT atténue efficacement les problèmes des distributions à longue traîne, produisant des ensembles de prédiction plus petits pour les classes sous-représentées tout en maintenant la couverture, une capacité qui fait défaut aux méthodes antérieures telles que ConfTr, CUT et DPSM.

Résultats Expérimentaux

Les auteurs ont évalué CaCT sur plusieurs benchmarks, incluant la classification d'images standard (MNIST, CIFAR-10/100, ImageNet), des variantes à longue traîne (MNIST-LT, CIFAR-LT, ImageNet-LT) et la classification de texte (20 Newsgroups).

• Efficacité : CaCT produit systématiquement des tailles moyennes d'ensembles de prédiction nettement plus petites que les méthodes d'entraînement conforme de pointe (ConfTr, CUT, InfoCTr, DPSM) sur tous les jeux de données.
• Écart de Couverture : Dans les scénarios de longue traîne, CaCT atteint l'écart de couverture le plus faible (déviation par rapport à la couverture cible $1-\alpha$ par classe), indiquant une couverture conditionnelle à la classe supérieure. Les méthodes existantes échouent souvent à maintenir la couverture pour les classes de la traîne, ce qui conduit à de grands ensembles.
• Performance Discriminative : CaCT maintient ou améliore la précision Top-1 et Top-3 par rapport aux bases de référence, démontant que la réduction de la taille de l'ensemble ne se fait pas au détriment du pouvoir prédictif.
• Robustesse : La méthode montre une robusture face à divers facteurs de déséquilibre ($\gamma$) et différents niveaux de sous-couverture ($\alpha$) au moment du test. Elle performe également bien avec différentes mesures de non-conformité (THR, APS, RAPS).
• Sensibilité aux Hyperparamètres : Contrairement aux méthodes existantes qui sont très sensibles au choix d'un poids de régularisation global $\lambda$, le mécanisme d'apprentissage adaptatif de CaCT le rend agnostique à ce réglage spécifique, simplifiant ainsi le déploiement.

Signification

L'article affirme que CaCT répond à une limitation fondamentale de l'entraînement conforme : l'incapacité à gérer l'efficacité conditionnelle à la classe dans des jeux de données complexes et déséquilibrés. En formulant le problème comme une tâche d'optimisation adaptative, CaCT permet la construction d'ensembles de prédiction qui sont à la fois statistiquement valides et pratiquement informatifs, particulièrement dans des scénarios à enjeux élevés impliquant des distributions à longue traîne où les classes minoritaires sont souvent négligées. Ce travail comble le fossé entre les garanties de couverture théoriques et l'efficacité pratique, offrant une solution évolutive pour le déploiement de systèmes de deep learning conscients de l'incertitude dans le monde réel.