Socrates Loss: Unifying Confidence Calibration and Classification by Leveraging the Unknown

1. Problématique

Les réseaux de neurones profonds (DNN), bien que très performants en termes de précision, souffrent souvent d'un mauvais étalonnage de la confiance (confidence calibration). Cela signifie que la probabilité prédite par le modèle (sa confiance) ne correspond pas à la probabilité réelle de justesse de la prédiction. Ce problème limite leur fiabilité dans des applications à haut risque (médical, sécurité nucléaire, bio-sécurité).

L'article identifie un compromis fondamental (trade-off) dans les méthodes d'étalonnage existantes :

• Méthodes à deux phases (Two-phase) : Combinent des pertes ou utilisent des calendriers complexes. Elles offrent de bonnes performances de classification mais souffrent d'instabilité lors de l'entraînement et d'un étalonnage médiocre.
• Méthodes à perte unique (Single-loss) : Sont stables et bien étalonnées, mais souvent au détriment de la précision de classification.

De plus, les méthodes post-hoc (ajustement après entraînement) sont incompatibles avec le transfert de apprentissage car elles ne modifient pas les poids du modèle, rendant impossible l'intégration de représentations étalonnées dans les poids eux-mêmes.

2. Méthodologie : Socrates Loss

Les auteurs proposent Socrates Loss, une fonction de perte unifiée et ad-hoc conçue pour optimiser simultanément la classification et l'étalonnage de la confiance sans instabilité.

Concepts Clés

La méthode repose sur la reformulation du problème de classification à $c$ classes en un problème à $c+1$ classes, en introduisant une classe inconnue (unknown class), notée idk. L'objectif est de permettre au modèle d'apprendre non seulement ce qu'il connaît, mais aussi de signaler ce qu'il ne connaît pas (référence à la citation de Socrate : "Je sais que je ne sais rien").

Formulation de la Perte

La perte Socrates ($L_{Socrates}$) intègre trois composantes principales :

1. Composante de vérité terrain avec terme Focal :
   Elle utilise un terme de type Focal Loss pour pondérer les instances difficiles à classer. Elle intègre une cible adaptative ($t_{i,y_i,e}$) qui lisse les prédictions en combinant la vérité terrain et les prédictions des époques précédentes (via un facteur de momentum $\alpha$), favorisant ainsi la convergence et la stabilité.

2. Composante de classe inconnue (Unknown Component) :
   Elle pénalise le modèle s'il ne reconnaît pas son propre incertitude. Si la probabilité d'une classe autre que la vérité terrain dépasse celle de la classe idk, une pénalité est appliquée.

3. Pénalité d'incertitude dynamique ($\beta$) :
   C'est le cœur de la méthode. $\beta$ est calculé dynamiquement à chaque itération :
   $$\beta_{i,e} = \max_{\bar{y}_i \neq y_i} (\hat{p}_{i, \bar{y}_i, e}) - \hat{p}_{i, idk, e}$$

   • Si la probabilité de la classe inconnue est la plus élevée (ou proche de la meilleure alternative), $\beta$ est faible ou nul.
   • Si le modèle est très confiant dans une classe erronée (ou la vérité terrain) au détriment de la classe idk, $\beta$ augmente, pénalisant le modèle pour son manque de conscience de son incertitude.

Garanties Théoriques

L'article fournit des preuves théoriques démontrant que :

• Socrates Loss agit comme un régularisateur des poids du réseau : les gradients sont plus faibles que ceux de la perte d'entropie croisée (CE) lorsque la confiance est parfaite, empêchant le surapprentissage (overfitting).
• Elle forme une borne supérieure régularisée de la divergence de Kullback-Leibler (KL). En augmentant l'entropie de la distribution prédite et en utilisant la classe inconnue, elle évite les prédictions trop confiantes (overconfidence).

3. Contributions Principales

1. Proposition de Socrates Loss : Une fonction de perte unique, facile à implémenter, qui unifie la classification et l'étalonnage via une modélisation explicite de l'incertitude.
2. Résolution du compromis Stabilité-Performance : Contrairement aux méthodes à deux phases, Socrates Loss assure une stabilité d'entraînement tout en maintenant une haute précision et un bon étalonnage.
3. Analyse Théorique et Empirique : Démonstration mathématique de la régularisation et validation extensive sur quatre jeux de données (SVHN, CIFAR-10/100, Food-101) et plusieurs architectures (VGG, ResNet, ViT), y compris en transfert d'apprentissage.

4. Résultats Expérimentaux

Les expériences comparent Socrates Loss à des méthodes post-hoc (Temperature Scaling, Matrix Scaling) et ad-hoc (Focal Loss, SAT, CCL-SC, Brier, etc.).

• Stabilité et Convergence : Socrates Loss converge de manière stable sur tous les jeux de données et architectures. À l'inverse, des méthodes comme SAT et CCL-SC ont montré des instabilités, des pics de perte et des convergences prématurées (notamment sur Food-101 et SVHN).
• Compromis Précision-Étalonnage : Sur les graphes de Pareto (Taux d'erreur vs ECE - Expected Calibration Error), Socrates Loss se situe systématiquement dans la région optimale (bas à gauche), offrant un meilleur compromis que les autres méthodes.
• Performance sur ViT et Transfert d'Apprentissage : Socrates est la seule méthode à améliorer simultanément la classification et l'étalonnage lors du fine-tuning d'un ViT (Vision Transformer) par transfert d'apprentissage, là où d'autres méthodes dégradent l'un ou l'autre.
• Robustesse aux Hyperparamètres : La méthode est peu sensible à la variation du facteur de modularité ($\gamma$) pour la précision, bien que le facteur de momentum ($\alpha$) nécessite un réglage fin.
• Étalonnage Final : Les modèles entraînés avec Socrates sont souvent sous-confiants ou parfaitement étalonnés, contrairement aux modèles standards (CE) qui sont systématiquement sur-confiants.

5. Signification et Impact

• Fiabilité des DNN : Socrates Loss offre une solution pratique pour déployer des modèles de deep learning dans des environnements critiques où la confiance du modèle est aussi importante que sa précision.
• Élimination des étapes post-traitement : En intégrant l'étalonnage directement dans la perte, elle rend obsolètes les méthodes post-hoc qui nécessitent des données de validation supplémentaires et qui ne fonctionnent pas bien avec le transfert d'apprentissage.
• Nouvelle perspective sur l'incertitude : L'utilisation d'une classe "inconnue" comme mécanisme de régularisation dynamique ouvre de nouvelles pistes pour la détection d'outliers (OOD) et la classification sélective.
• Adaptabilité : La méthode s'avère efficace aussi bien sur des tâches simples (CIFAR-10) que complexes (Food-101) et sur des architectures variées, y compris les Transformers.

En conclusion, Socrates Loss représente une avancée significative en résolvant le dilemme historique entre précision et étalonnage, offrant un cadre d'entraînement stable et unifié pour des modèles de confiance.