Structured Matrix Scaling for Multi-Class Calibration

Cet article propose des méthodes de recalibration post-hoc pour la classification multi-classes, basées sur une régression logistique structurée et régularisée, qui surpassent les techniques existantes comme le scaling de température en gérant efficacement le compromis biais-variance grâce à des optimisations et des prétraitements robustes.

L'essentiel

🍳 Le Problème : Le Chef qui a perdu le goût

Imaginez que vous avez un chef cuisinier ultra-intelligent (c'est votre modèle d'IA). Ce chef est capable de prédire avec une grande précision quel plat vous allez commander. Mais il y a un petit problème : quand il dit "J'ai 90 % de chances que vous commandiez une pizza", il a souvent tort. Parfois, il ne se trompe que 50 % du temps, et parfois, il a raison 100 % du temps.

En langage technique, on dit que son étalonnage (calibration) est mauvais. Il est confiant, mais pas fidèle à la réalité.

Pour corriger cela, on utilise généralement un assistant de cuisine (une méthode de recalibrage) qui ajuste les prédictions du chef après coup.

• L'ancienne méthode (Température Scaling) : C'est comme si l'assistant disait : "Bon, le chef est un peu trop confiant, on va juste refroidir un peu tous ses chiffres d'un coup." C'est simple, mais ça ne suffit pas si le chef a des défauts très spécifiques (par exemple, il adore les pizzas mais déteste les salades).
• La nouvelle méthode (Matrix Scaling) : C'est un assistant beaucoup plus complexe qui peut dire : "Pour les pizzas, on augmente un peu la confiance, pour les salades, on baisse, et pour les desserts, on change la règle complètement." C'est beaucoup plus précis, mais c'est aussi beaucoup plus risqué.

⚠️ Le Danger : L'Assistant qui apprend par cœur

Le gros problème avec l'assistant complexe (la méthode matricielle), c'est qu'il a tendance à apprendre par cœur (overfitting).

Imaginez que vous donnez à l'assistant un petit carnet de notes avec seulement 10 recettes (vos données d'étalonnage). Si l'assistant est trop intelligent et trop complexe, il va mémoriser ces 10 recettes mot pour mot. Il sera parfait pour ces 10 cas précis, mais dès qu'il verra une nouvelle recette (une nouvelle donnée), il sera complètement perdu car il n'a pas compris la logique, il a juste mémorisé.

C'est le dilemme de l'article : Comment avoir un assistant assez intelligent pour corriger les erreurs complexes, mais pas si intelligent qu'il oublie de généraliser ?

💡 La Solution : L'Assistant "Intelligemment Contrôlé"

Les auteurs de cet article (Eugène Berta, David Holzmüller, Michael Jordan, Francis Bach) ont trouvé une astuce géniale. Ils ne veulent pas choisir entre un assistant simple et un assistant complexe. Ils veulent un assistant qui s'adapte.

Ils proposent une méthode appelée "Structured Matrix Scaling" (Mise à l'échelle matricielle structurée). Voici comment ça marche avec une analogie :

1. La Structure Hiérarchique : Au lieu de donner à l'assistant un carnet de notes vierge où il peut écrire n'importe quoi, on lui donne un carnet avec des cases pré-imprimées.

   • Certaines cases sont pour ajuster la "température" globale (comme l'ancienne méthode simple).
   • D'autres cases sont pour ajuster chaque plat individuellement.
   • D'autres encore sont pour voir les liens entre les plats (par exemple, si on commande une pizza, on commande souvent une bière).

2. La "Régularisation" (Le Frein de Sécurité) : C'est la partie la plus importante. Les auteurs ajoutent un frein de sécurité sur chaque type de case.

   • Si l'assistant essaie d'écrire quelque chose de trop fou dans une case complexe (qui demande beaucoup de données), le frein le force à rester simple.
   • Si l'assistant a beaucoup de données (un gros carnet de notes), le frein se relâche et lui permet d'explorer des ajustements complexes.

En gros, c'est comme un conducteur de voiture autonome qui a un mode "Auto" très puissant, mais qui possède un système de sécurité qui le force à rouler lentement s'il pleut (peu de données) et qui lui laisse le champ libre s'il fait beau (beaucoup de données).

🚀 Les Résultats : Pourquoi c'est génial ?

Les auteurs ont testé leur méthode sur des milliers de situations (des tableaux de données, des images de voitures, des photos de chats, etc.).

• Résultat 1 : Leur méthode bat toutes les anciennes méthodes (comme la simple "température" ou les méthodes matricielles classiques qui s'effondrent souvent). Elle corrige mieux les erreurs du chef cuisinier.
• Résultat 2 : Elle ne s'effondre pas quand il y a peu de données. Grâce à leurs "freins de sécurité" (régularisation structurée), l'assistant ne panique pas et reste fiable.
• Résultat 3 : C'est rapide. Contrairement à d'autres méthodes complexes qui prennent des heures à calculer, leur méthode est optimisée pour être rapide, même sur de gros ordinateurs.

🛠️ En Résumé : Ce que vous devez retenir

Imaginez que vous avez un GPS (votre modèle d'IA) qui vous dit souvent : "Il y a 90 % de chances qu'il n'y ait pas de bouchon", alors qu'il y en a toujours.

• L'ancienne solution : Dire au GPS : "Baisse un peu tes prédictions partout." (Ça aide un peu, mais pas assez).
• La solution des auteurs : Donner au GPS une carte intelligente qui sait exactement où sont les bouchons habituels, mais qui a un système de sécurité pour ne pas inventer de bouchons là où il n'y en a pas, surtout si le GPS a peu d'informations récentes.

Leur travail montre que l'on peut avoir le meilleur des deux mondes : la précision d'un modèle complexe et la sécurité d'un modèle simple, le tout grâce à une structure mathématique bien pensée qui s'adapte automatiquement à la quantité d'informations dont on dispose.

Ils ont même rendu leur outil gratuit et facile à utiliser (un paquet Python appelé probmetrics), pour que n'importe quel développeur puisse améliorer la fiabilité de son IA sans devenir un expert en mathématiques.

Résumé technique

1. Problématique et Contexte

L'étalonnage des probabilités (calibration) est crucial pour que les classificateurs fournissent des estimations de probabilité fiables. Un modèle est dit étalonné si la probabilité prédite correspond à la fréquence réelle de l'événement (ex: si le modèle prédit 70 %, l'événement se produit 70 % du temps).

• Limites des méthodes actuelles : Les méthodes d'étalonnage a posteriori (post-hoc) courantes, comme l'échelle de température (Temperature Scaling - TS) ou l'échelle vectorielle (Vector Scaling - VS), reposent sur des modèles linéaires ou affines simples.
• Le fossé théorie-pratique : Les auteurs démontrent théoriquement que, même dans des cas idéaux (données conditionnelles de classe gaussiennes), la fonction d'étalonnage optimale pour un classificateur logistique n'est pas linéaire, mais quadratique par rapport aux logits (log-odds).
• Le défi du surapprentissage (Overfitting) : Dans le cas multi-classes, l'utilisation de modèles plus expressifs (comme l'échelle matricielle complète ou des modèles quadratiques) introduit un nombre de paramètres très élevé ($O(k^2)$ ou $O(k^3)$ pour $k$ classes). Avec des ensembles de données d'étalonnage souvent restreints ($n_{cal} \ll n$), ces modèles complexes souffrent d'un fort risque de surapprentissage, dégradant les performances sur les données de test.

2. Méthodologie Proposée

Les auteurs proposent une approche fondée sur la régularisation structurée pour permettre l'utilisation de modèles d'étalonnage expressifs tout en contrôlant le surapprentissage.

A. Motivation Théorique

En analysant un problème de classification binaire et multi-classes avec des données conditionnelles gaussiennes, ils montrent que la fonction de recalibration optimale prend la forme d'un modèle de régression logistique (softmax) appliqué aux logits centrés.

• Pour le binaire : $g(s) = \sigma(a \sigma^{-1}(s)^2 + b \sigma^{-1}(s) + c)$.
• Pour le multi-classes : La fonction nécessite des termes quadratiques et matriciels complexes.

B. Modèles d'Étalonnage

Au lieu de se limiter aux modèles linéaires (TS) ou diagonaux (VS), ils explorent :

1. Échelle Vectorielle Structurée (SVS) : Ajout de vecteurs de biais et de températures par classe.
2. Échelle Matricielle Structurée (SMS) : Utilisation d'une matrice de poids complète pour capturer les dépendances inter-classes, mais avec une structure hiérarchique spécifique.

La fonction d'étalonnage SMS est définie comme :
$$g_{SMS}(x) = S\left( (I_k + \text{diag}(v) + (1_k 1_k^\top - I_k) \odot M) S^{-1}(x) + b \right)$$
Où $S$ est le softmax, $v$ gère les températures par classe (diagonale), $M$ gère les interactions inter-classes (hors-diagonale), et $b$ est le vecteur de biais.

C. Régularisation Hiérarchique

Pour éviter le surapprentissage avec ces modèles complexes, ils introduisent une pénalité de régularisation adaptée à la taille de chaque groupe de paramètres et au nombre d'échantillons d'étalonnage. L'objectif d'optimisation est :
$$\min_{b,v,M} \frac{1}{n_{cal}} \sum \ell(g(x_i), y_i) + \lambda_b \frac{k^\rho}{n_{cal}^\tau} \|b\|^\delta + \lambda_v \frac{k^\rho}{n_{cal}^\tau} \|v\|^\delta + \lambda_M \frac{(k(k-1))^\rho}{n_{cal}^\tau} \|M\|^\delta$$

• Adaptativité : La force de régularisation s'ajuste automatiquement en fonction du nombre de classes ($k$) et de la taille de l'ensemble d'étalonnage ($n_{cal}$).
• Prétraitement : Une étape de mise à l'échelle de température initiale est appliquée pour normaliser l'échelle des logits, rendant les hyperparamètres de régularisation robustes à la confiance initiale du modèle.

3. Contributions Clés

1. Justification Théorique : Démonstration que les fonctions d'étalonnage doivent être plus complexes (quadratiques/matricielles) que ce que supposent les méthodes standards, même dans des scénarios simples.
2. Nouveaux Schémas de Régularisation : Introduction de régularisations structurées qui équilibrent expressivité et robustesse, permettant d'utiliser des modèles logistiques puissants sans surapprentissage.
3. Implémentation Open-Source : Développement du package Python probmetrics, offrant des solveurs efficaces (L-BFGS et SAGA) pour ces méthodes, avec des hyperparamètres par défaut robustes.

4. Résultats Expérimentaux

Les auteurs ont évalué leurs méthodes sur deux grands benchmarks :

A. Données Tabulaires (TabRepo)

• Données : 65 jeux de données, 7 modèles (Logistic, XGBoost, CatBoost, Réseaux de neurones, etc.), 1365 expériences au total.
• Comparaison : SMS et SVS sont comparés à l'échelle de température (TS), échelle vectorielle (VS), échelle matricielle (MS) non régularisée, et calibration Dirichlet.
• Résultats :
  • SMS obtient les meilleures performances globales, surpassant statistiquement toutes les autres méthodes (y compris la calibration Dirichlet et l'échelle matricielle non régularisée).
  • Les méthodes non régularisées (MS, Dirichlet) souffrent d'un surapprentissage massif, dégradant les performances sur près de la moitié des jeux de données.
  • SMS montre une amélioration constante du Logloss et du Brier Score par rapport aux méthodes de base.

B. Vision par Ordinateur (CIFAR-10, CIFAR-100, ImageNet)

• Résultats : Sur des architectures profondes (ResNet, DenseNet), SMS et SVS offrent les plus grandes réductions de perte (Logloss).
• Cas ImageNet (1000 classes) : L'échelle matricielle non régularisée est impossible à entraîner (trop de paramètres). SMS, grâce à sa régularisation, parvient à étalonner efficacement même avec un nombre de classes très élevé, là où les méthodes standards échouent.

C. Efficacité Computationnelle

• Les implémentations de SMS/SVS sont 70 fois plus rapides que la calibration Dirichlet (qui nécessite souvent une recherche de grille coûteuse).
• Elles sont plus rapides que les implémentations standards de torchcal tout en offrant de meilleures performances grâce à la régularisation intégrée.

5. Signification et Impact

Ce travail comble un fossé important entre la théorie de l'étalonnage et la pratique. Il démontre que :

1. Les modèles d'étalonnage simples (linéaires) sont souvent sous-optimaux théoriquement.
2. La complexité accrue n'est pas un obstacle si elle est couplée à une régularisation structurée intelligente.
3. Les méthodes proposées (SMS/SVS) offrent une alternative supérieure, robuste et rapide aux techniques d'étalonnage actuelles (TS, VS, MS), rendant possible l'étalonnage fiable de modèles complexes sur des ensembles de données limités.

L'approche permet aux praticiens d'utiliser des modèles d'étalonnage expressifs "out-of-the-box" sans avoir besoin d'un réglage fin complexe des hyperparamètres, tout en garantissant la généralisation.