Structured Proper Loss Geometries for Multiclass Classification: Theory and Controlled Empirical Evaluation

Résumé Technique : Géométries de Perte Propriété Structurées pour la Classification Multiclasse

Énoncé du Problème
Les règles de score strictement propres garantissent que la véritable distribution de classe conditionnelle minimise l'espérance de la perte au niveau de la population. Cependant, la courbure de ces scores influence la dynamique d'optimisation, le comportement en échantillon fini, le calibrage et la robustesse face aux étiquettes corrompues ou aux décalages de priorité de classe. Bien que l'entropie croisée (score logarithmique) soit la référence standard, elle peut conduire à un mauvais calibrage et à un surapprentissage des étiquettes bruitées. La littérature existante a proposé divers objectifs pour des modes de défaillance spécifiques (par exemple, la perte focale pour le déséquilibre, l'entropie croisée généralisée pour le bruit), mais il est nécessaire d'analyser rigoureusement comment les modifications structurées des règles de score propre — spécifiquement par la courbure et le façonnage de la marge — affectent les performances sans revendiquer une supériorité généralisée sur les méthodes spécialisées.

Méthodologie
Le papier étudie trois objectifs multiclasses, en les traitant comme des constructions spécifiques dans le cadre des divergences de Bregman et des pertes composites :

1. Perte de Mahalanobis Sensible à la Classe (CAPM) : Un score de Bregman quadratique structuré défini par un générateur $F_C(p) = \frac{1}{2}(p-u)^\top A (p-u)$. La matrice $A$ incorpore des structures sensibles à la classe, incluant un Laplacien de graphe ($L_G$) dérivé des similitudes de centroïdes de classes et un terme diagonal ($D_{tail}$) basé sur les comptages de classes.
2. Perte de Générateur Hyperbolique Propre (HPG) : Une perte strictement propre utilisant un générateur $F_H(p)$ qui combine un terme quadratique avec des termes de régularisation log-cosh contraints. Cela introduit une courbure bornée et une lissité tout en maintenant la propriété stricte.
3. Façonnage de Marge de Probabilité Recuit (APMS) : Un ajout à l'HPG qui ajoute une pénalité de marge bornée $r(p, y)$ avec un coefficient $\beta_t$ qui subit un recuit vers zéro pendant l'entraînement. Cela permet un façonnage temporaire de la marge tout en visant à converger vers l'objectif HPG propre.

Contributions Théoriques
Les auteurs fournissent une analyse mathématique rigoureuse établissant les propriétés de ces pertes :

• Bornes pour CAPM et HPG : Dérivation du regret conditionnel, de la courbure, de l'étendue et des bornes de gradient de logit. Il est prouvé que les deux sont strictement propres, avec un risque conditionnel excédentaire contrôlé par la distance euclidienne au carré entre les vecteurs de probabilité prédits et réels.
• Analyse APMS : Preuve de l'étendue exacte de la pénalité de marge sur le simplexe de probabilité. Les auteurs établissent à la fois des bornes de racine carrée et linéaires sur le déplacement du minimiseur conditionnel par rapport au vecteur de probabilité réel en fonction du coefficient de marge $\beta$. Cela confirme que, bien que l'objectif ne soit pas strictement propre pour $\beta > 0$, le minimiseur converge vers la distribution réelle lorsque $\beta \to 0$.
• Bornes de Gradient : Dérivation de bornes sur le gradient de la perte par rapport aux logits, montrant que la courbure du générateur contrôle l'amplitude des gradients.

Conception Expérimentale
L'étude emploie une évaluation empirique descriptive et contrôlée utilisant cinq graines aléatoires à travers plusieurs régimes :

• Jeux de données : Jeux de données réels (Digits, Wisconsin Breast Cancer) et problèmes synthétiques (matrice de confusion, distribution à longue traîne).
• Conditions : Étiquettes propres, bruit d'étiquette symétrique (20 %, 40 %), bruit de basculement de paire (40 %), déséquilibre de classe (ratio 30:1) et corruptions d'entrée (bruit gaussien, sel et poivre, FGSM, PGD).
• Baselines : L'entropie croisée (CE) sert de référence primaire. Les comparaisons sont faites avec des méthodes établies pour les étiquettes bruitées (ex: Generalized Cross-Entropy, Symmetric Cross-Entropy, Active-Passive Loss) et les méthodes de longue traîne (ex: Balanced Softmax, Logit Adjustment).
• Métriques : Précision (Accuracy), Précision Équilibrée (Balanced Accuracy), Log-Vraisemblance Négative (NLL), Score de Brier et Erreur de Calibration Attendue (ECE).
• Rigueur Statistique : L'étude évite explicitement de revendiquer une signification statistique en raison du nombre limité de graines (cinq), notant que la plus petite valeur de p de Wilcoxon atteignable est 0,0625. Les résultats sont interprétés de manière descriptive selon les modèles d'effets.

Résultats Clés

• Données Propres : CAPM, HPG et APMS sont comparables à l'entropie croisée sur les données propres pour tous les jeux de données.
• Étiquettes Bruitées : Sur le jeu de données Digits avec 40 % de bruit d'étiquette symétrique, les pertes structurées proposées montrent des améliorations modestes par rapport à l'entropie croisée mais sont dépassées par les baselines spécialisées pour les étiquettes bruitées (SCE, GCE, APL, MAE) en termes de précision, NLL et score de Brier.
• Apprentissage Long-Tail : Dans l'expérience synthétique de longue traîne 30:1, les méthodes proposées ne parviennent pas à traiter efficacement le décalage de priorité, atteignant une précision équilibrée proche de 0,16 (similaire à l'entropie croisée). En revanche, les méthodes d'ajustement de priorité explicite (Balanced Softness, Logit Adjustment) atteignent une précision équilibrée supérieure à 0,62.
• Ablations : Le retrait des composants structurels spécifiques (termes de graphe dans CAPM, termes de régularisation dans HPG, ou coefficients de marge dans APMS) ne dégrade pas systématiquement les performances, suggérant que ces ajouts spécifiques n'ont pas apporté de bénéfice clair dans les contextes évalués.
• Calibration et Robustesse : Le réglage de température post-hoc améliore le calibrage pour toutes les méthodes. Les corruptions d'entrée et les attaques adverses ne montrent que de faibles différences descriptives entre les modèles entraînés sur des données propres.

Signification et Revendications
Le papier revendique modestement que ses formulations sont mathématiquement valides et constituent des exemples testables empiriquement de la manière dont la courbure des scores propres et le façonnage de la marge peuvent être construits.

• Validité Théorique : Les preuves établissent avec succès que les pertes proposées sont strictement propres (ou convergent vers la propriété) et satisfont des bornes de courbure et de gradient spécifiques.
• Limitations Empiriques : Les expériences ne soutiennent pas une revendication de supériorité générale. Les objectifs structurés ne surpassent pas systématiquement les méthodes spécialisées pour les étiquettes bruitées ou l'apprentissage de longue traîne.
• Contribution Principale : Ce travail sert d'étude contrôlée pour distinguer entre l'identification de la population (garantie par la propriété) et la robustesse en échantillon fini (qui dépend de la géométrie spécifique de la perte et n'est pas automatiquement améliorée par les modifications de courbure seules). Les auteurs concluent que bien que les formulations soient saines, leur utilité pour remplacer les pertes établies nécessite une validation supplémentaire sur des jeux de données plus larges, des architectures plus puissantes et des modèles de bruit réalistes.