🤖 machine learning

Reducing Class-Wise Performance Disparity via Margin Regularization

Cet article introduit MR $^2$ , une méthode de régularisation de marge théoriquement fondée qui ajuste dynamiquement les marges de logits et de représentation en fonction de la variabilité des caractéristiques par classe afin de réduire efficacement les disparités de performance par classe dans les réseaux de neurones profonds tout en améliorant la précision globale.

Auteurs originaux : Beier Zhu, Kesen Zhao, Jiequan Cui, Qianru Sun, Yuan Zhou, Xun Yang, Hanwang Zhang

Publié 2026-02-03

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Beier Zhu, Kesen Zhao, Jiequan Cui, Qianru Sun, Yuan Zhou, Xun Yang, Hanwang Zhang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Problème : L'« Étudiant de Génie » contre l'« Étudiant en Difficulté »

Imaginez une salle de classe où un professeur (le modèle d'IA) enseigne 1 000 sujets différents (classes), allant de « reconnaître un chat » à « identifier un type spécifique d'orchidée rare ».

Même si le professeur étudie le même nombre d'heures pour chaque sujet (données équilibrées), quelque chose d'étrange se produit. Le professeur devient un génie pour les sujets faciles (comme le « chat ») mais reste médiocre pour les sujets difficiles (comme l'« orchidée rare »). Dans l'exemple de l'article, l'IA obtient 100 % de précision sur les images les plus faciles, mais seulement 16 % sur les plus difficiles.

C'est injuste. Si vous déployez cette IA dans le monde réel, elle pourrait très bien fonctionner pour certaines tâches, mais échouer dangereusement sur d'autres. L'article appelle cela la Disparité de Performance par Classe (Class-Wise Performance Disparity).

L'Ancienne Méthode : « Taille Unique pour Tous » (et pourquoi elle échoue)

Auparavant, les chercheurs tentaient de corriger cela en :

Donnant des devoirs supplémentaires aux sujets difficiles : (Repondération/Reweighting). Mais cela faisait souvent oublier les sujets faciles au professeur.
Modifiant les questions d'examen : (Marges de logit/Logit margins). Mais celles-ci étaient généralement conçues pour des situations où certains sujets avaient beaucoup moins d'élèves que d'autres (données à longue traîne), et non pour les situations où c'est la difficulté du sujet lui-même qui pose problème.

L'article soutient que le véritable problème n'est pas le nombre d'élèves par sujet, mais la variabilité des élèves.

Sujets Faciles : Les élèves (caractéristiques d'images) se ressemblent tous beaucoup. Ils sont assis en un cercle serré et ordonné. Il est facile de tracer un cercle autour d'eux.
Sujets Difficiles : Les élèves sont éparpillés partout dans la pièce. Ils sont diversifiés et chaotiques. Il est difficile de tracer une ligne qui les capture tous sans prendre accidentellement quelqu'un d'une autre classe.

La Solution : MR2 (Le « Coach Intelligent »)

Les auteurs proposent une nouvelle méthode appelée MR2 (Margin Regularization for performance disparity Reduction). Considérez MR2 comme un coach intelligent qui ajuste les règles du jeu différemment pour les sujets faciles et les sujets difficiles.

MR2 utilise deux outils spécifiques pour résoudre le problème :

1. La « Limite Généreuse » (Marge de Logit)

Imaginez que le professeur dessine une zone de sécurité (une marge) autour de chaque groupe d'élèves pour les protéger des autres groupes.

Pour les Sujets Faciles : Les élèves sont déjà regroupés étroitement. Le coach dit : « Vous n'avez pas besoin d'une immense zone de sécurité. Une petite suffit. »
Pour les Sujets Difficiles : Les élèves sont éparpillés loin les uns des autres. Si le coach dessine une petite zone de sécurité, il en oubliera beaucoup. Le coach élargit donc dynamiquement la zone de sécurité pour ces groupes difficiles.

L'Analogie : C'est comme donner un canot de sauvetage plus grand à un groupe de personnes dans une mer déchaînée (classe difficile) par rapport à un groupe dans un lac calme (classe facile). L'article prouve mathématiquement que donner ces « canots de sauvetage plus grands » (marges) aux groupes dispersés réduit les chances d'erreur.

2. L'Ordre de « Se Resserrer » (Marge de Représentation)

Même avec un canot de sauvetage plus grand, si les élèves du groupe « Difficile » continuent de courir partout de manière sauvage, ils pourraient quand même tomber à l'eau.

MR2 ajoute une deuxième règle : Faites en sorte que les élèves se regroupent plus étroitement.
Il pénalise l'IA si les élèves du groupe « Difficile » sont trop éloignés les uns des autres. Cela force l'IA à apprendre une représentation où les images « Difficiles » se ressemblent davantage, ce qui les rend plus faciles à regrouper.

L'Analogie : Si la classe « Difficile » est une foule chaotique lors d'un concert, MR2 ne se contente pas de leur donner une clôture plus grande ; il leur dit aussi : « Tenez-vous plus près les uns des autres pour que nous puissions vous protéger. »

Comment cela fonctionne en pratique

Les chercheurs ont testé cette méthode sur sept ensembles de données différents (incluant le massif ImageNet) et divers types de modèles d'IA (des réseaux de neurones standards aux modèles de fondation avancés comme CLIP et MAE).

Les Résultats :

Les classes « Difficiles » se sont nettement améliorées : La précision des catégories difficiles a bondi de manière significative (par exemple, passant de 56 % à près de 60 % sur ImageNet).
Les classes « Faciles » n'ont pas souffert : Contrairement aux autres méthodes qui corrigent les problèmes difficiles en dégradant les cas faciles, MR2 a même légèrement amélioré les classes faciles.
L'écart s'est réduit : La différence entre les catégories les plus performantes et les moins performantes a considérablement diminué.

La Vue d'Ensemble (Sans les Mathématiques)

L'intuition centrale de l'article est simple : Tous les sujets ne sont pas égaux. Certains sont naturellement désordonnés et diversifiés. Traiter tout le monde avec les mêmes règles strictes fait échouer l'IA sur les cas désordonnés.

MR2 est un système qui dit : « Hé, ce groupe est désordonné et difficile à cerner. Donnons-lui un tampon de sécurité plus large et disons-lui de rester plus groupé. » En faisant cela, l'IA devient plus fiable sur l'ensemble du spectre, garantissant qu'elle ne travaille pas seulement sur les choses faciles, mais aussi sur les scénarios réels et complexes.

En bref : MR2 est un outil d'équité pour l'IA qui empêche l'IA d'être un « étudiant de génie » qui ne connaît que les réponses faciles, pour la transformer en un étudiant polyvalent capable de gérer aussi bien les défis simples que les défis chaotiques.

Résumé Technique : MR2 (Réduction de la disparité de performance par la régularisation de la marge)

Énoncé du Problème

Les réseaux de neurones profonds présentent fréquemment des disparités substantielles dans la précision par classe, même lorsqu'ils sont entraînés sur des jeux de données équilibrés en termes de classes. Des études empiriques (ex. : Cui et al., 2024) indiquent que les classes « difficiles » (celles ayant une faible précision) possèdent souvent une plus grande variabilité de caractéristiques par rapport aux classes « faciles ». Ce déséquilibre menace le déploiement fiable et équitable des modèles profonds. Bien que des travaux antérieurs aient exploré des remèdes empiriques tels que l'augmentation de données ou l'apprentissage de représentations, la compréhension théorique de la raison pour laquelle ces disparités persistent et de la manière de les atténuer via une régularisation fondée sur des principes reste limitée. Les méthodes existantes basées sur les marges sont principalement conçues pour les distributions à longue traîne (déséquilibrées en classes) et convergent souvent vers l'entropie croisée standard lorsque les priors de classe sont uniformes, échouant ainsi à traiter les disparités dans les contextes équilibrés.

Méthodologie : MR2

Les auteurs proposent MR2, un cadre théoriquement fondé qui réduit la disparité de performance entre les classes en ajustant dynamiquement les marges à la fois dans l'espace des logits et dans l'espace de représentation. La méthode repose sur une nouvelle borne de généralisation sensible à la classe qui lie la variabilité des caractéristiques par classe à l'erreur de généralisation.

1. Fondement Théorique

Les auteurs dérivent une garantie d'apprentissage basée sur la marge et sensible à la classe (Proposition 1). Cette borne révèle que l'erreur de généralisation est influencée par le ratio de la variabilité des caractéristiques par classe (spécifiquement la somme de la norme au carré de la moyenne des caractéristiques et de la moyenne des écarts quadratiques) par rapport au carré de la marge spécifique à la classe.

Insight Clé : Les classes présentant une plus grande variabilité de caractéristiques (« classes difficiles ») contribuent davantage à la borne d'erreur de généralisation. Pour minimiser cette borne, des marges plus larges doivent être assignées à ces classes.
Marge Optimale : L'analyse théorique (Corollaire 1) suggère que la marge optimale $\gamma_y$ pour une classe $y$ doit être proportionnelle à $(\|\hat{\mu}_y\|_2^2 + \|\hat{s}_y\|_2^2)^{1/3}$ , où $\hat{\mu}_y$ est la moyenne empirique des caractéristiques et $\hat{s}_y$ est la moyenne des écarts quadratiques empiriques.

2. Régularisation de la Marge de Logit ( $\ell_{\gamma,ce}$ )

MR2 introduit une marge dépendante de la classe dans la perte d'entropie croisée. La marge $\gamma_y$ n'est pas un hyperparamètre fixe mais est calculée dynamiquement en fonction de l'étalement des caractéristiques de chaque classe :
$\gamma_y = \bar{c} \cdot K \frac{(\|\hat{\mu}_y\|_2^2 + \|\hat{s}_y\|_2^2)^{1/3}}{\sum_{k=1}^K (\|\hat{\mu}_k\|_2^2 + \|\hat{s}_k\|_2^2)^{1/3}}$
Ce mécanisme adaptatif assigne des marges plus larges aux classes « difficiles » (haute variabilité de caractéristiques), resserrant ainsi leurs bornes de généralisation, tout en maintenant une marge moyenne équilibrée $\bar{c}$ .

3. Régularisation de la Marge de Représentation ( $\ell_{\bar{s}}$ )

Pour resserrer davantage la borne de généralisation, MR2 pénalise l'étalement excessif des caractéristiques intra-classe. La perte de représentation encourage la compacité intra-classe en traitant la moyenne des écarts quadratiques $\bar{s}$ comme une contrainte de marge :
$\ell_{\bar{s}}(f, x, y) = \ln \left[ 1 + \sum_{x^+ \in D_y \setminus \{x\}} \exp(\|\phi(x) - \phi(x^+)\|_2^2 - 2\bar{s}) \right]$
Cette perte agit comme une relaxation différentiable d'une contrainte qui force les distances par paires au sein d'une classe à rester inférieures à $2\bar{s}$ , réduisant efficacement le numérateur de la borne de généralisation.

4. Généralisation aux Classificateurs à Cosinus

Le cadre s'étend aux modèles utilisant des classificateurs à cosinus (ex. : CLIP), où les caractéristiques sont normalisées $L_2$ . Dans ces cas, la norme $L_2$ standard des caractéristiques devient constante. Les auteurs proposent d'utiliser des normes $L_p$ alternatives (ex. : $p=3$ ) pour restaurer les mesures de variabilité dépendantes de la classe, permettant à la régularisation de la marge de rester efficace.

Principales Contributions

Analyse Théorique : Le papier fournit une nouvelle borne de généralisation non asymptotique et sensible à la classe qui connecte explicitement la variabilité des caractéristiques par classe à l'erreur de généralisation, motivant la nécessité de marges dépendantes de la classe même dans les contextes équilibrés.
Cadre MR2 : Une approche de régularisation à double marge qui ajuste dynamiquement les marges de logit basées sur l'étalement des caractéristiques et pénalise la variance de représentation, applicable tant aux classificateurs standards qu'à cosinus.
Validation Empirique : Des expériences approfondies sur sept jeux de données (incluant ImageNet, CIFAR-100 et des jeux de données de granularité fine) et diverses architectures (ResNet, ViT, MAE, MoCov2, CLIP) démontrent que MR2 réduit significativement la disparité de performance.

Résultats Expérimentaux

Les auteurs évaluent MR2 contre 14 bases de référence, incluant des méthodes de repondération (LfF, JTT), des méthodes basées sur la marge (LDAM, EQL), l'apprentissage contrastif (SupCon) et l'optimisation robuste par distribution (DRO, FairDRO).

Réduction de la Disparité : MR2 obtient systématiquement les améliorations les plus importantes sur les classes « difficiles ». Par exemple, sur ImageNet avec ResNet-50, MR2 améliore la précision des classes « difficiles » de 3,2 % par rapport à la base de référence, alors que d'autres méthodes montrent souvent des gains négligeables ou des compromis (améliorant les classes difficiles au détriment des classes faciles).
Performance Globale : Contra-irement à de nombreuses méthodes de débaisage qui sacrifient la performance des classes « faciles » pour booster les classes « difficiles », MR2 améliore la précision globale tout en réduant simultanément l'écart entre les classes faciles et difficiles.
Généralisation : La méthode est robuste à travers différents backbones (CNN, Transformers) et paradigmes de pré-entraînement (entraînement à partir de zéro, sondage linéaire sur des caractéristiques gelées, fine-tuning de modèles de fondation).
Études d'Ablation : Les résultats confirment que la marge de logit (marge $\gamma$ dépendante de la classe) et la marge de représentation ( $\ell_{\bar{s}}$ ) sont toutes deux nécessaires ; l'utilisation de marges uniformes ou la suppression de la perte de représentation donne des résultats inférieurs.

Signification et Revendications

Le papier affirme que MR2 offre une explication fondée sur des principes de la disparité de performance par classe, allant au-delà des heuristiques empiriques. En liant les bornes de généralisation à la variabilité des caractéristiques, les auteurs démontrent que les classes « difficiles » nécessitent des marges plus larges pour atteindre une performance de généralisation comparable à celle des classes « faciles ».

La signification de MR2 réside dans sa capacité à :

Réduire la Disparité sans Compromis : Il améliore la performance des classes « difficiles » sans dégrader celle des classes « faciles », un mode d'échec courant des techniques de débaisage existantes.
Fondement Théorique : Il fournit une justification mathématique de la nécessité des marges dépendantes de la classe même lorsque les priors de classe sont uniformes, se distinguant ainsi des méthodes d'apprentissage à longue traîne.
Large Applicabilité : Il fonctionne efficacement à travers une large gamme d'architectures modernes, y compris des modèles de fondation comme CLIP et MAE, suggérant qu'il s'agit d'une stratégie viable pour améliorer l'équité dans les systèmes d'apprentissage profond à grande échelle.

Les auteurs concluent que bien que le Neural Collapse (NC) suggère que la variance des caractéristiques devrait disparaître dans la phase terminale, les preuves empiriques sur des jeux de données à grande échelle montrent qu'une variabilité significative et dépendante de la classe subsiste. MR2 répond à cette réalité en régularisant ces étalements résiduels pour assurer une généralisation équilibrée.