On the Impact of Class Imbalance on the Learning Dynamics of Deep Neural Networks:An Intuitive Insight

Résumé Technique : Sur l'Impact du Déséquilibre des Classes sur la Dynamique d'Apprentissage des Réseaux de Neurones Profonds

Énoncé du Problème
Malgré l'adoption généralisée des Réseaux de Neurones Profonds (RNP) dans des domaines tels que la vision par ordinateur et le traitement du langage naturel, ces modèles éprouvent des difficultés significatives face au déséquilibre des classes, où une classe (minoritaire) dispose nettement moins d'échantillons qu'une autre (majoritaire). Alors que la littérature classique sur l'apprentissage automatique attribue souvent la mauvaise performance sur la classe minoritaire à un sous-ajustement dû à un manque de données, des études récentes spécifiques aux RNP proposent des explications contradictoires. Certains soutiennent que les RNP sous-ajustent les classes minoritaires, tandis que d'autres affirment qu'ils surajustent les échantillons minoritaires, conduisant à des représentations non généralisables en raison d'une déviation des caractéristiques ou de frontières de décision biaisées. Le problème central abordé par cette étude est l'absence d'une compréhension unifiée et intuitive de comment et pourquoi le déséquilibre des classes perturbe la dynamique d'apprentissage des RNP, spécifiquement concernant l'évolution temporelle de l'apprentissage pour les classes majoritaires par rapport aux classes minoritaires.

Méthodologie
Pour investiguer systématiquement ces dynamiques d'apprentissage, les auteurs ont employé une approche expérimentale contrôlée :

• Ensembles de données : L'étude a utilisé 30 ensembles de données de référence binaires déséquilibrés provenant des dépôts UCI et KEEL, variant selon le Ratio de Déséquilibre (RD) et la séparabilité des classes (mesurée par le Coefficient de Silhouette). De plus, trois ensembles de données binaires équilibrés ont été dérivés de l'ensemble de données Iris pour servir de référence de comparaison.
• Architecture du Modèle : Une architecture de RNP entièrement connectée utilisant des fonctions d'activation ReLU a été employée. Les modèles incorporaient une Normalisation par Lots (Batch Normalization) et un taux de dropout de 0,5 pour atténuer le surajustement.
• Optimisation : Les hyperparamètres (profondeur et largeur) ont été optimisés par validation croisée à 5 plis pour garantir que les modèles puissent atteindre une perte proche de zéro. L'entraînement a utilisé l'optimiseur Adam avec une perte d'entropie croisée, s'exécutant pour un minimum de 250 époques.
• Métriques d'Évaluation : Au-delà de la perte globale et de la précision, l'étude s'est concentrée sur des métriques spécifiques aux classes : le Taux de Vrais Positifs (TPR) pour la classe minoritaire et le Taux de Vrais Négatifs (TNR) pour la classe majoritaire. Les auteurs ont surveillé la trajectoire des pertes et des précisions d'entraînement par classe à travers les époques pour observer la séquence d'apprentissage. Un suréchantillonnage aléatoire a également été appliqué comme intervention de référence pour comparaison avec le scénario de déséquilibre brut.

Contributions et Résultats Clés
L'étude fournit un aperçu intuitif de la trajectoire d'apprentissage des RNP sur des données déséquilibrées, révélant un schéma temporel distinct :

1. Dynamiques d'Apprentissage Séquentielles : Contrairement aux ensembles de données équilibrés où les RNP apprennent toutes les classes simultanément avec des taux de réduction de perte similaires, les ensembles de données déséquilibrés présentent un schéma d'apprentissage séquentiel. Le modèle apprend initialement la classe majoritaire presque exclusivement, faisant chuter rapidement la perte de la classe majoritaire, tandis que la perte de la classe minoritaire augmente souvent ou reste stagnante lors des premières époques.
2. Sous-ajustement Précoce des Classes Minoritaires : Durant la phase initiale d'entraînement, le RNP sous-ajuste efficacement la classe minoritaire, classifiant presque tous les échantillons (y compris ceux de la minorité) comme appartenant à la classe majoritaire. Cela se traduit par un TPR de 0 % lors des premières époques.
3. Surajustement pour la Minimisation de la Perte : Bien que la nature surparamétrée des RNP leur permette éventuellement d'apprendre les échantillons de la classe minoritaire (réduisant la perte minoritaire à près de zéro), cet apprentissage n'intervient qu'après la maîtrise de la classe majoritaire. Les auteurs postulent que le modèle apprend les représentations minoritaires non pas pour bien généraliser, mais simplement pour minimiser la perte d'entraînement globale. Par conséquent, ces représentations minoritaires apprises sont non généralisables lors de la phase de test, entraînant un faible TPR malgré une haute précision d'entraînement.
4. Rôle de la Complexité des Données et de la Taille de l'Échantillon : La sévérité de ce phénomène est modulée par le Ratio de Déséquilibre, la complexité des données (chevauchement) et la taille de l'échantillon minoritaire.
   • Les ensembles de données avec des clusters bien séparés (coefficient de Silhouette élevé) ne souffrent pas de la phase de sous-ajustement précoce, même avec un RD élevé.
   • Les ensembles de données avec un faible RD mais des tailles d'échantillons minoritaires très petites (par exemple, seulement 7 échantillons minoritaires) souffrent d'un sous-ajustement précoce sévère.
   • La trajectoire globale de la perte d'entraînement est dominée par la classe majoritaire, masquant la mauvaise performance sur la classe minoritaire durant l'entraînement précoce.
5. Limites du Suréchantillonnage : L'application d'un suréchantillonnage aléatoire a amélioré la reconnaissance minoritaire (TPR), mais souvent au détriment de la performance de la classe majoritaire (TNR), et des écarts significatifs sont restés pour les ensembles de données fortement déséquilibrés.

Signification et Revendications
L'article revendique que sa signification principale réside dans la clarification du mécanisme derrière l'échec des RNP sur des données déséquilibrées. Il remet en question le débat binaire « sous-ajustement vs surajustement » en démontrant que les RNP éprouvent les deux : un sous-ajustement initial de la classe minoritaire suivi d'une forme de surajustement où les échantillons minoritaires sont mémorisés pour satisfaire la minimisation de la perte globale sans atteindre la généralisation.

Les auteurs concluent que la mauvaise performance des RNP sur les classes minoritaires n'est pas simplement le résultat d'une pénurie de données, mais d'une dynamique d'apprentissage spécifique où le modèle privilégie la classe majoritaire pour faire baisser la perte totale. Cette perspective suggère que les méthodes efficaces de gestion du déséquilibre doivent s'attaquer à l'aspect temporel des dynamiques d'apprentissage, plutôt qu'à la simple distribution statique des données. L'étude affirme modestement que, bien que les RNP puissent ajuster des données déséquilibrées à une perte proche de zéro avec suffisamment de temps, les frontières de décision résultantes sont biaisées, et la capacité du modèle à généraliser aux échantillons de test minoritaires est sévèrement compromise à moins que les clusters de classes ne soient bien séparés.