Résumé Technique : DAMEL – Apprentissage Multi-Expert à Double Axe pour l'Apprentissage Déséquilibré par Classes

1. Énoncé du Problème

Les réseaux de neurones profonds (DNN) éprouvent souvent des difficultés avec l'apprentissage déséquilibré par classes (CIL) présent dans les distributions à longue traîne du monde réel. Bien que les techniques CIL existantes (par exemple, le rééchantillonnage, la pondération, l'apprentissage découplé) réduisent avec succès le biais de prédiction envers les classes majoritaires, elles introduisent fréquemment un compromis : une augmentation de la variance de prédiction.

Les algorithmes récents d'apprentissage multi-expert tentent de mitiger cette variance en entraînant plusieurs experts. Cependant, ces méthodes reposent généralement sur des procédures complexes à plusieurs étapes impliquant une distillation de connaissances ou des stratégies spécifiques de division des données. De plus, les approches multi-expert existantes agrègent généralement les prédictions de plusieurs experts, ce qui peut ne pas exploiter pleinement les représentations de caractéristiques diversifiées apprises par chaque expert.

2. Méthodologie : DAMEL

Les auteurs proposent DAMEL (Apprentissage Multi-Expert à Double Axe), un algorithme conceptuellement simple et en une seule étape qui réduit à la fois le biais au carré et la variance de prédiction en exploitant plusieurs experts le long de deux axes distincts : l'axe de représentation et l'axe temporel.

Architecture et Entraînement

• Backbone Partagé : DAMEL utilise $K$ experts qui partagent un backbone CNN profond (jusqu'au dernier bloc résiduel) pour minimiser les coûts de calcul. Chaque expert possède un dernier bloc résiduel individuel et une couche de classification.
• Ensemble de l'Axe de Représentation :
  • Au lieu de moyenner les représentations ou d'agréger les prédictions finales, DAMEL concatène les vecteurs de représentation ($z_k$) de tous les $K$ experts.
  • Un classifieur auxiliaire équilibré est entraîné sur ces représentations concaténées en utilisant une fonction de perte équilibrée par classe (qui pondère la perte d'entropie croisée inversement proportionnellement à la fréquence des classes).
  • Crucialement, les gradients issus de la perte équilibrée par classe sont rétropropagés uniquement vers le classifieur auxiliaire, tandis que le backbone et les têtes d'experts individuelles sont entraînés via une perte d'entropie croisée standard. Cela permet au classifieur auxiliaire d'exploiter des caractéristiques complémentaires de tous les experts sans forcer le backbone à apprendre une représentation unique, potentiellement compromise.
  • L'ensemble du système (experts + classifieur auxiliaire) est entraîné de bout en bout, évitant les tendances d'entraînement découplé observées dans d'autres méthodes CIL.

Ensemble de l'Axe Temporel

• Pour réduire davantage la variance, DAMEL agrège les poids du réseau à travers les époques d'entraînement en utilisant une Moyenne Mobile Exponentielle (EMA).
• Mise à Jour par Époque : Contrairement à l'EMA au niveau de l'itération conventionnelle ou à la Moyenne des Poids Stochastiques (SWA), DAMEL met à jour les poids EMA ($\theta_{EMA}$) uniquement à la fin de chaque époque. Cette stratégie augmente la diversité des poids agrégés en s'assurant que les mises à jour consécutives sont moins corrélées, capturant ainsi des états de modèle plus distincts.
• Inférence : Pendant la phase de test, les prédictions sont effectuées exclusivement à l'aide du classifieur auxiliaire avec les poids $\theta_{EMA}$ agrégés. Les prédictions individuelles des experts ne sont pas utilisées pour la sortie finale.

3. Contributions Clés

L'article met en avant cinq contributions principales :

1. Ensemble de l'Axe de Représentation : Un mécanisme novateur qui agrège les représentations d'experts par concaténation plutôt que par moyenne des prédictions, permettant à un classifieur auxiliaire d'utiliser des caractéristiques diverses et complémentaires de plusieurs experts.
2. Préservation de la Diversité : Démonstration que la concaténation de représentations n'est pas simplement une augmentation de dimensionnalité, mais un mécanisme pour préserver la diversité des représentations spécifiques à chaque expert et utiliser conjointement des indices discriminants.
3. Ensemble de l'Axe Temporel : L'introduction d'une stratégie d'agrégation de poids EMA au niveau de l'époque, distincte de l'EMA au niveau de l'itération et de la SWA, qui traite les poids agrégés temporellement comme un axe d'ensemble supplémentaire pour réduire la variance de prédiction.
4. Classifieur Auxiliaire de Bout en Bout : La conception d'un classifieur auxiliaire équilibré entraîné sur des représentations concaténées avec une perte équilibrée par classe, réduisant le biais envers les classes majoritaires tout en exploitant des caractéristiques diversifiées dans une seule étape d'entraînement.
5. Validation Empirique : Des expériences extensives et des études d'ablation démontrant que l'approche à double axe réduit conjointement le biais au carré et la variance de prédiction, surpassant les algorithmes multi-expert et CIL existants.

4. Résultats Expérimentaux

DAMEL a été évalué sur quatre jeux de données de référence : CIFAR-10-LT, CIFAR-100-LT, ImageNet-LT et iNaturalist2018.

• Performance : DAMEL a atteint des performances de pointe sur tous les jeux de données et ratios de déséquilibre ($\gamma = 10, 50, 100$). Par exemple, sur CIFAR-100-LT ($\gamma=100$), DAMEL avec 4 experts a atteint 53,1 % de précision globale, surpassant des bases solides comme RIDE (49,1 %), ACE (49,6 %) et TLC (49,8 %).
• Compromis Biais-Variance : L'analyse quantitative du biais au carré et de la variance a montré que DAMEL a réussi à réduire simultanément ces deux métriques. Alors que les techniques de rééquilibrage réduisaient le biais mais augmentaient la variance, et que les méthodes multi-expert réduisaient la variance, l'approche à double axe de DAMEL a réduit les deux.
• Études d'Ablation :
  • La suppression des poids EMA ou de la concaténation des représentations a considérablement dégradé les performances.
  • La concaténation des représentations a surpassé l'agrégation des prédictions.
  • L'EMA au niveau de l'époque a surpassé l'EMA au niveau de l'itération et la SWA simple, confirmant l'importance de la fréquence de mise à jour dans la construction d'un ensemble de l'axe temporel efficace.
  • Des études à capacité contrôlée ont prouvé que les gains de performance proviennent de la diversité des experts plutôt que d'une simple augmentation de la capacité du modèle ou de la dimensionnalité des caractéristiques.
• Robustesse : La méthode est restée efficace lorsqu'elle était combinée à des techniques d'augmentation de données puissantes (AutoAugment, Cutout) et a montré une stabilité à travers divers paramètres d'hyperparamètres (nombre d'experts, $\beta$ EMA, échelle du classifieur).

5. Signification et Revendications

Les auteurs affirment que DAMEL offre une solution conceptuellement simple mais hautement efficace au compromis biais-variance dans l'apprentissage déséquilibré par classes. En évitant la distillation multi-étape complexe ou la division des données, DAMEL atteint une précision supérieure grâce à un processus d'entraînement en une seule étape.

L'article souligne que la stratégie à double axe est l'innovation centrale :

• L'axe de représentation garantit que le classifieur a accès à un ensemble riche et diversifié de caractéristiques, réduisant le biais.
• L'axe temporel (via l'EMA au niveau de l'époque) stabilise le modèle et réduit la variance en moyennant les poids issus d'états d'optimisation diversifiés.

Les auteurs concluent que, bien que leur sélection actuelle d'hyperparamètres soit heuristique, le cadre proposé fournit une approche universelle et robuste pour le CIL, atténuant efficacement les limites des techniques de rééquilibrage traditionnelles et des algorithmes multi-expert existants.