Loss Design and Architecture Selection for Long-Tailed Multi-Label Chest X-Ray Classification

Cet article présente une évaluation systématique des fonctions de perte et des architectures pour la classification multi-étiquettes de radiographies thoraciques à distribution déséquilibrée, démontrant que l'utilisation de LDAM-DRW avec ConvNeXt-Large permet d'atteindre le 5ᵉ rang sur le benchmark CXR-LT 2026.

L'essentiel

Imaginez que vous êtes un médecin radiologue qui doit examiner des milliers de radios de thorax. Votre mission : repérer 30 maladies différentes, de la plus courante (comme une pneumonie légère) à la plus rare (comme un pneumothorax subtil).

Le problème, c'est que dans la vraie vie, les maladies courantes arrivent tout le temps, tandis que les maladies rares sont comme des aiguilles dans une botte de foin. Si vous entraînez un robot (une intelligence artificielle) avec ces données, il va devenir un expert pour détecter les maladies courantes, mais il ignorera complètement les rares, car il n'a jamais assez vu de cas pour apprendre.

Voici comment l'auteur de cette étude, Nikhileswara Rao Sulake, a tenté de résoudre ce casse-tête pour le défi "CXR-LT 2026".

1. Le Problème : L'École des "Élèves Populaires"

Imaginez une école où 90 % des élèves sont des "populaires" (les maladies courantes) et 10 % sont des "timides" (les maladies rares). Si le professeur (l'IA) ne regarde que les élèves populaires pour donner les notes, il ne saura jamais comment aider les timides.

Dans le monde médical, c'est dangereux : rater une maladie rare peut coûter la vie à un patient. L'objectif de l'auteur était de créer une IA qui ne néglige personne, même les "élèves timides".

2. La Solution : Trois Outils Magiques

L'auteur a testé trois grandes stratégies pour rééquilibrer la balance :

A. Le Professeur Exigeant (La Fonction de Perte "LDAM-DRW")

C'est le cœur de l'histoire. L'auteur a utilisé une méthode spéciale appelée LDAM-DRW.

• L'analogie : Imaginez un entraîneur de sport. Au début, il laisse tout le monde courir à son rythme. Mais dès qu'il voit qu'un athlète (la maladie rare) commence à avoir du mal, il s'arrête, s'assoit avec lui et lui dit : "On va travailler spécifiquement sur tes faiblesses, on va t'obliger à faire plus d'efforts que les autres."
• Le résultat : Cette méthode force l'IA à accorder plus d'attention aux cas rares, au lieu de se reposer sur ce qu'elle connaît déjà. C'est la méthode qui a le mieux fonctionné.

B. Le Choix du Moteur (L'Architecture du Modèle)

L'auteur a comparé différents "moteurs" pour son IA, du plus ancien au plus moderne.

• Les anciens (ResNet) : Comme des voitures fiables mais un peu lentes. Elles font le travail, mais elles peinent à voir les détails fins des maladies rares.
• Les modernes (ConvNeXt) : Imaginez une voiture de course de Formule 1. L'auteur a découvert que le modèle ConvNeXt-Large était le champion. Il est si puissant et bien conçu qu'il arrive à distinguer les nuances les plus subtiles. C'est lui qui a obtenu les meilleurs résultats.

C. La Révision de Fin d'Année (Le "Re-entraînement")

Une fois que l'IA a appris les bases, l'auteur a fait une astuce : il a "gelé" la partie de l'IA qui reconnaît les formes (comme les os, les poumons) et a réentraîné uniquement la partie qui prend la décision finale (le "cerveau" qui dit "c'est une maladie" ou "ce n'est pas une maladie").

• L'analogie : C'est comme si un étudiant avait déjà lu tous les livres d'histoire, mais qu'on lui donnait un dernier mois pour réviser spécifiquement les questions pièges avant l'examen final. Cela a aidé à mieux classer les maladies rares.

3. Les Résultats : Une Victoire avec une Petite Faille

L'auteur a participé à un grand concours international (le défi CXR-LT 2026) avec son équipe.

• Le Score : Son IA a terminé 5ème sur 68 équipes. C'est une excellente performance !
• Le Paradoxe : Voici la partie intéressante. Sur les tests d'entraînement, l'IA était presque parfaite. Mais sur le test final officiel, son score a baissé.
  • Pourquoi ? L'IA était très bonne pour dire "Il y a 90 % de chances que ce soit la maladie X" (c'est ce qu'on appelle le classement). Mais quand il fallait trancher : "Oui, c'est la maladie X" ou "Non", elle hésitait trop.
  • L'image : C'est comme un détective qui sait très bien qui est le suspect, mais qui a peur de l'arrêter parce qu'il n'est pas sûr à 100 %.

4. Conclusion : Ce qu'on retient pour le futur

Cette étude nous apprend deux choses importantes pour la médecine du futur :

1. La méthode compte : Utiliser la bonne "recette" (LDAM-DRW) et le bon "moteur" (ConvNeXt) permet de détecter les maladies rares beaucoup mieux qu'avant.
2. La confiance compte aussi : Avoir un bon classement ne suffit pas. Il faut aussi que l'IA soit sûre de ses réponses. L'auteur suggère que les prochaines étapes devront travailler sur la "calibration" (apprendre à l'IA à mieux évaluer sa propre confiance) pour éviter de rater des cas critiques.

En résumé, l'auteur a construit un détective médical très intelligent, capable de voir les aiguilles dans la botte de foin, mais qui doit encore apprendre à être plus confiant dans ses accusations pour devenir un outil parfait pour les médecins.

Résumé technique

1. Problématique

Le papier aborde le défi majeur de la classification multi-étiquettes sur les radiographies thoraciques (CXR) dans un contexte de distribution à longue traîne (long-tailed).

• Déséquilibre des classes : Dans les ensembles de données cliniques, certaines pathologies (comme l'effusion pleurale) sont fréquentes, tandis que d'autres, tout aussi critiques (comme le pneumothorax), sont rares. Les fonctions de perte standard (comme la BCE) biaisent les modèles vers les classes majoritaires ("head"), échouant à reconnaître les pathologies rares.
• Complexité multi-étiquettes : Contrairement aux tâches mono-étiquettes, un patient peut présenter plusieurs pathologies simultanément, nécessitant l'apprentissage de motifs complexes de co-occurrence tout en gérant un déséquilibre sévère sur l'ensemble des étiquettes.
• Manque d'évaluation systématique : Il existe un manque d'études comparant conjointement les fonctions de perte, les architectures de réseaux de neurones et les stratégies d'optimisation post-entraînement spécifiquement pour ce type de données médicales.

2. Méthodologie

L'étude a été menée sur le benchmark CXR-LT 2026, basé sur le jeu de données PadChest, comprenant environ 143 000 images annotées avec 30 étiquettes de maladies.

A. Fonctions de Perte (Loss Functions)

Les auteurs ont comparé plusieurs approches pour gérer le déséquilibre :

• LDAM-DRW (Label-Distribution-Aware Margin avec Deferred Re-weighting) : C'est la méthode clé. Elle impose des marges de décision plus grandes pour les classes minoritaires. Le schéma DRW permet d'entraîner d'abord avec des poids uniformes pour apprendre des représentations générales, puis de basculer vers des poids équilibrés par classe pour se concentrer sur les classes rares.
• Asymmetric Loss (ASL) : Conçue pour le multi-étiquettes, mais s'est révélée inefficace dans ce contexte de déséquilibre extrême (suppression excessive des gradients des labels positifs rares).
• BCE (Binary Cross-Entropy) : Utilisée comme référence de base, montrant des performances médiocres sur les classes rares.

B. Architectures de Réseaux

Une évaluation comparative a été réalisée sur plusieurs familles d'architectures CNN, toutes initialisées avec des poids pré-entraînés ImageNet :

• Baselines classiques : ResNet-50/101, DenseNet-121/169.
• Architectures efficaces : EfficientFormerV2-S.
• Architectures modernes : ConvNeXt-Base et ConvNeXt-Large (inspirées des Transformers, avec des noyaux larges et une normalisation de couche).

C. Stratégies Post-Entraînement

• Re-entraînement du classifieur (cRT) : Une approche en deux étapes où le backbone est gelé et seule la tête de classification est ré-entraînée avec un échantillonnage équilibré pour mieux séparer les classes minoritaires.
• Augmentation à l'inférence (TTA) : Moyenne des prédictions sur des versions augmentées (retournement horizontal, rotations).
• Ensembling : Combinaison pondérée de plusieurs modèles.

3. Contributions Clés

1. Comparaison systématique : Démonstration que LDAM-DRW est la fonction de perte la plus fiable pour la reconnaissance de classes rares, surpassant systématiquement la BCE et l'ASL sur toutes les architectures testées.
2. Supériorité des architectures modernes : Preuve que les architectures modernes, en particulier ConvNeXt-Large, surpassent les backbones traditionnels. ConvNeXt-Large a atteint la meilleure performance en modèle unique avec un mAP de 0,5220 sur l'ensemble de développement.
3. Analyse des stratégies post-entraînement : Évaluation de l'impact du cRT, du TTA et de l'ensembling, montrant que le cRT améliore les métriques de classement (AUC) mais pas nécessairement la précision d'instance (F1), et que le TTA stabilise les sorties sans toujours améliorer le F1.
4. Analyse honnête de l'écart Développement/Test : Une analyse transparente de la soumission au classement officiel, expliquant l'écart de performance entre l'ensemble de développement et l'ensemble de test.

4. Résultats

• Performance sur l'ensemble de développement :
  • Le modèle ConvNeXt-Large avec LDAM-DRW a obtenu le meilleur score : 0,5220 mAP et 0,3765 F1.
  • L'utilisation de LDAM-DRW avec ResNet-50 a amélioré le mAP de plus de 30 % par rapport à la BCE (de 0,3248 à 0,4241).
  • L'ASL a échoué (mAP de 0,0667) en raison de la suppression excessive des gradients pour les classes rares.
• Performance sur le leaderboard officiel (CXR-LT 2026) :
  • La soumission de l'auteur a terminé 5ème sur 68 équipes avec un mAP de 0,3950 et un AUC de 0,8591.
  • Cependant, le score F1 était très faible (0,0945) comparé au premier rang (0,3518).
• Analyse de l'écart (Gap) : La chute du mAP de 0,52 (développement) à 0,395 (test) et le faible F1 indiquent un surajustement (overfitting) à la validation interne, un étalonnage des probabilités sous-optimal et un choix de seuils inadaptés pour la détection d'instances.

5. Signification et Perspectives

• Recommandation Clinique : Pour les tâches de classification à longue traîne en imagerie médicale, l'approche LDAM-DRW couplée à des architectures modernes (ConvNeXt) doit être considérée comme la référence (baseline).
• Limites et Futur : Le papier souligne que l'excellence dans les métriques de classement (AUC/mAP) ne garantit pas une bonne détection d'instances (F1). Pour les déploiements cliniques, il est crucial d'améliorer :
  • L'étalonnage des probabilités (ex: temperature scaling, isotonic regression).
  • L'optimisation des seuils par classe.
  • La robustesse face aux décalages de distribution (via des techniques comme Sharpness Aware Minimisation).

En conclusion, ce travail fournit une feuille de route empirique solide pour les chercheurs et praticiens cherchant à développer des systèmes de dépistage automatisés capables de détecter de manière fiable des pathologies rares sur les radiographies thoraciques.