Résumé Technique : TRCGL-Net

Énoncé du Problème

La classification multi-étiquette de radiographies thoraciques (CXR) est une tâche critique dans l'imagerie médicale intelligente, mais elle se heurte à des obstacles importants en raison de la distribution à longue traîne (long-tailed distribution) des données cliniques réelles. Dans des jeux de données comme PadChest, un petit nombre de catégories de maladies communes (classes de tête) domine le nombre d'échantillons, tandis que la majorité des catégories de maladies (classes de queue) souffre d'une extrême rareté d'échantillons. Ce déséquilibre conduit les modèles d'apprentissage profond à être biaisés en faveur des classes majoritaires, ce qui entraîne une dégradation des performances pour les maladies rares.

Les auteurs identent trois facteurs intrinsèques exacerbant ce problème :

1. Rareté des données et dérive sémantique : Les classes de queue possèdent très peu d'échantillons positifs. Les méthodes d'augmentation traditionnelles échouent souvent à incorporer des contraintes sémantiques au niveau de la maladie, menant à des échantillons générés qui manquent de caractéristiques lésionnelles spécifiques ou s'écartent des motifs pathologiques réels.
2. Atténuation des caractéristiques et interférence de l'arrière-plan : Les lésions des classes de queue sont souvent petites, à faible contraste et obscurcies par des arrière-plans anatomiques complexes (ex. : côtes, clavicules, silhouettes cardiaques). L'extraction de caractéristiques standard tend à supprimer ces signaux subtils au profit des caractéristiques dominantes des classes de tête ou des structures de l'arrière-plan.
3. Modélisation inefficace de la cooccurrence des étiquettes : Les méthodes existantes pour modéliser les dépendances entre étiquettes sont typiquement dominées par les classes fréquentes. Par conséquent, les relations apprises reflètent des motifs de maladies communes, échouant à fournir des associations informatives qui pourraient aider à la reconnaissance des classes de queue rares.

Méthodologie : TRCGL-Net

Pour relever ces défis, les auteurs proposent TRCGL-Net, un cadre conçu pour la classification multi-étiquette de CXR à longue traîne. L'architecture intègre quatre composants clés et emploie une stratégie d'entraînement en deux étapes (échauffement du classificateur suivi d'un ajustement fin complet).

1. Diffusion Conditionnelle Guidée par le Texte Apprenable

Pour atténuer la rareté des échantillons des classes de queue, le cadre emploie un module génératif basé sur des modèles de diffusion conditionnels.

• Mécanisme : Les textes des étiquettes de maladies sont encodés à l'aide d'un encodeur de texte CLIP. Crucialement, les auteurs introduisent des vecteurs de contexte apprenables (embeddings de prompts) concaténés avec les embeddings de texte. Ces vecteurs sont optimisés pendant l'entraînement pour améliorer de manière adaptative les conditions textuelles.
• Processus : La séquence de texte augmentée guide le modèle de diffusion pour synthétiser des images CXR de haute qualité pour les classes de queue. Le processus de génération utilise un mécanisme de guidage sans classificateur (classifier-free guidance) pour équilibrer l'adhérence à la sémantique de la maladie avec la diversité de la morphologie et de la localisation des lésions.
• Objectif : Générer des échantillons synthétiques qui préservent la cohérence anatomique et les sémantiques pathologiques spécifiques, augmentant ainsi l'ensemble d'entraînement pour les catégories sous-représentées.

2. Mécanisme d'Attention Classe-Canal

Pour améliorer la discriminabilité des caractéristiques sous des distributions à longue traîne, le cadre traite les caractéristiques extraites par un backbone ConvNeXtV2 via deux mécanismes parallèles :

• Repondération des Canaux (Channel Reweighting) : Un mécanisme qui applique un pooling moyen global et une transformation non linéaire pour générer des poids d'attention de canal. Cela recalibre les canaux de caractéristiques, accentuant ceux qui sont pertinents pour des maladies spécifiques tout en préservant l'information originale via des connexions résiduelles.
• Attention Spatiale Sensible à la Classe (Class-Aware Spatial Attention) : Une branche qui génère des cartes d'attention spécifiques à la classe. Cela permet au modèle de localiser les régions pertinentes pour la maladie et de se concentrer sur les zones lésionnelles fines, réduisant l'interférence des structures anatomiques non pertinentes.
• Fusion : La prédiction finale au niveau de l'image combine les caractéristiques sémantiques globales (issues du Global Average Pooling) et les caractéristiques locales spécifiques à la classe.

3. Modélisation de la Cooccurrence des Étiquettes (Convolution de Graphe)

Pour exploiter les dépendances inter-classes, le cadre construit un graphe de cooccurrence de labels.

• Construction du Graphe : Une matrice de cooccurrence est dérivée de l'ensemble d'entraînement, normalisée pour réduire le biais des classes fréquentes, symétrisée et seuillée pour éliminer les corrélations spécieuses.
• Propagation : Un Réseau de Convolution de Graphe (GCN) propage l'information à travers le graphe de labels. Les catégories de maladies sont traitées comme des nœuds avec des embeddings apprenables. À travers deux couches de convolution de graphe, les prototypes de classes sont mis à jour pour incorporer les relations de cooccurrence.
• Intégration : La sortie du GCN fournit des prédictions basées sur le graphe de labels, qui sont fusionnées avec les prédictions basées sur l'image via une agrégation résiduelle. Cela permet aux classes de queue de tirer parti des indices discriminants des classes à haute fréquence cooccurrente.

Principales Contributions

L'article expose trois contributions primaires :

1. Stratégie Générative : Un modèle de diffusion conditionnel guidé par le texte apprenable qui impose des contraintes sémantiques de maladie pour synthétiser des échantillons de classes de queue, traitant la rareté des données tout en maintenant la cohérence pathologique.
2. Amélioration des Caractéristiques : Un mécanisme dual combinant la repondération des canaux et l'attention sensible à la classe pour renforcer les caractéristiques pertinentes de la maladie et supprimer l'interférence de l'arrière-plan, ciblant spécifiquement la représentation faible des lésions de queue.
3. Modélisation de Dépendance : Un réseau de convolution de graphe basé sur la cooccurrence des étiquettes qui permet la propagation de l'information discriminante entre les catégories corrélées, permettant aux classes de queue de bénéficier des relations avec les classes fréquentes.

Résultats Expérimentaux

Les expériences ont été menées sur le jeu de données PadChest, qui contient plus de 160 000 images annotées avec 174 découvertes radiologiques. Le jeu de données a été divisé au niveau du patient (80 % entraînement, 20 % validation).

• Performance Globale : TRCGL-Net a atteint une précision moyenne (mAP) de 0,4408, une aire sous la courbe moyenne (mAUC) de 0,8989 et un score F1 macro de 0,4369. Ces résultats surpassent les bases de référence de l'état de l'art, incluant ResNet-50, EfficientNet, ViT, CLIP, ainsi que des méthodes spécialisées pour la longue traîne comme ConvNeXt+LDAM et ConvNeXt+CSRA.
• Performance des Classes de Queue : L'amélioration la plus significative a été observée dans les classes de queue (catégories avec <500 échantillons). TRCGL-Net a atteint un mAP de classe de queue de 0,4904 et un mAUC de classe de queue de 0,9229. Cela représente une amélioration substantielle par rapport à la meilleure base de référence (ConvNeXt), qui a obtenu un mAP de 0,1280 sur les classes de queue.
• Études d'Ablation :
  • Le retrait du module de diffusion a provoqué une chute du mAP de 0,4408 à 0,3671, soulignant l'importance de l'augmentation des données.
  • Le retrait du module d'Attention Classe-Canal a réduit la performance, confirmant la nécessité de la recalibration des caractéristiques.
  • Le retrait du module de Modélisation de Relation de Label a également dégradé la performance, validant l'utilité de la propagation de la cooccurrence des étiquettes.
• Sensibilité des Paramètres : La performance optimale a été atteinte avec un poids d'échantillon synthétique de 0,5 et une force de fusion de graphe de label de 0,05, indiquant un équilibre entre données réelles/synthétiques et informations visuelles/labels.

Signification et Limites

Signification :
Le cadre démontre que l'intégration de l'augmentation de données générative avec des contraintes sémantiques, des mécanismes d'attention au niveau des caractéristiques et la modélisation de la dépendance des étiquettes peut atténuer efficacement l'impact du déséquilibre extrême des classes dans la classification des radiographies thoraciques. Il améliore spécifiquement la reconnaissance des maladies rares, qui sont souvent critiques dans le diagnostic clinique mais négligées par les modèles standards.

Limites et Travaux Futurs :
Les auteurs reconnaissent plusieurs limites :

• Le modèle de diffusion repose sur les noms de maladies et les rapports radiologiques ; sa capacité sémantique peut être limitée pour les descriptions multi-lésionnelles complexes ou les sous-types fins.
• Le graphe de cooccurrence des étiquettes est statique, basé sur les statistiques de l'ensemble d'entraînement, et peut ne pas s'adapter bien aux changements de distribution entre différentes institutions médicales.

Les travaux futurs visent à incorporer des connaissances médicales structurées (priors anatomiques) dans le processus de diffusion et à développer une modélisation de relation de label dynamique et adaptative aux données pour améliorer la généralisation dans les contextes de domaines croisés.