💻 computer science

Recurrent Contrastive Learning for Imbalanced Medical Image Classification

Cet article propose l'Apprentissage Contrastif Récurrent (RCL), un nouveau cadre qui utilise une File d'Attente de Mémoire Temporelle pour générer des Ancres Temporelles et étendre progressivement la région de support latente des classes de queue, atténuant ainsi le déséquilibre des classes et améliorant les frontières de décision dans la classification d'images médicales.

Auteurs originaux : Zhiyuan Zhu, Xinling Meng, Junxuan Yu, Jiongquan Chen, Qiongying Ni, Tuhang Shao, Yuhao Huang, Luping Zhou, Ruiyang Huang, Yuxue Wang, Rongliang Zhang, Xue Wang, Tianhong Tang, Likun Wang, Junbo Chen

Publié 2026-08-05

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zhiyuan Zhu, Xinling Meng, Junxuan Yu, Jiongquan Chen, Qiongying Ni, Tuhang Shao, Yuhao Huang, Luping Zhou, Ruiyang Huang, Yuxue Wang, Rongliang Zhang, Xue Wang, Tianhong Tang, Likun Wang, Junbo Chen, Yong Jiang, Yongping Lu, Xin Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot à reconnaître différents types d'animaux dans un zoo. Si le zoo possède 1 000 lions mais seulement 5 tigres, le robot deviendra très doué pour repérer les lions et oubliera probablement à quoi ressemble un tigre, ou pire, il pourrait penser que tout animal de type félin est un lion. C'est un problème courant dans le monde de l'IA médicale appelé « déséquilibre de classe ». Les médecins disposent de tonnes de données pour les maladies courantes, mais très peu pour les maladies rares ou graves. Lorsque les modèles d'IA sont entraînés sur ces données inégales, ils deviennent biaisés en faveur des éléments courants et ratent les cas rares et critiques. Pour corriger cela, les scientifiques essaient généralement soit de montrer au robot plus d'images des animaux rares (rééchantillonnage), soit de lui dire de prêter une attention particulière à ceux-ci pendant les leçons (repondération). Mais il y a un piège : ces méthodes ne font souvent que forcer le robot à regarder plus attentivement les quelques images rares qu'il possède, sans réellement donner aux animaux rares assez d'« espace » dans le cerveau du robot pour se démarquer clairement des autres.

C'est ici qu'intervient une nouvelle étude de Zhiyuan Zhu et de son équipe avec une idée ingénieuse appelée Apprentissage Contrastif Récurrent (RCL - Recurrent Contrastive Learning). Au lieu de simplement mélanger les cartes ou de crier plus fort sur les plus rares, ils ont décidé de construire un « tampon de mémoire » qui aide les maladies rares à étendre leur territoire dans l'esprit de l'IA. Pensez à une piste de danse bondée où les enfants populaires (les maladies courantes) occupent tout l'espace. Les enfants plus rares (les maladies rares) sont écrasés dans un petit coin. La solution des chercheurs est de faire venir des « danseurs fantômes » des sessions d'entraînement précédentes — d'anciennes versions des mouvements des enfants rares — pour se tenir autour d'eux et créer une bulle protectrice. Cette bulle repousse les enfants populaires, donnant aux maladies rares l'espace dont elles ont besoin pour être vues et reconnues correctement. L'équipe a testé cette méthode sur trois ensembles de données médicales, comprenant des scanners d'échographie carotidienne, des images de rétinopathie diabétique et des radiographies du genou, et a constaté que leur méthode aidait systématiquement l'IA à mieux repérer les conditions rares que les techniques précédentes.

Le Problème : L'effet du « Enfant Populaire » dans l'IA Médicale

Dans le monde de l'imagerie médicale, toutes les maladies ne sont pas égales. Certaines, comme un rhume banal ou une légère éruption cutanée, arrivent tout le temps. D'autres, comme certains troubles génétiques rares ou des stades spécifiques de cancer, sont beaucoup moins fréquents. Lorsque nous entraînons une IA à diagnostiquer ces conditions, c'est comme entraîner un étudiant qui ne voit que 1 000 exemples de rhume banal mais seulement 5 exemples d'une maladie rare. Naturellement, l'étudiant (l'IA) devient un expert du rhume banal mais est confus lorsqu'il voit la maladie rare. Il pourrait même confondre la maladie rare avec la maladie commune parce que, dans l'« esprit » de l'IA, la maladie rare n'a pas assez de place pour exister par elle-même.

L'article souligne que les solutions existantes tentent de corriger cela soit en montrant plus d'exemples de la maladie rare à l'IA (rééchantillonnage), soit en disant à l'IA de « prêter plus attention » à ces quelques exemples (repondération). Bien que ces méthodes aident un peu, elles ne résolvent pas le problème de fond : les maladies rares sont toujours entassées dans un coin minuscule et encombré de l'espace de caractéristiques de l'IA. Elles sont si compactes que les maladies courantes peuvent facilement « empiéter » sur leur territoire, entraînant des erreurs.

La Solution : Danseurs Fantômes et Bulles Protectrices

Les auteurs proposent une nouvelle stratégie appelée Apprentissage Contrastif Récurrent (RCL). Pour comprendre comment cela fonctionne, imaginez le processus d'apprentissage de l'IA comme une série de sessions d'entraînement au fil du temps.

1. La Mémoire Temporelle (File d'attente de la mémoire temporelle - TMQ)
Habituellement, une IA ne se souvient que des exemples qu'elle voit dans le lot actuel d'entraînement. Le RCL introduit une « Machine à remonter le temps » spéciale appelée File d'attente de la mémoire temporelle (TMQ). Cette file ne contient pas seulement les images actuelles ; elle sauvegarde les « états de caractéristiques » (la compréhension des images par l'IA) des sessions d'entraînement précédentes. C'est comme garder un journal de ce que l'IA a appris la semaine dernière, le mois dernier, etc. Cela permet à l'IA de regarder en arrière pour voir comment elle comprenait les maladies rares dans le passé, même si elle n'a pas vu beaucoup de nouveaux exemples récemment.

2. Les Danseurs Fantômes (Ancres Temporelles - TAR)
Voici le tour de magie. Lorsque l'IA essaie d'apprendre une maladie rare (une « classe de queue » ou tail class), elle consulte son journal de bord temporel. Elle sélectionne les « danseurs fantômes » — d'anciennes représentations de caractéristiques de cette maladie rare issues de sessions précédentes. Ces fantômes sont ensuite utilisés pour créer une Ancre Temporelle (TAR).

Imaginez que la maladie rare est une petite île dans un vaste océan. Les maladies courantes sont de vastes continents à proximité. Sans aide, les vagues de l'océan (les caractéristiques des maladies courantes) déferlent sur l'île, rendant la distinction difficile. Les TAR agissent comme une série de bouées ou une barrière protectrice placée autour de l'île. Ces bouées sont faites des versions « fantômes » de l'île du passé. En plaçant ces bouées autour de la maladie rare, l'IA parvient efficacement à étendre le territoire de l'île. Elle crée une « zone tampon » qui repousse les maladies courantes, garantissant que la maladie rare possède son propre espace distinct.

3. La Boucle Récurrente
Le processus est « récurrent », ce qui signifie qu'il se répète encore et encore. À mesure que l'IA s'entraîne, elle continue de mettre à jour sa file de mémoire avec de nouvelles informations, mais elle conserve également les anciennes ancres. Cela crée un champ croissant et s'étendant autour des maladies rares, les rendant plus robustes et plus faciles à séparer des maladies courantes.

Ce qu'ils ont trouvé : Une image plus claire

L'équipe a testé cette méthode sur trois ensembles de données médicales réels :

Échographie Carotidienne : Images des vaisseaux sanguins dans le cou pour vérifier la présence de plaque (3 404 images).
Rétinopathie Diabétique : Images oculaires pour vérifier la perte de vision (3 662 images).
Arthrose du Genou : Radiographies des genoux pour grader la sévérité de l'arthrose (8 260 images).

Dans les trois cas, la méthode RCL a montré des améliorations constantes par rapport aux meilleures méthodes existantes.

Sur le jeu de données Carotidien, la nouvelle méthode a atteint une précision équilibrée de 87,10 %, battant le précédent record.
Sur le jeu de données Knee (Genou), elle a amélioré la précision équilibrée de 9,09 % par rapport à l'utilisation du modèle d'IA de base sans les astuces de mémoire spéciales.
Sur le jeu de données Eye (Œil), la méthode a atteint un score de Kappa pondéré quadratique de 0,92, ce qui est un score très élevé indiquant un excellent accord avec les experts humains.

Les chercheurs ont également visualisé ce qui se passait à l'intérieur du cerveau de l'IA en utilisant une technique appelée t-SNE (qui est une sorte de carte montrant la proximité ou l'éloignement de différentes choses). Ils ont vu que sans leur méthode, les maladies rares étaient écrasées en petits points encombrés. Avec le RCL, les maladies rares s'étaient étendues en zones plus larges et bien définies, avec des « zones tampons » claires entre elles et les maladies courantes. Les « danseurs fantômes » (ancres) ont réussi à créer un champ protecteur qui a empêché les maladies courantes de l'éjecter.

Pourquoi cela importe

Cet article suggère que nous n'avons pas seulement besoin de plus de données pour les maladies rares ; nous avons besoin de moyens plus intelligents d'utiliser les données que nous possédons déjà. En utilisant l'histoire de l'IA pour construire un champ protecteur autour des conditions rares, nous pouvons rendre l'IA médicale plus juste et plus précise. C'est crucial car, dans le monde réel, manquer une maladie rare mais grave peut être mortel. Les auteurs notent que bien que leur méthode fonctionne bien, elle nécessite actuellement un certain réglage manuel des paramètres (comme le nombre de « fantômes » à conserver dans la mémoire). Les travaux futurs viseront à rendre ce processus automatique. Mais pour l'instant, cette approche de « mémoire voyageant dans le temps » offre une nouvelle voie prometteuse pour garantir que les patients les plus rares reçoivent l'attention qu'ils méritent de la part de nos médecins IA.

Résumé technique : Apprentissage contrastif récurrent pour la classification d'images médicales déséquilibrées

Énoncé du problème

La classification d'images médicales est fréquemment confrontée à un déséquilibre de classes sévère dû aux disparités inhérentes à l'incidence des maladies, où les conditions rares (classes de queue/tail classes) présentent significativement moins d'échantillons que les conditions communes (classes de tête/head classes). Les approches existantes, telles que le rééchantillonnage de classe et la repondération de perte, opèrent principalement au sein de la distribution de caractéristiques observée. Bien que ces méthodes ajustent la manière dont les caractéristiques sont pondérées ou échantillonnées, elles ne parviennent pas à élargir explicitement la région de support latente des classes de queue. Par conséquent, les représentations des classes de queue restent excessivement compactes et sont facilement envahies par les classes de tête dans l'espace de caractéristiques, ce qui entraîne des frontières de décision biaisées et une séparabilité inter-classes réduite. Cela est particulièrement critique car les classes de queue correspondent souvent à des maladies graves ou rares où une identification précise est vitale pour la prise de décision clinique.

Méthodologie : Apprentissage contrastif récurrent (RCL)

Les auteurs proposent l'Apprentissage contrastif récurrent (RCL), un cadre qui traite le déséquilibre des classes selon une perspective d'« expansion de champ ». Plutôt que de simplement repondérer les données existantes, le RCL élargit activement la région de support des classes de queue dans l'espace latent. La méthodologie se compose de trois composantes centrales :

1. Backbone et extraction de caractéristiques

Le cadre utilise DINOv3 avec des adaptateurs LoRA (Low-Rank Adaptation) comme backbone.

Architecture : Une image d'entrée est traitée pour extraire un jeton de classe (class token) de dimension 1280 ( $f_i$ ).
Têtes : Une tête de classification ( $G(\cdot)$ ) produit des prédictions pour la supervision par entropie croisée, tandis qu'une tête de projection ( $P(\cdot)$ ) projette les caractéristiques vers un embedding normalisé de dimension 256 ( $z_i$ ) pour l'apprentissage contrastif.
Stratégie d'entraînement : Le backbone DINOv3 est gelé, et seuls les adaptateurs LoRA et les têtes sont optimisés, assurant une adaptation efficace avec peu de paramètres entraînables.

2. File d'attente de mémoire temporelle (TMQ)

Pour surmonter les limitations de l'apprentissage contrastif par lot (batch-level) ou par file FIFO, le RCL introduit une File d'attente de mémoire temporelle (TMQ).

Fonction : La TMQ préserve les caractéristiques au niveau du corpus à travers plusieurs époques d'entraînement, fournissant des références globales diversifiées.
Mécanisme : À chaque époque $m$ , l'embedding de projection $z_i^{(m)}$ met à jour la caractéristique stockée $q_i^{(m)}$ dans la banque de mémoire $Q^{(m)}$ via une moyenne mobile exponentielle (EMA) :
$q_i^{(m)} = (1 - \lambda)q_i^{(m-1)} + \lambda z_i^{(m)}$
Stockage : Les banques mises à jour sont enqueued au fil du temps, formant une séquence $TMQ = \{Q^{(m)}\}_{m=0}^M$ . Cela permet au modèle d'accéder à des embeddings globaux historiques, garantissant que les paires positives et négatives pour l'apprentissage contrastif sont temporellement diverses et alignées avec l'espace de représentation évolutif.

3. Ancres temporelles (TARs) et perte contrastive récurrente

L'innovation centrale est la construction d'Ancres Temporelles (TARs) pour former un « champ d'ancres » autour des classes de queue.

Construction des ancres : Pour les classes de queue, le modèle récupère les caractéristiques des banques de mémoire historiques (époques $m-st$). Il applique un clustering K-means aux caractéristiques intra-classes et sélectionne les $k_t$ dernières caractéristiques (celles les plus éloignées du centre du cluster). Ces caractéristiques sélectionnées sont perturbées par un bruit gaussien pour créer l'ensemble d'ancres $A$ .
Expansion de champ : Ces ancres sont réutilisées de manière récurrente pour occuper la région entourant les caractéristiques des classes de queue. Cela crée une marge tampon qui supprime l'envahissement par les classes de tête.
Fonction de perte : Le cadre emploie une perte contrastive récurrente ( $L_{RCL}$ ) qui incorpore à la fois les caractéristiques du lot actuel et les ancres construites :
$L_{RCL} = -\log \frac{\sum_{q \in Q_+^{(m)}} \exp(\text{sim}(z_i^{(m)}, q)/\beta) + \sum_{a \in A_+} \exp(\text{sim}(z_i^{(m)}, a)/\beta)}{\sum_{q \in Q^{(m)}} \exp(\text{sim}(z_i^{(m)}, q)/\beta) + \sum_{a \in A} \exp(\text{sim}(z_i^{(m)}, a)/\beta)}$
La perte finale est une combinaison de l'entropie croisée et de la perte contrastive récurrente : $L = L_{ce} + \alpha L_{RCL}$ .

Principales contributions

L'article souligne trois contributions primaires :

Cadre RCL : Un nouveau cadre d'apprentissage déséquilibré qui élargit les régions de support des classes de queue en injectant des ancres temporelles construites de manière récurrente dans l'apprentissage contrastif, atténuant efficacement l'envahissement par les classes de tête.
File d'attente de mémoire temporelle (TMQ) : Un mécanisme pour préserver les embeddings historiques au niveau du corpus à travers les phases d'entraînement, qui sont utilisés pour construire les TARs pour l'expansion de champ des classes de queue.
Validation empirique : Des expériences approfondies sur trois ensembles de données médicaux déséquilibrés (un ensemble de données de carotides privé multi-centrique, APTOS 2019, et KneeOA) démontrant des améliorations constantes par rapport aux bases solides.

Résultats expérimentaux

La méthode a été évaluée sur trois ensembles de données en utilisant la précision équilibrée (Bacc), le score F1, la précision (Accuracy) et le Kappa pondéré quadratique (QWK).

Performance : Le RCL a obtenu la meilleure précision équilibrée sur les trois ensembles de données.
- Carotid : 87,10 % Bacc (contre 79,75 % pour le DINOv3 vanilla).
- APTOS 2019 : 69,01 % Bacc et 0,922 QWK (surpassant la méthode de premier rang CNN-Ensemble de l'original challenge).
- KneeOA : 70,19 % Bacc (contre 61,10 % pour le DINOv3 vanilla).
Agnosticisme du backbone : En utilisant ResNet50 au lieu de DINOv3, le RCL présente toujours des améliorations substantielles, dépassant même la performance du fine-tuning de DINOv3 sur les jeux de données Carotid et KneeOA.
Analyse qualitative : Les visualisations t-SNE ont confirmé que le RCL crée une distribution de caractéristiques plus équilibrée. Plus précisément, le « champ d'ancres » a élargi la frontière des classes de queue et occupé les régions intermédiaires entre les classes de tête et de queue, formant un tampon efficace qui repousse les centres des classes de queue loin des distributions des classes de tête.

Signification et affirmations

L'article affirme que le RCL offre un changement significatif dans le traitement du déséquilibre des classes en allant au-delà du simple repondérage ou rééchantillonnage. En interprétant l'apprentissage de représentation sous une perspective d'expansion de champ, la méthode élargit explicitement la région de support latente des classes de queue. Cette approche empêche les représentations des classes de queue d'être « envahies » par les classes de tête dominantes, améliorant ainsi la séparation inter-classes et l'équité des frontières de décision.

Les auteurs notent que bien que le cadre soit efficace, il repose actuellement sur un réglage manuel des hyperparamètres (par exemple, les étapes d'échantillonnage et les ratios de sélection d'ancres). Ils identifient le développement d'une sélection d'ancres adaptative comme une direction pour les travaux futurs afin de répondre à cette limitation. Le code est mis à disposition pour faciliter les recherches ultérieures dans ce domaine.