Adapting Medical Vision Foundation Models for Volumetric Medical Image Segmentation via Active Learning and Selective Semi-supervised Fine-tuning

Ce papier propose le cadre ASSFT (Active Selective Semi-supervised Fine-tuning), qui améliore l'adaptation des modèles de base vision médicale pour la segmentation volumétrique en combinant une stratégie d'apprentissage actif sélectionnant des échantillons informatifs basés sur la divergence de connaissances et la difficulté anatomique avec une approche semi-supervisée exploitant des données non étiquetées fiables pour maximiser les performances sous des budgets d'annotation limités.

L'essentiel

Imaginez que vous ayez un étudiant en médecine brillant qui a passé des années à étudier des millions de manuels d'anatomie génériques (c'est le Modèle de Fondation Vision Médicale, ou Med-VFM). Il connaît le corps humain sur le bout des doigts, mais il n'a jamais vu un type spécifique de machine IRM ni les données de patients d'un hôpital particulier.

Maintenant, vous voulez que cet étudiant commence à travailler dans un nouvel hôpital (le Domaine Cible) pour aider les médecins à segmenter des organes (comme dessiner des contours autour du foie ou des reins) sur des scans 3D. Le problème ? Les scans du nouvel hôpital ont une apparence légèrement différente, et l'étudiant n'a pas encore été entraîné sur eux. Si vous lui laissez simplement deviner, il commettra des erreurs. Si vous lui demandez d'étudier chaque scan individuel nouveau et de faire étiqueter par un expert humain, cela prendrait une éternité et coûterait une fortune.

Ce papier présente une méthode intelligente et efficace pour entraîner cet étudiant : le Raffinement Fin Semi-supervisé Actif et Sélectif (ASSFT). Considérez-le comme un système de « Super Tuteur » qui aide l'étudiant à apprendre le style spécifique du nouvel hôpital en utilisant le moins d'exemples possible.

Voici comment le système fonctionne, décomposé en étapes simples :

1. La Stratégie du « Super Tuteur » (Apprentissage Actif)

Au lieu de demander à l'étudiant d'étudier des scans au hasard, le système agit comme un tuteur intelligent qui sait exactement quels exemples enseigneront le plus à l'étudiant.

Le système utilise deux « lunettes » spéciales pour sélectionner les meilleurs scans à montrer à l'étudiant :

• Lunettes n°1 : La Lentille « Écart de Connaissance » (DKD)
  Imaginez que l'étudiant possède une carte mentale du corps. Cette lentille recherche les scans où la carte de l'étudiant est complètement fausse ou où il manque des pièces. Elle se demande : « Ce scan montre-t-il quelque chose que l'étudiant n'a jamais vu auparavant ? » Si la réponse est oui, c'est un sujet d'étude prioritaire. Elle s'assure également que l'étudiant n'étudie pas deux fois le même type de foie étrange ; elle garantit qu'il voit une variété de nouvelles choses.
• Lunettes n°2 : La Lentille « Anatomie Complexe » (ASD)
  Parfois, un scan peut être déroutant non pas parce qu'il est nouveau, mais parce que l'organe a une forme bizarre ou est difficile à voir. Cette lentille se concentre spécifiquement sur les organes (le premier plan) et ignore l'espace vide (l'arrière-plan). Elle se demande : « Cet organe est-il difficile à délimiter ? » Si l'étudiant a du mal à deviner où le rein s'arrête et où le muscle commence, cette lentille signale ce scan comme une priorité absolue pour l'étude.

Le Résultat : Le système sélectionne uniquement les scans les plus déroutants et les plus uniques, demande à un expert humain de les étiqueter, puis enseigne à l'étudiant. Cela économise une quantité massive de temps car l'étudiant apprend d'abord à partir des « choses difficiles ».

2. La Stratégie de « Devinette Confiante » (Apprentissage Semi-supervisé Sélectif)

Une fois que l'étudiant a appris à partir des exemples étiquetés par l'expert, il reste encore des milliers de scans non étiquetés dans la pile. Le système ne les ignore pas. Au contraire, il laisse l'étudiant essayer de les étiqueter seul, mais avec un filet de sécurité.

• Le Filet de Sécurité : Le système ne permet à l'étudiant de « s'étudier seul » que sur les scans où l'étudiant est très confiant et où le scan ressemble fortement à ceux que l'expert a déjà étiquetés.
• Le Filtre : Si l'étudiant est incertain ou si le scan ressemble totalement à quelque chose de différent de ce qu'il a appris, le système dit : « Non, ne devine pas celui-ci pour l'instant. » Cela empêche l'étudiant d'acquérir de mauvaises habitudes (mauvais étiquetages) à partir de ses propres erreurs.

3. La Boucle

Le processus se répète dans un cycle :

1. Sélectionner les meilleurs nouveaux exemples en utilisant les deux lentilles (Écart de Connaissance + Anatomie Complexe).
2. Les faire étiqueter par un humain.
3. Laisser l'étudiant étudier ces nouveaux étiquetages ainsi que les scans non étiquetés « sûrs » qu'il a correctement devinés.
4. Répéter jusqu'à ce que l'étudiant soit un expert sur les données du nouvel hôpital.

Pourquoi est-ce une grande avancée ?

Le papier a testé cela sur cinq ensembles de données médicales différents (différentes parties du corps, différents types de scans comme le CT et l'IRM). Ils ont constaté que :

• C'est plus rapide : Le système a atteint un niveau de performance d'expert en utilisant seulement une infime fraction des données étiquetées nécessaires aux méthodes traditionnelles.
• C'est plus intelligent : Il a systématiquement surpassé d'autres méthodes qui sélectionnaient simplement des scans au hasard ou ne regardaient que l'« incertitude ».
• Cela fonctionne sans les anciennes données : Habituellement, pour adapter un modèle, vous devez voir les données d'entraînement originales. Ce système fonctionne même si ces données originales sont verrouillées pour des raisons de confidentialité.

En bref : Ce papier offre à l'IA médicale un moyen d'apprendre rapidement un nouveau travail en étudiant uniquement les exemples les plus intéressants et les plus difficiles, tout en ignorant soigneusement les choses faciles et les devinettes confuses. Il transforme une IA « taille unique » en un expert spécialisé avec très peu d'aide humaine.

Résumé technique

Résumé Technique : Affinement Fin Semi-supervisé Actif et Sélectif pour les Modèles Fondamentaux de Vision Médicale

1. Énoncé du Problème

Les Modèles Fondamentaux de Vision Médicale (Med-VFMs), pré-entraînés sur de vastes ensembles de données médicales non étiquetés via l'apprentissage auto-supervisé, ont démontré un fort potentiel pour l'analyse d'images médicales. Cependant, leurs performances dans les tâches en aval, en particulier la segmentation d'images médicales volumétriques, restent limitées lorsqu'ils sont appliqués à de nouveaux domaines cibles.

Les stratégies d'adaptation actuelles font face à trois limitations principales :

1. Sélection d'échantillons inefficace : Les méthodes existantes d'Apprentissage Actif (AL) et d'Adaptation Active de Domaine (ADA) reposent souvent sur un échantillonnage aléatoire ou des métriques simples d'incertitude/de diversité. Ces approches échouent à exploiter explicitement les connaissances pré-entraînées des Med-VFMs pour identifier les échantillons contenant des motifs du domaine cible « non appris ». De plus, les métriques au niveau de l'image biaisent souvent la sélection vers l'incertitude de l'arrière-plan, négligeant les structures anatomiques informatives du premier plan.
2. Dépendance aux données sources : De nombreuses méthodes d'adaptation de domaine nécessitent l'accès aux données du domaine source pour guider l'adaptation. Dans la pratique, les données de pré-entraînement des Med-VFMs sont souvent indisponibles en raison de contraintes de confidentialité, rendant ces méthodes inapplicables.
3. Entraînement semi-supervisé bruyant : Bien que l'apprentissage semi-supervisé (SSL) puisse exploiter l'abondance de données cibles non étiquetées, l'utilisation naïve de tous les échantillons pseudo-étiquetés introduit du bruit, en particulier lors des premières rondes d'adaptation lorsque le modèle n'est pas encore fiable. Cela peut dégrader les performances ou amener le modèle à surajuster aux pseudo-étiquettes bruyantes plutôt qu'à apprendre à partir de données étiquetées de haute qualité.

Le défi central consiste à adapter les Med-VFMs aux domaines cibles de manière efficace sous un budget d'annotation limité, sans données sources, tout en maximisant l'utilité des échantillons cibles étiquetés et non étiquetés.

2. Méthodologie : Affinement Fin Actif et Sélectif Semi-supervisé (ASSFT)

Les auteurs proposent ASSFT, un cadre qui intègre une stratégie d'apprentissage actif avec un mécanisme d'affinement fin semi-supervisé sélectif. Le cadre fonctionne de manière itérative sur $R$ rondes sans nécessiter l'accès aux données du domaine source.

2.1. Stratégie de Requêtage Actif d'Échantillons au Moment du Test

Pour sélectionner les échantillons les plus informatifs à annoter, les auteurs introduisent une stratégie de requêtage basée sur deux métriques complémentaires : la Divergence de Connaissance Diversifiée (DKD) et la Difficulté de Segmentation Anatomique (ASD).

• Divergence de Connaissance Diversifiée (DKD) : Cette métrique identifie les échantillons qui introduisent de nouvelles connaissances par rapport au modèle pré-entraîné tout en assurant la diversité au sein de l'ensemble de données cible. Elle comprend deux composantes :

  • Divergence de Connaissance Antérieure et Adaptative (PAKD) : Mesure la distance cosinus entre les embeddings de caractéristiques de l'encodeur pré-entraîné initial $E^{(0)}$ et de l'encodeur adapté $E^{(i)}$. Un PAKD élevé indique que l'échantillon contient des informations spécifiques au domaine non encore capturées par le modèle.
  • Dissimilarité par Paires (PD) : Mesure la dissimilarité sémantique d'un échantillon candidat par rapport aux échantillons précédemment classés comme ayant un PAKD élevé, afin d'éviter la redondance et de promouvoir la diversité intra-domaine.
  • Score DKD : Défini comme le produit de PAKD et de PD.

• Difficulté de Segmentation Anatomique (ASD) : Cette métrique se concentre sur la difficulté de segmenter les structures anatomiques du premier plan plutôt que sur l'ensemble du volume d'image.

  • Pour prévenir la domination de l'arrière-plan, un mécanisme de mise à l'échelle par température $\tau(r)$ est appliqué à la probabilité de la classe d'arrière-plan, diminuant dynamiquement de 3 à 1,5 au cours des rondes d'adaptation.
  • Un masque binaire du premier plan est généré sur la base des probabilités ajustées.
  • Le score ASD est calculé comme l'entropie des probabilités de classe dans la région du premier plan. Un ASD élevé indique des motifs anatomiques complexes qui sont difficiles pour le modèle.

• Critère de Requêtage Unifié : Les scores DKD et ASD sont normalisés et transformés via un mappage par quantile pour assurer la comparabilité, puis sommés pour former le score de requêtage final $Q(x)$. Les $N_B$ meilleurs échantillons sont sélectionnés pour l'annotation par un expert.

2.2. Affinement Fin Semi-supervisé Sélectif

Pour exploiter les données non étiquetées sans introduire de bruit, le cadre emploie un processus en trois étapes à chaque ronde :

1. Affinement Fin Supervisé : Le modèle est d'abord mis à jour en utilisant les échantillons cibles étiquetés actuellement disponibles.
2. Sélection d'Échantillons Non Étiquetés Fiables : Un sous-ensemble d'échantillons non étiquetés est sélectionné pour la pseudo-étiquetage basé sur :
   • Confiance Prédictive : La marge entre les deux probabilités de classe prédites les plus élevées dans les régions du premier plan.
   • Distance Sémantique : La distance cosinus minimale entre l'embedding de caractéristiques de l'échantillon candidat et les embeddings des échantillons étiquetés (ancres).
   • Les échantillons ayant une forte confiance et une faible distance sémantique sont jugés fiables. Le nombre d'échantillons sélectionnés ($N_{SU}$) augmente avec le numéro d'itération ($N_{SU} = N_B \cdot r$).
3. Affinement Fin Basé sur les Pseudo-étiquettes : Des pseudo-étiquettes sont générées pour les échantillons fiables sélectionnés. Ceux-ci sont combinés avec l'ensemble étiqueté pour former un ensemble d'entraînement augmenté pour un affinement fin ultérieur.

Note : Les échantillons sélectionnés pour le pseudo-étiquetage sont explicitement exclus du pool de candidats pour la prochaine ronde d'apprentissage actif afin d'éviter une annotation redondante.

3. Contributions Clés

1. Cadre ASSFT : Un cadre unifié pour l'adaptation des Med-VFMs aux tâches de segmentation volumétrique qui intègre l'apprentissage actif et l'apprentissage semi-supervisé sélectif, fonctionnant sans données du domaine source.
2. Requêtage Actif d'Échantillons au Moment du Test : Une stratégie novatrice utilisant DKD et ASD pour sélectionner des échantillons informatifs. DKD capture la nouveauté des connaissances et la diversité, tandis qu'ASD priorise la complexité anatomique, répondant aux limitations des méthodes standard basées sur l'incertitude.
3. Affinement Fin Semi-supervisé Sélectif : Un mécanisme qui intègre sélectivement des échantillons non étiquetés fiables basés sur la confiance prédictive et la proximité sémantique par rapport aux données étiquetées, atténuant les risques de pseudo-étiquettes bruyantes.
4. Validation Étendue : Expériences complètes sur cinq tâches diverses de segmentation d'images médicales volumétriques (différentes modalités, structures anatomiques et échelles d'ensembles de données).

4. Résultats Expérimentaux

Les auteurs ont évalué ASSFT sur cinq ensembles de données : AMOS2022-CT, FLARE 2021, Abdomen Atlas, AMOS2022-MRI et Abdominal MRI.

• Performance : ASSFT a constamment surpassé les méthodes AL et ADA de l'état de l'art (incluant Random, Entropy, Core-set, BADGE, SANN, UGTST et CUP) sur tous les ensembles de données et budgets de requêtage.
  • Sur AMOS2022-CT, avec seulement 5 % d'échantillons interrogés, ASSFT a obtenu un score Dice de 80,51, surpassant la forte ligne de base UGTST d'environ 4,7 points et la sélection aléatoire d'environ 7,2 points.
  • Sur AMOS2022-MRI (adaptation inter-modale), ASSFT a amélioré le score Dice d'une ligne de base quasi zero-shot de 0,46 à 52,06 avec 5 % d'échantillons interrogés, un gain de plus de 51 points.
  • Sur Abdominal MRI (configuration few-shot), ASSFT a obtenu un Dice de 83,98 avec seulement 3 échantillons étiquetés (3-shot), surpassant significativement les autres méthodes.
• Efficacité : La méthode approche rapidement la performance limite supérieure supervisée complète (100 % de données étiquetées) avec une fraction du coût d'annotation. Par exemple, sur FLARE 2021, 25 % d'échantillons interrogés ont permis au modèle d'atteindre 97,96 % de la performance supervisée complète.
• Études d'Ablation :
  • La suppression de la composante semi-supervisée (DKD+ASD uniquement) a entraîné une performance inférieure, confirmant la valeur du pseudo-étiquetage sélectif.
  • L'utilisation de PAKD ou de PD individuellement était inférieure à la métrique DKD combinée.
  • La mise à l'échelle dynamique de la température dans ASD s'est révélée supérieure à une température fixe ou à l'absence de masquage.
  • L'analyse statistique (test U de Mann-Whitney) a confirmé que les échantillons sélectionnés pour le pseudo-étiquetage avaient des scores Dice significativement plus élevés que les échantillons non sélectionnés ($p < 0,01$).

5. Signification et Revendications

L'article revendique qu'ASSFT fournit une solution efficiente en annotation et généralisable pour le déploiement des Med-VFMs dans des contextes cliniques où :

• Les données sources sont indisponibles : La méthode opère dans un cadre d'adaptation de domaine sans source, crucial pour les données médicales soumises à des contraintes de confidentialité.
• Les annotations sont rares : En sélectionnant activement les échantillons les plus informatifs et en exploitant les données non étiquetées fiables, le cadre atteint des performances élevées avec un minimum d'étiquetage par des experts.
• Le décalage de domaine est significatif : Le cadre démontre une robustesse à travers différentes modalités d'imagerie (CT vers IRM) et des complexités anatomiques variables.

Les auteurs soulignent que leur approche répond aux limitations spécifiques de l'application des modèles fondamentaux à la segmentation médicale, en particulier la nécessité d'équilibrer la nouveauté des connaissances, la diversité des données et la difficulté anatomique spécifique à la tâche. Ils concluent qu'ASSFT facilite la translation des Med-VFMs vers des flux de travail cliniques pratiques en réduisant considérablement la charge d'annotation tout en maintenant une haute précision de segmentation.