ADEST-U-Net: A Dual-Encoder Architecture for Cross-Organ and Cross-Modality Transfer Learning in Data-Scarce Medical Image Segmentation

Problématique

La segmentation d'images médicales, particulièrement la délimitation des tumeurs du foie en tomodensitométrie (TDM/CT), dépend fortement de volumes importants de données annotées par des experts, qui sont souvent rares en pratique clinique. Bien que l'apprentissage par transfert (transfer learning) soit une stratégie standard pour atténuer la rareté des données, les approches existantes se concentrent généralement sur l'adaptation au sein d'un même organe ou d'une même modalité. Le papier aborde le défi spécifique du transfert cross-organe et cross-modalité : adapter les représentations apprises de la segmentation de tumeurs cérébrales en IRM à la segmentation de tumeurs du foie en TDM.

Les auteurs notent qu'un réglage fin (« fine-tuning ») naïf sous un tel décalage anatomique (cerveau vs foie) et de modalité (IRM vs TDM) sévère produit des améliorations limitées. Une question méthodologique fondamentale se pose : sous un décalage de domaine extrême, le transfert par encodeur unique réutilise-t-il efficacement les représentations de haut niveau, ou l'interférence spécifique au domaine dégrade-t-elle les performances ? L'étude postule que le réglage fin conventionnel peut être insuffisant lorsque les domaines source et cible diffèrent simultanément dans l'anatomie et la modalité d'imagerie.

Méthodologie

L'étude utilise le jeu de données 3D-IRCADb-01, une référence pour la segmentation du foie et des tumeurs à partir de coupes de TDM abdominales avec injection de contraste. En raison de la rareté des régions tumorales dans les volumes 3D, les auteurs ont décomposé les volumes 3D en coupes axiales 2D, en filtrant les coupes contenant des tumeurs pour traiter le déséquilibre des classes.

La recherche est structée en trois pistes expérimentales pour évaluer différentes stratégies de transfert :

1. Piste 1 : Apprentissage supervisé de base (à partir de zéro)
   Une architecture UNet++ standard a été entraînée à partir de zéro sur les données de TDM hépatique. Cela sert de point de référence supervisé, car aucun modèle pré-entraîné n'existe pour la tâche cible spécifique.

2. Piste 2 : Transfert cross-organe naïf
   Un modèle UNet++ pré-entraîné sur des IRM de tumeurs cérébrales a été adapté à la tâche de TDM hépatique. Deux stratégies ont été testées :

   • Réglage fin progressif : On eleven configurations ont été évaluées, allant du gel des seuls blocs de l'encodeur précoces au gel de l'ensemble du réseau (encodeurs, goulot d'étranglement et décodeurs imbriqués).
   • Adaptation de la modalité d'entrée (IMA) : Un module adaptateur a été ajouté à la couche d'entrée pour réduire le décalage IRM-TDM avant de nourrir le réseau gelé ou ajusté.

3. Piste 3 : Architecture proposée ADEST-U-Net
   Pour atténuer les limitations observées dans la Piste 2, les auteurs proposent l'ADEST-U-Net (Adapted Dual-Encoder Shared-Tail U-Net).

   • Conception à double encodeur : L'architecture utilise deux encodeurs parallèles :
     • Encodeur A : Initialisé avec les poids du UNet++ pré-entraîné sur l'IRM cérébrale (avec adaptation de la modalité d'entrée).
     • Encodeur B : Un encodeur spécifique à la TDM entraîné à partir de zéro.
   • Raffinement par queue partagée (Shared-Tail Refinement) : Les caractéristiques des deux encodeurs sont concaténées au niveau du goulot d'étranglement (résultant en 1024 canaux) et passent par un module de raffinement partagé (Conv + BN + ReLU + Dropout) qui réduit les canaux à 512 avant le décodage.
   • Raisonnement de conception : Cette conception sépare explicitement les caractéristiques transférables (de l'IRM) des caractéristiques spécifiques au domaine (TDM) pour éviter le transfert négatif, tout en les fusionnant de manière contrôlée avant le décodage.
   • Stratégie d'entraînement : Un processus d'entraînement en deux phases a été utilisé : une phase de chauffe (« warm-up ») où l'encodeur A était gelé, suivie d'un réglage fin de bout en bout.

Fonction de perte : Tous les modèles ont été entraînés à l'aide d'une perte composite combinant la perte de Dice et une perte de priorité de forme (dérivée de la probabilité empirique d'occurrence de la tumeur dans les masques d'entraînement).

Résultats clés

Les modèles ont été évalués sur le test set 3D-IRCADb-01 en utilisant le coefficient de similitude de Dice (DSC), l'Intersection sur Union (IoU), la Précision, le Rappel et les métriques de bordure (HD95, ASSD).

• Base vs Transfert naïf : Le modèle de base UNet++ entraîné à partir de zéro a atteint un Dice de test de 0,7020. En revanche, le transfert naïf à partir de l'IRM cérébrale (même avec l'adaptation de la modalité d'entrée) a performé de manière nettement inférieure, la meilleure configuration de transfert n'atteignant qu'un Dice de 0,5383. Cela confirme que le transfert direct par encodeur unique sous des décalages de domaine extrêmes entraîne un transfert négatif.
• Performance de l'ADEST-U-Net : L'ADEST-U-Net proposé a atteint un Dice de test de 0,7189 et un IoU de 0,5611, surpassant légèrement la base supervisée.
• Analyse d'erreur :
  • Faux positifs : L'ADEST-U-Net a réduit les faux positifs de 67,6 % par rapport à la base entraînée à partir de zéro et de 40,4 % par rapport au transfert à poids gelés.
  • Précision vs Rappel : Le modèle de base présentait un rappel élevé (0,8712) mais une faible précision (0,5870) due à une sur-segmentation et des détections extra-hépatiques erronées. L'ADEST-U-Net a obtenu un compromis plus équilibré avec la précision la plus élevée (0,7727) et un rappel de 0,6720.
  • Qualité de la bordure : Bien que les scores de Dice moyens entre la base et l'ADEST-U-Net ne soient pas statistiquement différents (p = 0,273), les métriques de bordure montrent une amélioration marquée. La distance de Hausdorff médiane (HD95) est passée de 220,57 (base) à 78,41 (ADEST), indiquant des prédictions plus lisses et plus cohérentes sur le plan anatomique.
  • Sensibilité de détection : Le modèle de base a détecté des tumeurs dans 85,96 % des coupes, tandis que l'ADEST-U-Net les a détectées dans 59,65 %. Les auteurs attribuent cela à la nature conservatrice de l'ADEST, qui supprime les activations spécieuses au prix de l'omission de certaines petites lésions.

Signification et Revendications

Le papier revendique modestement que sa contribution principale n'est pas d'atteindre l'état de l'art en termes de précision de segmentation (d'autres architectures sur 3D-IRCADb-01 ayant rapporté des scores Dice de tumeur plus élevés), mais plutôt de fournir des aperçus architecturaux et empiriques sur l'apprentissage par transfert cross-organe et cross-modalité.

Les auteurs concluent que :

1. La réutilisation directe des représentations pré-entraînées dans une architecture à encodeur unique sous un décalage de domaine extrême conduit à un transfert négatif.
2. L'atténuation architecturale via une conception à double encodeur est nécessaire pour séparer l'apprentissage spécifique à la modalité de la réutilisation des caractéristiques pré-entraînées.
3. La séparation sensible à la modalité permet une interaction contrôlée des caractéristiques, ce qui améliore la plausibilité structurelle et réduit significativement les faux positifs, même si cela ne maximise pas immédiatement le score Dice.
4. L'étude souligne les limites de la dépendance exclusive aux métriques basées sur le chevauchement (comme le Dice) pour la segmentation de petites lésions, suggérant que la régularité des bordures et la précision sont des indicateurs critiques d'une adaptation réussie entre domaines dans les contextes cliniques.

Ce travail suggère que pour que le transfert cross-organe soit viable, l'architecture doit explicitement distinguer l'information transférable de l'information spécifique au domaine plutôt que de s'appuyer sur un réglage fin conventionnel.