Reinforcement Learning for Unsupervised Domain Adaptation in Spatio-Temporal Echocardiography Segmentation

Résumé technique : RL4Seg3D pour l'adaptation de domaine non supervisée en échocardiographie spatio-temporelle

Énoncé du problème
L'apprentissage profond supervisé pour la segmentation d'images médicales est limité par la rareté et le coût des annotations manuelles, en particulier pour les séquences 3D ou 2D+temps (spatio-temporelles). Bien que l'adaptation de domaine non supervisée (UDA) vise à transférer des connaissances d'un domaine source étiqueté vers un domaine cible non étiqueté, les méthodes existantes éprouvent souvent des difficultés à garantir la fiabilité dans le domaine cible. Ce défi est aigu en échocardiographie, où le bruit de speckle, les artefacts et la nécessité d'une cohérence temporelle stricte rendent la segmentation difficile. Les approches standard basées sur la 2D échouent à maintenir une régularité temporelle, tandis que les modèles fondateurs (par exemple, les variantes de SAM) souffrent souvent d'incohérences image par image et d'exigences de prompting impraticables pour la vidéo. De plus, de nombreuses méthodes UDA manquent de mécanismes pour garantir la validité anatomique ou la localisation précise de repères anatomiques sans étiquettes du domaine cible.

Méthodologie : RL4Seg3D
Les auteurs proposent RL4Seg3D, un cadre d'adaptation de domaine non supervisée qui étend l'apprentissage par renforcement (RL) à la segmentation spatio-temporelle 3D. Le cadre opère sur des vidéos échocardiographiques 2D+temps en taille réelle, les traitant via une fenêtre glissante temporelle (4 images consécutives) pour respecter les contraintes mémoire tout en préservant le contexte temporel.

La méthodologie centrale implique une boucle itérative en trois étapes suivant une phase de pré-entraînement supervisé initial sur le domaine source :

1. Construction d'un jeu de données de récompense anatomique : La politique actuelle génère des segmentations sur le domaine cible. Les segmentations valides sont identifiées à l'aide de métriques anatomiques et temporelles. Les segmentations invalides sont soit corrigées à l'aide d'un Autoencodeur Variationnel (VAE), soit augmentées avec des distorsions contrôlées (perturbations des poids, flou) pour créer des paires valides/invalides.
2. Entraînement de récompense adaptative : Un réseau de récompense anatomique est entraîné sur ces paires pour prédire des cartes d'erreur au niveau des pixels, apprenant à distinguer les segmentations valides des invalides sur la base de priors anatomiques.
3. Optimisation de la politique : La politique de segmentation (un U-Net 3D) est optimisée sur le domaine cible non étiqueté en utilisant l'algorithme Proximal Policy Optimization (PPO). L'optimisation est pilotée par un signal de récompense fusionné.

Contributions clés
L'article introduit plusieurs composants novateurs dans le formalisme de segmentation basé sur l'apprentissage par renforcement :

• Formalisme RL spatio-temporel 3D : Contrairement aux approches 2D précédentes, l'état est défini comme un patch temporel d'images en taille réelle, et les actions sont des cartes de segmentation consécutives. Cela permet à la politique de tirer parti des convolutions 3D pour une cohérence temporelle inhérente.
• Fusion de récompenses multi-composantes : Le cadre intègre plusieurs sources de récompense :
  • Récompense anatomique adaptative : Un réseau appris fournissant un retour d'information au niveau des pixels sur la validité anatomique.
  • Récompense basée sur les repères : Un réseau statique pré-entraîné pénalisant le désalignement des repères anatomiques clés (spécifiquement la commissure de la valve mitrale), assurant une localisation structurelle précise.
  • Pénalité temporelle : Un mécanisme statique réduisant les récompenses pour les images présentant des incohérences temporelles (par exemple, des oscillations), imposant une régularité sur la séquence.
  • Stratégie de fusion : Un opérateur de minimum agrège ces récompenses, garantissant que la politique corrige les erreurs les plus graves à chaque pixel.
• Estimation d'incertitude et optimisation au moment du test (TTO) : Le réseau de récompense anatomique entraîné sert d'estimateur d'incertitude au niveau des pixels. Pour les vidéos difficiles où la politique initiale produit des erreurs, le cadre emploie l'optimisation au moment du test. Cela implique d'affiner les poids de la politique pour des séquences spécifiques en utilisant les cartes d'incertitude et la perte PPO, adaptant efficacement le modèle à des cas difficiles sans nouvelles étiquettes.
• Traitement en pleine résolution : La méthode traite des vidéos d'entrée en taille réelle (rééchantillonnées à un espacement de pixels commun) plutôt que des crops sous-échantillonnés, préservant les détails haute fréquence critiques.

Résultats
Des expériences ont été menées sur un jeu de données à grande échelle comprenant 579 vidéos sources étiquetées (Lyon, France) et plus de 31 000 vidéos cibles non étiquetées (données multi-centres américaines). Un ensemble de test de 128 vidéos annotées par des experts a été utilisé pour l'évaluation.

• Performance : RL4Seg3D a surpassé les bases de référence standard (U-Net 3D, nnU-Net), les modèles fondateurs (MedSAM, SAMUS, MemSAM) et d'autres méthodes UDA (MaskedSSL, UA-MT).
• Métriques : La méthode a obtenu des résultats de pointe pour le coefficient Dice (94,2 % en moyenne), la distance de Hausdorff, et, crucialement, la validité anatomique (96,9 % des séquences entièrement valides) et la validité temporelle (93,0 % avec TTO).
• Précision des repères : L'inclusion de la récompense basée sur les repères a considérablement réduit les « erreurs par cycle » pour la localisation de la commissure de la valve mitrale à 1,0–1,1, comparé à des taux d'erreur beaucoup plus élevés dans les autres méthodes.
• Cohérence temporelle : RL4Seg3D a produit une évolution temporelle significativement plus lisse par rapport au RL 2D ou aux modèles fondateurs, réduisant les images incohérentes d'une moyenne de 2,7 (RL 2D) à 0,4 par séquence.
• Calibration de l'incertitude : Le réseau de récompense anatomique 3D a démontré une calibration supérieure (erreur de calibration attendue plus faible) par rapport au Dropout Monte-Carlo et à l'ensemblage, identifiant efficacement les régions erronées.
• Ablation : L'étude a confirmé que l'opérateur de fusion de récompense minimum, la fenêtre glissante de 4 images et les hyperparamètres spécifiques pour les contraintes d'entropie et de divergence ont offert le meilleur compromis entre exploration et stabilité.

Signification et affirmations
Les auteurs affirment que RL4Seg3D fournit une solution robuste, sans annotation, pour la segmentation spatio-temporelle dans un domaine cliniquement difficile. En tirant parti de l'apprentissage par renforcement, le cadre impose avec succès des contraintes non différentiables (validité anatomique, précision des repères, régularité temporelle) qui sont difficiles à optimiser avec des fonctions de perte standard.

L'article souligne que la méthode atteint des performances approchant la limite supérieure de la variabilité intra-experte sur des images de qualité moyenne à élevée. L'intégration de l'estimation d'incertitude permet une couche secondaire de raffinement via l'optimisation au moment du test, capable de sauver les performances sur des cas d'échec spécifiques. Les auteurs positionnent ce travail comme une approche évolutive pour adapter des modèles à de grands ensembles de données cliniques hétérogènes et non étiquetés, démontrant que le RL peut combler l'écart de domaine tout en maintenant les exigences anatomiques et temporelles strictes nécessaires à l'utilité clinique.