A3-TTA: Adaptive Anchor Alignment Test-Time Adaptation for Image Segmentation

Résumé technique de A3-TTA : Adaptation de l'alignement d'ancres adaptative au moment du test pour la segmentation d'images

Énoncé du problème
Les modèles de segmentation d'images basés sur l'apprentissage profond souffrent souvent d'une dégradation des performances lors de leur déploiement dans des domaines cibles qui diffèrent de leurs domaines d'entraînement (source) en raison de variations dans les protocoles d'imagerie, les scanners ou les conditions environnementales. Bien que l'adaptation de domaine non supervisée (UDA) et l'adaptation de domaine non supervisée sans source (SFUDA) traitent ce problème, elles nécessitent souvent un entraînement sur plusieurs époques ou l'accès aux données sources, ce qui limite leur utilité dans les contextes cliniques en temps réel où les données arrivent sous forme de flux. L'adaptation au moment du test (TTA) offre une solution en adaptant les modèles en ligne en utilisant uniquement des images de test non étiquetées sans données sources. Cependant, les stratégies TTA existantes sont confrontées à des défis importants :

1. L'adaptation de la normalisation par lots (BN) échoue souvent en cas de décalages de domaine importants dus à des distributions de caractéristiques incompatibles.
2. L'optimisation non supervisée (par exemple, la minimisation de l'entropie) manque de supervision au niveau du pixel et peut entraîner un oubli catastrophique.
3. Les méthodes basées sur les pseudo-étiquettes reposent généralement sur des heuristiques de perturbation par ensemble (par exemple, le dropout, l'augmentation, l'injection de bruit) pour générer des auto-étiquettes. Ces méthodes manquent d'un ancrage distributionnel explicite, ce qui entraîne des pseudo-étiquettes bruitées et instables qui déclenchent une accumulation d'erreurs et dégradent les performances.

Méthodologie : Cadre A3-TTA
Les auteurs proposent A3-TTA (Adaptive Anchor Alignment Test-Time Adaptation), un cadre conçu pour construire des pseudo-étiquettes fiables grâce à une supervision guidée par des ancres sans nécessiter de données sources. La méthode fonctionne de manière séquentielle (single-pass) et en ligne, et se compose de quatre composantes centrales :

1. Identification des images d'ancres-cibles (ATI) via la densité de compacité de classe (CCD) :
   Au lieu de s'appuyer sur des perturbations stochastiques, A3-TTA identifie un sous-ensemble d'images du domaine cible qui sont « bien prédites » et distributionnellement proches du domaine source. Ce sont les Images d'Ancres-Cibles (ATI). La sélection est basée sur une nouvelle métrique appelée Densité de Compacité de Classe (CCD), qui calcule un score de compacité ($S_i$) basé sur la distribution de probabilité softmax des prédictions de classe. Un score plus faible indique une plus grande compacité de prédiction et une ambiguïté inter-classes moindre. Contrairement à l'entropie par pixel ou au MC Dropout, la CCD est un signal global au niveau de la classe calculable en une seule passe directe.

2. Banque de caractéristiques dynamique et alignement de caractéristiques :
   Les ATI sélectionnées sont stockées dans une Banque de Caractéristiques à capacité fixe. Pour chaque image de test entrante, le modèle récupère la caractéristique d'ancre la plus similaire dans cette banque. Une stratégie de Raffinement par Alignement de Caractéristiques (FAR) est ensuite appliquée :

   • Fusion de caractéristiques sensible à la similitude : La caractéristique latente de l'image de test est fusionnée avec la caractéristique d'ancre récupérée en utilisant un coefficient pondéré par la similitude.
   • Normalisation de caractéristiques basée sur l'ancre : La caractéristique fusionnée est normalisée en utilisant la moyenne et l'écart type de la caractéristique d'ancre.
     Ce processus affine la représentation de l'image de test, l'alignant plus étroitement avec la distribution proche de la source pour générer des pseudo-étiquettes plus fiables.

3. Supervision dense guidée par les contours :
   Les pseudo-étiquettes raffinées sont utilisées pour superviser le modèle via une stratégie de double perte :

   • Cohérence sémantique ($L_{sem}$) : Une perte d'entropie croisée normalisée assurant l'alignement entre la prédiction originale et la pseudo-étiquette raffinée.
   • Minimisation de l'entropie sensible aux contours ($L_{be}$) : Une perte qui cible spécifiquement les régions à haute entropie (généralement les contours d'objets) pour réduire l'incertitude et améliorer la clarté des contours, évitant ainsi l'instabilité de la minimisation globale de l'entropie.

4. Enseignant moyen robuste auto-adaptatif :
   Pour stabiliser les mises à jour dans un cadre d'époque unique, A3-TTA emploie un cadre de Mean Teacher. De manière cruciale, il introduit un taux de Moyenne Mobile Exponentielle (EMA) Auto-Adaptatif. Le taux de mise à jour est régulé dynamiquement par la divergence d'entropie croisée normalisée entre les prédictions de l'enseignant et de l'élève. Si la divergence est grande (indiquant un décalage de distribution important), l'enseignant se met à jour plus agressivement ; si la divergence est faible, l'enseignant conserve davantage ses paramètres précédents pour maintenir la stabilité.

Principales contributions

• Images d'Ancres-Cibles (ATI) et métrique CCD : Introduction des ATI comme références stables et d'une nouvelle métrique de Densité de Compacité de Classe pour leur identification efficace en une seule passe basée sur la confiance softmax.
• Raffinement par alignement de caractéristiques : Une stratégie novatrice utilisant une banque de caractéristiques dynamique et des opérations de fusion/normalisation pour affiner les représentations des images de test pour la génération de pseudo-étiquettes.
• Supervision améliorée : Intégration de la cohérence sémantique et de la minimisation de l'entropie sensible aux contours pour améliorer la qualité de la prédiction au niveau du pixel.
• EMA Auto-Adaptatif : Une stratégie de mise à jour dynamique du cadre mean-teacher qui équilibre une adaptation rapide et la stabilité basée sur la cohérence des prédictions.
• Agnosticisme du modèle : Le cadre ne nécessite aucune donnée source, aucune tâche intermédiaire supplémentaire, ni modification architecturale des modèles de segmentation existants.

Résultats expérimentaux
Les auteurs ont évalué A3-TTA sur trois jeux de données multi-domaines :

1. IRM Cardiaque (M&MS) : Segmentation du ventricule gauche, du myocarde et du ventricule droit à travers quatre fournisseurs de scanners.
2. IRM de la Prostate : Segmentation à travers six sites différents.
3. Cityscapes (Conditions Adverses) : Segmentation sous le brouillard, la nuit, la pluie et la neige en utilisant DeepLabV3+.

Performance Quantitative :

• Images Médicales : A3-TTA a amélioré les scores Dice moyens de 10,40 % (Cœur) et 17,68 % (Prostate) par rapport à la référence source uniquement. Il a systématiquement surpassé les méthodes TTA de pointe (par exemple, TENT, CoTTA, SAR) dans tous les domaines cibles, atteignant les scores Dice les plus élevés et la distance de surface symétrique moyenne (ASSD) la plus faible.
• Images Naturelles : Sur le jeu de données des conditions adverses de Cityscapes, A3-TTA a amélioré le Dice de 16,90 % par rapport au modèle source, surpassant la meilleure méthode TTA existante (TENT) de 2,14 à 2,93 points de pourcentage.
• TTA Continuelle : Dans des scénarios d'adaptation séquentielle (adaptation à travers plusieurs domaines cibles), A3-TTA a démontré une forte capacité anti-oubli, maintenant des performances élevées dans les cycles suivants là où d'autres méthodes ont souffert d'accumulation d'erreurs.
• Robustesse : Sous un bruit de Rician simulé et un flou de mouvement, A3-TTA a maintenu des performances nettement plus élevées que les autres méthodes TTA et le modèle source.
• Efficacité : La méthode est efficace sur le plan computationnel, traitant les coupes en environ 0,044 seconde avec une consommation de mémoire GPU inférieure (4,99 Go) à celle de CoTTA (7,23 Go) dans des configurations similaires.

Signification et Revendications
L'article affirme que A3-TTA traite les problèmes critiques d'instabilité et d'accumulation d'erreurs inhérents aux méthodes actuelles de TTA basées sur les pseudo-étiquettes. En remplaçant les perturbations heuristiques par un alignement guidé par des ancres, la méthode fournit un mécanisme ancré dans la distribution pour générer des signaux de supervision fiables. Les auteurs soulignent qu'A3-TTA est partic partulièrement significatif pour le déploiement clinique en temps réel, où les données arrivent sous forme de flux, les données sources sont indisponibles et l'entraînement sur plusieurs époques est irréalisable. La capacité du cadre à maintenir les performances à travers des domaines séquentiels sans oubli catastrophique en fait une solution robuste pour les environnements dynamiques. Les auteurs notent que bien que la méthode soit efficace pour les décalages de distribution typiques, les écarts extrêmes de cross-modalité (par exemple, CT vers IRM) restent un défi, et les travaux futurs exploreront l'extension de l'approche aux modèles 3D et aux modèles de fondation.