Optimization in Sparse 2D to Dense 3D Weakly Supervised Learning: Application to Multi-Label Segmentation of Large ex vivo MRI Data

Résumé Technique : Optimisation de l'apprentissage faiblement supervisé de la segmentation 2D sparse vers 3D dense pour la segmentation multi-étiquettes de grandes données IRM ex vivo

Énoncé du Problème
L'IRM ex vivo à haute résolution de la moelle épinière (généralement isotrope de 50 à 100 µm) offre une caractérisation anatomique détaillée de la pathologie de la sclérose en plaques (SEP), incluant les lésions de la substance grise (SG) et de la substance blanche (SB). Cependant, le volume considérable des données (milliers de coupes par échantillon) rend l'annotation manuelle dense, voxel par voxel, prohibitivement coûteuse. Les chercheurs sont souvent contraints de recourir à des annotations 2D éparses (par exemple, 428 coupes sur plus de 104 000 coupes au total). Cela crée une dichotomie technique : les modèles 2D entraînés sur des coupes éparses manquent de contexte volumétrique, ce qui entraîne des prédictions incohérentes le long de l'axe Z, tandis que les modèles 3D nécessitent une vérité terrain dense qui n'existe pas. Les solutions existantes, telles que les stratégies 2,5D ou le cross-teaching, tentent de combler ce fossé, mais les directives pour optimiser de tels pipelines « Sparse-to-Dense » restent ambiguës, notamment concernant la transférabilité des stratégies d'optimisation 2D vers des contextes 3D.

Méthodologie
Les auteurs proposent un cadre en trois étapes de type Sparse-to-Dense utilisant une architecture 2D Enseignant et 3D Élève, toutes deux basées sur nnU-Net v2.

1. Jeu de données : L'étude utilise des données IRM ex vivo de la moelle épinière à 9,4 T provenant de patients atteints de SEP (12 échantillons, 43 719 coupes axiales). La vérité terrain comprend 428 coupes segmentées manuellement réparties en quatre classes : SB saine, SG saine, Lésion SB et Lésion SG.
2. Étape 1 (Enseignant 2D) : Un nnU-Net 2D est entraîné sur les annotations éparses. Les auteurs ont optimisé systématiquement cette étape en testant les modalités d'entrée (Magnitude vs Phase), les techniques de prétraitement (CLAHE, étirement du contraste), l'augmentation spatiale et la régularisation par étiquettes douces.
3. Étape 2 (Génération de pseudo-étiquettes) : L'Enseignant 2D optimisé génère des pseudo-étiquettes volumétriques denses pour l'ensemble du jeu de données en utilisant l'ensemblage (validation croisée à 4 plis) et l'augmentation au moment du test (TTA).
4. Étape 3 (Élève 3D) : Un nnU-Net 3D est entraîné sur les pseudo-étiquettes denses pour apprendre les caractéristiques volumétriques et la cohérence longitudinale. Les auteurs ont appliqué la même optimisation systématique (prétraitement, augmentation, étiquettes douces) à l'Élève 3D afin de déterminer si les stratégies 2D se transfèrent efficacement.
5. Évaluation : La performance a été évaluée à l'aide du score Dice, de la distance de Hausdorff au 95e percentile (HD95) et d'une nouvelle métrique de cohérence géométrique (Dice inter-coupe, DSCz) pour mesurer la régularité le long de l'axe Z.

Contributions Clés
L'article apporte trois contributions principales :

1. La Divergence de Perception : Des preuves empiriques démontrant que les techniques de prétraitement optimisées pour la perception visuelle humaine (spécifiquement le CLAHE et l'étirement du contraste) sont préjudiciables aux performances d'apprentissage automatique dans ce domaine. Ces méthodes ont dégradé les scores Dice des lésions de substance grise jusqu'à 25 points de pourcentage en perturbant les statistiques d'intensité globales essentielles au modèle.
2. Besoins de Régularisation Divergents : Identification d'un conflit critique dans les pipelines Sparse-to-Dense. Alors que l'augmentation spatiale agressive et l'étiquetage doux ont considérablement amélioré l'Enseignant 2D (améliorant la détection des lésions SB de plus de 11 points Dice), ces mêmes techniques ont dégradé les performances de l'Élève 3D.
3. Modèle en Accès Ouvert : La mise à disposition d'un modèle entraîné pour segmenter la SB, la SG et les lésions de SEP dans les IRM de moelle épinière humaine ex vivo, disponible via la Spinal Cord Toolbox.

Résultats

• Modalités d'entrée : Les modèles à double entrée (Magnitude + Phase) ont surpassé les modèles utilisant uniquement la magnitude, en particulier pour la stabilité des lésions SG et la précision des limites (HD95), confirmant la nécessité des données de phase pour résoudre les limites anatomiques fines.
• Prétraitement : Contrairement à l'hypothèse selon laquelle l'amélioration visuelle aide le modèle, l'application du CLAHE aux images de magnitude et l'étirement du contraste aux images de phase ont provoqué de fortes baisses de performance. Le Dice des lésions SG en 2D est passé de 0,665 à 0,415 avec le CLAHE sur la magnitude. Le modèle 3D a montré une dégradation similaire, bien qu'il ait présenté une résilience légèrement supérieure dans les métriques de limites (HD95) pour les lésions SG, suggérant que le contexte volumétrique offre une certaine protection contre la distorsion de texture.
• Augmentation :
  • 2D : L'augmentation spatiale agressive (rotations, mises à l'échelle, cisaillements) était cruciale. Sans elle, le Dice des lésions SB chutait à 0,631 ; avec une augmentation modérée (Aug2), il atteignait 0,743.
  • 3D : La tendance inverse a été observée. L'Élève 3D a atteint sa performance la plus élevée (Dice moyen total de 0,772) avec aucune augmentation spatiale. L'introduction d'une augmentation a dégradé les performances, les paramètres les plus agressifs provoquant un effondrement de la fidélité des limites.
• Étiquettes Douces :
  • 2D : L'étiquetage doux (Soft Seg 2) a amélioré les performances, portant le Dice des lésions SB à 0,744 et affinant la précision des limites.
  • 3D : L'étiquetage doux n'a apporté aucun bénéfice et a légèrement aggravé les résultats. Les auteurs suggèrent que les pseudo-étiquettes générées par l'ensemble 2D lissent déjà l'incertitude, rendant la régularisation supplémentaire par perte douce contre-productive (sur-lissage).
• Cohérence Volumétrique : La transition du 2D vers le 3D a produit un gain significatif en continuité géométrique. L'empilement naïf des prédictions 2D a résulté en un faible Dice inter-coupe (DSCz) de 0,785, tandis que l'Élève 3D a atteint 0,900. Cependant, cette régularité s'est accompagnée d'un compromis : l'Élève 3D présentait un HD95 légèrement plus élevé (1,00 mm) par rapport à l'Enseignant 2D optimisé (0,72 mm), indiquant un passage d'une adhérence stricte aux contours dans le plan à une plausibilité biologique.

Signification et Revendications
L'article affirme que la transition du 2D vers le 3D dans l'apprentissage faiblement supervisé n'est pas simplement un tour d'inférence, mais un changement fondamental dans les dynamiques d'apprentissage. Les auteurs soutiennent que les architectures 3D entraînées sur des pseudo-étiquettes denses présentent des paysages d'optimisation différents de leurs homologues 2D. Plus précisément, les risques d'« apprentissage par raccourci » qui nécessitent une augmentation agressive dans des contextes 2D épars sont atténués en 3D par la densité des pseudo-étiquettes, rendant une telle augmentation nuisible. De même, la modélisation de l'incertitude bénéfique pour l'imitation des évaluateurs humains en 2D devient redondante ou destructrice lorsque le modèle 3D est entraîné sur des prédictions d'ensemble déjà moyennées.

L'étude conclut que les pratiques standard de vision par ordinateur (prétraitement centré sur l'humain, augmentation agressive, étiquetage doux) ne peuvent pas être transférées aveuglément des tâches de segmentation médicale 2D vers 3D. Au lieu de cela, les modèles 3D entraînés sur des pseudo-étiquettes denses nécessitent une stratégie de régularisation distincte et conservatrice qui privilégie la cohérence volumétrique par rapport aux techniques spécifiques de réduction du bruit requises pour l'entraînement 2D sparse. Ce travail remet en question l'hypothèse selon laquelle « plus de données » (pseudo-étiquettes denses) permet simplement l'application directe des heuristiques d'optimisation 2D, mettant en lumière un « fossé dimensionnel » dans les besoins de régularisation.