CLoE: Expert Consistency Learning for Missing Modality Segmentation

L'article présente CLoE, un cadre d'apprentissage par consistance des experts qui améliore la segmentation des images médicales multimodales en cas de modalités manquantes en assurant l'accord entre les experts aux niveaux global et régional, tout en recalibrant dynamiquement les caractéristiques selon leur fiabilité.

L'essentiel

Imaginez que vous êtes un détective médical chargé de repérer une tumeur dans un cerveau ou une prostate. Pour bien faire votre travail, vous avez normalement accès à quatre types de preuves (des images IRM de différentes couleurs) qui, une fois combinées, vous donnent une image parfaite.

Mais voici le problème : en clinique, il arrive souvent qu'une ou plusieurs de ces preuves manquent. Peut-être que l'appareil a bugué, ou que le protocole n'a pas été suivi. Dans ce cas, la plupart des systèmes d'intelligence artificielle actuels paniquent : ils se mettent à faire des erreurs, surtout sur les petites zones critiques (comme le cœur de la tumeur), car ils ne savent plus qui croire.

C'est là qu'intervient CLoE (Consistency Learning of Experts), la nouvelle méthode proposée dans cet article. Voici comment elle fonctionne, expliquée simplement :

1. Le Conseil des Experts (Les "Spécialistes")

Au lieu d'avoir un seul cerveau qui essaie de tout deviner, CLoE fait travailler une équipe de spécialistes.

• Chaque spécialiste est entraîné sur un type d'image spécifique (par exemple, un expert pour l'image T1, un autre pour l'image T2, etc.).
• Même si une image manque, les autres experts continuent de travailler.

2. Le Problème : La Discorde

Le souci, c'est que quand une preuve manque, les experts se mettent souvent à se contredire.

• Exemple : L'expert "T2" dit "C'est une tumeur ici", mais l'expert "T1" (qui manque) aurait pu dire le contraire. Sans l'expert manquant, les autres peuvent se tromper et commencer à "divaguer" (c'est ce qu'on appelle la dérive).

3. La Solution de CLoE : La "Réunion de Consensus"

CLoE introduit une règle d'or : les experts doivent s'accorder. Elle utilise deux types de "réunions" pour forcer l'accord :

• La Réunion Globale (Accord Général) : Elle demande aux experts : "Est-ce que vous êtes d'accord sur l'ensemble de l'image ?" Cela empêche les erreurs grossières quand une image manque.
• La Réunion des Zones Critiques (Accord Local) : C'est le génie de la méthode. Souvent, les experts sont d'accord sur le fond (le cerveau sain, qui est la majorité de l'image), mais ils se trompent sur la tumeur (la petite partie importante). CLoE force les experts à se concentrer spécifiquement sur les zones rouges (les tumeurs) et à s'assurer qu'ils sont d'accord là-bas. C'est comme si le chef de la police disait : "Peu importe ce que vous pensez du ciel bleu, soyez d'accord sur l'endroit où se cache le criminel !"

4. Le Chef de Chantier (Le Réseau de "Gating")

Une fois que les experts ont donné leur avis, comment on décide qui écouter ?
CLoE utilise un chef de chantier intelligent (un petit réseau de neurones).

• Il écoute les réunions. Si un expert est en train de dire des choses qui ne collent pas avec les autres (surtout sur la tumeur), le chef lui dit : "Tu as l'air confus, baisse le volume."
• Si un expert est très cohérent avec les autres, le chef lui dit : "Tu as l'air sûr de toi, on te fait confiance à 100%."
• Cela permet de mélanger les avis de manière intelligente, en gardant ceux qui sont fiables et en ignorant ceux qui sont confus, sans avoir besoin de recréer l'image manquante.

Pourquoi c'est génial ?

• Robustesse : Même si vous n'avez que 2 images sur 4, CLoE donne un résultat presque aussi bon que si vous aviez les 4.
• Précision : Elle ne se trompe pas sur les petites tumeurs, ce qui est crucial pour les médecins.
• Simplicité : Elle n'a pas besoin de "deviner" ou de "recréer" l'image manquante (ce qui est souvent faux), elle se contente de bien utiliser ce qu'elle a en vérifiant la cohérence de l'équipe.

En résumé : CLoE est comme un détective très organisé qui, même avec des preuves incomplètes, réunit son équipe, force tout le monde à se concentrer sur la zone du crime, et ne garde que les avis les plus cohérents pour résoudre l'énigme. Résultat : moins d'erreurs, même dans les pires conditions.

Résumé technique

1. Problématique

La segmentation d'images médicales multimodales (notamment en IRM) repose souvent sur l'hypothèse que toutes les modalités sont disponibles. Cependant, en pratique clinique, des séquences peuvent manquer en raison de variations de protocole, de problèmes de qualité ou de temps d'acquisition limité.
Les défis majeurs identifiés sont :

• Instabilité des décisions : Les prédicteurs spécifiques à chaque modalité peuvent entrer en conflit lorsque certaines modalités manquent.
• Fusion non optimale : Les méthodes de fusion actuelles (poids fixes ou attention non contrainte) amplifient ces désaccords, en particulier sur les petites structures critiques (comme les tumeurs).
• Limites des approches existantes : Les méthodes de synthèse générative (GAN) ou d'apprentissage de représentations latentes peinent à gérer la dominance du fond (background) dans les volumes 3D, ce qui permet une « cohérence globale » même si les régions critiques (tumeurs) sont mal alignées.

2. Méthodologie : CLoE

Les auteurs proposent CLoE (Consistency Learning of Experts), un cadre d'apprentissage piloté par la cohérence qui traite la robustesse comme un problème de contrôle de l'incohérence décisionnelle au niveau des experts.

Architecture Globale

Le modèle utilise un encodeur-parallèle par modalité et un décodeur de fusion partagé.

1. Encodage : Chaque modalité disponible $x^{(m)}$ est traitée par un encodeur $\Phi_m$ pour extraire des caractéristiques multi-échelles.
2. Prédiction d'experts : Un décodeur partagé (expert) produit des prédictions individuelles $p^{(m)}$ pour chaque modalité disponible.
3. Module de Cohérence (ECL) : Calcule des scores de cohérence entre les experts.
4. Porte Dynamique (Gating) : Un réseau léger convertit ces scores en poids de fiabilité pour la fusion des caractéristiques avant la prédiction finale.

Composants Clés de l'Apprentissage

A. Apprentissage de la Cohérence des Experts (ECL)
L'objectif est de forcer les experts à s'accorder, non seulement globalement, mais surtout sur les régions critiques.

• Cohérence des Experts par Modalité (MEC) : Force l'alignement global des distributions de probabilité entre tous les experts disponibles. Cela réduit la dérive des cas individuels lorsque des entrées sont partielles.
  • Mesure : Similarité cosinus entre les cartes de probabilité vectorisées.
• Cohérence des Experts par Région (REC) : Reconnaît que l'accord global est souvent biaisé par le fond (background). Cette contrainte pondère l'accord en fonction d'une carte de région d'intérêt (foreground) générée à partir des caractéristiques peu profondes.
  • Objectif : Assurer que les experts s'accordent spécifiquement sur les structures cliniquement critiques (ex: tumeurs), évitant ainsi une régularisation dominée par le fond.

B. Porte Dynamique Pilotée par la Cohérence
Au lieu d'utiliser des poids fixes, CLoE calcule dynamiquement la fiabilité de chaque expert :

• Pour chaque expert $m$, on calcule un score de cohérence globale ($u_m$) et régionale ($v_m$) par rapport aux autres experts.
• Un réseau de porte léger $G$ mappe ces scores vers des logits de fiabilité, normalisés via Softmax pour obtenir les poids de fusion $w_m$.
• Avantage : Les experts peu fiables (qui divergent) sont automatiquement pondérés à la baisse avant la fusion des caractéristiques.

C. Fonction de Perte Globale
L'optimisation combine trois termes :

1. Perte de Segmentation ($L_{seg}$) : Perte standard (WCE + Dice) sur la prédiction fusionnée finale.
2. Perte d'Apprentissage de Cohérence Robuste ($L_{ECL}$) : Combine la supervision individuelle de chaque expert et les contraintes de cohérence (MEC + REC).
3. Perte de Représentation Contrastive ($L_{contrast}$) : Utilise un objectif contrastif pour désintriquer l'espace latent (alignement du contenu anatomique, regroupement des styles de modalités, validité générative), inspiré de méthodes comme DC-Seg.

3. Contributions Principales

1. Formulation du problème : Redéfinition de la robustesse aux modalités manquantes comme un problème de contrôle de l'incohérence décisionnelle entre experts.
2. Double mesure de cohérence : Introduction de deux contraintes complémentaires :
   • MEC pour l'accord global.
   • REC pour l'accord focalisé sur les régions critiques (foreground), résolvant le problème de la dominance du fond.
3. Mécanisme de fusion adaptatif : Un réseau de porte léger qui convertit les scores de cohérence en poids de fiabilité, permettant une recalibration des caractéristiques sans complexifier l'inférence.

4. Résultats Expérimentaux

Les expériences ont été menées sur deux benchmarks :

• BraTS 2020 : Segmentation de tumeurs cérébrales (4 modalités : T1, T1c, T2, FLAIR).
• MSD Prostate (Task 05) : Segmentation de la prostate (2 modalités : T2 et ADC) avec peu de données d'entraînement (48 cas).

Performances sur BraTS 2020 :

• CLoE surpasse les méthodes de l'état de l'art (HeMIS, RobustSeg, RFNet, M³AE, DC-Seg) sur toutes les combinaisons de modalités manquantes.
• Moyenne Dice (Tumeur Globale - WT) : 88,09 % (vs 87,54 % pour DC-Seg et 86,90 % pour M³AE).
• Robustesse sur les petites structures : Amélioration notable sur le noyau tumoral (TC) et la tumeur rehaussée (ET), démontrant la capacité à gérer les régions critiques malgré les données manquantes.

Performances sur MSD Prostate :

• Meilleur score Dice moyen (80,12 %) comparé à DC-Seg (79,59 %) et RFNet, confirmant la robustesse même avec un petit jeu de données et des différences d'apparence faibles.

Étude Ablative :

• Le retrait de la REC entraîne une chute significative de performance (-1,98 % en moyenne, -3,41 % sur ET), prouvant son importance pour les petites structures.
• Le retrait de la Fusion Pondérée dégrade fortement les résultats, confirmant l'utilité du mécanisme de porte dynamique.

5. Signification et Impact

• Fiabilité Clinique : CLoE offre une solution robuste pour les environnements cliniques réels où les protocoles d'imagerie sont inconstants, garantissant des performances stables même avec des sous-ensembles de modalités.
• Précision sur les Structures Critiques : En se concentrant explicitement sur la cohérence des régions d'intérêt (via REC), le modèle évite les erreurs de segmentation sur les petites tumeurs, un point faible des méthodes précédentes.
• Efficacité : Le modèle maintient une haute précision en mode complet (toutes modalités) tout en étant robuste en mode incomplet, sans nécessiter l'entraînement de modèles séparés pour chaque combinaison de modalités.
• Généralisation : La méthode démontre une forte capacité de généralisation inter-ensemble de données (du cerveau à la prostate), suggérant une applicabilité large en imagerie médicale.

En résumé, CLoE représente une avancée significative en transformant la gestion des modalités manquantes d'un problème de synthèse de données ou de fusion passive en un problème d'alignement décisionnel actif entre experts, piloté par la fiabilité contextuelle.