Uncertainty-Aware Concept and Motion Segmentation for Semi-Supervised Angiography Videos

L'article propose SMART, une méthode d'apprentissage semi-supervisé basée sur un cadre enseignant-élève SAM3 intégrant une régularisation de confiance progressive et une cohérence motrice, qui améliore l'état de l'art en segmentation des artères coronaires sur des vidéos d'angiographie avec un nombre réduit d'annotations.

L'essentiel

🩺 Le Problème : Le Médecin et le Manque de Dessins

Imaginez que vous êtes un médecin qui doit analyser des vidéos aux rayons X du cœur pour trouver des artères bouchées. C'est comme essayer de repérer un petit ruisseau (l'artère) dans une rivière boueuse et agitée (le sang et les mouvements du corps).

Le problème, c'est que pour entraîner un ordinateur à faire cela, il faut lui montrer des milliers d'exemples où le médecin a déjà colorié les artères. Mais dessiner ces artères sur chaque image est extrêmement long, coûteux et fatiguant. C'est comme demander à un élève de dessiner la même carte au trésor 10 000 fois avant de pouvoir apprendre à la lire.

💡 La Solution : SMART, le "Professeur" et l'"Élève"

Les chercheurs ont créé une méthode appelée SMART. Imaginez une école où il y a un Professeur (l'IA experte) et un Élève (l'IA qui apprend).

1. Le Professeur (SAM3) : Au lieu d'apprendre à dessiner à l'aveugle, on donne au Professeur un "mot magique" (un texte) qui dit : "Regarde, c'est une artère du cœur". Grâce à cette astuce, le Professeur comprend ce qu'il doit chercher, même s'il n'a vu que très peu de dessins de référence.
2. L'Élève : L'Élève regarde les vidéos que le Professeur a analysées et essaie de copier son travail.

🌊 Les Trois Défis et Comment SMART les Résout

Le cœur ne reste jamais immobile, et les images sont souvent floues. Voici comment SMART gère ces problèmes avec des analogies simples :

1. Le Flou et l'Incertitude : Le "Test de Confiance"

Parfois, le Professeur a un doute. L'image est floue, ou le contraste est mauvais. Si le Professeur dit "Je suis sûr à 50%", l'Élève ne devrait pas le croire aveuglément.

• L'analogie : Imaginez que le Professeur doit deviner le mot caché dans un brouillard. Au lieu de donner une seule réponse, il essaie de deviner 8 fois en fermant les yeux et en imaginant différents brouillards.
  • S'il donne la même réponse 8 fois, c'est qu'il est confiant. L'Élève copie cette réponse.
  • S'il donne 8 réponses différentes, c'est qu'il est incertain. L'Élève ignore cette zone pour ne pas apprendre de mauvaises habitudes.
• Le résultat : SMART ne se fie qu'aux réponses solides du Professeur, évitant ainsi les erreurs.

2. Le Mouvement : La "Danse du Film"

Les artères bougent avec le cœur. Si on analyse chaque image comme une photo fixe, l'artère peut sembler sauter d'un endroit à l'autre de manière bizarre.

• L'analogie : C'est comme regarder une vidéo de quelqu'un qui court. Si on regarde juste une photo, on ne sait pas où il va. Mais si on regarde le mouvement (le flux), on comprend qu'il court vers la droite.
• La solution : SMART utilise un "double flux" (comme regarder la vidéo à l'endroit et à l'envers) pour s'assurer que l'artère reste connectée et logique d'une image à l'autre. C'est comme s'assurer que le fil d'artère ne se coupe pas en plein milieu de la vidéo.

3. L'Adaptation : Le "Cours de Rattrapage"

Au début, l'Élève fait beaucoup d'erreurs.

• L'analogie : Au début de l'entraînement, on ne force pas l'Élève à tout apprendre. On commence doucement. À mesure que l'Élève devient meilleur, on lui donne des exercices plus difficiles (les zones floues) pour qu'il progresse. C'est un apprentissage progressif.

🏆 Le Résultat : Moins de Dessins, Plus de Précision

Grâce à cette méthode, les chercheurs ont pu entraîner leur IA avec beaucoup moins de dessins (seulement 16 vidéos annotées sur des centaines) tout en obtenant de meilleurs résultats que les méthodes actuelles.

• En résumé : SMART est comme un élève très intelligent qui a un Professeur expérimenté. Le Professeur sait quoi chercher grâce à des mots-clés, il vérifie ses réponses pour ne pas se tromper, et il utilise le mouvement de la vidéo pour garder le fil. Résultat : on obtient une carte précise des artères cardiaques sans avoir besoin de dessiner des milliers d'images.

C'est une avancée majeure pour la médecine, car cela permet de détecter plus facilement les maladies du cœur, même dans des hôpitaux qui n'ont pas beaucoup de données annotées.

Résumé technique

1. Problématique et Contexte

La segmentation précise des artères coronaires à partir de séquences d'angiographie coronaire aux rayons X (XCA) est cruciale pour le diagnostic des maladies coronariennes. Cependant, cette tâche se heurte à plusieurs défis majeurs :

• Qualité d'image médiocre : Contrepartie faible, limites floues, faible rapport signal-sur-bruit et variations de contraste dues aux systèmes d'imagerie hétérogènes.
• Dynamique temporelle complexe : Les mouvements involontaires des organes et le flux sanguin créent des discontinuités temporelles et des flous de mouvement.
• Pénurie de données annotées : L'annotation manuelle par des experts est coûteuse et chronophage, entraînant un déséquilibre massif entre les données étiquetées et non étiquetées.

Bien que l'apprentissage semi-supervisé (SSL) et les modèles comme SAM (Segment Anything Model) offrent des solutions potentielles, les méthodes existantes peinent à généraliser sans indices géométriques précis et souffrent de quantifications d'incertitude peu fiables, générant des pseudo-étiquettes bruyantes qui dégradent l'apprentissage.

2. Méthodologie : Le Framework SMART

Les auteurs proposent SMART (SAM3-based Motion-Aware Confidence Regularization for Teacher-Student Architecture), une approche semi-supervisée basée sur un cadre enseignant-étudiant utilisant le modèle SAM3.

Architecture Globale

Le modèle utilise deux branches : un modèle Enseignant (frozen après un fine-tuning) et un modèle Étudiant. L'entraînement se déroule en deux phases :

1. Fine-tuning guidé par le texte : Adaptation de SAM3 aux spécificités médicales.
2. Apprentissage semi-supervisé : L'enseignant guide l'étudiant sur les données non étiquetées via des mécanismes de régularisation avancés.

Composants Clés

A. Segmentation de Concepts par Prompt Textuel (Text-driven Segmentation)
Contrairement aux méthodes précédentes utilisant des points ou des boîtes (indices géométriques) qui ne généralisent pas bien, SMART exploite la capacité de SAM3 à segmenter via des prompts textuels.

• Une stratégie de Visual Instruction Tuning est appliquée à l'enseignant sur les données étiquetées.
• Des descriptions textuelles (ex: "artère coronaire") guident la segmentation, permettant au modèle de comprendre la sémantique visuelle des structures vasculaires sans dépendre de la géométrie exacte.

B. Régularisation de Cohérence Consciente de la Confiance (Confidence-aware Consistency Regularization)
Pour pallier le bruit et l'incertitude des prédictions de l'enseignant (dûes au flou et au faible contraste), une nouvelle régularisation est introduite :

• Estimation d'incertitude : L'enseignant reçoit plusieurs versions bruitées des images ($X + \epsilon$). La variance entre les prédictions multiples est utilisée pour calculer un poids d'incertitude ($U$).
• Régularisation progressive : La perte de cohérence entre l'étudiant et la moyenne des prédictions de l'enseignant est pondérée par cette incertitude. Cela permet de donner plus d'importance aux régions incertaines pour les corriger, tout en évitant de renforcer les erreurs systématiques.

C. Cohérence Temporelle à Double Flux (Dual-Stream Temporal Consistency)
Pour gérer la dynamique complexe des vidéos XCA, deux pertes basées sur le flux optique sont intégrées :

1. Perte de cohérence de mouvement ($L_{opti}$) : Utilise un estimateur de flux optique (SEA-RAFT) pour calculer les flux avant et arrière. Elle assure que les masques segmentés restent cohérents temporellement en utilisant une opération de warping (déformation) des masques.
2. Perte de cohérence du flux ($L_{coh}$) : Permet de distinguer l'arrière-plan du premier plan en analysant les motifs de mouvement. Elle pénalise les points de bordure dont le mouvement diffère du mouvement dominant du corps du vaisseau, réduisant ainsi les ambiguïtés aux frontières.

Objectif d'optimisation :
La perte totale combine la perte supervisée (sur les données étiquetées), la perte de régularisation de confiance, et les pertes de cohérence temporelle :
$$L_{all} = L_{sup} + \lambda_{conf}L_{conf} + \lambda_{opti}L_{opti} + \lambda_{coh}L_{coh}$$

3. Résultats Expérimentaux

Le modèle SMART a été évalué sur trois jeux de données : XCAV, CAVSA (données privées) et CADICA (pour la généralisation).

• Performance SOTA : Avec seulement 16 vidéos étiquetées (soit 1 à 2 frames annotées par vidéo), SMART atteint des performances supérieures à l'état de l'art.
  • Sur XCAV : DSC (Dice Similarity Coefficient) de 84,39 % (vs 77,90 % pour le meilleur concurrent CPC-SAM).
  • Sur CAVSA : DSC de 91,00 % (vs 77,90 % pour CPC-SAM), soit une amélioration de 13,1 %.
• Généralisation : Sur le jeu de données CADICA (non vu durant l'entraînement), SMART démontre une capacité de généralisation supérieure aux méthodes supervisées pures et aux autres approches semi-supervisées basées sur SAM, grâce à l'utilisation de prompts sémantiques plutôt que géométriques.
• Études d'ablation :
  • Le fine-tuning par texte améliore le DSC de ~2 à 4 %.
  • La suppression de la régularisation de confiance fait chuter le DSC de plus de 40 %, prouvant son importance critique.
  • L'ajout des pertes temporelles améliore significativement la connectivité spatiale (clDice).

4. Contributions Principales

1. Framework SMART : Première application d'un cadre enseignant-étudiant basé sur SAM3 pour la segmentation d'angiographie, exploitant les prompts textuels pour une compréhension sémantique robuste.
2. Régularisation de Confiance Adaptative : Une nouvelle méthode pour atténuer le bruit des pseudo-étiquettes en pondérant dynamiquement la cohérence en fonction de l'incertitude estimée par perturbation.
3. Modélisation Temporelle Avancée : Intégration d'une cohérence temporelle à double flux (avant/arrière) et d'une cohérence de flux pour gérer spécifiquement les mouvements complexes des vaisseaux sanguins.
4. Efficacité des Données : Démonstration qu'une quantité minimale de données annotées (16 vidéos) suffit pour atteindre des performances cliniques de pointe, réduisant considérablement la charge de travail des radiologues.

5. Signification et Impact

Cette recherche offre une solution pragmatique au problème de la rareté des données annotées en imagerie médicale cardiaque. En combinant la puissance sémantique de SAM3 avec une gestion rigoureuse de l'incertitude et de la dynamique temporelle, SMART permet un déploiement plus fiable de l'IA en milieu clinique réel, où les données sont souvent bruitées et les annotations limitées. Le code est disponible publiquement, favorisant la reproductibilité et l'adoption future.