Résumé technique : Reconnaissance de l'anatomie chirurgicale par apprentissage contextuel à partir de représentations de fondation

Problématique

La reconnaissance précise des structures anatomiques est cruciale pour une chirurgie mini-invasive (CMI) sûre et efficace. Cependant, les progrès de la vision par ordinateur chirurgicale pour cette tâche spécifique ont été entravés par deux facteurs principaux :

1. Raretur de données : Un manque de jeux de données à grande échelle, diversifiés et richement annotés capables de capturer la variabilité de la pratique chirurgicale réelle. Les jeux de données existants souffrent souvent d'une diversité procédurale limitée, de peu de vidéos et d'une couverture incomplète des classes anatomiques, ce qui restreint la généralisation des modèles.
2. Limitations méthodologiques : Les approches conventionnelles privilégient souvent le suivi d'objets ou sont adaptées aux scènes naturelles, échouant à exploiter les indices contextuels spécifiques (ex. : type de procédure, phase chirurgicale) dont les chirurgiens ont besoin pour identifier l'anatomie sous des points de vue limités et sans retour tactile.

Méthodologie

1. Le jeu de données ATLAS-120k

Les auteurs introduisent ATLAS-120k, un jeu de données de segmentation sémantique au niveau du clip à grande échelle, conçu pour remédier aux limitations de données.

• Échelle et Diversité : Composé de plus de 120 000 images annotées issues de 100 vidéos chirurgicales, le jeu de données couvre 14 procédures distinctes (incluant la laparoscopie et la chirurgie robotique assistée) et englobe 42 classes anatomiques.
• Pipeline d'annotation : Un flux de travail évolutif a été employé, impliquant :
  • L'étiquetage manuel expert des premières images par des assistants de recherche en chirurgie sous la supervision de chirurgiens.
  • La propagation automatisée à l'aide d'un modèle de suivi d'objets léger.
  • Un raffinement itératif où le tracker était affiné sur les données annotées à intervalles réguliers (10k, 25k, 50k images).
  • La correction manuelle des erreurs de propagation et la vérification indépendante de la première image de chaque clip par des chirurgiens expérimentés.
• Standardisation : Les vidéos ont été rééchantillonnées à 15 fps, avec des résolutions spatiales allant de 480×640 à 1080×1920.

2. Le modèle ATLAS

Les auteurs proposent ATLAS (Anatomy Recognition with Context Learning using Foundation Representations), un modèle de segmentation sémantique vidéo spécifiquement architecturé pour l'anatomie chirurgicale. Contrairement à la segmentation vidéo standard qui se concentre fortement sur le suivi, ATLAS intègre des embeddings de modèles de fondation avec un apprentissage contextuel.

• Architecture : Construit sur EoMT (un modèle de segmentation d'image de pointe utilisant des encodeurs ViT et des requêtes apprenables), ATLAS étend cela à la vidéo en introduisant des requêtes de contexte aux côtés des requêtes de segmentation et de suivi standard.
• Représentation d'entrée : Pour chaque image $t$, l'entrée transformer $X_t$ comprend :
  • Des jetons de patch visuel ($P_t$).
  • Des requêtes de segmentation apprenables ($Q_{seg}$).
  • Des requêtes propagées de l'image précédente ($\hat{Q}_{t-1}$).
  • Requêtes de Contexte : Des requêtes initiales apprenables pour la procédure ($Q_{proc}$) et la phase chirurgicale ($Q_{phase}$), qui sont affinées au fil du temps pour capturer le contexte global et temporel.
• Mécanismes de contexte :
  • Requêtes de Procédure : Encodées via un perceptron multicouche (MLP) pour prédire l'étiquette de la procédure, supervisées par une perte d'entropie croisée. Cela capture un contexte stable et de haut niveau (ex. : présence d'instruments, modèles d'exposition).
  • Requêtes de Phase : Encodées pour capturer les variations temporelles plus fines. Une perte contrastive InfoNCE est appliquée pour garantir que les embeddings d'images temporellement adjacentes au sein d'un même clip soient proches, tout en repoussant les embeddings de clips différents ou de marqueurs temporels distants.
• Propagation Temporelle : Les requêtes sont propagées de l'image $t-1$ à l'image $t$ via une couche linéaire, assurant une mémoire à court terme et une cohérence temporelle similaire à VidEoMT, mais augmentée par ces nouvelles dimensions de contexte.

Contributions Clés

1. Jeu de données ATLAS-120k : Un nouveau jeu de données de référence offrant une diversité procédurale sans précédent (14 procédures) et une échelle (120k+ images), comblant le fossé entre les jeux de données à procédure unique et la complexité de la pratique chirurgicale réelle.
2. Modèle ATLAS : Une architecture novatrice qui combine les représentations de modèles de fondation avec un raisonnement temporel léger et des requêtes de contexte explicites (procédure et phase). Cette conception permet au modèle d'utiliser la connaissance procédurale pour lever les ambiguïtés dans la reconnaissance anatomique.
3. Ressources Ouvertes : Les modèles, les annotations du jeu de données et la plateforme d'annotation sont rendus publics pour faciliter la recherche ultérieure.

Résultats Expérimentaux

Le modèle a été évalué sur une division par patient (70 entraînement, 10 validation, 20 test) avec 30 classes consolidées.

• Performance : La variante ATLAS ViT-L a atteint :
  • 0,64 AP (Précision Moyenne)
  • 0,49 mDice (Coefficient Dice moyen)
  • 0,79 mVC24 (Cohérence Vidéo moyenne sur 24 images)
  • 64 FPS de vitesse d'inférence sur un NVIDIA H100, démontrant une faisabilité en temps réel.
• Comparaisons : ATLAS surpasse systématiquement les modèles de fondation d'images naturelles (ex. : variantes DINOv2/3, SAM) et les modèles médicaux du même domaine (ex. : EndoViT, SurgeNet).
• Études d'Ablation :
  • Pré-entraînement : Le pré-entraînement dans le domaine (utilisant DINOv3 sur le jeu de données SurgeNet) a apporté un gain substantiel par rapport aux poids par défaut.
  • Composants : L'ajout de la propagation de requête temporelle a amélioré l'AP et l'AP50. L'incorporation des requêtes de contexte a davantage amélioré la détection, le chevauchement des régions et les métriques de cohérence temporelle.
  • Efficacité : Ces améliorations ont généré une augmentation de l'AP de plus de 20 % par rapport à la ligne de base, tout en augmentant le nombre de paramètres de moins de 1 %.

Signification et Revendications

L'article affirme que la combinaison du jeu de données ATLAS-120k et du modèle ATLAS établit un fondement pratique pour une compréhension robuste des scènes chirurgicales. Les auteurs soutiennent que :

• Le Contexte est Critique : Une perception anatomique robuste en CMI nécessite plus qu'un simple suivi visuel ; elle nécessite l'intégration d'un contexte lié à la procédure et à la phase, ce que le modèle proposé capture avec succès.
• Combler le Fossé : Ce travail vise à réduire l'écart entre les prototypes de recherche et les systèmes de guidage cliniquement utiles et conscients de l'anatomie.
• Applicabilité au Monde Réel : En démontant une précision élevée et une cohérence temporelle à travers diverses procédures en temps réel, le cadre soutient le développement de systèmes d'assistance plus sûrs et plus intelligents pour la salle d'opération.

Les auteurs maintiennent un ton modeste concernant les scores Dice absolus, reconnaissant la nature difficile du jeu de données (classes très déséquilibrées, distribution à longue traîne) et positionnant ATLAS-120k comme un benchmark exigeant pour les futurs modèles plutôt que comme un problème résolu.