Cholec80-port: A Geometrically Consistent Trocar Port Segmentation Dataset for Robust Surgical Scene Understanding

Cet article présente Cholec80-port, un jeu de données de segmentation de trocarts chirurgicaux doté d'une cohérence géométrique rigoureuse (excluant l'ouverture centrale) et d'une procédure standardisée, démontrant que de telles annotations améliorent significativement la robustesse des pipelines de compréhension de scène chirurgicale par rapport à la simple augmentation de la taille des jeux de données.

L'essentiel

🏥 Le Problème : Le "Trou" dans la caméra

Imaginez que vous êtes un chirurgien qui opère à l'intérieur du corps d'un patient, mais au lieu de voir directement, vous regardez à travers un petit tuyau en plastique ou en métal appelé trocar. C'est la porte d'entrée de la caméra dans le ventre.

Le problème, c'est que ce tuyau est souvent visible sur l'image. Il a des reflets brillants, des textures bizarres et il reste fixe alors que le reste du corps bouge.

Pour les ordinateurs qui essaient de comprendre la scène (pour faire de la 3D ou assembler des images), ce tuyau est un cauchemar.

• L'analogie : Imaginez que vous essayez de faire un puzzle de paysages, mais qu'il y a un gros autocollant collé sur la pièce centrale qui ne bouge jamais. L'ordinateur va essayer de coller les autres pièces autour de cet autocollant, ce qui va tout déformer. Le tuyau (le port) trompe l'ordinateur en lui donnant de faux indices de mouvement.

🧹 La Solution : Le "Nettoyage" et la Nouvelle Règle

Les chercheurs de l'entreprise Jmees ont réalisé que les bases de données existantes (les livres de recettes pour entraîner les IA) étaient mal faites :

1. Soit elles étaient trop petites.
2. Soit elles avaient des erreurs : elles coloriaient tout le trou du tuyau, y compris l'intérieur où l'on voit les organes. C'est comme si, pour cacher un trou dans un mur, vous peigniez aussi ce qu'il y a derrière le trou ! Cela crée des incohérences géométriques.

Leur grande idée (Cholec80-port) :
Au lieu de colorier tout le tuyau, ils ont décidé de ne colorier que le bord du tuyau (la manchette métallique), en laissant le trou au centre transparent.

• L'analogie : C'est comme dessiner le cadre d'une fenêtre, mais en laissant le verre transparent pour qu'on puisse voir le jardin derrière. Cela permet à l'ordinateur de comprendre que le cadre est fixe, mais que le jardin derrière bouge.

🛠️ Ce qu'ils ont fait concrètement

1. Une nouvelle règle stricte (SOP) : Ils ont écrit un mode d'emploi très précis pour dire aux humains comment dessiner ces contours. Si c'est flou, ils regardent les images avant et après pour être sûrs de ce qu'ils dessinent.
2. Le grand ménage (Data Cleansing) : Ils ont pris les anciennes bases de données, effacé les erreurs et les dessins bizarres, et tout réétiqueté selon leur nouvelle règle.
3. Une nouvelle bibliothèque : Ils ont créé une énorme collection de 38 000 images (issues de 20 vidéos chirurgicales) où les trocars sont parfaitement dessinés selon cette nouvelle règle.

📊 Les Résultats : Ça marche mieux !

Ils ont entraîné un "cerveau" d'ordinateur (une IA) avec leurs nouvelles données et l'ont testé.

• Résultat : L'IA entraînée avec leurs nouvelles données est beaucoup plus intelligente. Elle ne se fait plus piéger par les reflets du tuyau.
• Comparaison : Même quand on la teste sur d'anciennes données (celles qu'ils ont nettoyées), elle surpasse les modèles entraînés sur les anciennes données sales. C'est comme si un élève qui a appris avec un manuel corrigé et précis obtenait de meilleures notes qu'un élève qui a appris avec un manuel rempli de fautes, même sur les mêmes exercices.

🔮 L'Avenir

Bien sûr, ce n'est pas encore parfait. Parfois, si le tuyau est très transparent ou très brillant, l'IA a encore du mal. Mais cette nouvelle méthode est une étape énorme.

En résumé :
Les chercheurs ont dit : "Arrêtons de cacher les trous dans les images chirurgicales !" Ils ont créé un nouveau manuel de dessin pour les IA, nettoyé les vieux manuels, et prouvé que cette méthode permet aux robots de mieux comprendre la chirurgie, de reconstruire des images 3D plus justes et de ne plus se tromper à cause des reflets des instruments.

C'est un peu comme passer d'une carte dessinée à la main avec des erreurs à un GPS satellite ultra-précis : la navigation devient beaucoup plus sûre.

Résumé technique

Résumé Technique : Cholec80-port

1. Problématique

La segmentation précise des instruments chirurgicaux et des structures anatomiques est cruciale pour la compréhension avancée des scènes chirurgicales. Cependant, les tâches géométriques en aval (tels que l'assemblage d'images, la reconstruction 3D et le SLAM visuel) nécessitent une séparation robuste entre le mouvement local (objets dynamiques) et le mouvement global (arrière-plan anatomique).

Dans la chirurgie laparoscopique, le trocar (le port d'entrée à travers la paroi abdominale) pose un problème spécifique :

• Il est souvent visible dans le champ de vision, surtout lors de l'insertion ou du retrait de la caméra, mais peut persister comme une occlusion périphérique ou centrale.
• Sa surface est souvent spéculaire et texturée, attirant un grand nombre de points caractéristiques (features).
• Contrairement aux instruments, le trocar est fixe par rapport à la caméra et persiste longtemps. Il introduit donc des caractéristiques non anatomiques fortes qui biaisent l'appariement, augmentent l'erreur géométrique et créent des artefacts d'alignement.

Le manque de données : Bien que ces ports soient nuisibles aux méthodes géométriques, ils sont rarement étiquetés explicitement dans les grands ensembles de données publics. Les raisons incluent les préoccupations de dé-identification (risque de voir l'environnement extérieur) et la tendance à fusionner les ports dans des catégories larges comme « paroi abdominale ». Les deux seuls jeux de données existants avec des étiquettes (« m2caiSeg » et « GynSurg ») présentent des limitations majeures pour les applications géométriques :

• m2caiSeg : Petit volume et présence d'artefacts d'annotation (bruit d'interpolation).
• GynSurg : Représentation polygonale COCO qui induit une politique de « remplissage de trou » (masking du lumen central), ce qui est géométriquement incohérent lorsque des organes sont visibles à travers l'ouverture.

2. Méthodologie

A. Acquisition et Échantillonnage des Données
Les auteurs ont utilisé les 20 premières vidéos de l'ensemble de données Cholec80. Pour équilibrer la diversité des scènes et l'efficacité de l'annotation, ils ont échantillonné une image tous les 30 images, aboutissant à 38 434 images annotées.

• Répartition : Vidéos 01–08 (Entraînement), 09–10 (Validation), 11–20 (Test).
• Volume positif : 1 398 images contiennent des ports visibles, offrant un échantillon positif nettement supérieur à celui des jeux de données précédents (m2caiSeg : n=255 ; GynSurg : n=130).

B. Protocole d'Annotation (SOP) : Définition du « Sleeve »
Une nouvelle norme de procédure opérationnelle (SOP) a été établie pour garantir la fidélité géométrique :

• Cible : Le « sleeve » (manchon), défini comme le composant cylindrique rigide (métallique ou plastique) visible au-delà de la valve interne.
• Exclusion critique : Le lumen central (l'ouverture) est explicitement exclu du masque. Masquer le lumen supprimerait des pixels anatomiquement valides et introduirait des incohérences géométriques pour l'agrégation d'images et l'extraction de caractéristiques.
• Gestion des ambiguïtés : Pour les images où les limites sont floues (reflets spéculaires, orientation), les annotateurs ont consulté le contexte temporel (images voisines) pour confirmer l'étendue physique du manchon et distinguer les limites réelles des reflets transitoires.

C. Nettoyage et Unification des Données Existantes
Les auteurs ont appliqué la même SOP pour nettoyer et unifier les jeux de données existants :

• m2caiSeg : Re-annotation pour éliminer les artefacts d'interpolation et les masques erronés. Seule une petite sous-partie a satisfait aux critères de haute qualité.
• GynSurg : Correction du problème de « remplissage de trou » en segmentant les régions du lumen central et en les soustrayant des polygones originaux pour obtenir des masques « sleeve-only ».

D. Modèle et Protocole d'Entraînement

• Architecture : Encodeur ConvNeXt-Base avec décodeur U-Net pour la segmentation sémantique binaire.
• Fonction de perte : Combinaison de la perte Dice et de la perte d'entropie croisée binaire (BCE).
• Configuration : Optimiseur AdamW, taux d'apprentissage $5 \times 10^{-5}$, taille de lot 16, résolution d'entrée $384 \times 384$.

3. Résultats

Les performances ont été évaluées via deux métriques complémentaires :

1. Score Dice : Calculé uniquement sur les images où le port est présent (mesure de la fidélité des limites).
2. Detect F1 : Mesure de la robustesse au niveau de l'image (classification binaire : présence ou absence de port).

Principales observations (Tableau 1) :

• Performance In-Domain : Un modèle entraîné sur Cholec80-port atteint un score Dice de 0,862 et un F1 de 0,856 sur le test Cholec80-port, surpassant largement les modèles entraînés sur les données brutes.
• Généralisation Transversale : Le modèle entraîné sur Cholec80-port surpasse également le modèle entraîné sur m2caiSeg même lorsqu'évalué sur le test m2caiSeg (Dice 0,488 vs 0,447). Cela suggère que les étiquettes géométriquement cohérentes améliorent la robustesse au-delà de l'ajustement spécifique au jeu de données.
• Impact du Nettoyage : L'utilisation d'un ensemble combiné nettoyé (Cleaned Combined) améliore significativement la généralisation sur GynSurg (Dice 0,818) par rapport aux données brutes.
• Limites : La généralisation vers GynSurg reste difficile en raison du décalage de domaine (matériaux des ports, éclairage, flux chirurgical). Les échecs se produisent principalement sur des ports faibles, transparents ou avec des reflets spéculaires intenses.

4. Contributions Clés

1. SOP Rigoureuse : Définition d'un masque de « sleeve » de port excluant le lumen central, priorisant la fidélité géométrique pour les pipelines de vision par ordinateur.
2. Nouveau Jeu de Données à Grande Échelle : Création de Cholec80-port à partir de Cholec80, offrant un volume de données positives bien supérieur aux références actuelles.
3. Nettoyage et Unification : Application de la nouvelle SOP pour nettoyer et harmoniser les jeux de données existants (m2caiSeg et GynSurg), démontrant que la cohérence des SOP est un facteur dominant pour la robustesse inter-jeux de données.
4. Modèle Pré-entraîné : Publication d'un modèle de base et d'outils pour soutenir la recherche future en vision par ordinateur chirurgicale.

5. Signification et Perspectives

Ce travail démontre que la qualité géométrique des annotations est aussi critique que la quantité de données pour les tâches de compréhension de scène chirurgicale. En éliminant les incohérences géométriques (comme le masquage des lumen), les auteurs améliorent la capacité des algorithmes à distinguer les objets statiques non anatomiques des structures biologiques, ce qui est essentiel pour des applications comme le SLAM visuel et la reconstruction 3D.

Défis futurs :

• Gérer le décalage de domaine (domain shift) entre différents types de trocarts et environnements chirurgicaux.
• Élargir la couverture des données pour inclure une plus grande diversité d'apparences de ports.
• Intégrer le masquage des ports directement dans les pipelines géométriques (vSLAM, reconstruction 3D, inférence panoramique) pour valider l'impact pratique sur la précision des algorithmes.

L'ensemble de données et le code source sont disponibles publiquement sur GitHub.