Point Cloud Segmentation for Autonomous Clip Positioning in Laparoscopic Cholecystectomy on a Phantom

Résumé Technique : Segmentation de Nuages de Points pour le Positionnement Autonome de Clips en Cholécystectomie Laparoscopique

Énoncé du Problème
L'article traite du défi du déploiement de systèmes robotiques autonomes dans des environnements à haut risque comme la chirurgie assistée par robot (RAS), plus précisément lors de la phase de mise en place de clips en cholécystectomie laparoscopique (CL). Dans cette procédure, des clips chirurgicaux doivent être placés sur le canal cystique et l'artère avec une précision sous-millimétrique (les vaisseaux mesurent 5 mm de diamètre, tandis que les clips font 6,5 mm de large). Les auteurs identifient trois obstacles majeurs :

1. Précision vs Interprétabilité : Les approches généralistes de bout en bout (par exemple, l'apprentissage par renforcement ou la régression directe) manquent souvent de la précision requise et ne sont pas interprétables, ce qui rend les chirurgiens réticents à leur faire confiance.
2. Rareté des Données : Les domaines médicaux souffrent d'un manque de données étiquetées ; obtenir des nuages de points chirurgicaux réels étiquetés à la main est difficile et coûteux.
3. Écart Sim-to-Real (Simulation-Réel) : Les méthodes traditionnelles basées sur la RGB peinent face à la nature homogène et spéculaire des environnements chirurgicaux, tandis que l'estimation de la profondeur à partir de caméras standards est souvent bruitée.

Méthodologie
Les auteurs proposent un système hybride de vision-planification qui privilégie l'interprétabilité et la précision plutôt qu'un contrôle de bout en bout entièrement autonome. Le système opère sur un fantôme physique représentant une vésicule biliaire disséquée, le canal cystique et l'artère.

• Pipeline de Vision : Au lieu de régresser directement les coordonnées 3D, le système traite le problème comme une tâche de segmentation de nuage de points.
  • Entrée : Un nuage de points incolore capturé par une caméra 3D de haute précision (Zivid One+ M).
  • Segmentation : Un réseau basé sur PointTransformer segmente le nuage de points en régions cibles (canal cystique et artère).
  • Extraction de la Cible : Les régions cibles segmentées sont squelettisées et ajustées à des B-splines. Trois points cibles sont dérivés de ces splines par interpolation. Cette approche permet de moyenner sur plusieurs points pour la robustesse et permet au système de calculer un angle d'approche optimal (tangent à la spline).
  • Humain dans la Boucle (Human-in-the-Loop) : Un opérateur humain examine la spline générée et les points cibles via une interface utilisateur. Il peut ajuster les positions le long de la spline ou modifier l'ordre d'exécution avant que le robot n'agisse.
• Planification de Mouvement : Le système génère des trajectoires dans un espace de tâche défini par la contrainte de Centre de Rotation Fixe (RCM) inhérente aux trocarts laparoscopiques (3 rotations et 1 translation). La trajectoire est vérifiée par l'opérateur humain avant l'exécution.
• Stratégie d'Apprentissage (Réponse à la Rareté des Données) :
  • Pré-entraînement : Le modèle est pré-entraîné sur 128 000 nuages de points synthétiques générés dans Blender. Crucialement, les données synthétiques incluent des classes sémantiques supplémentaires (ex: foie, vésicule biliaire, tissu adipeux) non présentes dans la tâche de fine-tuning réelle finale, afin d'aider le modèle à apprendre la structure de la scène.
  • Fine-tuning : Le modèle est affiné sur seulement 60 nuages de points réels étiquetés à la main.
  • Fusion de Logits (Logit-Merging) : Pour gérer le décalage entre les 7 classes du pré-entraînement et les 3 classes du fine-tuning, les auteurs introduisent la "Fusion de Logits", où les logits des classes non cibles sont additionnés avant la conversion softmax. Cela s'est avéré plus performant que la fusion dans l'espace des probabilités.
  • Augmentation Novatrice : Deux techniques d'augmentation spécifiques ont été développées :
    • VariableJitter : Ajuste dynamiquement l'échelle du bruit par nuage de points pour combler l'écart entre les données synthétiques bruitées et les données réelles très précises de la caméra Zivid.
    • RandomPatches : Supprime aléatoirement des patchs de points pour simuler les occlusions (ex: par l'anneau RCM ou la pince).

Principales Contributions

1. Premier Système de Positionnement de Clips Autonome : L'article présente le premier système robotique capable de démontrer le positionnement autonome de clips sur un fantôme physique en chirurgie laparoscopique.
2. Ciblage par Segmentation : Les auteurs démontrent que la segmentation des régions cibles et l'ajustement de B-splines est supérieur à la régression directe de la cible, permettant d'atteindre une plus grande précision et une meilleure interprétabilité.
3. Techniques d'Efficacité des Données : L'étude valide que le pré-entraînement sur des données synthétiques avec des classes sémantiques supplémentaires (fusionnées via Logit-Merging) améliore significativement les performances sur de petits jeux de données réels.
4. Innovations d'Augmentation : L'introduction de VariableJitter et RandomPatches montre qu'elles sont critiques pour généraliser à travers l'écart sim-to-real et gérer les occlusions.
5. Validation : Le système est validé sur un ensemble de test réel disjoint, avec des études d'ablation confirmant la nécessité de chaque composant (pré-entraînement, augmentations spécifiques et choix d'architecture).

Résultats
Le système a été évalué sur six nouveaux fantômes de vésicule biliaire présentant des morphologies variées non vues durant l'entraînement.

• Localisation de la Cible : Le système a atteint un taux de réussite de 95 % pour localiser les cibles avec une tolérance de 0,75 mm (la moitié du dégagement entre le vaisseau et le clip).
• Exécution : Dans les expériences réelles avec le robot, le système a atteint un taux de réussite de 100 % pour le positionnement autonome des clips (36/36 clips appliqués correctement).
• Résultats d'Ablation :
  • La régression directe de la cible a échoué, n'atteignant qu'un taux de réussite de 1 % avec une erreur moyenne de ~5,7 mm.
  • L'absence de pré-entraînement a entraîné un taux de réussite de 7,6 %.
  • L'utilisation de la "Fusion de Probabilité" au lieu de la "Fusion de Logits" a fait chuter le taux de réussite à 41,4 %.
  • La suppression de VariableJitter ou RandomPatches a réduit les taux de réussite à environ 60 % et 58 %, respectivement.
  • L'architecture PointTransformer a surpassé PointNet++ et Stratified Transformer dans ce régime spécifique de faibles données.

Signification et Revendications
Les auteurs affirment que ce travail représente une étape significative vers la traduction des promesses de l'apprentissage automatique dans la réalité clinique de la robotique chirurgicale. En passant de politiques de bout en bout de type "boîte noire" à une approche basée sur la segmentation avec supervision humaine, le système satisfait aux doubles exigences de haute précision (exactitude sous-millimétrique) et d'interprétabilité (plans vérifiables et cibles ajustables). L'article souligne que leur méthode est applicable à d'autres tâches chirurgicales et non chirurgicales nécessitant l'identification et la navigation précises de cibles, particulièrement dans des environnements pauvres en données.

Limites Reconnues
Les auteurs notent que la caméra Zivid de haute précision utilisée est trop volumineuse pour un déploiement clinique. Les expériences avec des caméras stéréo plus petites (ZED Mini) ont échoué en raison d'une précision insuffisante. De plus, le planificateur de mouvement actuel ne gère pas l'évitement dynamique de collisions, s'appuyant sur l'opérateur humain pour vérifier la sécurité et replanifier si l'environnement change.