Surgical Vision ROS2: a ROS2 Humble pipeline for intraoperative wound assessment and variable-autonomy arm control

Résumé Technique : Surgical Vision ROS2

Énoncé du Problème
Les robots chirurgicaux téléopérés reposent actuellement entièrement sur les opérateurs humains pour inspecter les tissus, juger de l'état des plaies et décider des mouvements du bras. Le bras robotisé manque d'une vue perceptive indépendante du site chirurgical et ne peut pas modifier son comportement en fonction de indices visuels. Cet arrangement est efficace pour les chirurgiens expérimentés, mais pose des risques dans les environnements de formation (où les stagiaires peuvent manquer des indices) et lors de procédures longues (où l'attention peut diminuer). L'article identifie la nécessité d'une couche de « assistance conditionnée par la perception » qui surveille la plaie de manière indépendante et contraint l'autonomie du bras, agissant comme un jugement secondaire, moins coûteux, pour détecter les erreurs que l'opérateur pourrait manquer.

Méthodologie
Les auteurs présentent Surgical Vision ROS2, un pipeline logiciel construit sur ROS2 Humble et OpenCV qui couple la perception de la plaie au contrôle du bras à autonomie variable.

• Architecture : Le système se compose de quatre nœuds ROS2 découplés connectés dans une chaîne linéaire producteur-consommateur :

  1. lesion_detector_node : Lit les images, calcule un score de type clinique et publie l'état.
  2. behavior_manager_node : Associe le score à un niveau d'autonomie et publie le mode.
  3. surgeon_console_node : Applique le niveau d'autonomie (filtrage des commandes de l'opérateur).
  4. moveit_bridge_node : Transmet les commandes approuvées à MoveIt2 pour exécution.
  • La communication s'effectue via des sujets basés sur des chaînes de caractères (/scene_state, /autonomy_mode, /arm_command), garantissant la modularité.

• Cadre de Notation (ABCDE) : La logique de vision adapte le cadre dermatologique ABCDE (Asymétrie, Bordure, Couleur, Diamètre, Évolution) aux plaies chirurgicales. Elle calcule cinq sous-scores (0–2) basés sur des métriques d'image (ex: solidité du contour, variance du Laplacien, classification de couleur HSV) pour générer un score total (0–10).

  • Correspondance du Verdict : Les scores 0–1 sont associés à PASS (Pleine autonomie), le score 2 à CAUTION (Vitesse réduite, confirmation par mouvement), et les scores 3+ à FAIL (Mise en pause, nécessite un « CONFIRM » manuel pour reprendre).

• Niveaux d'Autonomie :

  • Full (Pleine) : Téléopération standard.
  • Reduced (Réduite) : Exécute les commandes à 50 % de la vitesse avec une confirmation obligatoire de l'opérateur pour chaque mouvement.
  • Hold (Pause) : Bloque le bras jusqu'à ce que l'opérateur tape explicitement « CONFIRM ».

• Évolution de la Segmentation :

  • Approche Originale : Utilisait un seuillage adaptatif en niveaux de gris. Cela a échoué de manière significative, se fixant sur les points de suture plutôt que sur le corps de la plaie en raison de problèmes de contraste local dans les tissus uniformes.
  • Approche de Remplacement : Implémentation d'une segmentation par distance de couleur HSV globale. Elle échantillonne la couleur de l'arrière-plan dans les coins de l'image, calcule la distance euclidienne de chaque pixel par rapport à la médiane de l'arrière-plan, applique une binarisation d'Otsu, et utilise des opérations morphologiques pour supprimer les artefacts de suture.

Contributions Clés

1. Pipeline Exécutable : Un graphe de quatre nœuds ROS2 qui couple la perception de la plaie au filtrage de l'autonomie du bras avec une séparation claire au niveau des sujets (topics). L'architecture permet de remplacer indépendamment les nœuds de perception et de contrôle.
2. Validation Empirique de l'Échec et de la Correction : L'article documente un mode de défaillance spécifique où la méthode de segmentation initiale n'a atteint que 6,7 % de précision sur un benchmark synthétique car elle segmentait les sutures au lieu des plaies. Il détaille l'implémentation et la validation d'une méthode de segmentation de remplacement qui a amélioré la précision à 64,4 %.
3. Modèle Éducatif : Un exemple compact (<700 lignes de Python) d'une boucle perception-action avec filtrage par l'opérateur, adapté à l'enseignement de ROS2 et à la recherche en robotique.

Résultats
Le système a été évalué sur un benchmark synthétique de 45 images (15 images chacune pour les classes « Healthy » [Saine], « Concerning » [Préoccupante] et « Critical » [Critique]) généré par un script déterministe.

• Pipeline Original : A atteint 6,7 % (3/45) de précision de verdict sur trois classes. La matrice de confusion ne montrait aucune structure diagonale cohérente ; la méthode n'a pas réussi à identifier les plaies saines, les classifiant souvent comme « préoccupantes » ou « critiques » en raison de la détection des anneaux de suture.
• Pipeline de Remplacement : A atteint 64,4 % (29/45) de précision.
  • Classe Healthy : 14/15 correctement identifiées.
  • Classe Critical : 15/15 correctement identifiées.
  • Classe Concerning : 0/15 correctement identifiée (toutes classées comme « Healthy »).
• Analyse de l'Échec Résiduel : Les auteurs attribuent l'échec de la classification des plaies « Concerning » aux seuils ABCDE. Ces seuils ont été ajustés manuellement par rapport aux distributions produites par la segmentation défectueuse. Par conséquent, ils ne discriminent pas les distributions produites par la segmentation fonctionnelle (par exemple, les plaies « Concerning » ont désormais des valeurs de solidité élevées qui déclenchent un verdict « PASS »). L'article note qu'un recalibrage est nécessaire mais reporte cette tâche pour éviter le surapprentissage (overfitting) sur ce petit benchmark.

Signification et Revendications
L'article stipule explicitement que Surgical Vision ROS2 n'est pas un outil clinique. Il n'a pas été testé sur des données de patients, ni validé sur un bras robotique physique. Sa signification réside dans :

• Utilité de Recherche : Fournir un modèle open-source pour les chercheurs souhaitant coupler n'importe quel signal de perception à un bras piloté par MoveIt2 pour une téléopération à autonomie variable.
• Valeur Éducative : Démontrer une architecture découplée, basée sur des sujets, pour le contrôle conditionné par la perception.
• Transparence Méthodologique : Offrir un cas d'étude clair sur la façon dont un échec de segmentation spécifique (se fixer sur les sutures) peut entraîner l'échec total du système, et comment un pivot méthodologique (distance de couleur globale) peut le résoudre, tout en soulignant que la correction de la segmentation seule est insuffisante sans le recalibrage des seuils de décision en aval.

Les auteurs concluent que bien que le pipeline fonctionne comme un cadre de simulation et de recherche, des travaux supplémentaires (benchmarks plus larges, recalibrage des seuils et tests sur des images non synthétiques) sont nécessaires avant que toute pertinence clinique puisse être envisagée.