Surgical Vision ROS2: a ROS2 Humble pipeline for intraoperative wound assessment and variable-autonomy arm control

Technische Samenvatting: Surgical Vision ROS2

Probleemstelling
Teleoperabele chirurgische robots vertrouwen momenteel volledig op menselijke operators voor het inspecteren van weefsel, het beoordelen van de staat van wonden en het beslissen over armbewegingen. De robotarm mist een onafhankelijke perceptuele blik op de chirurgische locatie en kan zijn gedrag niet aanpassen op basis van visuele aanwijzingen. Deze opstelling is effectief voor ervaren chirurgen, maar brengt risico's met zich mee in trainingsomgevingen (waar trainees signalen kunnen missen) en tijdens langdurige procedures (waar de aandacht kan verslappen). Het artikel identificeert een behoefte aan een laag van "perceptie-geconditioneerde assistentie" die de wond onafhankelijk monitort en de autonomie van de arm beperkt, als een secundair, goedkoper oordeel om fouten te vangen die de operator mogelijk mist.

Methodologie
De auteurs presenteren Surgical Vision ROS2, een softwarepipeline gebouwd op ROS2 Humble en OpenCV die wondperceptie koppelt aan variabele-autonomie armbesturing.

• Architectuur: Het systeem bestaat uit vier ontkoppelde ROS2-nodes die verbonden zijn in een lineaire producer-consumer keten:

  1. lesion_detector_node: Leest afbeeldingen, berekent een klinische score en publiceert de status.
  2. behavior_manager_node: Koppelt de score aan een autonomie-niveau en publiceert de modus.
  3. surgeon_console_node: Handhaaft het autonomie-niveau (het afschermen van operator-commando's).
  4. moveit_bridge_node: Stuurt goedgekeurde commando's door naar MoveIt2 voor uitvoering.
  • Communicatie vindt plaats via string-gebaseerde topics (/scene_state, /autonomy_mode, /arm_command), wat modulariteit waarborgt.

• Scoring Framework (ABCDE): De visuele logica past het dermatologische ABCDE-framework (Asymmetrie, Rand, Kleur, Diameter, Evolutie) aan voor chirurgische wonden. Het berekent vijf sub-scores (0–2) op basis van beeldmetrieken (bijv. contour soliditeit, Laplacian variantie, HSV kleurclassificatie) om een totale score (0–10) te genereren.

  • Verdict Mapping: Scores 0–1 mappen naar PASS (Volledige autonomie), score 2 mapt naar CAUTION (Gereduceerde snelheid, bevestiging per beweging), en 3+ mapt naar FAIL (Status vasthouden, vereist handmatige "CONFIRM" om te hervatten).

• Autonomie Niveaus:

  • Full: Standaard teleoperatie.
  • Reduced: Voert commando's uit op 50% snelheid met verplichte bevestiging door de operator voor elke beweging.
  • Hold: Bevriest de arm totdat de operator expliciet "CONFIRM" typt.

• Evolutie van Segmentatie:

  • Oorspronkelijke Aanpak: Gebruikte grijswaarden adaptieve drempelwaarde (grayscale adaptive thresholding). Dit faalde aanzienlijk, omdat het vastliep op hechtingen in plaats van de wond zelf door lokale contrastproblemen in uniform weefsel.
  • Vervangende Aanpak: Implementeerde een globale HSV kleurafstand-segmentatie. Het samplet de achtergrondkleur uit de hoeken van de afbeelding, berekent de Euclidische afstand van elke pixel tot de mediaan van de achtergrond, past Otsu binarisatie toe en gebruikt morfologische operaties om artefacten van hechtingen te verwijderen.

Belangrijkste Bijdragen

1. Uitvoerbare Pipeline: Een vier-node ROS2-grafiek die wondperceptie koppelt aan arm-autonomie afscherming met een schone topic-niveau scheiding. De architectuur maakt het mogelijk om perceptie- en besturingsnodes onafhankelijk te vervangen.
2. Empirische Validatie van Falen en Oplossing: Het artikel documenteert een specifiek falingsscenario waarbij de initiële segmentatiemethode slechts 6,7% nauwkeurigheid bereikte op een synthetische benchmark omdat het hechtingen segmenteerde in plaats van wonden. Het beschrijft de implementatie en validatie van een vervangende segmentatiemethode die de nauwkeurigheid verbeterde naar 64,4%.
3. Educatieve Template: Een compact voorbeeld (<700 regels Python) van een perceptie-naar-actuatie lus met operator-in-the-loop afscherming, geschikt voor ROS2-onderwijs en robotica-onderzoek.

Resultaten
Het systeem werd geëvalueerd op een 45-afbeeldingen synthetische benchmark (15 afbeeldingen elk voor de klassen "Healthy", "Concerning" en "Critical") gegenereerd door een deterministisch script.

• Oorspronkelijke Pipeline: Bereikte 6,7% (3/45) nauwkeurigheid in de drie-klasse verdict. De verwarringsmatrix vertoonde geen consistente diagonale structuur; de methode faalde in het identificeren van gezonde wonden en classificeerde ze vaak als "concerning" of "critical" door de detectie van hechtingringen.
• Vervangende Pipeline: Bereikte 64,4% (29/45) nauwkeurigheid.
  • Healthy Class: 14/15 correct geïdentificeerd.
  • Critical Class: 15/15 correct geïdentificeerd.
  • Concerning Class: 0/15 correct geïdentificeerd (allemaal geclassificeerd als "Healthy").
• Analyse van Residueel Falen: De auteurs wijten het falen bij het classificeren van "Concerning" wonden aan de ABCDE-drempelwaarden. Deze drempelwaarden waren handmatig afgestemd op de distributies geproduceerd door de defecte segmentatie. Bijgevolg discrimineren ze de distributies die door de werkende segmentatie worden geproduceerd niet (bijv. "concerning" wonden hebben nu hoge soliditeitswaarden die een "PASS" verdict triggeren). Het artikel merkt op dat herkalibratie vereist is, maar dit uitgesteld om overfitting op de kleine benchmark te voorkomen.

Significantie en Claims
Het artikel stelt expliciet dat Surgical Vision ROS2 geen klinisch instrument is. Het is niet getest op patiëntgegevens en is niet gevalideerd op een fysieke robotarm. De significantie ligt in:

• Onderzoeksnut: Het bieden van een open-source template voor onderzoekers om elk perceptiesignaal te koppelen aan een MoveIt2-gestuurde arm voor variabele-autonomie teleoperatie.
• Educatieve Waarde: Het demonstreren van een ontkoppelde, topic-gebaseerde architectuur voor perceptie-geconditioneerde besturing.
• Methodologische Transparantie: Het bieden van een heldere casestudy over hoe een specifieke segmentatiefout (vastlopen op hechtingen) kan escaleren naar totale systeemuitval, en hoe een methodologische verschuiving (globale kleurafstand) dit kan oplossen, terwijl het benadrukt dat het oplossen van segmentatie alleen onvoldoende is zonder de downstream beslissingsdrempels te herkalibreren.

De auteurs concluderen dat hoewel de pipeline werkt als een simulatie- en onderzoeksframework, verdere arbeid (grotere benchmarks, herkalibratie van drempelwaarden en testen op niet-synthetische beelden) noodzakelijk is voordat er enige klinische relevantie kan worden overwogen.