Surgical Vision ROS2: a ROS2 Humble pipeline for intraoperative wound assessment and variable-autonomy arm control

Technisches Resümee: Surgical Vision ROS2

Problemstellung
Teleoperierte chirurgische Roboter verlassen sich derzeit vollständig auf menschliche Operatoren, um Gewebe zu inspizieren, den Zustand von Wunden zu beurteilen und Armbewegungen zu entscheiden. Der Roboterarm verfügt über keine unabhängige Wahrnehmung der Operationsstelle und kann sein Verhalten nicht basierend auf visuellen Hinweisen modifizieren. Diese Anordnung ist für erfahrene Chirurgen effektiv, birgt jedoch Risiken in Trainingsumgebungen (wo Trainees Hinweise übersehen könnten) und während langer Eingriffe (wo die Aufmerksamkeit nachlassen kann). Die Arbeit identifiziert die Notwendigkeit einer Ebene für „wahrnehmungsgesteuerte Assistenz“ (perception-conditioned assistance), die die Wunde unabhängig überwacht und die Autonomie des Arms einschränkt, um als sekundäres, kostengünstigeres Urteil zu fungieren, das Fehler abfängt, die dem Operator entgehen könnten.

Methodik
Die Autoren präsentieren Surgical Vision ROS2, eine Software-Pipeline, die auf ROS2 Humble und OpenCV basiert und die Wundwahrnehmung mit einer variabel-autonomen Armsteuerung koppelt.

• Architektur: Das System besteht aus vier entkoppelten ROS2-Nodes, die in einer linearen Producer-Consumer-Kette verbunden sind:

  1. lesion_detector_node: Liest Bilder ein, berechnet einen klinischen Score und veröffentlicht den Zustand.
  2. behavior_manager_node: Ordnet den Score einer Autonomie-Stufe zu und veröffentlicht den Modus.
  3. surgeon_console_node: Erzwingt die Autonomie-Stufe (Gating der Operator-Befehle).
  4. moveit_bridge_node: Leitet genehmigte Befehle zur Ausführung an MoveIt2 weiter.
  • Die Kommunikation erfolgt über stringbasierte Topics (/scene_state, /autonomy_mode, /arm_command), was Modularität gewährleistet.

• Bewertungsrahmen (ABCDE): Die visuelle Logik adaptiert das dermatologische ABCDE-Framework (Asymmetrie, Begrenzung, Farbe, Durchmesser, Evolution) auf chirurgische Wunden. Sie berechnet fünf Teil-Scores (0–2) basierend auf Bildmetriken (z. B. Kontursolidität, Laplacian-Varianz, HSV-Farbklassifizierung), um einen Gesamtwert (0–10) zu generieren.

  • Urteilszuordnung: Scores von 0–1 werden als PASS (volle Autonomie) gewertet, 2 entspricht CAUTION (reduzierte Geschwindigkeit, Bestätigung pro Bewegung) und 3+ wird als FAIL (Zustand halten, erfordert manuelles „CONFIRM“ zum Fortfahren) eingestuft.

• Autonomie-Stufen:

  • Full (Voll): Standard-Teleoperation.
  • Reduced (Reduziert): Führt Befehle mit 50 % Geschwindigkeit aus und erfordert eine obligatorische Bestätigung durch den Operator für jede Bewegung.
  • Hold (Halten): Friert den Arm ein, bis der Operator explizit „CONFIRM“ eintippt.

• Evolution der Segmentierung:

  • Ursprünglicher Ansatz: Verwendete adaptive Graustufen-Schwellenwertverfahren. Dies scheiterte signifikant, da es auf die Nahtstellen (Suture Stitches) anstatt auf den Wundkörper festrast wurde, bedingt durch lokale Kontrastprobleme in uniformem Gewebe.
  • Ersetzter Ansatz: Implementierung einer globalen HSV-Farbabstands-Segmentierung. Das System sampelt die Hintergrundfarbe aus den Bildecken, berechnet die euklidische Distanz jedes Pixels zum Median-Hintergrund, wendet eine Otsu-Binarisierung an und nutzt morphologische Operationen, um Naht-Artefakte zu entfernen.

Wesentliche Beiträge

1. Ausführbare Pipeline: Ein vier-Node-ROS2-Graph, der die Wahrnehmung mit der Arm-Autonomie-Steuerung über eine saubere Topic-basierte Trennung koppelt. Die Architektur erlaubt es, Wahrnehmungs- und Steuerungs-Nodes unabhängig voneinander zu ersetzen.
2. Empirische Validierung von Fehler und Lösung: Die Arbeit dokumentiert einen spezifischen Fehlermodus, bei dem die ursprüngliche Segmentierungsmethode lediglich eine Genauigkeit von 6,7 % auf einem synthetischen Benchmark erreichte, da sie Nahtringe statt Wunden segmentierte. Es wird die Implementierung und Validierung einer Ersatz-Segmentierungsmethode detailliert beschrieben, welche die Genauigkeit auf 64,4 % steigerte.
3. Didaktische Vorlage: Ein kompaktes Beispiel (<700 Zeilen Python) für eine Wahrnehmungs-zu-Aktorik-Schleife mit Operator-in-the-loop-Gating, geeignet für die ROS2-Ausbildung und die Robotikforschung.

Ergebnisse
Das System wurde anhand eines 45-Bilder-synthetischen Benchmarks (jeweils 15 Bilder für die Klassen „Healthy“, „Concerning“ und „Critical“) evaluiert, der durch ein deterministisches Skript generiert wurde.

• Ursprüngliche Pipeline: Erreichte eine Genauigkeit der Drei-Klassen-Urteilsbildung von 6,7 % (3/45). Die Konfusionsmatrix zeigte keine konsistente Diagonalstruktur; die Methode scheiterte daran, gesunde Wunden zu identifizieren, und klassifizierte sie oft als „concerning“ oder „critical“, da sie Nahtringe detektierte.
• Ersetzte Pipeline: Erreichte 64,4 % (29/45) Genauigkeit.
  • Healthy Class: 14/15 korrekt identifiziert.
  • Critical Class: 15/15 korrekt identifiziert.
  • Concerning Class: 0/15 korrekt identifiziert (alle als „Healthy“ fehlklassifiziert).
• Analyse des verbleibenden Fehlers: Die Autoren führen das Scheitern bei der Klassifizierung von „Concerning“-Wunden auf die ABCDE-Schwellenwerte zurück. Diese Schwellenwerte wurden manuell gegen die Verteilungen der fehlerhaften Segmentierung abgestimmt. Folglich diskriminieren sie nicht die durch die funktionierende Segmentierung erzeugten Verteilungen (z. B. weisen „Concerning“-Wunden nun hohe Soliditätswerte auf, die ein „PASS“-Urteil auslösen). Die Arbeit stellt fest, dass eine Rekalibrierung erforderlich ist, schiebt dies jedoch auf, um ein Overfitting am kleinen Benchmark zu vermeiden.

Bedeutung und Ansprüche
Die Arbeit stellt explizit klar, dass Surgical Vision ROS2 kein klinisches Werkzeug ist. Es wurde weder an Patientendaten getestet, noch an einem physischen Roboterarm validiert. Seine Bedeutung liegt in:

• Forschungsnutzen: Bereitstellung einer Open-Source-Vorlage für Forscher, um beliebige Wahrnehmungssignale mit einem MoveIt2-gesteuerten Arm für die variabel-autonome Teleoperation zu koppeln.
• Didaktischem Wert: Demonstration einer entkoppelten, topic-basierten Architektur für wahrnehmungsgesteuerte Kontrolle.
• Methodischer Transparenz: Angebot einer klaren Fallstudie darüber, wie ein spezifischer Segmentierungsfehler (Festsetzen auf Nähte) in einen totalen Systemausfall eskalieren kann und wie ein methodischer Pivot (globale Farbdistanz) dies löst, während gleichzeitig aufgezeigt wird, dass die Behebung der Segmentierung allein ohne die Rekalibrierung nachgeschalteter Entscheidungsschwellen unzureichend ist.

Die Autoren kommen zu dem Schluss, dass die Pipeline zwar als Simulations- und Forschungsrahmen funktioniert, jedoch weitere Arbeiten (größere Benchmarks, Schwellenwert-Rekalibrierung und Tests auf nicht-synthetischen Bildern) notwendig sind, bevor eine klinische Relevanz beansprucht werden kann.