Surgical Vision ROS2: a ROS2 Humble pipeline for intraoperative wound assessment and variable-autonomy arm control

Riepilogo Tecnico: Surgical Vision ROS2

Problematica
I robot chirurgici teleoperati si affidano attualmente interamente agli operatori umani per ispezionare i tessuti, giudicare lo stato delle ferite e decidere le movimenti del braccio. Il braccio robotico manca di una visione percettiva indipendente del sito chirurgico e non può modificare il proprio comportamento in base a segnali visivi. Questa configurazione è efficace per i chirurghi esperti, ma pone dei rischi negli ambienti di formazione (dove i tirocinanti possono perdere segnali cruciali) e durante le procedure lunghe (dove l'attenzione può diminuire). Il documento identifica la necessità di uno strato di "assistenza condizionata dalla percezione" che monitori indipendentemente la ferita e vincoli l'autonomia del braccio, agendo come un giudizio secondario, più economico, per intercettare gli errori che l'operatore potrebbe mancare.

Metodologia
Gli autori presentano Surgical Vision ROS2, una pipeline software costruita su ROS2 Humble e OpenCV che accoppia la percezione della ferita al controllo del braccio a autonomia variabile.

• Architettura: Il sistema consiste in quattro nodi ROS2 disaccoppiati collegati in una catena lineare produttore-consumatore:

  1. lesion_detector_node: Legge le immagini, calcola un punteggio di tipo clinico e pubblica lo stato.
  2. behavior_manager_node: Mappa il punteggio su un livello di autonomia e pubblica la modalità.
  3. surgeon_console_node: Applica il livello di autonomia (limitando i comandi dell'operatore).
  4. moveit_bridge_node: Inoltra i comandi approvati a MoveIt2 per l'esecuzione.
  • La comunicazione avviene tramite topic basati su stringhe (/scene_state, /autonomy_mode, /arm_command), garantendo la modularità.

• Framework di Punteggio (ABCDE): La logica di visione adatta il framework dermatologico ABCDE (Asimmetria, Bordo, Colore, Diametro, Evoluzione) alle ferite chirurgiche. Calcola cinque sottopunteggi (0–2) basati su metriche d'immagine (es. solidità del contorno, varianza del Laplaciano, classificazione del colore HSV) per generare un punteggio totale (0–10).

  • Mappatura del Verdetto: I punteggi 0–1 corrispondono a PASS (Autonomia completa), il punteggio 2 a CAUTION (Velocità ridotta, conferma per ogni movimento), e il punteggio 3+ a FAIL (Stato di arresto, richiede un "CONFIRM" manuale per riprendere).

• Livelli di Autonomia:

  • Full (Completa): Teleoperazione standard.
  • Reduced (Ridotta): Esegue i comandi al 50% della velocità con conferma obbligatoria dell'operatore per ogni movimento.
  • Hold (Arresto): Blocca il braccio finché l'operatore non digita esplicitamente "CONFIRM".

• Evoluzione della Segmentazione:

  • Approccio Originale: Utilizzava la soglia adattiva in scala di grigi. Questo falliva significamente, agganciandosi ai punti di sutura invece del corpo della ferita a causa di problemi di contrasto locale nei tessuti uniformi.
  • Approccio di Sostituzione: Ha implementato una segmentazione basata sulla distanza cromatica HSV globale. Campiona il colore dello sfondo dagli angoli dell'immagine, calcola la distanza euclidea di ogni pixel dal valore mediano dello sfondo, applica la binarizzazione di Otsu e utilizza operazioni morfologiche per rimuovere gli artefatti della sutura.

Contributi Chiave

1. Pipeline Funzionante: Un grafo ROS2 a quattro nodi che accoppia la percezione della ferita al gating dell'autonomia del braccio con una netta separazione a livello di topic. L'architettura permette di sostituire indipendentemente i nodi di percezione e di controllo.
2. Validazione Empirica di Fallimento e Correzione: Il documento documenta un modo specifico di fallimento in cui il metodo di segmentazione iniziale raggiungeva solo il 6,7% di accuratezza su un benchmark sintetico perché segmentava le suture invece delle ferite. Dettaglia l'implementazione e la validazione di un metodo di segmentazione sostitutivo che ha migliorato l'accuratezza al 64,4%.
3. Template Educativo: Un esempio compatto (<700 righe di Python) di un ciclo percezione-attuazione con gating dell'operatore nel loop, adatto per l'educazione ROS2 e la ricerca robotica.

Risultati
Il sistema è stato valutato su un benchmark sintetico di 45 immagini (15 immagini ciascuna per le classi "Healthy", "Concerning" e "Critical") generato da uno script deterministico.

• Pipeline Originale: Ha raggiunto un'accuratezza del verdetto a tre classi del 6,7% (3/45). La matrice di confusione mostrava una struttura diagonale non consistente; il metodo falliva nell'identificare le ferite sane, classificandole spesso come "concerning" o "critical" a causa del rilevamento degli anelli di sutura.
• Pipeline di Sostituzione: Ha raggiunto un'accuratezza del 64,4% (29/45).
  • Classe Healthy: 14/15 identificati correttamente.
  • Classe Critical: 15/15 identificati correttamente.
  • Classe Concerning: 0/15 identificati correttamente (tutti classificati come "Healthy").
• Analisi del Fallimento Residuo: Gli autori attribuiscono il fallimento nella classificazione delle ferite "Concerning" alle soglie ABCDE. Queste soglie erano state tarate manualmente sulle distribuzioni prodotte dalla segmentazione difettosa. Di conseguenza, non discriminano le distribuzioni prodotte dalla segmentazione funzionante (ad esempio, le ferite "Concerning" hanno ora valori di solidità elevati che attivano un verdetto "PASS"). Il documento nota che è necessaria una ricalibrazione, ma la rimanda per evitare l'overfitting rispetto al piccolo benchmark.

Significato e Rivendicazioni
Il documento dichiara esplicitamente che Surgical Vision ROS2 non è uno strumento clinico. Non è stato testato su dati di pazienti, né è stato validato su un braccio robotico fisico. Il suo significato risiede in:

• Utilità per la Ricerca: Fornire un template open-source per i ricercatori per accoppiare qualsiasi segnale di percezione a un braccio guidato da MoveIt2 per la teleoperazione a autonomia variabile.
• Valore Educativo: Dimostrare un'architettura disaccoppiata, basata su topic, per il controllo condizionato dalla percezione.
• Trasparenza Metodologica: Offrire un caso di studio chiaro su come un fallimento specifico di segmentazione (aggancio alle suture) possa causare un fallimento totale del sistema, e come un pivot metodologico (distanza cromatica globale) possa risolverlo, evidenziando al contempo che correggere solo la segmentazione non è sufficiente senza ricalibrare le soglie decisionali a valle.

Gli autori concludono che, sebbene la pipeline funzioni come framework di simulazione e ricerca, sono necessari ulteriori lavori (benchmark più ampi, ricalibrazione delle soglie e test su immagini non sintetiche) prima che possa essere considerata qualsiasi rilevanza clinica.