Surgical Vision ROS2: a ROS2 Humble pipeline for intraoperative wound assessment and variable-autonomy arm control

Resumo Técnico: Surgical Vision ROS2

Definição do Problema
Robôs cirúrgicos teleoperados dependem inteiramente de operadores humanos para inspecionar tecidos, julgar estados de feridas e decidir sobre movimentos de braços. O braço robótico carece de uma visão perceptiva independente do sítio cirúrgico e não consegue modificar seu comportamento com base em pistas visuais. Este arranjo é eficaz para cirurgiões experientes, mas apresenta riscos em ambientes de treinamento (onde alunos podem perder pistas) e durante procedimentos longos (onde a atenção pode diminuir). O artigo identifica a necessidade de uma camada de "assistência condicionada pela percepção" que monitore a ferida de forma independente e restrinja a autonomia do braço, atuando como um julgamento secundário e mais simples para capturar erros que o operador possa ter perdido.

Metodologia
Os autores apresentam o Surgical Vision ROS2, um pipeline de software construído sobre ROS2 Humble e OpenCV que acopla a percepção da ferida ao controle de braço com autonomia variável.

• Arquitetura: O sistema consiste em quatro nós ROS2 desacoplados conectados em uma cadeia linear de produtor-consumidor:

  1. lesion_detector_node: Lê imagens, computa um escore de estilo clínico e publica o estado.
  2. behavior_manager_node: Mapeia o escore para um nível de autonomia e publica o modo.
  3. surgeon_console_node: Aplica o nível de autonomia (controlando os comandos do operador).
  4. moveit_bridge_node: Encaminha os comandos aprovados para o MoveIt2 para execução.
  • A comunicação ocorre via tópicos baseados em strings (/scene_state, /autonomy_mode, /arm_command), garantindo modularidade.

• Estrutura de Pontuação (ABCDE): A lógica de visão adapta a estrutura dermatológica ABCDE (Assimetria, Borda, Cor, Diâmetro, Evolução) para feridas cirúrgicas. Ela calcula cinco subescores (0–2) baseados em métricas de imagem (ex: solidez do contorno, variância de Laplacian, classificação de cor HSV) para gerar um escore total (0–10).

  • Mapeamento de Veredito: Escores 0–1 mapeiam para PASS (Autonomia total), 2 mapeia para CAUTION (Velocidade reduzida, confirmação por movimento) e 3+ mapeia para FAIL (Estado de espera, exigindo "CONFIRM" manual para retomar).

• Níveis de Autonomia:

  • Full (Total): Teleoperação padrão.
  • Reduced (Reduzida): Executa comandos a 50% da velocidade com confirmação obrigatória do operador para cada movimento.
  • Hold (Espera): Congela o braço até que o operador digite explicitamente "CONFIRM".

• Evolução da Segmentação:

  • Abordagem Original: Utilizava limiarização adaptativa em tons de cinza. Isso falhou significativamente, focando em pontos de sutura em vez do corpo da ferida devido a problemas de contraste local em tecido uniforme.
  • Abordagem de Substituição: Implementou uma segmentação de distância de cor HSV global. Ela amostra a cor do fundo a partir dos cantos da imagem, computa a distância euclidiana de cada pixel em relação à mediana do fundo, aplica binarização de Otsu e utiliza operações morfológicas para remover artefatos de sutura.

Principais Contribuições

1. Pipeline Executável: Um grafo ROS2 de quatro nós que acopla a percepção da ferida ao controle de autonomia do braço com separação clara por tópicos. A arquitetura permite que os nós de percepção e controle sejam substituídos independentemente.
2. Validação Empírica de Falha e Correção: O artigo documenta um modo de falha específico onde o método de segmentação inicial alcançou apenas 6,7% de precisão em um benchmark sintético porque segmentou suturas em vez de feridas. Detalha a implementação e validação de um método de segmentação substituto que melhorou a precisão para 64,4%.
3. Template Educacional: Um exemplo compacto (<700 linhas de Python) de um loop de percepção-para-atuação com controle de operador no loop, adequado para educação em ROS2 e pesquisa em robótica.

Resultos
O sistema foi avaliado em um benchmark sintético de 45 imagens (15 imagens cada para as classes "Saudável", "Preocupante" e "Crítica") gerado por um script determinístico.

• Pipeline Original: Alcançou 6,7% (3/45) de precisão de veredito de três classes. A matriz de confusão mostrou nenhuma estrutura diagonal consistente; o método falhou em identificar feridas saudáveis, frequentemente classificando-as como "preocupantes" ou "críticas" devido à detecção de anéis de sutura.
• Pipeline de Substituição: Alcançou 64,4% (29/45) de precisão.
  • Classe Saudável: 14/15 identificadas corretamente.
  • Classe Crítica: 15/15 identificadas corretamente.
  • Classe Preocupante: 0/15 identificadas corretamente (todas classificadas como "Saudável").
• Análise de Falha Residual: Os autores atribuem a falha ao classificar feridas "Preocupantes" aos limiares ABCDE. Esses limiares foram ajustados manualmente contra as distribuições produzidas pela segmentação defeituosa. Consequentemente, eles não discriminam as distribuições produzidas pela segmentação funcional (ex: feridas "Preocupantes" agora possuem valores de solidez altos que disparam um veredito "PASS"). O artigo observa que a recalibração é necessária, mas adia isso para evitar o overfitting ao pequeno benchmark.

Significância e Alegações
O artigo afirma explicitamente que o Surgical Vision ROS2 não é uma ferramenta clínica. Não foi testado em dados de pacientes, nem validado em um braço robótico físico. Sua significância reside em:

• Utilidade de Pesquisa: Fornecer um template de código aberto para pesquisadores acoplarem qualquer sinal de percepção a um braço movido pelo MoveIt2 para teleoperação de autonomia variável.
• Valor Educacional: Demonstrar uma arquitetura desacoplada, baseada em tópicos, para controle condicionado pela percepção.
• Transparência Metodológica: Oferecer um estudo de caso claro de como uma falha específica de segmentação (focar em suturas) pode causar uma falha total no sistema, e como uma mudança metodológica (distância de cor global) pode resolver isso, enquanto destaca que corrigir apenas a segmentação é insuficiente sem recalibrar os limiares de decisão a jusante.

Os autores concluem que, embora o pipeline funcione como um framework de simulação e pesquisa, trabalhos futuros (benchmarks maiores, recalibração de limiares e testes em imagens não sintéticas) são necessários antes que qualquer relevância clínica possa ser considerada.