Towards Safer Robot-Assisted Surgery: A Markerless Augmented Reality Framework

Resumo Técnico: Rumo a uma Cirurgia Assistida por Robô Mais Segura: Um Framework de Realidade Aumentada Sem Marcadores

Declaração do Problema
A cirurgia assistida por robô (RAS) oferece melhores resultados para os pacientes, mas enfrenta desafios significativos de segurança, particularmente o sangramento intraoperatório causado pela colisão acidental de instrumentos cirúrgicos com vasos sanguíneos delicados. Embora a Realidade Aumentada (AR) tenha o potencial de melhorar o desempenho do cirurgião ao sobrepor modelos pré-operatórios (derivados de TC/RM) às visualizações intraoperatórias, as implementações atuais sofrem de limitações críticas. Os métodos existentes frequentemente dependem de alinhamento manual, marcadores pré-instalados ou hardware externo (ex: ultrassom, projetores), o que dificulta a aplicação em tempo real e a generalização. Além disso, localizar com precisão tecidos moles no espaço 3D para registrar modelos pré-operatórios sem auxílios externos continua sendo um desafio complexo.

Metodologia
Os autores propõem um framework de realidade aumentada sem marcadores integrado ao da Vinci Research Kit (dVRK). O sistema opera sem marcadores ou dispositivos externos, baseando-se exclusivamente em vídeo endoscópico estéreo e redes neurais avançadas. A metodologia consiste em quatro estágios primários:

1. Calibração do Sistema: O framework utiliza a cinemática do dVRK e realiza três etapas de calibração:

   • Calibração da Câmera: Utilizando o método de Zhang para determinar parâmetros intrínsecos e extrínsecos para retificação de imagem.
   • Calibração Hand-Hand (Mão-Mão): Estabelecendo a transformação rígida entre os efetores terminais esquerdo e direito usando o método de Horn.
   • Calibração Hand-Eye (Mão-Olho): Determinando a transformação entre o efetor terminal esquerdo e a câmera esquerda usando RANSAC.

2. Reconstrução e Segmentação Intraoperatória:

   • Reconstrução Estéreo: O par de imagens estéreo é retificado e redimensionado (1920×1080 para 640×360). Uma rede de reconstrução estéreo estima um mapa de disparidade, que é convertido em uma nuvem de pontos 3D usando a linha de base da câmera e a distância focal.
   • Segmentação: Uma rede de segmentação processa a imagem retificada esquerda para gerar uma máscara binária distinguindo o vaso sanguíneo do fundo.
   • Geração 3D: Os pixels de disparidade correspondentes ao vaso sanguíneo segmentado são reprojetados no espaço 3D para reconstruir a nuvem de pontos do vaso sanguíneo intraoperatório.
   • Seleção de Modelo: Os autores avaliaram 14 redes de reconstrução estéreo e 8 redes de segmentação. O HSM [14] foi selecionado para estimativa de profundidade devido ao seu equilíbrio entre precisão e velocidade de inferência, enquanto o UNet [23] foi escolhido para segmentação com base em seu desempenho confiável no ambiente de fantoma específico.

3. Registro:

   • Um modelo 3D pré-operatório (criado no Blender para este estudo) é registrado à nuvem de pontos intraoperatória reconstruída.
   • O processo emprega um registro global usando RANSAC para o alinhamento inicial, seguido por um registro local usando o algoritmo de Ponto Mais Próximo Iterativo (ICP) para refinamento.

4. Detecção de Distância e Visualização:

   • O sistema calcula a distância mínima entre os instrumentos cirúrgicos (modelados como cilindros com base na cinemática) e o vaso sanguíneo reconstruído usando uma busca rápida de k-vizinhos mais próximos (k-nearest-neighbor).
   • Visualização AR: O modelo pré-operatório é sobreposto às imagens endoscópicas.
   • Feedback de Segurança: Dois medidores exibem a distância mínima para os instrumentos esquerdo e direito. A cor do modelo sobreposto muda dinamicamente com base na menor distância (ex: tornando-se vermelho para proximidade de alto risco) para alertar o cirurgião.

Principais Contribuições

1. Framework de AR Sem Marcadores: Um novo sistema que visualiza modelos pré-operatórios e detecta distâncias mínimas entre instrumentos e vasos sanguíneos sem depender de alinhamento manual, marcadores pré-instalados ou hardware externo.
2. Avaliação Abrangente de Redes: Uma comparação sistemática de redes de reconstrução estéreo e segmentação de última geração para identificar a combinação ideal para a recuperação 3D rápida e precisa de vasos sanguíneos em cenas médicas.
3. Estudo de Usabilidade com Seres Humanos: Um estudo de validação envolvendo dez sujeitos humanos realizando uma linfadenectomia assistida por robô simulada na plataforma dVRK, comparando visualizações endoscópicas padrão com as visualizações assistidas por AR propostas.

Resultos

• Desempenho do Framework: O pipeline completo processa quadros a aproximadamente 6,91 FPS (0,1448s por quadro), fornecendo feedback visual suave. Os erros de calibração foram mínimos (ex: erro de registro $E_{regis} \approx 0,43$ cm).
• Descobertas do Estudo de Usabilidade:
  • Melhoria na Segurança: Com a assistência de AR, a distância mínima ($D_{min}$) entre instrumentos e vasos aumentou significavelmente de 0,0472 cm para 0,1864 cm ($p=0,0098$).
  • Redução de Colisões: O número de colisões ($N_c$, definida como distância < 0,5 cm por >1s) diminuiu de 23,8 para 13,7 ($p=0,0077$).
  • Sem Carga Adicional: Não houve diferenças estatisticamente significativas no caminho de movimento geral ($Sp$) ou no tempo de execução ($T_{exe}$), indicando que o framework não introduz um fardo físico ou cognitivo extra.
  • Satisfação do Usuário: A pontuação da Escala de Usabilidade do Sistema (SUS) melhorou de 66 (Controle) para 73 (Experimento), com uma diferença significativa ($p=0,0104$).

Significância e Alegações
O artigo afirma que o framework proposto aumenta com sucesso a segurança cirúrgica ao fornecer feedback visual em tempo real sobre a proximidade instrumento-vaso, reduzindo efetivamente os riscos de colisão sem comprometer a eficiência operacional. Os autores enfatizam que a independência do sistema em relação a dispositivos específicos ou hardware externo o torna altamente generalizável para outras plataformas robóticas e tarefas cirúrgicas.

O estudo reconhece limitações, incluindo a modelagem cilíndrica simplificada de diversos instrumentos cirúrgicos e o uso de um ambiente de fantoma (laboratório seco) em vez de tecidos de pacientes in vivo complexos e dinâmicos. No entanto, os autores postulam que o framework oferece uma base flexível para integrar AR na robótica médica para prevenir sangramento intraoperatório, uma complicação de alto risco. Sugere-se que trabalhos futuros explorem dispositivos virtuais (feedback de força) para complementar os atuais mecanismos de feedback visual.