Give me scissors: Collision-Free Dual-Arm Surgical Assistive Robot for Instrument Delivery

Este artigo apresenta um robô cirúrgico assistivo de dois braços que utiliza um modelo visão-linguagem para gerar trajetórias de entrega de instrumentos sem disparos e um framework de programação quadrática para garantir movimentos reativos livres de colisões em ambientes dinâmicos, alcançando uma taxa de sucesso de 83,33% em validações experimentais.

O essencial

Imagine que você está assistindo a uma cirurgia. O cirurgião é o maestro, mas ele precisa de ajuda constante. O "instrumentista" (a enfermeira que passa os instrumentos) é como um assistente que corre de um lado para o outro, pegando tesouras, bisturis e pinças e entregando-os na hora certa. Isso cansa muito, pode causar erros e, se a equipe estiver pequena, o cirurgião pode ficar sem o que precisa.

Os cientistas criaram um robô de dois braços para ser esse novo assistente. Mas, em vez de ser um robô "burro" que só segue um roteiro pré-gravado (como um robô de linha de montagem), este é um robô inteligente e ágil.

Aqui está como ele funciona, explicado de forma simples:

1. O Cérebro: O Robô que "Entende" a Fala

Imagine que o cirurgião diz: "Me passa a tesoura".
Em robôs antigos, você teria que programar exatamente onde a tesoura está e como o robô deve se mover. Se a tesoura estivesse um centímetro mais para a esquerda, o robô falharia.

Neste novo sistema, o robô usa uma Inteligência Artificial muito avançada (chamada Modelo de Linguagem Visual). É como se o robô tivesse olhos e ouvidos humanos.

• Ele ouve o que o cirurgião diz.
• Ele vê a mesa de instrumentos com uma câmera.
• Ele entende o contexto: "Ah, o médico pediu tesoura, vou procurar o objeto que parece uma tesoura na mesa".
  Ele não precisa de um manual de instruções. Ele "adivinha" (de forma inteligente) onde pegar e para onde levar, mesmo que a cena mude.

2. O Corpo: O Dançarino que Não Bate em Ninguém

Aqui está o desafio mais difícil: a sala de cirurgia é um lugar cheio de gente e coisas. O robô tem dois braços longos e precisa se mover rápido sem bater:

• No cirurgião.
• Na mesa de instrumentos.
• E, o mais importante, em si mesmo (um braço não pode bater no outro).

Pense no robô como um dançarino de balé em uma sala cheia de pessoas. Se ele estivesse seguindo um roteiro fixo, ele poderia tropeçar em alguém que se moveu. Mas este robô tem um "sentido de perigo" em tempo real.

• O Radar Invisível: O robô usa uma câmera para ver tudo ao redor como uma nuvem de pontos (como se fosse um mapa 3D feito de luz).
• O Filtro de Segurança: Existe um "guardião" matemático (chamado de Programação Quadrática) que vigia o robô 40 vezes por segundo. É como um pai que segura a mão do filho na rua: se o robô vai bater em algo, o "guardião" ajusta o movimento instantaneamente para desviar, mas sem parar a dança.
• O Resultado: O robô desvia de obstáculos de forma suave, como um rio que contorna uma pedra, em vez de bater e parar.

3. A Prova de Fogo: O Teste Real

Os cientistas colocaram o robô à prova em um cenário real (simulado e depois com pessoas).

• O Desafio: O robô tinha que pegar 4 tipos de instrumentos diferentes (bisturi, pinça, tesoura, hemostato) e entregar ao cirurgião, às vezes dois de uma vez.
• O Resultado: O robô teve 83,33% de sucesso. Isso significa que, na maioria das vezes, ele pegou o instrumento certo, não bateu em ninguém e entregou na mão do médico.
• Onde ele errou? Às vezes, ele confundiu a tesoura com o hemostato (porque são parecidos) ou teve dificuldade em pegar instrumentos muito finos e escorregadios sobre a mesa. Mas, o mais importante: ele nunca bateu em ninguém.

Resumo da Ópera

Este robô é como um assistente pessoal super-esperto e super-ágil.

1. Ele ouve o que você pede.
2. Ele vê o mundo ao redor.
3. Ele planeja o caminho sozinho (sem roteiro fixo).
4. Ele tem um instinto de autopreservação que o impede de bater em você ou em si mesmo, mesmo que você se mova de repente.

O objetivo final é tirar o peso das costas da enfermeira, permitindo que ela foque no que realmente importa, enquanto o robô faz o trabalho repetitivo de passar os instrumentos com segurança e precisão.

Resumo técnico

1. Problema e Motivação

O papel de enfermeiro circulante (scrub nurse) em cirurgias é vital, mas envolve tarefas repetitivas e mecanizadas, como a entrega de instrumentos cirúrgicos. Isso pode levar à fadiga física, diminuição do foco e erros, além de reduzir a eficiência da equipe em unidades com escassez de pessoal.
Embora existam robôs assistivos, as soluções atuais apresentam limitações críticas:

• Dependência de trajetórias pré-definidas: Isso limita a generalização em ambientes dinâmicos e complexos.
• Riscos de segurança: A ausência de capacidades de evasão de obstáculos em tempo real coloca em risco o ambiente cirúrgico dinâmico.
• Falta de autonomia: A necessidade de pré-configuração de categorias de instrumentos e caminhos de entrega reduz a adaptabilidade.

O objetivo deste trabalho é desenvolver um robô cirúrgico assistivo de dois braços capaz de entregar instrumentos de forma autônoma, segura e sem colisões, adaptando-se a instruções naturais do cirurgião e a um ambiente não estruturado.

2. Metodologia

O sistema proposto integra percepção visual, planejamento de tarefas baseado em modelos de linguagem e controle de movimento reativo. O fluxo de trabalho é dividido em três componentes principais:

A. Percepção de Obstáculos em Tempo Real

Para evitar colisões sem o uso de marcadores visuais ou modelagem prévia do ambiente:

• Modelagem Geométrica: O robô é aproximado por um modelo de cápsulas para acelerar a detecção de colisões.
• Filtragem de Nuvem de Pontos: Pontos pertencentes ao próprio robô são filtrados da nuvem de pontos do ambiente para evitar interferência na detecção de obstáculos externos.
• Rede Neural de Predição de Distância: Uma rede neural (MLP) é utilizada para prever a distância mínima ($\hat{d}_{env}$) entre o robô e os obstáculos, bem como o gradiente dessa distância. Isso permite um cálculo rápido e diferenciável, essencial para o controle em tempo real.

B. Framework de Controle Reativo (Programação Quadrática - QP)

Um framework unificado de Programação Quadrática (QP) atua como um filtro de segurança, garantindo que o movimento do robô satisfaça múltiplas restrições simultaneamente:

• Objetivos de Movimento: Minimizar a diferença entre a velocidade cartesiana desejada e a velocidade atual, além de manter a configuração das juntas próxima ao objetivo desejado.
• Restrições de Colisão com Obstáculos: Utiliza a distância prevista pela rede neural e um limite de segurança ($\lambda$) para forçar o robô a se afastar de obstáculos quando a distância for crítica.
• Restrições de Auto-colisão: Similar à colisão com obstáculos, mas foca na distância mínima entre os dois braços do robô ($\hat{d}_{self}$), garantindo que eles não colidam entre si.
• Limites de Juntas e Velocidade: Garante que o movimento permaneça dentro das capacidades físicas do robô.

C. Planejamento de Tarefas com Modelos de Linguagem Visuais (VLM)

Para eliminar a necessidade de pré-definição de caminhos:

• Entrada Multimodal: O sistema recebe instruções de voz do cirurgião (texto) e dados visuais (imagens RGB e profundidade).
• Geração de Sub-objetos: Um VLM (como o GPT-4o) interpreta as instruções e as características visuais dos instrumentos.
• Pontos Chave (Keypoints): Utiliza-se o modelo DINOv2 para extração de características e o SAM (Segment Anything Model) para segmentação. Pontos-chave 3D são gerados para os instrumentos e para a mão do cirurgião.
• Tradução para Ação: O VLM mapeia as instruções semânticas para objetivos de movimento (sub-objetos) baseados nesses pontos-chave, que são então convertidos em configurações de juntas desejadas via Cinemática Inversa (IK) para o framework QP.

3. Principais Contribuições

1. Robô Assistivo de Dois Braços Autônomo: Desenvolvimento de um sistema capaz de entregar instrumentos cirúrgicos baseando-se apenas nas instruções do cirurgião e na visão do ambiente, sem necessidade de pré-treinamento ou caminhos fixos.
2. Framework Unificado de Evasão Reativa: Proposta de um framework QP que integra simultaneamente a evasão de obstáculos externos e a prevenção de auto-colisão entre os dois braços, utilizando percepção de distância mínima em tempo real.
3. Validação Experimental Robusta: Demonstração do sistema em cenários do mundo real, alcançando uma taxa de sucesso de 83,33% na entrega de instrumentos com zero colisões.

4. Resultados Experimentais

Os experimentos foram divididos em simulação e cenários do mundo real:

• Simulação de Evasão de Colisões:

  • Comparado com métodos state-of-the-art (DawnIK, CollisionIK, CBF-QP), o método proposto demonstrou o menor tempo de otimização (0,022s) e o menor erro de posição média.
  • Enquanto outros métodos falharam em evitar colisões ou apresentaram oscilações instáveis, o método proposto manteve movimentos suaves e seguros, evitando tanto obstáculos externos quanto auto-colisões.

• Experimento do Mundo Real (Evasão de Obstáculos):

  • Com um cirurgião interagindo fisicamente com o robô (simulando um obstáculo dinâmico), o sistema evitou colisões em 100% dos 10 ensaios.
  • O sistema mostrou menos "jitter" (tremulação) e acelerações mais suaves em comparação ao método CBF-QP.

• Experimento de Entrega de Instrumentos:

  • Foram realizados 30 ensaios com 4 tipos de instrumentos (bisturi, pinça, tesoura e hemostato).
  • Taxa de Sucesso Global: 83,33%.
  • Segurança: Zero colisões registradas em todos os ensaios.
  • Desafios: As falhas ocorreram principalmente na detecção (confusão entre tesoura e hemostato devido à forma similar) e na preensão (instrumentos finos e lisos em superfícies planas), mas o sistema de controle de movimento funcionou perfeitamente.

5. Significado e Conclusão

Este trabalho representa um avanço significativo na robótica cirúrgica ao combinar a inteligência semântica dos Modelos de Linguagem Visuais (VLMs) com a segurança rigorosa de controladores reativos baseados em QP.

• Generalização: Ao eliminar a dependência de trajetórias pré-definidas, o sistema pode adaptar-se a novos instrumentos e configurações de mesa cirúrgica sem reconfiguração manual.
• Segurança Dinâmica: A capacidade de detectar e desviar de obstáculos (incluindo humanos) em tempo real, sem marcadores, torna o sistema viável para ambientes cirúrgicos reais e não estruturados.
• Futuro: O artigo identifica limitações na preensão de objetos finos e na precisão da geração de pontos-chave pelo VLM como áreas para trabalho futuro, sugerindo o uso do VLM como um monitor para correção em malha fechada do planejamento de tarefas.

Em resumo, o sistema "Give me scissors" demonstra a viabilidade de robôs cirúrgicos autônomos que podem entender comandos naturais e operar com segurança em ambientes dinâmicos, potencialmente reduzindo a carga de trabalho da equipe cirúrgica e aumentando a eficiência do procedimento.