Embodied AI in the Operating Room: A Voice-Interactive Robotic Scrub Technician for Surgical Instrument Handoffs

Resumo Técnico: IA Incorporada na Sala de Operações

Definição do Problema
A robótica cirúrgica atual depende amplamente da teleoperação humana direta, o que limita sua capacidade de perceber, raciocinar e interagir autonomamente dentro de ambientes dinâmicos de sala de operações (SO). Embora o papel do técnico de instrumentação seja crítico para manter o fluxo operatório por meio de trocas coordenadas de instrumentos, ele exige reconhecimento visual complexo, compreensão contextual e interação em tempo real que os sistemas automatizados existentes têm dificuldade em replicar. Sistemas robóticos de instrumentação anteriores focaram primariamente na entrega unidirecional de instrumentos usando visão baseada em regras ou layouts fixos, carecendo da capacidade de realizar trocas bidirecionais (entrega e recolhimento) ou de se recuperar de interferências sem a reinicialização total da tarefa.

Metodologia
Os autores desenvolveram uma plataforma robótica de instrumentação interativa por voz, projetada para executar entregas e recolhimentos de instrumentos cirúrgicos utilizando um modelo de Visão-Linguagem-Ação (VLA).

• Arquitetura do Sistema: O sistema utiliza uma plataforma robótica bimanual integrada com observações de múltiplas câmeras em tempo real. A arquitetia central de aprendizado é baseada no modelo pré-treinado π0.5 (desenvolvido pela Physical Intelligence), que foi ajustado (fine-tuned) de ponta a ponta em um conjunto de dados personalizado.
• Coleta de Dados: O modelo foi treinado via aprendizado por imitação usando 350 demonstrações teleoperadas por humanos. Esses episódios capturaram observações de vídeo sincronizadas, comandos de voz do cirurgião e ações de junta do robô para tarefas de entrega e recolhimento de instrumentos.
• Interface de Voz: Para permitir a interação natural, o sistema integra o Whisper large-v2 para reconhecimento automático de fala (ASR) e a API Cartesia para síntese de texto para fala (TTS). Isso permite que os cirurgiões emitam comandos verbais (ex: "me entregue a pinça") e recebam confirmações audíveis do robô.
• Fluxo de Trabalho: O pipeline autônomo consiste em quatro estágios:
  1. Interpretação de Comando: Transcrição de fala para texto.
  2. Localização de Instrumento: Identificação do instrumento solicitado em uma configuração de bandeja variável.
  3. Preensão Robótica: Aquisição de uma preensão segura.
  4. Entrega/Recolhimento: Transporte do instrumento para a mão do cirurgião ou retorno à bandeja.
• Protocolo de Avaliação: O sistema foi testado em um ambiente de SO simulado ao longo de 100 tentativas autônomas envolvendo cinco tarefas: entrega de porta-agulhas, entrega de pinça, entrega de agulha e sutura, recolhimento de porta-agulhas e recolhimento de pinça. Cada tarefa incluiu 10 tentativas com configurações de bandeja "vistas" (presentes no treinamento) e 10 com configurações "não vistas" (held-out).

Principais Resultados

• Desempenho Geral: O sistema alcançou uma taxa de sucesso end-to-end de 81% (81/100 tentativas) com um tempo médio de conclusão de 7,1 ± 1,4 segundos para as tentativas bem-sucedidas.
• Sucesso por Tarefa:
  • Tarefas de Recolhimento: Altamente confiáveis, com 95% de sucesso tanto para o recolhimento de porta-agulhas quanto de pinças.
  • Tarefas de Entrega: A entrega de pinça obteceu sucesso em 85% das tentativas; a entrega de porta-agulhas em 80%; a entrega de agulha e sutura em 50%.
• Generalização: O desempenho caiu quando testado em configurações de bandeja não vistas (held-out), diminuindo de 92% de sucesso em layouts vistos para 70% em layouts não vistos. O declínio foi mais pronunciado nas tarefas de entrega (caindo de 86,7% para 56,7%), enquanto o desempenho de recolhimento permaneceu relativamente estável (100% para 90%).
• Análise por Estágio: A interpretação do comando de voz foi bem-sucedida em 99% das tentativas. Uma vez que uma preensão segura foi alcançada, a manipulação subsequente (transporte, orientação, liberação) teve sucesso em 81 de 82 tentativas, indicando que o principal ponto de falha é a localização visual e a aquisição da preensão, e não a execução da trajetória.
• Modos de Falha: O modo de falha predominante foi a falha na preensão (missed grasp) (57,9% das falhas), seguido por timeouts de política (21,1%) e seleção incorreta de instrumento (10,5%). Não houve falhas envolvendo preensões instáveis, má orientação final ou paradas de segurança que exigissem terminação de emergência.

Principais Contribuições

1. Política Bidirecional Unificada: Diferente de sistemas anteriores focados apenas na entrega, este trabalho demonstra uma única política aprendida capaz de tanto entregar quanto recuperar instrumentos (recolhimento), refletindo o ciclo completo das funções de um técnico de instrumentação.
2. IA Incorporada Interativa por Voz: A integração de ASR e TTS cria um loop de comunicação multimodal onde o robô reconhece comandos verbalmente, tornando sua intenção observável para a equipe cirúrgica.
3. Ajuste Fino End-to-End: O estudo utiliza o modelo base π0.5 ajustado diretamente em dados teleoperados, evitando a necessidade de módulos separados de detecção ou segmentação anotados manualmente, como exigido por abordagens anteriores (ex: RoboNurse-VLA).
4. Capacidades de Recuperação: O sistema demonstrou a capacidade de se recuperar de interferências e falhas de execução sem a reinicialização completa da tarefa, adaptando suas ações com base em observações visuais atualizadas.

Significância e Alegações
Os autores posicionam este trabalho como uma prova de conceito demonstrando que a IA incorporada pode realizar a troca de instrumentos cirúrgicos condicionada por voz e bidirecional. O estudo alega que a principal limitação dos sistemas atuais reside na aquisição da preensão (particularmente para alvos pequenos e complexos como agulhas com suturas) e na generalização para configurações espaciais não vistas, em vez da execução de trajetórias após a preensão ser estabelecida.

O artigo afirma que esta plataforma representa um passo inicial em direção a parcerias co-adaptativas entre humanos e máquinas na SO. Enfatiza que a tecnologia é destinada a ser assistiva, e não substitutiva, visando reduzir a carga de trabalho e melhorar a coordenação em trocas repetitivas, enquanto o pessoal humano retém a responsabilidade pela esterilidade, julgamento clínico e gestão de eventos inesperados. Os autores concluem que, embora o sistema mostre uma generalização significativa, a tradução clínica requer expansão dos dados de treinamento, avaliação de fluxo de trabalho realista e validação rigorosa de segurança antes da integração no gerenciamento completo da mesa cirúrgica.