Embodied AI in the Operating Room: A Voice-Interactive Robotic Scrub Technician for Surgical Instrument Handoffs

Resumen Técnico: IA Corpórea en el Quirófano

Planteamiento del Problema
La robótica quirúrgica actual depende en gran medida de la teleoperación humana directa, lo que limita su capacidad para percibir, razonar e interactuar de forma autónoma dentro de los entornos dinámicos del quirófano (OR). Si bien el rol del técnico de instrumentación es crítico para mantener el flujo operativo mediante el intercambio coordinado de instrumentos, este requiere una percepción visual compleja, comprensión contextual e interacción en tiempo real que los sistemas automatizados existentes tienen dificultades para replicar. Los sistemas robóticos de instrumentación previos se han centrado principalmente en la entrega unidireccional de instrumentos mediante visión basada en reglas o disposiciones fijas, careciendo de la capacidad de realizar intercambios bidireccionales (entrega y recogida) o de recuperarse de interferencias sin una reinicialización completa de la tarea.

Metodología
Los autores desarrollaron una plataforma de técnico de instrumentación robótico con interacción por voz, diseñada para ejecutar entregas y recogidas de instrumentos quirúrgicos utilizando un modelo de Visión-Lenguaje-Acción (VLA).

• Arquitectura del Sistema: El sistema utiliza una plataforma robótica bimanual integrada con observaciones de cámaras múltiples en tiempo real. La arquitectura de aprendizaje central se basa en el modelo preentrenado π0.5 (desarrollado por Physical Intelligence), el cual fue ajustado (fine-tuned) de extremo a extremo mediante un conjunto de datos personalizado.
• Recolección de Datos: El modelo fue entrenado mediante aprendizaje por imitación utilizando 350 demostraciones teleoperadas por humanos. Estos episodios capturaron observaciones de video sincronizadas, comandos de voz del cirujano y acciones articulares del robot para las tareas de entrega y recogida de instrumentos.
• Interfaz de Voz: Para permitir una interacción natural, el sistema integra Whisper large-v2 para el reconocimiento automático del habla (ASR) y la API de Cartesia para la síntesis de texto a voz (TTS). Esto permite que los cirujanos emitan comandos verbales (por ejemplo, "pásame las pinzas") y reciban acuses de recibo auditivos del robot.
• Flujo de Trabajo: El proceso autónomo consta de cuatro etapas:
  1. Interpretación de Comandos: Transcripción de voz a texto.
  2. Localización de Instrumentos: Identificación del instrumento solicitado en una configuración de bandeja variable.
  3. Agarre Robótico: Adquisición de un agarre seguro.
  4. Entrega/Recogida: Transporte del instrumento a la mano del cirujano o devolución a la bandeja.
• Protocolo de Evaluación: El sistema se probó en un entorno de quirófano simulado a través de 100 ensayos autónomos que involucraron cinco tareas: entrega de portaagujas, entrega de pinzas, entrega de aguja y sutura, recogida de portaagujas y recogida de pinzas. Cada tarea incluyó 10 ensayos con configuraciones de bandeja "vistas" (presentes en el entrenamiento) y 10 con configuraciones "no vistas" (no presentes durante el entrenamiento).

Resultos Clave

• Rendimiento General: El sistema logró una tasa de éxito de extremo a extremo del 81% (81/100 ensayos) con un tiempo medio de finalización de 7.1 ± 1.4 segundos para los ensayos exitosos.
• Éxito por Tarea:
  • Tareas de recogida: Altamente fiables, con un 9% de éxito tanto para la recogida de portaagujas como de pinzas.
  • Tareas de entrega: La entrega de pinzas tuvo éxito en el 85% de los ensayos; la entrega de portaagujas en el 80%; la entrega de aguja y sutura en el 50%.
• Generalización: El rendimiento disminuyó al probarse en configuraciones de bandeja no vistas, descendiendo de un 92% de éxito en diseños vistos a un 70% en diseños no vistos. El descenso fue más pronunciado en las tareas de entrega (cayendo del 86.7% al 56.7%), mientras que el rendimiento de la recogida se mantuvo relativamente estable (100% a 90%).
• Análisis por Etapas: La interpretación de comandos de voz fue exitosa en el 99% de los ensayos. Una vez logrado un agarre seguro, la manipulación posterior (transporte, orientación, liberación) tuvo éxito en 81 de 82 ensayos, lo que indica que el principal punto de falla es la localización visual y la adquisición del agarre, más que la ejecución de la trayectoria.
• Modos de Falla: El modo de falla predominante fue el fallo de agarre (57.9% de las fallas), seguido de tiempos de espera de la política (21.1%) y selección incorrecta de instrumentos (10.5%). No hubo fallas relacionadas con agarres inestables, mala orientación final o paradas de seguridad que requirieran terminación de emergencia.

Contribuciones Clave

1. Política Bidireccional Unificada: A diferencia de los sistemas previos centrados únicamente en la entrega, este trabajo demuestra una política aprendida única capaz tanto de entregar instrumentos como de recuperarlos (recogida), reflejando el ciclo completo de las funciones de un técnico de instrumentación.
2. IA Corpórea con Interacción de Voz: La integración de ASR y TTS crea un bucle de comunicación multimodal donde el robot reconoce los comandos verbalmente, haciendo que su intención sea observable para el equipo quirúrgico.
3. Ajuste Fino de Extremo a Extremo: El estudio utiliza el modelo base π0.5 ajustado directamente sobre datos teleoperados, evitando la necesidad de módulos separados de detección o segmentación anotados manualmente requeridos por enfoques previos (por ejemplo, RoboNurse-VLA).
4. Capacidades de Recuperación: El sistema demostró la capacidad de recuperarse de interferencias y fallos de ejecución sin una reinicialización completa de la tarea, adaptando sus acciones basadas en observaciones visuales actualizadas.

Significancia y Reivindicaciones
Los autores posicionan este trabajo como una prueba de concepto que demuestra que la IA corpórea puede realizar intercambios de instrumentos quirúrgicos condicionados por voz y bidireccionales. El estudio afirma que la limitación principal de los sistemas actuales reside en la adquisición del agarre (particularmente para objetivos pequeños y complejos como agujas con suturas) y la generalización a configuraciones espaciales no vistas, más que en la ejecución posterior de trayectorias una vez asegurado el agarre.

El documento sostiene que esta plataforma representa un primer paso hacia asociaciones co-adaptativas humano-máquina en el quirófano. Enfatiza que la tecnología está destinada a ser asistencial en lugar de sustitutiva, con el objetivo de reducir la carga de trabajo y mejorar la coordinación en intercambios repetitivos, mientras el personal humano retiene la responsabilidad de la esterilidad, el juicio clínico y la gestión de eventos inesperados. Los autores concluyen que, si bien el sistema muestra una generalización significativa, la traslación clínica requiere una expansión de los datos de entrenamiento, una evaluación del flujo de trabajo realista y una validación de seguridad rigurosa antes de su integración en la gestión completa de la mesa de instrumentación.