Embodied AI in the Operating Room: A Voice-Interactive Robotic Scrub Technician for Surgical Instrument Handoffs

기술 요약: 수술실 내 체화된 AI (Embodied AI)

문제 정의
현재의 수술 로봇은 주로 직접적인 인간의 원격 조종(teleoperation)에 의존하고 있으며, 이로 인해 역동적인 수술실(OR) 환경 내에서 자율적으로 인지, 추론 및 상호작용하는 능력이 제한된다. 스크럽 간호사(scrub technician)의 역할은 조율된 기구 교환을 통해 수술 흐름을 유지하는 데 매우 중요하지만, 이는 복잡한 시각적 인식, 맥락적 이해, 그리고 실시간 상호작용을 필요로 하며 기존의 자동화 시스템은 이를 재현하는 데 어려움을 겪고 있다. 이전의 로봇 스크럽 시스템은 주로 규칙 기반 비전이나 고정된 레이아웃을 사용한 일방향 기구 전달에 집중해 왔으며, 양방향 교환(전달 및 회수)을 수행하거나 전체 작업을 재초기화하지 않고 간섭으로부터 회복하는 능력이 부족했다.

방법론
저자들은 시각-언어-행동(Vision-Language-Action, VLA) 모델을 사용하여 수술 기구의 전달(handoff) 및 회수(take-back)를 수행하도록 설계된 음성 상호작용형 로봇 스크럽 기술자 플랫폼을 개발하였다.

• 시스템 아키텍처: 시스템은 실시간 멀티카메라 관찰 기능이 통합된 양팔 로봇 플랫폼을 활용한다. 핵심 학습 아키텍처는 π0.5(Physical Intelligence 개발) 사전 학습 모델을 기반으로 하며, 커스텀 데이터셋을 통해 엔드 투 엔드(end-to-end)로 미세 조정(fine-tuning)되었다.
• 데이터 수집: 모델은 350회의 인간 원격 조종 데모를 통한 모방 학습(imitation learning)을 통해 훈련되었다. 이 에피소드들은 동기화된 비디오 관찰, 외과의의 음성 명령, 그리고 기구 전달 및 회수 작업을 위한 로봇 관절 동작을 포착하였다.
• 음성 인터페이스: 자연스러운 상호작용을 가능하게 하기 위해, 시스템은 자동 음성 인식(ASR)을 위한 Whisper large-v2와 텍스트 음성 변환(TTS) 합성을 위한 Cartesia API를 통합하였다. 이를 통해 외과의는 음성 명령(예: "포셉을 건네줘")을 내릴 수 있고, 로봇으로부터 음성 확인을 받을 수 있다.
• 워크플로: 자율 파이프라인은 다음의 4단계로 구성된다:
  1. 명령 해석: 음성을 텍스트로 전사.
  2. 기구 위치 파악: 가변적인 트레이 구성 내에서 요청된 기구 식별.
  3. 로봇 파지(Grasping): 안정적인 파지 확보.
  4. 전달/회수: 기구를 외과의의 손으로 운반하거나 트레이로 다시 가져감.
• 평가 프로토콜: 시스템은 5가지 작업(니들 드라이버 전달, 포셉 전달, 니들 및 봉합사 전달, 니들 드라이버 회수, 포셉 회수)을 포함하여 100회의 자율 시험을 통해 시뮬레이션된 수술실 환경에서 테스트되었다. 각 작업은 '학습된(seen)' 트레이 구성(훈련에 포함됨) 10회와 '미학습(held-out)' 구성(훈련 중 보지 못한 구성) 10회로 구성되었다.

주요 결과

• 전반적인 성능: 시스템은 81%의 엔드 투 엔드 성공률(100회 중 81회 성공)과 성공적인 시험의 평균 완료 시간 7.1 ± 1.4초를 달성하였다.
• 작업별 성공률:
  • 회수(Take-back) 작업: 매우 신뢰도가 높았으며, 니들 드라이버와 포셉 회수 모두에서 95%의 성공률을 보였다.
  • 전달(Handoff) 작업: 포셉 전달은 85%, 니들 드라이버 전달은 **80%**의 성공률을 보였으며, 니들 및 봉합사 전달은 **50%**를 기록했다.
• 일반화 능력: 학습되지 않은 트레이 구성에서 테스트했을 때 성능이 하락하였는데, '학습된' 레이아웃에서의 92% 성공률에서 '미학습' 레이아웃에서는 **70%**로 감소하였다. 성능 저하는 전달 작업에서 가장 두드러졌으며(86.7%에서 56.7%로 하락), 회수 성능은 상대적으로 안정적이었다(100%에서 90%로).
• 단계별 분석: 음성 명령 해석은 **99%**의 시험에서 성공하였다. 일단 안정적인 파지가 이루어지면, 다운스트림 조작(운반, 방향 설정, 해제)은 82회 중 81회 성공하였으며, 이는 주요 실패 지점이 궤적 실행이 아니라 시각적 위치 파악 및 파지 획득임을 나타낸다.
• 실패 모드: 주요 실패 모드는 파지 실패(missed grasp)(실패의 57.9%)였으며, 그 뒤를 이어 정책 타임아웃(21.1%)과 잘못된 기구 선택(10.5%)이 따랐다. 불안정한 파지, 부적절한 최종 방향, 또는 긴급 종료를 요구하는 안전 정지와 관련된 실패는 없었다.

주요 기여

1. 통합 양방향 정책: 단방히 전달에만 집중했던 기존 시스템과 달리, 본 연구는 기구 전달과 회수를 모두 수행할 수 있는 단일 학습 정책을 입증함으로써 스크럽 기술자의 업무 전체 루프를 반영하였다.
2. 음성 상호작용형 체화된 AI: ASR과 TTS의 통합은 로봇이 명령을 음성으로 확인하여 의도를 의료진에게 가시화하는 다중 모달 통신 루프를 생성한다.
3. 엔드 투 엔드 미세 조정: 본 연구는 (RoboNurse-VLA와 같은) 기존 방식에서 요구되는 별도의 수동 주석 기반 탐지 또는 세그멘테이션 모듈 없이, 원격 조종 데이터를 통해 직접 미세 조정된 π0.5 파운데이션 모델을 활용한다.
4. 회복 능력: 시스템은 완전한 작업 재초기화 없이도 간섭과 실행 실패로부터 회복할 수 있는 능력을 보여주었으며, 업데이트된 시각적 관찰을 바탕으로 행동을 조정하였다.

의의 및 주장
저자들은 본 연구를 체화된 AI가 음성 조건부의 양방향 수술 기구 교환을 수행할 수 있음을 보여주는 **개념 증명(proof-of-concept)**으로 규정한다. 연구는 현재 시스템의 주요 한계가 궤적 실행의 문제가 아니라, 파지 획득(특히 바늘과 봉합사 같은 작고 복잡한 대상의 경우) 및 미학습 공간 구성에 대한 일반화에 있다고 주장한다.

본 논문은 이 플랫폼이 수술실 내 **공진화적 인간-기계 파트너십(co-adaptive human-machine partnerships)**을 향한 초기 단계라고 단언한다. 저자들은 이 기술이 대체가 아닌 보조를 목적으로 하며, 의료진이 멸균 상태, 임상적 판단, 예기치 못한 상황 관리에 대한 책임을 유지하는 동안 반복적인 교환 업무의 부하를 줄이고 조율을 개선하는 것을 목표로 한다고 강조한다. 저자들은 결론적으로, 시스템이 유의미한 일반화 능력을 보여주기는 하나, 완전한 백 테이블(back-table) 관리에 통합되기 위해서는 더 확장된 훈련 데이터, 현실적인 워크플로 평가, 그리고 엄격한 안전 검증이 필요하다고 밝혔다.