💻 computer science

Real-Time Multimodal Activity-Aware Error Detection in Robot-Assisted Surgery

본 논문은 비디오, 운동학, 그리고 기술적 텍스트 프롬프트를 통합하여 로봇 보조 수술에서의 실시간 오류 탐지 성능을 대폭 향로하는, 활동 인식형 통합 멀티모달 프레임워크를 제안하며, 이를 통해 최신 베이스라인 대비 최대 16.6%의 F1 스코어 향상을 달성하였습니다.

원저자: Seyed Hamid Reza Roodabeh, Zongyu Li, Homa Alemzadeh

게시일 2026-06-23

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Seyed Hamid Reza Roodabeh, Zongyu Li, Homa Alemzadeh

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇 외과의사를 정교한 작업을 수행하는 숙련되었지만 때로는 서툰 조수(예: 상처를 꿰매는 작업)에 비유해 봅시다. 이 논문의 목표는 이 로봇을 실시간으로 지켜보며, 실수가 환자에게 해를 끼치기 전에 "잠깐, 지금 잘못하고 있어요!"라고 즉시 외칠 수 있는 '스마트 감독관'을 구축하는 것입니다.

연구진이 이 감독관을 어떻게 만들었는지, 쉬운 비유를 통해 설명합니다.

문제점: 기존 시스템의 "사각지대"

이전 시스템들은 단순히 영상을 보거나(CCTV처럼) 로봇의 움직임 기록을 보는 것(피트니스 트래커처럼)만으로 오류를 잡아내려 했습니다.

영상(Video)의 문제: 이는 배우들이 무대 위에서 움직이는 모습만 보고 복잡한 연극을 이해하려는 것과 같습니다. 그들이 '움직였다'는 사실은 알 수 있지만, 왜 움직였는지 혹은 적절한 소품을 들고 있는지까지는 알 수 없습니다.
움직임(Movement)의 문제: 이는 요리사가 칼질을 할 때, 실제로 양파를 썰고 있는지 아니면 테이블을 썰고 있는지는 무시한 채 손의 속도만 보고 요리 실력을 판단하는 것과 같습니다.

연구진은 이러한 기존 방식들이 로봇이 도구로 실제로 무엇을 하고 있는지, 그리고 특정 유형의 실수를 저지르고 있는지와 같은 '세부 사항'을 놓친다는 것을 발견했습니다.

해결책: "다국어"를 구사하는 탐정

연구진은 시각(비디오), 운동(키네마틱스), 설명(텍스트)이라는 세 가지 언어를 동시에 구사하는 탐정과 같은 새로운 시스템을 만들었습니다.

1. "대본" (활동 프롬프팅)

연구진은 컴퓨터에 가공되지 않은 영상을 그대로 입력하는 대신, "대본" 또는 일련의 설명을 제공했습니다. 이것은 탐정에게 다음과 같은 치트 시트를 주는 것과 같습니다:

"외과의사가 바늘을 잡고 있다."
"외과의사가 실을 당기려고 시着 중이다."
"외과의사가 바늘을 떨어뜨리고 있다."

그들은 다양한 버전의 대본을 테스트했습니다. 그 결과, 가장 좋은 "치트 시트"는 단순히 동작(예: "꿰매기")을 나열하는 것이 아니라, 동작과 특정 오류(예: "꿰매고 있지만, 바늘이 미끄러짐")를 결합하는 것이었습니다. 이는 보안 요원이 "누군가 걷고 있다"라고 말하는 것과 "누군가 걷고 있지만 카펫에 걸려 넘어지고 있다"라고 말하는 것의 차이와 같습니다.

2. "감각" (키네마틱스)

시스템은 또한 로봇의 "근육 기억"을 듣습니다. 로봇 팔의 정확한 속도, 위치, 각도를 읽어내는 것입니다.

비유: TV로 무용수를 관찰한다고 상해 봅시다(비디오). 이제 무용수의 근육 긴장도와 발걸음의 정확한 힘까지 느낄 수 있다고 상상해 보세요(키네마틱스). 때때로 무용수는 완벽한 도약을 하는 것처럼 보이지만, 근육의 긴장 상태를 보면 곧 넘어질 것임을 알 수 있습니다. 로봇의 "근육 데이터"는 카메라가 놓칠 수 있는 오류를 잡아내는 데 도움을 줍니다.

3. "스마트 안경" (시각적 임베딩)

팀은 컴퓨터가 영상 속에서 "바늘 잡기"나 "실 당기기"를 자동으로 강조하여 직접 "볼" 수 있도록 가르치는 방법도 시도했습니다.

놀라운 점: 연구진은 "대본"(텍별 프롬프트)이 "스마트 안경"만큼이나, 혹은 그보다 더 효과적이라는 것을 발견했습니다. 이는 매우 중요한데, 왜냐하면 모든 미세한 움직임을 처음부터 인식하도록 컴퓨터를 훈련시키는 것보다 대본을 쓰는 것이 훨씬 쉽고 저렴하기 때문입니다.

결과: 더 많은 실수를 잡아내다

이 새로운 "다국어 탐정"을 두 가지 서로 다른 수술 데이터셋(실험실 시뮬레이션 및 실제 수술 데이터)에 테스트했을 때, 기존의 최선책들보다 유의미하게 우수한 성능을 보였습니다:

실험실 데이터: 오류 탐지율이 약 5% 향위되었습니다.
실제 수술 데이터: 탐지율이 무려 16.6% 향상되었습니다.

이는 불이 크게 났을 때만 울리는 연기 감지기를, 촛불이 위험하게 흔들리는 순간에도 연기를 감지할 수 있는 것으로 업그레이드한 것과 같습니다.

속도와 현실성

이 시스템은 실시간으로 실행될 수 있을 만큼 빠릅니다. 수술의 2초 구간을 처리하는 데 약 36밀리초(ms)가 소요됩니다.

비유: 이는 경기가 끝난 후 몇 시간 뒤에 비디오 판독을 하는 것이 아니라, 경기 중에 즉시 휘슬을 부는 심판처럼 빠릅니다.

한계점 (제약 사항)

논문은 현재 이 기술을 제한하는 몇 가지 사항을 언급했습니다:

"근육" 데이터의 희소성: 이 시스템은 비디오와 로봇의 움직임 데이터를 모두 가질 때 가장 잘 작동합니다. 하지만 대부분의 수술 로봇은 이러한 움직임 데이터를 공개적으로 공유하지 않으므로, 이 "초능력"을 널리 활용하기는 아직 어렵습니다.
수동 대본 작성: "대본"(프롬프트)은 인간에 의해 정교하게 작성되어야 합니다. 시스템은 잘 작동하기 위해 이러한 인간의 설명에 의존합니다.
특정 작업에 국한됨: 이들은 꿰매기(sewing)와 바늘 전달(needle-passing) 작업에 대해 테스트했습니다. 이 기술이 더 혼란스럽거나 다른 유형의 수술에서도 동일하게 잘 작동할지는 아직 알 수 없습니다.

요약하자면: 이 논문은 로봇이 무엇을 하고 있는지에 대한 이야기(텍스트 설명)를 읽도록 컴퓨터를 가르치면서 동시에 움직임을 관찰하게 하면, 단순히 영상만 보는 것보다 훨씬 빠르고 정확하게 수술 오류를 잡아낼 수 있음을 보여줍니다.

문제 정의

로봇 보조 최소 침습 수술(RAMIS)은 수술의 정밀도를 높이지만, 환자의 안전을 보장하기 위해 강력한 기술적 오류 탐지를 필요로 하는 복잡성을 초래합니다. 기존의 자동화된 기술 평가 방법들은 비디오와 운동학적 데이터에 딥러닝을 활용하지만, 수술 절차의 계층 구조 내에서 활동의 미세한 문맥적 설명과 오류 유형을 포착하는 데는 종종 실패합니다. 현재의 실행 오류 탐지 방법들은 대개 미리 정의된 제스처 레이블에 의존하거나, 도구-물체 간의 상호작용 및 구체적인 오류 정의와 같은 보완적인 다중 모달 정보를 간과하는 경 경향이 있습니다. 또한, 최근의 많은 접근 방식들은 오프라인 처리에 국한되어 있거나 실시간 추론을 위해 시각 및 텍스트 모달리티와 함께 운동학적 데이터를 충분히 활용하지 못하고 있습니다.

방법론

저자들은 비디오(RGB), 로봇 운동학, 그리고 기술적 프롬프트라는 세 가지 모달리티를 통합하는 실시간 실행 오류 탐지를 위한 통합 프레임워크를 제안합니다. 이 프레임워크는 슬라이딩 시간 창(sliding time window) 내에서 오류( $y=1$ ) 또는 정상 실행( $y=0$ )을 탐지하는 이진 분류 작업으로 설계되었습니다.

핵심 구성 요소:

활동 프롬프팅(Activity Prompting): 프레임워크는 다단계 수술 문맥을 텍스트 설명으로 인코딩하는 "활동 프롬프팅"을 도입합니다. 이 프롬프트들은 다음을 포함합니다:
- 제스처(Gestures): 고수준의 수술 동작 (예: "바늘을 집어 올리기").
- 도구-물체 상호작용(Instrument-Object Interactions): 어떤 그리퍼가 특정 물체(예: 바늘, 실, 조직)를 잡거나 접촉하고 있는지 설명하는 저수준의 문맥 상태.
- 오류 정의(Error Definitions): 실패 모드에 대한 명시적 설명 (예: "바늘 떨어뜨림", "시야에서 벗어남").
- 결합된 프롬프트(Combined Prompts): "제스처 + 오류" 또는 "상호작용 + 오류"와 같이 특정 실패 문맥을 포착하기 위한 조합.
  이러한 프롬프트들은 CLIP 텍스트 인코더를 통해 처리되어 활동 임베딩을 생성합니다.
활동 인식 시각 임베딩(Activity-Aware Visual Embeddings): 텍스트 프롬프트의 대안으로서, 저자들은 수술 활동 레이블(제스처 또는 상호작용 상태)로 사전 학습된 비전 인코더(ResNet50)로부터 특징을 직접 추출하는 방법을 탐구합니다. 이는 활동 수준의 정보를 본질적으로 포함하는 프레임당 임베딩을 생성합니다.
다중 모달 퓨전 아키텍처(Multimodal Fusion Architecture):
- 시각적 특징 추출: 비디오 프레임은 ResNet50 백본을 통해 처리됩니다.
- 운동학 퓨전(Kinematics Fusion): 운동학 데이터(위치, 속도, 그리퍼 각도)는 비디오 임베딩과 동일한 특징 공간으로 투영된 후 결합됩니다.
- 문맥화(Contextualization): 트랜스포머 기반의 교차 주의(cross-attention) 메커니즘은 공간적 특징(비디오/운동학)을 활동 정보(텍text 프롬프트 또는 사전 학습된 시각 임베딩)와 융합합니다.
- 시간적 모델링(Temporal Modeling): 시간적 합성곱 네트워크(TCN)는 윈도우 전체에 걸쳐 공간적 입력을 요약하며, 이는 최종 오류 확률을 생성하기 위해 정제된 활동 임베딩과 융합됩니다.

프레임워크는 세 가지 특정 설정을 평가합니다:

(a) 활동 프롬프팅 (Img+Txt): 활동 문맥을 위해 CLIP 텍스트 임베딩을 사용합니다.
(b) 활동 운동학 퓨전 (Img+Txt+Kin): 텍스트 프롬프트 설정에 운동학 데이터를 추가합니다.
(c) 활동 인식 시각 임베딩 (Img+Label): 텍스트 프로프트를 활동 레이블로 사전 학습된 비전 인코더의 임베딩으로 대체합니다.

주요 기여

통합 다중 모달 프레임워크: 비디오, 운동학, 그리고 큐레이션된 텍스트 프롬프트를 원활하게 통합하여 실시간 오류 탐지를 수행하는 시스템을 제시합니다.
활동 프롬프팅 및 임베딩: 제스처, 상호작용, 오류 설명을 통합하는 활동 프롬프팅을 도입하고, 이러한 프로프가 사전 학습된 모델에서 유도된 활동 인식 시각 임베딩과 비교하여 어떤 성능을 보이는지에 대한 비교 연구를 수행합니다.
운동학적 통합: 미세한 움직임 편차를 포착하기 위해 비디오 및 텍스트 모달리티와 운동학 데이터를 융합하는 것의 이점을 입증합니다.
성능 향상: 제안된 프레임워크는 두 개의 주요 데이터셋에서 기존의 최첨단(SOTA) 베이스라인 대비 유의미한 개선을 달究했습니다.

실험 결과

방법론은 JIGSAWS(건식 실험실) 및 SAR-RARP50(생체 내 실험) 데이터셋을 사용하여 각각 LOSO(Leave-One-Supertrial-Out) 및 표준 훈련/테스트 분할 방식으로 평가되었습니다.

JIGSAWS 데이터셋:
- Gesture+Error 프롬프트를 사용한 Activity Kinematics Fusion 설정이 0.760의 가장 높은 F1 점수를 달성했습니다.
- 이는 SOTA인 CoG 베이스라인 및 ResNet 전용 베이스라인보다 5% 향상된 수치입니다.
- 최상의 텍스트 프롬프트 모델(Gesture+Error)에 운동학 데이터를 추가했을 때 F1 점수가 0.745에서 0.760으로 향상되었습니다.
- Activity Prompting(Gesture+Error)은 Activity-Aware Visual Embeddings보다 우수한 성능을 보였으며, 이는 큐레이션된 텍스트 프롬프트가 밀집된 프레임 수준의 활동 사전 학습을 요구하는 모델과 대등하거나 이를 능가할 수 있음을 시사합니다.
SAR-RARP50 데이터셋:
- Interaction+Error 프롬프팅 전략이 0.746의 최고 F1 점수를 기록했습니다.
- 이는 SOTA인 SEDMamba 베이스라인 대비 16.6% 향상된 결과이며, ResNet 베이스라인(0.590) 대비 상당한 이득을 보여줍니다.
- 결과는 미세한 행동 의도와 오류 조건을 혼합한 복합적인 프롬프트가 매우 효과적임을 강조합니다.
효율성:
- 제안된 프레임워크는 실시간 적용 가능성을 입증합니다. 가장 성능이 좋은 모델(Activity Kinematics Fusion)의 엔드 투 엔드 지연 시간은 약 36 ms로, 근사 30 Hz 실행이 가능합니다. 이는 SEDMamba 베이스라인(368 ms)보다 훨씬 빠르며, CoG의 낮은 프레임당 지연 시간에도 불구하고 CoG와 경쟁할 만한 수준입니다.

의의 및 주장

본 논문은 큐레이션된 텍스트 프롬프트를 다중 모달 데이터(비디오 및 운동학)와 결합하는 것이 정확한 수술 오류 탐지를 위한 매우 효과적인 전략이라고 주장합니다. 주요 통찰은 다음과 같습니다:

프롬프트의 구체성: 프롬프트의 양보다 프로프의 질과 의미적 내용(특히 활동 문맥과 명시적 오류 설명을 결합하는 것)이 더 중요합니다.
다중 모달 문맥: 다층적 활동 정보(제스처, 상호작용, 운동학)를 포함하는 것은 단일 모달 또는 단일 수준의 접근 방식보다 뛰어난 풍부한 문맥적 프레임워크를 제공합니다.
학습 효율성: 본 연구는 강력한 오류 탐지 성능을 위해 반드시 비용이 많이 들고 시간이 오래 걸리는 활동 레이블링이나 별도의 인코더 사전 학습이 필요하지 않다는 것을 시사합니다. 도메인 지식에 기반한 텍스트 프롬프트는 사전 학습된 모델에서 유도된 시각 임베딩과 대등하거나 더 우수한 결과를 얻을 수 있어 학습 파이프라인을 단순화할 수 있습니다.
실시간 실행 가능성: 본 프레임워크는 온라인 적용 가능성의 간극을 해결하며, 오프라인 처리에 제한적인 일부 SOTA 모델들과 달리 탐지 정밀도, 정밀도 및 실시간 효율성 사이의 실용적인 절충안을 제공합니다.

저자들은 동기화된 비디오와 운동학 데이터를 가진 데이터셋에 대한 의존성(이로 인해 더 많은 데이터셋이 확보될 때까지 광범위한 적용이 제한됨), 텍s 프롬프트의 수동 큐레이션에 대한 의존성, 그리고 봉합 및 바늘 통과 이상의 구조화되지 않은 수술 절차에 대한 추가 검증 필요성 등의 한계를 인정합니다.