🤖 AI

SurgRAW: Multi-Agent Workflow with Chain of Thought Reasoning for Robotic Surgical Video Analysis

이 논문은 계층적 협업과 검색 증강 생성을 통해 고립된 모델 및 일반 시각-언어 모델의 한계를 극복함으로써, 로봇 수술 장면의 우수하고 임상적으로 정렬된 제로샷 이해를 달于하기 위해 사고 사슬(Chain-of-Thought) 추론과 새로운 벤치마크(SurgCoTBench)를 활용하는 멀티 에이전트 워크플로우인 SurgRAW를 소개한다.

원저자: Chang Han Low, Ziyue Wang, Tianyi Zhang, Zhu Zhuo, Zhitao Zeng, Evangelos B. Mazomenos, Yueming Jin

게시일 2026-09-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Chang Han Low, Ziyue Wang, Tianyi Zhang, Zhu Zhuo, Zhitao Zeng, Evangelos B. Mazomenos, Yueming Jin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

현대적인 수술실에서 로봇 시스템은 외과의가 인간의 손만으로는 항상 달성할 수 없는 수준의 정밀함과 안정성을 가지고 섬세한 수술을 수행할 수 있도록 돕는 필수적인 도구가 되었습니다. 고해상도 카메라에 의해 유도되는 경우가 많은 이 기계들은 외과의의 움직임을 환자의 몸 내부에서 일어나는 작고 통제된 동작으로 변환합니다. 그러나 이러한 시스템이 진정으로 미래에 도움을 주기 위해서는 단순히 도구를 움직이는 것을 넘어, 화면에서 일어나고 있는 일을 이해할 수 있어야 합니다. 이를 위해서는 수술 영상을 보고 그 안에 펼쳐지는 복잡한 이야기를 파악할 수 있는 형태의 인공지능이 필요합니다. 즉, 사용 중인 도구를 식별하고, 외과의가 취하고 있는 구체적인 동작을 인식하며, 다음에 어떤 일이 일어날지 예측하는 능력입니다. 문제는 수술 장면이 시각적으로 매우 혼란스러워 도구와 조직이 서로 겹치거나 빠르게 움직이는 경우가 많아, 컴퓨터가 혼란에 빠지거나 존재하지 않는 세부 사항을 지어내지 않고 장면을 해석하기 어렵다는 점에 있습니다.

연구자들은 컴퓨터에게 이러한 장면을 이해하도록 가르치기 위해 오랫동안 노력해 왔지만, 이전의 시도들은 종an 도구를 찾는 하나의 프로그램과 동작의 이름을 붙이는 또 다른 프로그램을 사용하는 등 단일 작업에 설계된 별도의 프로그램들에 의존하는 경우가 많았습니다. 이러한 접근 방식은 컴퓨터가 자신이 본 것과 그것이 왜 중요한지 사이의 연결 고리를 찾지 못하게 하여, 수술에 대한 파편화된 시각을 만들어냈습니다. 최근에는 강력한 언어 모델들이 이미지를 보는 데 적응하여 시각적 문제를 추론하는 방법을 제공하고 있습니다. 하지만 수술에 적용될 때, 이러한 일반적인 모델들은 수술실의 특화된 언어와 논리에 어려움을 겪는 경우가 많으며, 자주 자신 있게 틀린 답을 내놓거나 절차의 단계별 흐름을 이해하지 못하곤 합니다. 이를 해결하기 위해 연구진은 수술 팀이 협업하는 방식을 모방하여, 전례 없는 정확도로 로봇 수술 영상을 분석하는 구조화된 단계별 추론 과정을 개발했습니다.

연구진은 SurgRAW라고 불리는 새로운 프레임워크를 도입했는데, 이는 수술 지능을 위해 특별히 설계된 추론 워크플로우를 의미합니다. 이 시스템은 단일 인공지능에게 비디오 프레임 하나를 보고 답을 추측하라고 요청하는 대신, 여러 전문화된 '에이전트(agent)' 간의 조율된 노력으로 문제를 세분화합니다. 마치 테이블에 둘러앉은 전문가 패널을 상상해 보십시오. 각자는 특정 역할을 가집니다. 한 명은 도구 식별에 집중하고, 다른 한 명은 수행 중인 동작에 집중하며, 세 번째 에이전트는 환자의 맥락에 집중합니다. 이 디지털 패널에서 에이전트들은 고립되어 작동하지 않습니다. 이들은 증거를 토론하고, 서로의 논리를 점검하며, 최종 결정에 도달하기 전에 결론을 다듬습니다. 이 접근 방식은 연구진이 직접 만든 새로운 데이터셋을 기반으로 구축되었으며, 이 데이터셋은 실제 수술 영상에서 추출한 수천 개의 질의응답 쌍을 포함하고 있으며 도구 인식, 동작 식별, 다음 단계 예측, 환자 세부 정보 이해, 수술 결과 평가라는 다섯 가지 핵심 추론 영역을 다룹니다.

시스템이 외과의처럼 생각하도록 보장하기 위해, 연구진은 인공지능을 논리적인 사고의 사슬로 안내하는 특정 지침을 설계했습니다. 모델이 결론으로 바로 뛰어드는 대신, 이 시스템은 질문을 먼저 분석하고, 이미지에서 시각적 세부 정보를 추출한 다음, 추출된 세부 정보를 알려진 수술 규칙과 교차 참조하고, 불가능한 옵션을 제거한 후, 마지막으로 전체 장면과 대조하여 답을 검증하도록 강제합니다. 복잡한 절차의 다음 단계를 예측하는 것과 같이 영상에 보이는 것 이상의 지식이 필요한 작업의 경우, 시스템은 의료 가이드라인이라는 디지털 라이브러리를 참조하여 자신의 추론을 확립된 사실에 근거하도록 합니다. 이러한 구조화된 추론, 에이전트 간의 협력적 토론, 그리고 검증된 의학 지식의 결합은 시스템이 존재하지 않는 세부 사항을 환각하거나 도구와 조직 간의 관계를 오해하는 것과 같은 인공지능의 흔한 함정을 피할 수 있게 해줍니다.

이 시스템의 테스트 결과는 놀라웠습니다. 방대한 양의 의료 데이터를 학습한 기존의 인공지능 모델들을 포함한 기존 모델들과 비교했을 때, 이 새로운 시스템은 현저히 더 나은 성능을 보였습니다. 다양한 수술 작업에 걸친 정확도를 측정하는 테스트에서, 이 시스템은 표준 지도 학습 모델보다 14.61% 더 높은 성능을 기록했는데, 이는 이 분야에서 상당한 차이입니다. 또한 이 시스템은 매우 일관된 모습을 보여주었으며, 다른 모델들이 성능이 크게 요동치는 것과 달리 실행 시마다 매우 신뢰할 수 있는 결과를 생성했습니다. 특히 이 시스템은 이전 모델들이 가장 어려워했던 부분인, 깊은 이해를 요구하는 작업(예: 수술의 다음 단계 예측 또는 시각적 단서로부터 환자의 세부 정보 추론)에서 탁월한 효과를 보였습니다. 이러한 다양한 추론 스트림을 성공적으로 통합함으로써, 연구진은 통합적이고 협력적인 접근 방식이 고립된 방법보다 로봇 수술에 대해 훨씬 더 명확하고 정확한 이해를 제공할 수 있음을 보여주었습니다.

이 연구는 인공지능을 수술실에서 신뢰할 수 있는 파트너로 만드는 데 있어 중요한 진전을 의미합니다. 단순한 패턴 인식을 넘어 추론하고, 토론하며, 스스로의 결론을 검증하는 시스템으로 나아감으로써, 연구진은 임상적 현실과 일치하는 방식으로 자신의 생각을 설명할 수 있는 도구를 만들었습니다. 이 시스템은 단순히 도구를 식별하는 것이 아니라, 그 도구가 무엇을 하고 있는지와 왜 그러는지를 이해합니다. 단순히 프레임을 보는 것이 아니라, 절차의 서사를 파악합니다. 현재 시스템은 연속적인 영상에서 샘플링된 개별 프레임 상에서 작동하지만, 근본적인 논리는 수술의 복잡하고 흐르는 듯한 성격을 지원하도록 설계되었습니다. 연구진은 더 많은 유형의 절차를 포함하고, 시스템이 외과의로부터 실시간 피드백을 통해 학습하는 방법을 탐구함으로써 이 연구를 확장할 계획이며, 궁극적으로 수술실의 안전과 결과를 향상시키는 인지적 보조를 제공하는 것을 목표로 하고 있습니다.

기술 요약: SurgRAW

문제 정의

로봇 보조 수술(RAS)에는 외과의에게 인지적 지원을 제공할 수 있는 정확한 장면 이해 능력을 갖춘 지능형 시스템이 필요합니다. 수술 비디오 분석을 위한 기존의 AI 접근 방식은 세 가지 주요 한계점을 가집니다:

파편화(Fragmentation): 대부분의 방법론은 개별적이고 작업 특화된 모델(예: 도구 탐지 또는 단계 분류를 위한 별도의 네트워크)에 의존하며, 이로 인해 파이프라인의 해석 가능성이 제한되고 통일된 수술 장면 이해가 불가능합니다.
도메인 격차 및 환각(Domain Gaps and Hallucinations): 시각-언어 모델(VLM)은 제로샷 추론을 제공하지만, 주로 자연스러운 장면(natural scenes)에 대해 학습되었습니다. 이를 RAS에 적용할 경우, 심각한 도메인 격차가 발생하고, 환각 현상을 보이며, 안전하고 신뢰할 수 있는 추론에 필요한 특정 도메인 지식이 부족합니다.
통합된 추론의 부재: 현재의 VLM은 종종 수술 작업을 독립적으로 취급하여, 수술 절차에 내재된 계층적 의존성 및 워크플로우 간의 상호 의존성을 모델링하지 못합니다. 또한, 기존 데이터셋은 일반적으로 장면당 1~3개의 작업 레이블만을 제공하므로, 총체적인 추론 프레임워크를 학습시키기에 불충분합니다.

방법론

저자들은 RAS에서의 제로샷 멀티태스크 추론을 위해 설계된, 임상적으로 정렬된 연쇄 사고(Chain-of-Thought, CoT) 기반의 에이전트 워크플로우인 SurgRAW를 제안합니다. 이 시스템은 기본 VLM의 미세 조정(fine-tuning) 없이 계층적 멀티 에이전트 프레임워크 상에서 작동합니다.

1. SurgCoTBench 데이터셋

통합된 데이터의 부재를 해결하기 위해, 저자들은 RAS를 위한 최초의 추론 중심 벤치마크인 SurgCoTBench를 도입했습니다.

구성: 전립선 절제술 및 엽 절제술 관련 12명의 환자 비디오에서 유도되었으며, 2,277개의 큐레이션된 프레임과 14,256개의 QA 쌍을 포함합니다.
분류 체계(Taxonomy): 다섯 가지 핵심 추론 작업인 도구 인식(Instrument Recognition), 동작 인식(Action Recognition), 동작 예측(Action Prediction), 환자 세부 정보 추출(Patient Detail extraction), 수술 결과 평가(Surgical Outcome assessment)를 다룹니다.
주석(Annotation): 질문은 GPT-4o를 사용하여 생성되었으며, 의미론적 근거를 확보하기 위해 WhisperX로 전사된 외과의의 내레이션을 활용했습니다. 데이터셋은 프레임 수준의 주석을 포함하며, 지도 학습 베이스라인을 위해 환자별로 분할되었습니다.

2. 계층적 멀티 에이전트 워크플로우

SurgRAW는 들어오는 쿼리를 두 가지 추론 스트림으로 분류하는 중앙 **오케스트레이터(Orchestrator)**를 사용합니다:

시각-의미(Visual-Semantic, VS) 스트림: 지각적 분석(예: 도구 식별, 동작 인식)에 집중합니다.
인지-추론(Cognitive-Inference, CI) 스트로: 절차적 논리, 환자 맥락 및 결과 예측에 집중합니다.

오케스트레이터는 전문화된 에이전트들(도구 전문가, 동작 해석가, 동작 예측가, 환자 옹호자, 결과 분석가)에게 작업을 라우팅합니다.

3. 핵심 메커니즘

패널 토론(Panel Discussion, VS 작업용): 시각적 모호성을 처리하기 위해, VS 에이전트들은 **동작 평가자(Action Evaluator)**가 중재하는 "패널 토론"을 수행합니다. 이 에이전트는 다음을 수행합니다:
- 유효한 도구-동작 관계를 인코딩하는 **수술 지식 그래프(Surgical Knowledge Graph, KG)**에 대한 일관성을 검사합니다.
- 상호 체인 일관성(Inter-Chain Coherence) 및 에이전트 간 협력 시너지(Inter-Agents Collaborative Synergy) 루브릭을 적용하여 논리적 정렬과 협업 품질을 평가합니다.
- 일관성 임계값에 도달하거나 최대 반복 횟수에 도달할 때까지 응답을 반복적으로 개선합니다.
검색 증강 생성(Retrieval-Augmented Generation, RAG, CI 작업용): 도메인 격차를 해소하기 위해, CI 스트림은 RAG 모듈을 통합합니다. 이 모듈은 의료 자원(예: MedlinePlus) 저장소를 쿼리하여 수술 가이드라인 및 절차적 규범을 검색하고, 이를 에이전트의 추론 과정에 주입하여 예측을 임상적 현실에 근거하도록 합니다.
작업 특화 CoT 프롬프트: 일반적인 자동 생성 CoT 대신, 저자들은 구조화된 도메인 특화 CoT 프롬프트를 설계했습니다.
- VS CoT: 5단계 프로세스(질문 분석 $\rightarrow$ 특징 추출 $\rightarrow$ 교차 참조 $\rightarrow$ 옵션 제거 $\rightarrow$ 검증)를 따릅니다.
- CI CoT: 질문 분해에서 시작하여 검색된 도메인 통찰력을 포함하는 6단계 프로세스를 따르며, 최종 검증 전까지 진행됩니다.

주요 기여

SurgCoTBench: 다섯 가지 주요 비전 작업을 프레임 수준의 주석과 함께 통합한, RAS의 멀티태스크 추론에 초점을 맞춘 최초의 벤치마크입니다.
SurgRAW 프레임워크: 시각적 지각과 인지적 추론을 분리하는 계층적 구조를 활용하여, 수술 워크플로우 전반에 걸쳐 제로샷 추론이 가능한 새로운 에이전트 프레임워크입니다.
시너지 모듈: 시각적 작업에 대한 교차 검증을 위한 패널 토론 메커니즘과 인지적 작업을 외부 의료 지식에 근거하게 하는 RAG 모듈의 도입입니다.
구조화된 CoT 설계: 투명성을 높이고 환각을 줄이기 위해 RAS 요소(도구, 조직, 동작)에 맞춤화된 작업 특화 CoT 프로프트를 설계했습니다.

실험 결과

실험은 제로샷 설정에서 수행되었으며, SurgRAW를 일반 VLM(예: GPT-4o, Qwen3VL), 도메인 적응형 의료 VLM(예: LLaVA-Med), CoT 기반 프롬프팅 방법 및 기타 에이전트 프레임워크와 비교했습니다. 지도 학습 베이스라인(Surgical-VQA)도 포함되었습니다.

성능: SurgRAW는 모든 베이스라인을 크게 앞질렀습니다.
- 전체 정확도에서 지도 학습 모델인 Surgical-VQA를 14.61% 초과했습니다.
- 표준 제로샷 VLM과 비교했을 때, SurgRAW는 평균 **29.32%**의 전체적인 향상을 달면했습니다.
- 특히 환자 세부 정보 추출에서 GPT-4o 베이스라인 대비 **86.77%**의 비약적인 상승을 보이는 등, 인지-추론 작업에서 주목할 만한 성과를 보였습니다.
신뢰성: 높은 표준 편차( $\pm5.46\%$ )를 보인 지도 학습 베이스라인과 달리, SurgRAW는 실행 시마다 일관된 성능( $\pm1.51\%$ )을 유지했습니다.
절제 연구(Ablation Studies):
- CoT가 가장 중요한 기여 요인으로 식별되었으며, CI 작업 성능을 약 38.86% 향상시켰습니다.
- RAG는 CI 작업에 보완적인 이득을 제공했으며, RAG-CoT 조합이 가장 높은 정확도(70.39%)를 달성했습니다.
- 패널 토론은 VS 작업, 특히 동작 인식에서 매우 중요했으며, CoT와 결합될 때 시너지 효과를 보여주었습니다.

의의 및 주장

본 논문은 제로샷 멀티 에이전트 추론이 복잡한 수술 시나리오에서 지도 학습 모델 및 표준 VLM보다 뛰어날 수 있음을 입증함으로써, SurgRAW가 로봇 수술 비디오 이해의 새로운 벤치마크를 확립한다고 주장합니다.

저자들은 이 접근 방식이 수술 AI의 해석 가능성과 임상적 정렬에 대한 비판적 요구를 해결한다는 점을 강조합니다. 작업을 전문화된 에이전트로 분해하고 패널 토론과 검색된 지식을 통해 일관성을 강제함으로써, SurgRAW는 안전이 필수적인 수술 환경에서 VLM의 배포를 저해하는 환각 현상과 도메인 격차를 완화합니다. 이 연구는 통합된 추론 중심 프레임워크가 고립된 작업 탐지를 넘어, 외과의에게 유의미한 인지적 지원을 제공하기 위한 홀리스틱한 장면 이해로 나아가는 실행 가능한 경로임을 시사합니다.