SUREON: A Benchmark and Vision-Language-Model for Surgical Reasoning

본 논문은 수술 전문가의 강의 영상에서 수술적 추론 신호를 대규모로 추출한 벤치마크 'SUREON'과 이를 기반으로 수술 안전 평가, 의사결정 근거, 예측 등을 수행하는 고성능 비전 - 언어 모델을 제안합니다.

핵심

1. 문제: "눈만 뜨고 있는" 기존 AI

지금까지 수술용 AI 는 마치 **외과 의사가 아니라 '수술실 청소부'**처럼 행동했습니다.

• 기존 방식: "아, 칼이 나왔네", "아, 혈관이 보이네"라고 무언가를 지목하는 데는 능숙했습니다.
• 한계: 하지만 "왜 지금 칼을 댔지?", "이 환자에게 위험한 건 뭐지?", "다음에 무엇을 해야 하지?"라고 물으면 대답을 못 했습니다. 마치 수술을 지켜보지만, 의사의 생각이나 판단 과정을 전혀 이해하지 못하는 상태였죠.

2. 해결책: "수술 강의를 녹음한" 보물상자 (SUREON 데이터)

연구진은 기존에 없던 새로운 데이터를 만들었습니다. 바로 전문 외과 의사들이 수술을 설명하는 강의 영상을 활용한 것입니다.

• 비유: 마치 유명 요리사가 "왜 이 재료를 먼저 넣었는지", "불 조절을 왜 이렇게 했는지"를 설명하는 요리 강의를 녹음해 둔 것과 같습니다.
• 핵심: 이 강의 영상에는 의사의 **생각 과정 (논리)**이 녹아있습니다. "이 혈관은 너무 커서 보존할 수 없으니 잘라야 해"라는 설명처럼요.
• 작업: 연구진은 AI 가 이 강의 내용을 잘 이해할 수 있도록, **수십 개의 '전문 에이전트 (AI 도우미)'**를 투입해 강의 대본을 분석하고, 영상과 대본이 딱 맞는 순간을 찾아내어 질문과 답변 (Q&A) 형태로 정리했습니다. 이를 SUREON이라고 부릅니다.

3. 훈련 방법: "시험 공부"와 "토론 훈련"

이제 만든 데이터를 바탕으로 두 단계에 걸쳐 AI 를 훈련시켰습니다.

• 1 단계: SFT (지도 학습 - 시험 공부)
  • 비유: 학생이 정답이 있는 문제집을 풀며 기본 지식을 쌓는 단계입니다.
  • 내용: 수술 영상과 강의 대본을 보고 "이건 뭐야?", "왜 그랬지?"라는 질문에 정답을 맞추도록 훈련시켰습니다.
• 2 단계: GRPO (강화 학습 - 토론 훈련)
  • 비유: 이제 정답만 외우는 게 아니라, 스스로 이유를 설명하며 논리를 펼치는 훈련을 시켰습니다.
  • 내용: AI 가 답을 내놓기 전에 **생각 과정 (Chain of Thought)**을 먼저 말하게 했습니다. "내가 이렇게 판단한 이유는 영상에서 A 를 봤고, B 라는 위험이 있기 때문이야"라고 스스로 말하며 답을 찾게 만든 거죠. 이 과정을 통해 AI 는 단순히 정답을 맞추는 것을 넘어, 의사처럼 '이유'를 생각하게 되었습니다.

4. 결과: "의사처럼 생각하는" AI 등장

이렇게 훈련된 SureonVLM-R1이라는 AI 는 놀라운 성과를 냈습니다.

• 성적: 일반적인 거대 AI(구글, 오픈AI 등 최신 모델) 보다 수술 관련 논리 문제에서 훨씬 높은 점수를 받았습니다.
• 특징: 특히 안전 문제 (예: "이 기구를 쓰면 환자에게 위험할까?") 나 의사결정 이유를 설명하는 데 매우 뛰어났습니다.
• 예시: AI 는 영상에서 "불꽃이 안 나는 가위"를 보고 "이건 열을 가하지 않는 가위야"라고 구분하거나, "혈관을 잘라야 했던 이유"를 영상 속 종양의 크기 변화와 연결지어 설명할 수 있게 되었습니다.

5. 결론: 데이터가 부족했던 게 문제였다

이 연구의 가장 큰 메시지는 **"AI 모델이 나빠서가 아니라, 가르칠 '지식'이 부족했다"**는 것입니다.

• 기존에는 AI 에게 가르칠 '수술의 이유'에 대한 데이터가 없었습니다.
• 하지만 의사들이 학생들에게 가르치던 강의 내용을 잘 정리해서 AI 에게 주니, AI 는 놀랍도록 수술의 논리와 안전을 이해하게 되었습니다.

한 줄 요약:

"수술실 청소부처럼 '무엇'만 보던 AI 에게, 의사 강사의 '왜'와 '어떻게'를 가르쳐서, 이제 수술의 이유와 위험까지 판단할 수 있는 '수술 보조 의사'를 만들었습니다."

기술 요약

1. 문제 정의 (Problem Statement)

기존의 수술 인공지능 (AI) 시스템은 주로 위상 (phase), 단계 (step), 도구 인식 (tool recognition) 등 정의된 범주 (fixed ontologies) 에 기반한 지각 (perception) 작업에 초점을 맞추고 있습니다. 이러한 접근 방식은 모델이 "무엇이 보이는지"는 파악할 수 있게 하지만, "왜 그 행동을 수행했는지", "다음에 무엇을 해야 하는지", "임상적 위험은 무엇인지"와 같은 고차원적인 추론 (reasoning) 능력은 부족합니다.

• 핵심 한계: 기존 데이터셋은 구조화된 레이블에 의존하여 모델이 고정된 패턴만 학습하게 하며, 개방형 질문이나 자연어 기반의 해석 가능한 설명을 생성하는 데 한계가 있습니다.
• 데이터 부족: 수술적 추론을 명시적으로 인코딩한 대규모 학습 데이터는 수동 주석이 매우 어렵기 때문에 부재합니다.
• 기회: 전문가가 수술 영상을 설명하는 강의 (lecture) 녹음에는 수술의 의도, 근거, 예측 등이 포함되어 있으나, 이는 비정형적이고 노이즈가 많아 기존 학습에 활용되지 못했습니다.

2. 방법론 (Methodology)

저자들은 SUREON이라는 대규모 비디오-질문응답 (VQA) 데이터셋과 이를 기반으로 한 추론 모델을 제안합니다.

가. SUREON 데이터셋 구축 (Data Curation Pipeline)

• 데이터 소스: 전문가가 내레이션을 한 수술 강의 영상 (Narrative Surgical Videos) 을 활용합니다.
• 의미적 근거 순간 (Semantic Grounding Moments, SGMs): 내레이션이 특정 시각적 요소, 행동, 추론, 또는 결정 단서를 명시적으로 연결하는 비디오 구간을 식별합니다.
• 멀티-에이전트 파이프라인:
  1. 생성 에이전트 (Generator): 전사본 (Transcript) 을 분석하여 SGMs 를 식별하고 구조화된 QA 쌍을 생성합니다.
  2. 필터링 에이전트 (Filtering Agent): 생성된 샘플이 전사본과 시각적 맥락에 부합하는지 검증하여 품질을 확보합니다.
• 12 가지 질문 분류 (Taxonomy):
  • 지각 (Perception): 실체 존재, 속성, 위치, 도구-행동 상호작용, 절차 무관 행동 설명.
  • 추론 및 시간 (Reasoning & Temporal): 행동 설명, 국소 행동 추론, 의사결정 추론, 시퀀스 요약, 시간적 순서, 예측 (Forecasting), 안전 관행 식별.
• 규모: 134.7K 개의 클립, 170 가지 수술 절차, 206.8K 개의 QA 쌍으로 구성되며, 전문가가 검증한 354 개의 벤치마크를 포함합니다.

나. 모델 아키텍처 및 학습 전략 (SureonVLM & SureonVLM-R1)

기존 모델인 **Qwen3-VL (8B 파라미터)**을 기반으로 두 단계의 학습을 수행합니다.

1. 지도 미세 조정 (Supervised Fine-Tuning, SFT):

   • 3 단계 진행: (1) MLP 투영층 업데이트, (2) 비전 인코더 + MLP 동시 업데이트, (3) LLM + MLP 업데이트 (비전 인코더 고정).
   • 데이터 혼합: SUREON 데이터 (30%), 표준 수술 데이터셋 이미지 (50%), 비디오 (20%) 를 혼합하여 학습합니다.
   • 목표: 수술적 지각과 추론 능력을 동시에 습득하게 합니다.

2. 강화 학습 (Reinforcement Learning, GRPO):

   • SureonVLM-R1: 그룹 상대 정책 최적화 (Group Relative Policy Optimization, GRPO) 를 적용하여 명시적인 추론 (Chain-of-Thought, CoT) 능력을 강화합니다.
   • 보상 함수 (Reward Design): 정답 정확도, <answer> 태그 형식 준수, 태그 오류 패널티, 그리고 시간적 순서/예측 태스크에 대한 구체적인 추론 보상을 포함합니다.
   • 특징: 모델이 답변을 생성하기 전에 시각적 단서와 수술적 맥락을 연결하는 **생각의 흔적 (Thinking Tokens)**을 생성하도록 유도합니다.

3. 주요 기여 (Key Contributions)

1. SUREON 벤치마크: 수술적 추론을 평가하기 위해 설계된 최초의 대규모 VQA 데이터셋 및 벤치마크 (12 가지 태스크, 354 개 전문가 검증 샘플).
2. 새로운 학습 패러다임: 전문가 강의 내레이션을 대규모로 자동화하여 구조화된 추론 데이터로 변환하는 멀티-에이전트 파이프라인 제안.
3. SureonVLM-R1 모델: 8B 파라미터 규모의 경량 모델임에도 불구하고, 강화 학습을 통해 해석 가능한 (interpretable) 추론 능력을 갖춘 최초의 수술 특화 VLM.
4. 성능 입증: 일반 도메인 대형 모델 (GPT-5.1, Gemini 등) 보다 수술적 이해도 및 안전성 평가에서 월등히 높은 성능을 입증.

4. 실험 결과 (Results)

• SUREON 벤치마크 성능:
  • SureonVLM (SFT 만): 평균 정확도 85% 달성.
  • SureonVLM-R1 (SFT + GRPO): 평균 정확도 84% 달성.
  • 비교: 8B 모델임에도 GPT-5.1 (약 68%) 및 Gemini 3.1 Pro (약 60%) 보다 약 20~29% 높은 정확도를 기록했습니다.
• 임상적 중요도:
  • 안전 관행 식별 (Safety Practice Identification): SureonVLM-R1 은 93% 정확도를 기록하여 GPT-5.1 (62%) 보다 30 포인트 이상 우세했습니다.
  • 의사결정 추론 (Decision Reasoning): 100% 에 가까운 정확도를 보였습니다.
• 일반 수술 태스크 (Phase/Action Recognition): SUREON 데이터로 학습한 모델이 Cholec80, HeiChole 등 기존 표준 데이터셋에서도 일반 모델보다 우수한 성능을 보여, 과적합 (Overfitting) 이 없으며 지각 능력도 유지됨을 확인했습니다.
• 추론 행동 분석: 모델이 단순히 패턴 매칭을 하는 것이 아니라, "소각 불꽃의 부재"로 '냉전도 가위 (cold scissors)'를 식별하거나, "림프절의 비대"로 혈관 절단의 필요성을 추론하는 등 시각적 단서와 임상적 의미를 연결하는 것을 확인했습니다.

5. 의의 및 결론 (Significance)

• 데이터의 한계 극복: 모델의 성능 한계가 모델 아키텍처가 아니라 고품질 추론 데이터의 부재에 있음을 증명했습니다. 기존에 존재하던 비정형적인 강의 데이터를 체계화함으로써 수술 AI 의 추론 능력을 획기적으로 향상시킬 수 있음을 보였습니다.
• 해석 가능한 AI: SureonVLM-R1 은 단순히 정답을 맞추는 것을 넘어, **왜 그런 결정을 내렸는지 설명하는 추론 과정 (Thinking Tokens)**을 생성합니다. 이는 수술 중 의사결정 지원 시스템과 같은 안전이 중요한 분야에서 필수적인 요소입니다.
• 미래 방향: 수술 강의의 교육적 선택성 (routine steps 과목 부족) 과 LLM 기반 평가의 한계는 여전히 존재하지만, 본 연구는 수술 AI 가 '인식 (Recognition)'을 넘어 '추론 (Reasoning)' 단계로 도약할 수 있는 중요한 발판을 마련했습니다.

이 논문은 데이터 중심의 접근법을 통해 수술 AI 의 가장 큰 걸림돌이었던 '추론 능력'을 해결하고, 안전하고 해석 가능한 수술 보조 시스템 개발의 새로운 기준을 제시했다는 점에서 의의가 큽니다.