1. 연구 배경 및 문제 제기 (Problem)

• 배경: 수술 영상은 perioperative care(수술 전후 관리) 와 교육의 핵심이지만, 데이터의 양과 복잡성이 증가함에 따라 미세한 시공간적 (Spatiotemporal) 이해가 임상적 안전과 효율성에 필수적입니다. 최근 멀티모달 대규모 언어 모델 (MLLMs) 이 수술 단계 인식, 도구 인식 등의 작업에 적용되고 있으나, 실제 임상 환경에서 요구되는 고급 시공간 추론 및 인과적 판단 능력은 아직 충분히 평가되지 않았습니다.
• 문제점:
  • 기존 벤치마크들은 일반적인 질의응답 (VQA) 이나 프레임/클립 수준의 인식 작업에 치중하여, 비디오의 연속적인 시간적 의존성이나 인과적 추론을 평가하지 못했습니다.
  • MLLM 들이 수술사의 미세한 시공간적 변화 (예: 출혈 시작, 도구와 조직의 상호작용) 를 추적하고 단계별 추론을 수행하는 능력에 대한 체계적인 평가 기준이 부재합니다.
  • 따라서, 다양한 수술 분야에서 전문가 수준의 점진적 시공간 추론 (Progressive Spatiotemporal Reasoning) 이 가능한지 검증할 수 있는 통합 벤치마크가 필요합니다.

2. 제안 방법론: SurgCoT (Methodology)

SurgCoT 는 수술 영상 이해를 위한 체인 오브 생각 (Chain-of-Thought, CoT) 추론을 평가하기 위해 설계된 통합 벤치마크입니다.

가. 데이터 구성 및 규모

• 범위: 7 가지 임상 전문 분야 (대장, 비뇨기, 상부 위장관, 안과, 부인과, 일반 외과, 간담췌) 와 35 가지 다양한 수술 절차를 포함합니다.
• 규모: 2,841 개의 수술 영상, 19,345 개의 주요 질문, 59,177 개의 하위 질문으로 구성되었습니다.
• 데이터 처리: 다중 소스 영상 수집, 계층적 세그먼테이션 (시각적 장면, 도구/조직 전환, ASR 기반), 그리고 증거 마이닝 (Evidence Mining) 을 통해 시공간적으로 근거가 있는 감독 단위를 생성했습니다.

나. 3 단계 점진적 추론 프레임워크 (Three-Stage Progressive Reasoning)

수술사의 임상적 추론 과정을 모방하여 복잡한 진단을 3 단계로 분해합니다:

1. Q1 (Video-Level Comprehension): 전체 비디오를 기반으로 고수준 임상 사건 (예: "활동성 출혈 존재 여부") 을 식별하여 전역 가설 공간을 설정합니다.
2. Q2 (Clip-Level Localization): Q1 의 결과를 기반으로, 사건이 발생한 시점 (시간적 창) 과 위치 (관심 영역) 를 특정하여 가설 공간을 축소합니다.
3. Q3 (Frame-/Patch-Level Localization): Q2 의 시공간적 경계 내에서 정밀한 시작 프레임과 해부학적 위치 (픽셀/바운딩 박스 수준) 를 식별합니다.

다. 5 튜플 주석 프로토콜 (Five-Tuple Annotation Protocol)

각 추론 단계를 지원하기 위해 다음 5 가지 필드를 주석으로 제공합니다:

• Question (질문): 수술 워크플로우와 일치하는 임상적 의미 있는 질문.
• Option (선택지): 유사한 현상을 구별하기 위해 설계된 배타적 후보군.
• Knowledge (지식): 영상 내용과 무관한 임상적 배경 지식 (해부학, 도구 행동 등) 을 제공하여 추론의 '왜 (Why)'를 설명합니다.
• Clue (단서): 비디오에서 추출된 구체적인 시공간적 증거 (시간 창, 공간 ROI 등) 로 추론의 '어디/언제 (Where/When)'를 안내합니다.
• Answer (답변): 최종 판정값으로, 다음 단계의 컨텍스트로 전달됩니다.

이 구조는 "Reason-then-Decide(추론 후 결정)" 패턴을 강제하여, 지식과 단서가 결합된 계층적 추론 체인을 형성합니다.

라. 5 가지 핵심 추론 차원 (5 Reasoning Dimensions)

SurgCoT 는 다음 5 가지 임상 관련 추론 능력을 평가합니다:

1. Causal Action Ordering (CAO): 미시적 행동의 인과적 순서 파악.
2. Cue-Action Alignment (CAA): 행동 전 단서와 실행의 시간/공간적 정렬.
3. Affordance Mapping (AM): 도구와 조직 간의 상호작용 매핑.
4. Micro-Transition Localization (MTL): 미시적 단계 전환의 프레임 단위 경계 식별.
5. Anomaly Onset Tracking (AOT): 수술 중 이상 징후의 시작 및 초기 궤적 추적.

3. 주요 기여 (Key Contributions)

1. 최초의 수술 영상 추론 벤치마크: 7 개 전문 분야와 35 개 절차를 아우르는 광범위한 커버리지와 5 차원 평가 프레임워크를 통해 미세한 시공간 이해 및 임상 의사결정을 평가합니다.
2. 혁신적인 추론 프레임워크: 3 단계 점진적 추론과 5 튜플 주석 프로토콜을 결합하여, 비디오에서 프레임까지의 계층적 로컬라이제이션과 지식/단서의 시너지 효과를 통해 구조화된 CoT 추론을 가능하게 합니다.
3. MLLM 성능 평가 및 격차 규명: 12 개의 최첨단 MLLM 을 평가하여 현재 모델들이 미세한 시공간 이해와 일관된 추론 체인 유지에 심각한 한계가 있음을 밝혔으며, SurgCoT 를 통해 점진적 추론 평가가 가능함을 입증했습니다.

4. 실험 결과 (Results)

10 개의 주요 MLLM (상용, 오픈소스, 의료 특화) 을 평가한 결과는 다음과 같습니다:

• 상용 모델의 우위: GPT-5, Claude-Sonnet-4.5, Gemini-2.5-Pro 등 상용 모델이 오픈소스 및 의료 특화 모델보다 모든 추론 차원에서 일관되게 높은 성능을 보였습니다.
• 추론 프로토콜의 효과:
  • BL (Baseline): 비디오와 질문만 제공 시 성능이 낮았습니다.
  • KE (Knowledge Enhanced): 임상 지식을 추가하면 의료 특화 모델의 성능이 크게 향상되었습니다 (평균 약 7% 증가).
  • FC (Full Context): 지식과 시공간적 단서 (Clue) 를 모두 제공하면 모든 모델의 성능이 추가로 향상되었습니다. 이는 시공간적 근거 (Grounding) 가 추론 정확도에 결정적임을 시사합니다.
• CoT 추론의 한계 (Performance Dissociation):
  • 모델들은 최종 답변 (Main Question) 에서는 높은 정확도를 보일 수 있었으나, 중간 추론 단계 (Q1, Q2, Q3) 에서 성능이 급격히 떨어지는 현상이 관찰되었습니다.
  • 특히 GPT-5 의 경우 메인 질문 정확도는 76.62% 였으나, 3 단계 (Q3) 하위 질문 정확도는 47.60% 로 하락하여, 올바른 답을 도출하더라도 중간 추론 과정이 논리적으로 일관되지 않음을 보여주었습니다.
• 점진적 추론의 가능성: 지식과 단서를 단계적으로 제공하면 모델이 초기 오류를 수정하고 정답에 도달하는 것이 확인되었습니다 (Fig. 4 참조).

5. 의의 및 결론 (Significance)

• 임상적 신뢰성 확보: SurgCoT 는 MLLM 이 단순히 정답을 맞추는 것을 넘어, 임상적 증거에 기반한 논리적 추론 체인을 유지할 수 있는지 평가할 수 있는 재현 가능한 테스트베드를 제공합니다.
• 향후 연구 방향: 현재 MLLM 들의 시공간적 이해와 점진적 추론 능력에는 여전히 큰 격차가 존재함을 드러냈으며, 구조화된 CoT 프레임워크와 시공간적 근거 (Grounding) 를 결합한 접근법이 임상 수준의 추론 능력을 향상시키는 유효한 경로임을 제시했습니다.
• 오픈소스 기여: 코드와 데이터는 GitHub 를 통해 공개되어 향후 수술 영상 분석 및 의료 AI 연구의 표준 벤치마크로 활용될 것으로 기대됩니다.

이 논문은 의료 AI 가 단순한 인식 단계를 넘어, 실제 수술실과 유사한 복잡한 추론 능력을 갖추기 위해 필요한 평가 기준과 방법론을 제시했다는 점에서 중요한 의의를 가집니다.