A generalizable foundation model for intraoperative understanding across surgical procedures

논문 요약: ZEN - 수술 전반에 걸친 일반화 가능한 수술 내시경 영상 이해를 위한 기반 모델

1. 문제 정의 (Problem)

• 수술 환경의 복잡성과 편차: 최소 침습 수술 (MIS) 은 실시간 시각적 해석에 의존하지만, 수술자별 해부학적 인식, 워크플로우 해석, 상황 인식의 편차가 큽니다. 이는 일관된 평가, 훈련, 그리고 신뢰할 수 있는 AI 시스템 개발을 제한합니다.
• 기존 모델의 한계: 현재 존재하는 대부분의 수술 AI 모델은 특정 수술 절차나 단일 기관에 국한된 좁은 정의의 작업 (Narrowly defined tasks) 을 위해 설계되었습니다. 해부학, 수술 기법, 장비, 수술적 맥락의 변화에 따라 다른 절차나 기관으로 일반화 (Generalization) 되지 못합니다.
• 데이터 부족 및 주석 비용: 비디오 데이터에 대한 대규모 수동 주석은 확장성이 낮아 임상 적용을 어렵게 만듭니다.
• 평가의 부재: 기존 연구들은 주로 워크플로우 분석에 집중하여, 밀집된 공간 이해 (세그멘테이션, 깊이 추정) 및 비전 - 언어 이해 (VQA) 와 같은 다양한 임상적 요구를 포괄하는 종합적인 평가가 부족했습니다.

2. 방법론 (Methodology)

가. 대규모 데이터셋 구축 (Large-scale Dataset)

• 규모: 10 개의 장기, 21 개 이상의 수술 절차에 걸친 4,780 개 이상의 비디오에서 431 만 6,410 프레임을 수집하여 전처리했습니다.
• 구성: 내부 수집 데이터 (간 절제술 등) 와 공개 데이터셋 (Cholec80, MultiByPass140 등) 을 통합하여 다양성을 확보했습니다.

나. 자기지도 학습 (Self-Supervised Learning) 전략 비교 및 선택

• 다양한 자기지도 학습 (SSL) 방법론 (MAE, MoCoV3, MSN, SimDINO, SimDINOv2 등) 을 동일한 비전 트랜스포머 (ViT) 아키텍처와 데이터셋으로 사전 학습 (Pretraining) 하여 비교했습니다.
• 결과: SimDINOv2가 대부분의 다운스트림 작업에서 가장 강력한 성능을 보였으며, 이를 기반으로 MIS-DINOv2(ViT-Large 아키텍처) 를 개발했습니다.

다. ZEN 모델 및 다중 교사 증류 (Multi-teacher Distillation)

• 목표: MIS-DINOv2(강력한 공간 표현) 와 PeskaVLP(강력한 비전 - 언어 정렬 능력) 의 장점을 하나의 모델에 통합.
• 아키텍처: ViT-Base 크기의 학생 모델 (ZEN) 을 사용하여 두 교사 모델 (MIS-DINOv2, PeskaVLP) 로부터 지식을 증류합니다.
• 증류 전략:
  • 특징 수준 증류 (Feature-level Distillation): 교사 모델의 최종 표현 (CLS 토큰, 패치 토큰, 전역 평균 풀링 특징) 을 학생 모델의 표현과 정렬합니다.
  • 어댑터 (Adaptor): 학생과 교사의 특징 차원을 맞추기 위해 선형 레이어, LayerNorm, GELU 활성화 함수로 구성된 어댑터를 도입했습니다.
  • 손실 함수: 코사인 유사도 (Cosine similarity) 와 Smooth-L1 손실을 결합하여 특징 정렬을 최적화했습니다.
  • 확률적 교사 드롭 (Stochastic Teacher Dropping): 학습 중 한 명의 교사를 무작위로 제외하여 학생이 특정 교사에게 편향되는 것을 방지했습니다.

라. 종합 벤치마크 평가

• 20 개 다운스트림 작업을 통해 3 가지 핵심 영역을 평가했습니다:
  1. 수술 워크플로우 이해: 수술 단계 인식, 수술 행동 삼중항 (Instrument-Verb-Target) 인식, 기술 평가 (CVS).
  2. 밀집된 공간 이해: 시맨틱 세그멘테이션, 인스턴스 세그멘테이션, 단안 깊이 추정.
  3. 비전 - 언어 이해: 시각적 질문 답변 (VQA, 닫힌/열린 형식), 교차 모달 검색, 제로샷 단계 인식.
• 평가 설정: 풀 파인튜닝 (Full fine-tuning), 프리즈드 백본 (Frozen-backbone), 퓨샷 (Few-shot), 제로샷 (Zero-shot) 설정에서 기존 모델 (EndoFM, GSViT, SurgeNet, PeskaVLP 등) 과 비교했습니다.

3. 주요 기여 (Key Contributions)

1. 대규모 일반화 데이터셋: 21 개 이상의 수술 절차를 아우르는 430 만 프레임 이상의 대규모 사전 학습 데이터셋을 구축했습니다.
2. 최적화된 사전 학습 전략 비교: 다양한 SSL 전략을 체계적으로 비교하여 수술 도메인에서 SimDINOv2 기반 접근법의 우수성을 입증했습니다.
3. ZEN 모델 제안: 공간 표현력과 비전 - 언어 정렬 능력을 동시에 갖춘 최초의 통합 기반 모델을 제안했습니다. 다중 교사 증류를 통해 단일 모델이 다양한 작업에서 최상위 성능을 내도록 했습니다.
4. 포괄적인 벤치마크: 워크플로우, 공간, 언어 이해를 아우르는 20 개의 임상적 태스크를 포함한 통합 벤치마크를 제시하여 모델의 일반화 능력을 검증했습니다.

4. 결과 (Results)

• 종합 성능: ZEN 은 20 개 작업 모두에서 기존 모델들을 일관되게 능가했습니다.
  • Frozen-backbone 설정: 평균 점수 0.579 (순위 1 위) 로, 다음으로 좋은 모델 (SurgeNet, 0.536) 보다 우월했습니다. 이는 ZEN 이 사전 학습된 특징 자체가 매우 강력하고 일반화 가능함을 의미합니다.
  • Full fine-tuning 설정: 평균 점수 0.603 (순위 1 위) 을 기록했습니다.
• 작업별 성능:
  • 워크플로우: 수술 단계 인식, 행동 삼중항 인식, 기술 평가 (CVS) 에서 모든 데이터셋에서 최상위 성능을 달성했습니다. 특히 퓨샷 (Few-shot) 환경에서도 우수한 적응력을 보였습니다.
  • 공간 이해: 시맨틱/인스턴스 세그멘테이션 및 깊이 추정에서 Dice 점수와 오차율 측면에서 기존 모델보다 유의미하게 높은 정확도를 보였습니다.
  • 비전 - 언어: VQA(닫힌/열린 형식) 및 교차 모달 검색, 제로샷 단계 인식에서 PeskaVLP 와 유사하거나 더 나은 성능을 보여주며, 직접적인 언어 지도 없이도 강력한 언어 이해 능력을 획득했음을 증명했습니다.
• 효율성: ViT-Large 크기의 교사 모델 (MIS-DINOv2) 보다 작은 ViT-Base 크기의 ZEN 이 더 나은 성능을 보이거나 경쟁력 있는 성능을 내며, 지식 증류의 효율성을 입증했습니다.

5. 의의 및 결론 (Significance)

• 수술 AI 의 패러다임 전환: 특정 작업에 국한된 모델에서, 다양한 수술 절차와 기관에서 일반화 가능한 **통일된 표현 (Unified Representation)**을 학습하는 기반 모델로의 전환을 주도합니다.
• 데이터 제약 해결: 제한된 라벨 데이터 (Few-shot) 와 계산 자원 (Frozen-backbone) 환경에서도 강력한 성능을 발휘하여, 실제 임상 환경에서의 적용 가능성을 높였습니다.
• 미래 응용: ZEN 은 수술 보조 시스템, 실시간 의사결정 지원, 수술 훈련 평가, 그리고 로봇 수술과의 통합을 위한 강력한 기반 기술로 활용될 수 있습니다.
• 일반화 능력: 사전 학습 데이터에 포함되지 않은 수술 절차 (예: 간 절제술 데이터로 학습했으나 뇌하수체 수술에서도 성능 발휘) 에 대해서도 뛰어난 일반화 능력을 보여, 실제 임상에서의 도메인 시프트 (Domain Shift) 문제를 해결할 잠재력을 가집니다.

이 연구는 수술 영상 분석 분야에서 데이터 효율성과 일반화 능력을 극대화한 새로운 기준을 제시하며, 임상적으로 유용한 AI 시스템 개발의 중요한 이정표가 됩니다.