기술 요약: 컨텍스트 학습을 이용한 파운데이션 표현 기반의 수술 해부학적 구조 인식

문제 정의

해부학적 구조를 정확하게 인식하는 것은 안전하고 효과적인 최소 침습 수술(MIS)을 위해 매우 중요합니다. 그러나 이 특정 과업에 대한 수술 컴퓨터 비전의 발전은 두 가지 주요 요인으로 인해 정체되어 왔습니다:

1. 데이터 부족: 실제 수술의 다양성을 포착할 수 있는 대규모의 다양하고 풍부하게 주석이 달린 데이터셋이 부족합니다. 기존 데이터셋은 종종 절차적 다양성이 제한적이고, 비디오 수가 적으며, 해부학적 클래스 범위가 불완전하여 모델의 일반화를 제한합니다.
2. 방법론적 한계: 전통적인 접근 방식은 종종 객체 추적에 치중하거나 자연 경관에 맞춰져 있어, 제한된 시야와 촉각 피드백이 없는 상황에서 외과의가 해부학적 구조를 식별하기 위해 의존하는 특정 맥락적 단서(예: 수술 유형, 수술 단계)를 활용하는 데 실패합니다.

방법론

1. ATLAS-120k 데이터셋

저자들은 데이터 제한 문제를 해결하기 위해 설계된 대규모 클립 수준 시맨틱 세그멘테이션 데이터셋인 ATLAS-120k를 소개합니다.

• 규모 및 다양성: 100개의 수술 비디오에서 추출한 120,000개 이상의 주석이 달린 프레임으로 구성되며, 14가지의 뚜렷한 절차(복강경 및 로봇 보조 MIS 포함)를 아우르고 42개의 해부학적 클래스를 다룹니다.
• 주석 파이프라인: 다음과 같은 확장 가능한 워크플로우가 사용되었습니다:
  • 외과의의 감독 하에 수술 연구 펠로우들이 초기 프레임을 전문가 수준에서 수동으로 라벨링함.
  • 경량 객체 추적 모델을 사용하여 자동 전파(propagation) 수행.
  • 주석 데이터를 바탕으로 트래커를 일정 간격(10k, 25k, 50k 프레임)마다 미세 조정하는 반복적 정제 과정 수행.
  • 전파 오류에 대한 수동 수정 및 숙련된 외과의에 의한 모든 클립의 첫 프레임 독립 검증.
• 표준화: 비디오는 15 fps로 다운샘플링되었으며, 공간 해상도는 480×640에서 1080×1920 범위를 가집니다.

2. ATLAS 모델

저자들은 수술 해부학에 특화되도록 설계된 비디오 시맨틱 세그멘테이션 모델인 ATLAS(Foundation Representations를 이용한 컨텍스트 학습 기반 해부학 인식)를 제안합니다. 단순한 추적에 중점을 두는 표준 비디오 세그멘테이션과 달리, ATLAS는 파운데이션 모델 임베딩을 컨텍스트 학습과 통합합니다.

• 아키텍처: EoMT(ViT 인코더와 학습 가능한 쿼리를 사용하는 최첨단 이미지 세그멘테이션 모델)를 기반으로 구축되었으며, ATLAS는 이를 비디오로 확장하여 표준 세그멘테이션 및 추적 쿼리와 함께 **컨텍스트 쿼리(context queries)**를 도입했습니다.
• 입력 표현: 각 프레임 $t$에 대해 트랜스포머 입력 $X_t$는 다음을 포함합니다:
  • 비주얼 패치 토큰 ($P_t$).
  • 학습 가능한 세그멘테이션 쿼리 ($Q_{seg}$).
  • 이전 프레임으로부터 전파된 쿼리 ($\hat{Q}_{t-1}$).
  • 컨텍스트 쿼리: 절차($Q_{proc}$) 및 수술 단계($Q_{phase}$)를 위한 학습 가능한 초기 쿼리로, 전역적 및 시간적 맥락을 포착하기 위해 시간이 지남에 따라 정제됩니다.
• 컨텍스트 메커니즘:
  • 절차 쿼리: 절차 레이블을 예측하기 위해 MLP를 통해 인코딩되며, 교차 엔트로피 손실(cross-entropy loss)에 의해 감독됩니다. 이는 안정적이고 높은 수준의 맥락(예: 기구 존재 여부, 노출 패턴)을 포착합니다.
  • 단계 쿼리: 미세한 시간적 변화를 포착하기 위해 인코딩됩니다. 동일한 클립 내의 시간적으로 인접한 프레임 간의 임베딩은 가깝게 유지하고, 서로 다른 클립이나 먼 타임스탬프의 임베딩은 밀어내도록 InfoNCE 대조 학습 손실(contrastive loss)이 적용됩니다.
• 시간적 전파: 쿼리는 선형 레이어를 사용하여 프레임 $t-1$에서 $t$로 전파되며, 이는 VidEoMT와 유사하게 단기 기억과 시간적 일관성을 보장하면서 새로운 컨텍스트 차원으로 확장된 형태입니다.

주요 기여

1. ATLAS-120k 데이터셋: 단일 절차 데이터셋과 실제 수술의 복잡성 사이의 간극을 메우는, 전례 없는 절차적 다양성(14개 절차)과 규모(120k+ 프레임)를 제공하는 새로운 벤치마크 데이터셋입니다.
2. ATLAS 모델: 파운데이션 모델의 표현과 경량화된 시간적 추론 및 명시적 컨텍스트 쿼리(절차 및 단계)를 결합한 새로운 아키텍처입니다. 이 설계는 모델이 절차적 지식을 활용하여 해부학적 인식의 모호성을 해결할 수 있게 합니다.
3. 오픈 리소스: 연구를 촉진하기 위해 모델, 데이터셋 주석 및 주석 플랫폼을 공개합니다.

실험 결과

모델은 환자 단위 분할(70 훈련, 10 검증, 20 테스트)을 통해 평가되었으며, 30개의 통합 클래스를 대상으로 했습니다.

• 성능: ATLAS ViT-L 변체는 다음을 달성했습니다:
  • 0.64 AP (Average Precision)
  • 0.49 mDice (Mean Dice coefficient)
  • 0.79 mVC24 (24프레임 기준 평균 비디오 일관성)
  • NVIDIA H100에서 64 FPS 추론 속도를 기록하여 실시간 실행 가능성을 입증했습니다.
• 비교: ATLAS는 자연 이미지 파운데이션 모델(예: DINOv2/3, SAM 변체) 및 도메인 내 의료 모델(예: EndoViT, SurgeNet)보다 일관되게 우수한 성능을 보였습니다.
• 절제 연구(Ablation Studies):
  • 사전 학습: SurgeNet 데이터셋을 사용한 도메인 내 사전 학습(DINOv3 사용)은 기본 가중치 대비 상당한 성능 향상을 제공했습니다.
  • 구성 요소: 시간적 쿼리 전파를 추가하면 AP 및 AP50이 향상되었습니다. 컨텍스트 쿼리를 통합하면 탐지, 영역 중첩 및 시간적 일관성 지표가 더욱 개선되었습니다.
  • 효율성: 이러한 개선을 통해 파라미터 수를 1% 미만으로 증가시키면서도 베이스라인 대비 AP를 20% 이상 높였습니다.

의의 및 주장

본 논문은 ATLAS-120k 데이터셋과 ATLAS 모델의 결มี이 견고한 수술 장면 이해를 위한 실질적인 토대를 구축한다고 주장합니다. 저자들은 다음과 같이 단언합니다:

• 맥락의 중요성: MIS에서의 견고한 해부학적 인지는 단순한 시각적 추적 그 이상을 요구하며, 제안된 모델이 성공적으로 포착한 것처럼 절차적 및 단계적 맥락의 통합이 필수적입니다.
• 간극 해소: 본 연구는 연구용 프로토타입과 임상적으로 유용한 해부학 인지형 가이드 시스템 사이의 간극을 메우는 것을 목표로 합니다.
• 실제 적용 가능성: 다양한 절차에 걸쳐 높은 정확도와 시간적 일관성을 입증함으로써, 본 프레임워크는 수술실 내 더 안전하고 지능적인 보조 시스템 개발을 지원합니다.

저자들은 데이터셋의 도전적인 특성(불균형한 클래스, 롱테일 분포)을 인정하며, ATLAS-120k를 해결된 문제가 아닌 미래 모델들을 위한 까다로운 벤치마크로 설정하며 절대적인 Dice 점수에 대해 신중한 태도를 유지합니다.