Temporally Consistent Label Interpolation for Robust Surgical Multi-Task Learning under Challenging Conditions

기술 요약: 도전적인 조건 하에서의 강건한 수술 멀티태스크 학습을 위한 시간적 일관성을 갖춘 레이블 보간(Temporally Consistent Label Interpolation)

1. 문제 정의

본 논문은 통합된 수술 멀티태스크 학습(MTL)의 근본적인 장벽인 주석 입도 불일치(annotation granularity mismatch) 문제를 다룹니다.

• 시간적 작업(Temporal Tasks): 워크플로우 관련 작업(단계 인식, 단계 식별, 예측)은 거의 모든 비디오 프레임에서 사용 가능한 조밀한 프레임 수준의 감독(supervision)으로부터 이득을 얻습니다.
• 공간적 작업(Spatial Tasks): 픽셀 수준의 작업(기구 세그멘테이션, 동작 인식)은 전문적인 임상 지식을 필요로 하는 노동 집약적인 전문가 주석을 요구합니다. 결과적으로, 과도한 레이블링 비용으로 인해 이러한 작업들은 선택된 키프레임에 대해서만 희소하게(sparsely) 주석이 달리는 경우가 많습니다.

이러한 불균형은 공유 표현 학습(shared representation learning)을 저해하는 감독 격차를 만듭니다. 공동 최적화 시, 모델은 시간적 예측을 뒷받침할 조밀한 공간적 단서가 부족하며, 반대로 시간적 컨텍스트는 희소한 공간적 예측을 효과적으로 규제하지 못하기 때문에 이종(heterogeneous) 작업 간의 결합이 제한됩니다. 또한, 수술 비디오에서 희소한 레이블을 직접 전파하는 것은 복잡한 수술 중 상황(폐쇄, 연기, 모션 블러, 조명 변화)으로 인해 어려우며, 이는 외형 기반 전파 방식(SAM2와 같은 방식)을 실패하게 만들어 시간적으로 일관되지 않은 의사 레이블(pseudo-labels)을 생성합니다.

2. 방법론

저자들은 희소한 키프레임 주석으로부터 시간적으로 일관된 조밀한 의사 레이블을 생성하기 위해 설계된 프레임워크인 **FAROS (Flow-guided Annotation for Robust Operating Scenes)**를 제안하며, 이어서 통합 멀티태스크 학습 아키텍처를 제시합니다.

A. FAROS: 흐름 유도형 레이블 보간 (Flow-Guided Label Interpolation)
FAROS는 수술 환경에서의 외형 기반 방식의 한계를 극복하기 위해 제로샷 세그멘테이션 기반 마스크 전파와 광학 흐름(optical flow) 추정을 결리합니다.

• 양방향 SAM2 프롬프팅 (Bidirectional SAM2 Prompting): 단일 키프레임으로부터 단방향으로 전파하는 대신, 시스템은 양 끝단 키프레임($k_0$ 및 $k_1$)으로부터의 그라운드 트루스 마스크를 SAM2 메모리 뱅크에 등록합니다. 이를 통해 모델은 세그먼트의 양 끝에서 앵커를 참조할 수 있어 시간적 안정성이 향상됩니다.
• 흐름 일관성 기반 이상 탐지 (Flow Consistency-Based Anomaly Detection): 전파 실패(예: 폐쇄 또는 기구 이탈)를 탐지하기 위해, 시스템은 광학 흐름(RAFT를 통해 추정)의 순방향-역방향 일관성 속성을 활용합니다. 시스템은 픽셀당 일관성 오차를 계산합니다. 오차가 임계값($\tau$)을 초과하고 연속된 프레임 수($n_{confirm}$) 동안 지속되면, 해당 전파는 이상 상태로 표시됩니다.
• 흐름 유도형 재프롬프팅 (Flow-Guided Reprompting): 이상이 감지되면, 시스템은 가장 가까운 검증된 키프레임으로부터 현재 프레임까지의 역방향 흐름을 계산합니다. 이 흐름을 사용하여 해당 키프레임의 그라운드 트루스 마스크를 워핑(warp)하여 기하학적으로 근거가 확실한 "교정용 프롬프트(corrective prompt)"를 생성합니다. 이 프롬프트는 SAM2 프롬프트 인코더에 다시 입력되어 전파를 재초기화하며, 외형 기반 주의 집중(attention)이 실패한 지점에서 마스크를 효과적으로 복구합니다.

B. 통합 멀티태스크 학습 프레임워크
조밀해진 의사 레이블은 5가지 작업(수술 단계 인식, 단계 식별, 예측, 기구 세그멘테이션, 동작 인식)을 공동으로 학습하는 통합 트랜스포머 기반 프레임워크에 통합됩니다.

• 아키텍처: 프레임워크는 기구 세그멘테이션을 위한 베이스라인으로 Mask2Former 기반의 영역 제안 네트워크(RPN)를 채택합니다. 1단계에서 RPN은 그라운드 트루스 및 의사 마스크를 통해 훈련되어 영역 임베딩을 생성합니다. 2단계에서는 RRPN을 고정(frozen)하고, 미리 계산된 임베딩을 재사용합니다.
• 시공간 결합 (Spatio-Temporal Coupling): MViT 백본은 시공간 특징을 추출합니다. 프레임 수준 작업(단계, 단계 식별)에는 전용 CLS 토큰이 할당됩니다.
• 교차 작업 조건화 (Cross-Task Conditioning): 프레임워크는 경량 조건화 모듈을 통해 작업 간의 의존성을 명시적으로 모델링합니다:
  • 단계 $\to$ 단계 식별: 단계 특징이 단계 예측에 정보를 제공합니다.
  • 공간 $\to$ 시간: 풀링된 영역 임베딩(기구 존재 여부/구성)이 단계 및 단계 식별 헤드에 주입되어, 픽셀 수준의 기구 이해를 바탕으로 워크플로우 인식을 구체화합니다.
• 최적화: 모델은 작업별 손실(loss)의 가중 합을 사용하며, 상응하는 주석(또는 의사 레이블)이 가용한 경우에만 이를 활성화하여 이종의 감독 신호 간의 균형 잡힌 최적화를 가능하게 합니다.

3. 주요 기여

1. 주석 입도 불일치 식별: 본 논문은 밀집된 시간적 주석과 희소한 공간적 주석 사이의 격차를 통합 수술 MTL의 핵심 장벽으로 식별하고, 이를 해결하기 위해 FAROS를 제안합니다.
2. FAROS 프레임워크: 제로샷 세그멘테이션(SAM2)에 광학 흐름 가이드를 결합하여 강화한 새로운 흐름 유도형 레이블 보간법을 제시합니다. 이는 기하학적 운동 사전 정보(motion priors)를 사용하여 이상을 탐지하고 세그멘테이션 모델을 재프롬프트함으로써, 어려운 수술 조건(폐쇄, 연기, 모션 블러)에서의 실패 모드를 구체적으로 해결합니다.
3. 통합 시공간 MTL: 워크플로우 수준과 영역 수준의 작업을 공동으로 모델링하는 통합 트랜스포머 기반 프레임워크를 구축하며, 조밀해진 공간적 감독을 활용하여 균형 잡힌 교차 작업 표현 학습을 실현합니다.
4. 실증적 검증: GraSP, MISAW, AutoLaparo 벤치마크에 대한 광범위한 실험과 더불어, 희소 그라운드 트루스 프로토콜 하에서의 DAVIS 2017 데이터셋 검증을 수행했습니다.

4. 결과

• DAVIS 2017 검증: 희소 그라운드 트루스 프로토콜(30프레임마다 키프레임 배치) 하에서, FAROS는 영역 유사도($\mathcal{J}$)와 윤곽 정확도($\mathcal{F}$) 모두에서 SAM2 베이스라인을 능가하여, 긴 키프레임 간격과 까다로운 움직임 속에서도 견고한 전파 능력을 입증했습니다.
• GraSP 벤치마크: 흐름 유도형 보간을 적용한 전체 모델("All w/ inter")은 단일 작업 베이스라인 및 보간이 없는 멀티태스크 모델에 비해 워크플로우 수준 작업에서 유의미한 성능 향상을 보였습니다. 특히 단계 식별(step recognition)에서 강력한 이득을 보였습니다. 비보간 멀티태스크 모델과 비교했을 때 mIoU에서 미미한 정량적 감소가 관찰되었으나, 질적 분석 결과 시각적으로 더 우수한 세그멘테이션과 적은 오탐(false positives), 더 나은 시간적 일관성을 보여주었습니다.
• MISAW 벤치마크: 제안된 방법은 거의 모든 지표에서 최고 성능을 달-성했으며, 특히 워크플로우 인식과 단계 예측에서 강력한 개선을 보였습니다. 기구 세그멘테이션 또한 단일 작업 베이스라인을 회복하고 이를 넘어섰습니다.
• AutoLaparo 벤치마크: 레이블 보간의 효과를 분리하기 위해 사용된 결과, 인터폴레이션된 의사 레이블로 훈련된 모델이 멀티태스크 공동 훈련 없이도 보간이 없는 베이스라인보다 세그멘테이션 성능(IoU, mIoU)을 일관되게 향상시킴을 확인했습니다.
• 효율성: 프레임워크는 계산 집약적인 마스크 생성(1단계, 고정됨)과 멀티태스크 추론(2단계)을 분리함으로써 단일 GPU에서 약 44 clips/s의 실시간 처리 능력을 달성했습니다.

5. 의의 및 주장

본 논문은 흐름 유도형 레이블 보간이 수술 장면 이해를 위한 멀티태스크 학습의 이점을 실현하는 데 필수적임을 주장합니다. 보간이 없으면 주석 불균형으로 인해 공동 학습이 단일 작업 베이스라인보다 성능이 저하되는 경우가 빈번합니다.

저자들은 다음과 같이 단언합니다:

• 시공간 결합: 기구의 공간적 구성은 워크플로우 인식을 위한 구조화된 사전 정보 역할을 합니다. 공간적 감독을 조밀하게 함으로써, 프레임워크는 단계 전환을 위한 더 풍부한 단서를 제공합니다.
• 강건성: 외형 기반 세그멘테이션과 기하학 기반 흐름 교정의 결합은 순수 외형 기반 모델이 실패하는 임상적 난제(예: 기구의 진입/이탈, 연기, 혈액 폐쇄)를 효과적으로 처리합니다.
• 일반화 가능성: 이 접근 방식은 다양한 수술 도메인(로봇 보조 인간 수술, 미세 수술 훈련, 복강경 수술) 및 일반 비디오 시나리오에서 검증되었으며, 이는 다양한 주석 밀도와 시각적 복잡성에 대해 방법론이 견고함을 시사합니다.

본 연구는 주석 효율적인 홀리스틱(holistic) 수술 장면 이해를 위한 토대를 마련하며, 감독 격차를 메우는 것이 모든 작업의 성능을 동시에 향상시키는 균형 잡힌 교차 작업 최적화를 가능하게 함을 입증합니다.