Opportunistic Promptable Segmentation: Leveraging Routine Radiological Annotations to Guide 3D CT Lesion Segmentation

기술 요약: SAM2CT를 이용한 기회적 프롬프트 가능 세그멘테이션(Opportunistic Promptable Segmentation)

문제 정의
강력한 3D 세그멘테이션 머신러닝 모델의 개발은 대규모 고품질 3D 세그멘테이션 데이터셋의 부족으로 인해 제약을 받고 있다. 임상용 영상 저장 및 전송 시스템(PACS)에는 방대한 양의 CT 이미지와 판독 보고서가 저장되어 있지만, 3D 세그멘테이션을 생성하려면 방사선 전문의의 광범위하고 수동적인 컨투어링(contouring) 작업이 필요하며, 이는 비용과 시간이 많이 소요된다. 반면, 방사선 전문의들은 표준 임상 판독 과정에서 선 측정(예: 병변 직경)이나 소견을 강조하기 위한 화살표와 같은 희소한 주석(annotation)을 일상적으로 생성하며, 이는 Grayscale Softcopy Presentation State(GSPS) DICOM 객체로 저장된다. 현재 이러한 풍부하고 기존에 존재하는 주석들은 기존의 프롬프트 가능 세그멘테이션 모델들이 이러한 특정 GSPS 형식(화살표 및 선)을 직접 해석하여 3D 마스크를 생성할 수 없기 때문에, 3D 세그멘테이션 모델 학습을 위한 자원으로 활용되지 못하고 있다.

방법론
저자들은 기존의 GSPS 주석을 프롬프트로 활용하여 3D 세그멘테이션을 자동으로 생성하는 **기회적 프롬프트 가능 세그멘테이션(Opportunistic Promptable Segmentation)**이라는 새로운 패러다임을 제안한다. 이를 위해, 이들은 방사선사의 주석(화살표 및 선)을 3D CT 세그멘테이션으로 변환하도록 설계된 최초의 프롬프트 가능 세그멘테이션 모델인 SAM2CT를 소개한다.

• 아키텍처: SAM2CT는 Segment Anything Model 2 (SAM2) 아키텍처를 기반으로 구축되었다. 이 모델은 SAM2의 핵심 구성 요소(이미지 인코더, 프롬프트 인코더, 메모리 어텐션, 메모리 인코더, 메모리 뱅크, 마스크 디코더)를 유지하면서 두 가지 중요한 수정을 도입했다:
  1. 강화된 프롬프트 인코더(Enhanced Prompt Encoder): 프롬프트 인코더는 선의 끝점(endpoints)과 화살표의 시작/끝점을 해석할 수 있도록 세 개의 학습 가능한 파라미터를 확장하여, 모델이 GSPS 스타일의 입력을 직접 처리할 수 있도록 한다.
  2. 메모리 조건부 메모리(Memory-Conditioned Memories, MCM): 표준 SAM2에서는 비조건부 이미지 임베딩을 사용하여 메모리 토큰을 생성한다. SAM2CT는 이를 수정하여, 조건부(conditioned) 이미지 임베딩(메모리 어텐션을 거친 임베딩)을 메모리 인코더에 입력한다. 이를 통해 모델은 타겟 병변에 더 특화된 메모리 토큰을 생성하며, 3D 볼륨 전체에서 세그멘테이션 일관성을 향상시킨다.
• 학습 전략: 모델은 5개의 공개 CT 병변 세그멘테이션 데이터셋(8가지 종양 유형 포함)으로 구성된 큐레이션된 데이터셋을 통해 엔드투엔드(end-to-end)로 미세 조정되었다. GSPS 데이터의 기회적 사용을 시뮬레이션하기 위해, 저자들은 학습 과정에서 정답(ground-truth) 마스크로부터 화살표와 선 프롬프트를 합성하였다. 계산 비용을 관리하기 위해 8-슬라이스 서브 볼륨(sub-volumes)을 활용하여 학습을 진행하였다.
• 비교 대상: 본 연구는 화살표/선 프롬프트를 지원하지만 MCM이 결려한 미세 조정된 SAM2 변형 모델(SAM2 FT) 및 프롬프트를 바이너리 마스크 채널로 인코딩하는 표준 UNet 기반 아키텍처(DynUNet 및 Swin UNETR)와 SAM2CT를 비교한다.

주요 기여

1. 새로운 패러다임: 본 논문은 추가적인 의사의 노력 없이 PACS의 역사적 GSPS 데이터를 3D 데이터셋 생성으로 활용하는 방법인 "기회적 프롬프트 가능 세그멘테이션"을 정의하고 입증한다.
2. SAM2CT 모델: 임상적 선 및 화살표 주석을 해석하여 3D 세그멘테이션을 생성할 수 있는 최초의 모델을 개발하였다.
3. 아키텍처 혁신: 병변 특화 특징을 메모리 뱅크에 인코딩함으로써 3D 볼umetric 세그멘테이션 성능을 향상시키는 전략인 메모리 조건부 메모리(MCM)를 도입하였다. 저자들은 MCM이 추가적인 미세 조정 없이도 SAM2 기반의 다른 모델들에 테스트 타임 적응(test-time adaptation)으로 적용되었을 때 성능을 개선함을 입증하였다.
4. 합성 프롬프트 생성: 원래 주석이 없는 데이터에서도 학습이 가능하도록 정답 마스크로부터 현실적인 화살표 및 선 프롬프트를 합성하는 방법론을 제시하였다.

결과

• 벤치마크 성능: 공개 홀드아웃(hold-out) 테스트 세트에서 SAM2CT는 프롬프트 가능 모델 중 최첨단(SOTA) 성능을 달아냈다. 화살표 프롬프트에 대해 0.649, 선 프롬프트에 대해 0.757의 Dice 유사도 계수(DSC)를 기록하며, 다양한 병변 유형(신장, 간, 췌장, 림프절 등)에 대해 SAM2 (FT), MedSAM2, DynUNet, Swin UNETR을 능가하였다.
• 임상적 유용성(종양학): 실제 임상 PACS의 60개 종양 케이스에 적용했을 때, 방사선사들은 SAM2CT가 생성한 마스크가 임상적으로 수용 가능하거나(수정이 필요 없음) 경미한 조정만을 요구한다고 **87%**의 사례에서 평가하였다.
• 제로샷 일반화(Zero-Shot Generalization): 학습 데이터에 포함되지 않은 응급실(ED) 소견에 대해 강력한 제로샷 성능을 보였다. 원래의 GSPS 프롬프을 사용하여 농양(abscesses)에 대해 0.610, 담석(gallstones)에 대해 0.725의 DSC를 달textit.
• RECIST 정확도: SAM2CT는 다른 모델들과 비교하여 가장 낮은 평균 백분율 오차(11.1%)를 기록하여 RECIST 1.1 측정에서 높은 임상적 관련성을 입증하였다.
• 테스트 타임 적응: MCM 전략을 다른 모델(SAM2, MedSAM2)에 테스트 타임에 적용했을 때 추가 학습 없이도 상당한 성능 향상을 얻었으며, 이는 MCM이 3D 의료 세그멘테이션을 위한 견고한 아키텍처 개선책임을 검증한다.

의의 및 주장
저자들은 SAM2CT가 PACS 시스템에 이미 저장된 "프롬프트의 부(wealth of prompts)"를 활용함으로써 대규모 3D CT 세그멘테이션 데이터셋을 생성할 수 있는 확장 가능한 솔루션이라고 주장한다. 일상적인 희소한 방사선사 주석을 밀집된 3D 마스크로 변환함으로써, 이 방식은 데이터셋 제작을 위한 비용이 많이 드는 수동 컨투어링의 필요성을 제거한다. 본 논문은 이 방법이 고급 비전-언어 모델(vision-language models) 개발에 필수적인 다중 모달리티의 그라운디드 데이터셋(3D 마스크와 자유 텍스트 보고서를 연결하는 데이터셋) 구축을 용이하게 한다고 상정한다. 연구는 기회적 프롬프트 가능 세그멘테이션이 기존의 임상 워크플로우를 활용하여 의료 AI 개발을 가속화할 수 있는 실행 가능한 전략임을 결론짓는다.