Automatic Segmentation of 3D CT scans with SAM2 using a zero-shot approach

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 의료 영상 분할은 전통적으로 U-Net, V-Net, UNETR 등 완전히 감독 학습 (fully supervised) 된 모델에 의존해 왔습니다. 그러나 이러한 모델들은 대량의 픽셀 단위 레이블이 필요하며, 새로운 클래스에 대해 일반화하려면 재학습이 필요합니다.
• 기존 접근법의 한계: 'Segment Anything Model (SAM)'과 같은 파운데이션 모델은 자연 영상에서 강력한 일반화 능력을 보였으나, 본질적으로 2D 이미지 처리에 국한되어 있습니다. 이를 3D CT 데이터에 적용할 경우, 슬라이스 단위로 독립적으로 처리하여 3D 공간적 일관성이 깨지는 문제가 발생합니다.
• SAM2 의 도입과 한계: SAM2 는 비디오 분할을 위해 시계열 메모리 메커니즘을 도입했습니다. 이를 3D CT 볼륨 (깊이 축을 시간 축으로 간주) 에 적용하면 이론적으로 3D 일관성을 유지할 수 있습니다. 하지만 기존 연구들은 대부분 의료 도메인 특화 데이터로 모델을 파인튜닝 (supervised fine-tuning) 했습니다.
• 핵심 문제: 파인튜닝은 계산 비용이 크고, 고품질 레이블 데이터 확보가 어렵다는 실용적 제약이 있습니다. 또한, 특정 도메인에 맞춰 학습하면 모델의 범용성이 떨어질 수 있습니다.
• 연구 목표: 전혀 학습 (fine-tuning) 을 하지 않은 채 (Zero-shot), SAM2 의 추론 (inference) 단계 설계만 변경하여 3D CT 볼륨 분할을 수행할 수 있는지, 그리고 추론 구성만으로도 3D 인식 능력을 유도할 수 있는지 검증하는 것입니다.

2. 방법론 (Methodology)

저자들은 SAM2 의 가중치를 고정 (frozen) 한 채, 추론 파이프라인의 구조적 및 절차적 변경을 통해 3D CT 데이터에 적합한 방식으로 모델을 적응시켰습니다.

가. 기본 접근법: 3D 볼륨을 가상 비디오로 재해석

• CT 스캔의 깊이 축 (z 축) 을 시간 축으로 매핑하여 각 axial 슬라이스를 비디오 프레임으로 간주합니다.
• SAM2 의 메모리 뱅크 (Memory Bank) 를 사용하여 이전에 처리된 슬라이스의 특징을 저장하고 인접 슬라이스로 전파합니다.

나. 주요 기술적 개선 사항 (Architectural & Procedural Modifications)

1. 조건부 프레임 선택 (Structured Prompt Selection, SPS):

   • 기본 SAM2 는 모든 프롬프트가 지정된 프레임을 메모리에 동등하게 저장합니다.
   • 문제: CT 에서 멀리 떨어진 슬라이스라도 시각적으로 유사할 수 있어 메모리 주의 (attention) 를 방해할 수 있습니다.
   • 해결: 프롬프트가 지정된 슬라이스 중 공간적으로 인접한 것들만 메모리에 유지하도록 임계값 (temporal threshold, 약 0.3) 을 적용하여 노이즈를 줄였습니다.

2. 지능형 슬라이싱 (Intelligent Slicing, IS) 및 메모리 최적화:

   • 문제: 중간 시점의 temporal embedding 은 중복성이 높고, 3D CT 는 시간적 연속성보다 공간적 근접성이 중요합니다.
   • 해결: 메모리 뱅크에 저장하는 비조건부 (non-conditioned) 슬라이스 수를 줄이고, 가장 최근의 2 프레임만 저장하되, 이를 시작과 끝의 temporal embedding 으로 매핑하여 중요한 컨텍스트를 보존하도록 변경했습니다. 이는 추론 속도를 높이고 성능을 개선했습니다.

3. 다축 전파 및 융합 (Multi-Axis Propagation):

   • CT 데이터는 등방성 (isotropic) 이므로 한 방향 (예: Axial) 만으로 분할하면 편향이 발생할 수 있습니다.
   • 해결: Axial, Coronal, Sagittal 세 축을 각각 독립적으로 분할한 후, 각 축에서 얻은 로짓 (logit) 을 평균화하여 최종 예측을 생성합니다.
   • 결과: 프롬프트 수 (Budget) 가 충분할 때 (예: 축당 3 개씩 총 9 개), 다축 전략이 단일 축 전략보다 성능이 우수함을 확인했습니다.

4. 전처리 (Preprocessing):

   • 뼈 조직에 특화된 Hounsfield 단위 윈도우링 (Intensity Windowing) 을 적용하여 도메인 불일치를 줄였습니다.

3. 실험 설정 및 데이터 (Experiments)

• 데이터셋: TotalSegmentator 데이터셋 사용.
  • Ablation Study: 500 개 CT 스캔 (뼈 구조 10 개 클래스, 균등 분포).
  • 최종 평가: 2,500 개 CT 스캔.
• 평가 지표: Dice Similarity Coefficient (DSC), Intersection over Union (IoU), Hausdorff Distance (HD).
• 프롬프트 전략: Ground Truth 에서 유도된 마스크 프롬프트를 사용하여 일관성을 확보했습니다.

4. 주요 결과 (Results)

• 성능 향상:
  • 제안된 최적 구성 (IS + SPS + Multi-Axis) 은 베이스라인 대비 약 4% 의 Dice 점수 향상을 보였습니다.
  • 전체 평균 Dice: 0.841, IoU: 0.778, Hausdorff Distance: 4.788.
• 세부 구조별 성과:
  • 척추 (Vertebrae): 슬라이스 간 모양 변화가 심한 척추 구조에서 Dice 점수가 12.5% 절대적으로 향상되었습니다. 이는 제안된 방법이 3D 볼륨 인식 능력을 효과적으로 개선했음을 시사합니다.
  • 기타 구조: 늑골 (Rib), 고관절 (Hip) 등에서도 일관된 개선을 보였습니다.
• 추론 효율성:
  • 메모리 크기를 줄이고 지능형 슬라이싱을 적용하면 추론 시간이 단축되면서도 성능이 향상되었습니다.
  • 신뢰도 기반 게이팅 (Confidence Gating) 은 오히려 성능을 저하시켰습니다 (중복된 컨텍스트만 남김).

5. 주요 기여 및 의의 (Contributions & Significance)

1. Zero-shot 3D 분할의 가능성 입증: 파인튜닝 없이 SAM2 를 3D 의료 영상에 적용하여 일관된 분할 결과를 얻을 수 있음을 증명했습니다.
2. 추론 시간 설계의 중요성 강조: 모델 가중치 변경 없이도, 메모리 관리 전략, 프롬프트 배치, 전파 방식과 같은 추론 단계의 설계가 3D 일관성에 결정적인 영향을 미친다는 것을 체계적인 Ablation Study 를 통해 규명했습니다.
3. 실용적 가이드라인 제공:
   • 3D CT 에서는 멀리 떨어진 슬라이스보다 인접한 슬라이스의 메모리가 더 중요합니다.
   • 시작과 끝의 temporal embedding 이 중요하며, 메모리 크기를 줄이는 것이 오히려 유리할 수 있습니다.
   • 다축 (Multi-axis) 분할은 프롬프트 비용이 허용될 때 가장 효과적입니다.
4. 윤리적 고려: 임상적 오용 위험을 인지하고, 연구가 학술적 탐구 단계임을 명확히 하며, 데이터는 익명화된 공개 데이터셋을 사용하여 윤리적 리스크를 관리했습니다.

6. 결론

이 연구는 SAM2 와 같은 범용 비전 모델이 추론 단계의 전략적 변형을 통해 3D 의료 영상 분할에 적용될 수 있음을 보여주었습니다. 비록 파인튜닝을 거친 모델만큼의 성능은 아니지만, 학습 비용 없이도 3D 공간적 일관성을 확보할 수 있는 유효한 방법론을 제시했다는 점에서 의의가 큽니다. 향후 성능 향상을 위해서는 아키텍처 수준의 의료 도메인 적응이 필요할 것으로 전망됩니다.