Fine-Tuning SAM2 for Coronary Artery Segmentation in X-Ray Fluoroscopy

기술 요약: 관상동맥 분할을 위한 SAM2의 미세 조정(Fine-Tuning)

문제 정의
SAM2와 같은 파운데이션 모델이 강력한 일반 세그멘테이션 능력을 제공함에도 불구하고, 의료 영상—특히 관상동맥 분할을 위한 X-선 투시 영상(X-ray fluoroscopy)—에 직접 적용하는 데는 도메인 특유의 과제들이 걸림돌이 됩니다. 여기에는 환자의 움직임으로 인한 노이즈, X-선의 투영 기반 특성, 그리고 혈관과 배경 사이의 낮은 대비 등이 포함됩니다. 또한, 기존의 컴퓨터 비전 모델들은 특정 애플리케이션을 위해 광범위한 일대일 학습을 요구하는 경우가 많으며, 중재적 심장학 절차를 위한 대규모의 공개 가능한 프레임 단위 주석 데이터셋이 부족합니다. MedSAM2의 제로샷(zero-shot) 적용은 디스(Dice) 점수 0.033이라는 미미한 성능을 보였으며, 이는 상당한 도메인 격차가 존재함을 나타냅니다.

방법론
저자들은 정적 혈관 조영술(angiogram) 데이터셋을 학습에 사용하고 비디오 데이터셋을 정성적 평가에 사용하는 방식으로, 이러한 과제들을 해결하기 위한 MedSAM2(SAM2의 의료 적응 버전)의 미세 조정 전략을 제안합니다.

• 모델 아키텍처: 이 접근 방식은 Hiera-Tiny 백본, FPN 넥(neck), 그리고 2-way 트랜스포머 마스크 디코더를 사용하는 MedSAM2를 활용합니다. 비디오 처리를 위해, 프롬프팅을 다시 하지 않고도 마스크를 전파할 수 있는 6-프레임 FIFO 메모리 모듈을 활용합니다.
• 데이터셋:
  • 학습: 관상동맥에 대한 폴리곤 주석을 포함하는 ARCADE 데이터셋(학습 이미지 1,000개, 검증 이미지 200개).
  • 평val: 프레임 단위의 정답 마스크가 부족하여 정성적인 비디오 추적 평가에 사용된 CoronaryDominance 데이터셋(10개의 비디오 스터디).
• 미세 조정 전략:
  • 부분적 인코더 언프리징(Partial Encoder Unfreezing): 전체 네트워크를 학습시키는 대신, 마지막 두 개의 Hiera 트렁크 블록과 F로 FPN 넥(전체 인코더 파라미터의 약 10%)만을 언프리징하여, 사전 학습된 의료적 특징을 보존하면서 고수준 표현을 적응시킵니다.
  • 데이터 증강(Data Augmentation): 마스크의 무결성을 유지하기 위해 기하학적 변환(플립, 회전)을 적용하며, 경계선 불일치를 초래할 수 있는 강도 기반 증강은 피합니다.
  • 프롬프팅: 학습 시에는 정답으로부터 유도된 지터링(jitter)이 포함된 단일 중심점 클릭을 사용하며, 추론 시에는 프롬프트 프레임의 가장 밝은 픽셀로부터 중심점을 자동 계산합니다.
• 손실 함수: 혈관의 특정한 토폴로지를 처리하기 위해 복합 손실 함수를 사용합니다:
  • 클래스 불균형을 처리하기 위한 Dice Loss ($L_{Dice}$) 및 Weighted BCE ($L_{wBCE}$).
  • clDice Loss ($L_{clDice}$): 마스크의 소프트 스켈레톤(soft skeleton)에서 작동하는 토폴로지 보존 손실입니다. 이는 표준 중첩 지표가 해부학적으로 부정확하거나 파편화된 혈관 세그먼트를 허용할 수 있는 문제를 해결하기 위해, 중심선 연결성의 끊김에 대해 페널티를 부여합니다. 학습 안정화를 위해 clDice의 가중치는 처음 8 에포크 동안 선형적으로 증가(ramp up)됩니다.
• 비디오 추론: 모델은 픽셀 분산이 가장 높은(피크 대비가 높은) 프레임을 프롬프트 프레임으로 선택하고, 스트리밍 메모리 아키텍처를 사용하여 마스크를 전방 및 후방으로 전파합니다.

주요 결과

• 정적 세그멘테이션 (ARCADE 검증):
  • 제로샷(Zero-Shot): MedSAM2는 Dice 점수 0.033을 기록하여 도메인 격차를 확인했습니다.
  • 동결된 인코더 미세 조정: 디코더만 언프리징했을 때 점수가 0.727로 향상되었습니다.
  • 전체 미세 조정 (본 연구): 인코더를 부분적으로 언프리징하고 clDice 손실과 증강된 데이터를 사용했을 때, Dice 점수 0.767 ± 0.082 (IoU 0.629)를 달이트했습니다. 이 성능은 X-선 관상동맥 조영술(XCA)을 위해 설계된 모델들과 경쟁할 만한 수준입니다.
• 비디오 추론 (CoronaryDominance):
  • 미세 조정된 모델은 재프롬프팅 없이 여러 프레임에 걸쳐 주요 관상동맥 줄기를 일관되게 추적합니다.
  • 특이성(Specificity): 10개의 비디오 스터디 중 9개에서, 미세 조정된 모델은 갈비뼈, 수술용 스텐트, 우회로 그라프트 및 삽입된 장치에 대한 위양성(false positive)을 성공적으로 피했습니다. 반면, 제로샷 모델은 이러한 고대비 튜브 형태의 구조들을 혈관으로 지속적으로 오분류했습니다.
  • 한계점: 두 모델 모두 조영제 주입 사이클 사이에 조영제가 사라지면 메모리 모듈이 타겟을 놓치게 되어 실패합니다. 따라서 각 주입 사이클의 시작 시점에 재프롬프팅이 필요합니다.

의의 및 주장
본 논문은 MedSAM2가 최소한의 데이터(1,000개 이미지)만으로도 전체 백본을 광범위하게 재학습하지 않고 효과적으로 X-선 투시 영상에 적응할 수 있다고 주장합니다. 주요 의의는 미세 조정된 모델의 특이성에 있습니다. 즉, 이 모델은 단순히 일반적인 튜브 형태를 탐지하는 것이 아니라, 이 모드에서의 실제 관상동맥 외형을 학습합니다. 이는 명시적인 부정적 감독(negative supervision) 없이도, 스텐트를 혈관으로 식별하는 것과 같이 임상적으로 위험할 수 있는 위양성을 줄여줍니다.

저자들은 비디오 평가가 사용 가능한 공개 데이터셋의 프레임 단위 정답 부재로 인해 정량적이라기보다 정성적임을 언급했습니다. 또한 현재의 메모리 기반 아키텍처가 조영제 주입 시작 시 추적 지연을 발생시킨다는 점을 인정하며, 향-연구로서 라벨이 없는 비디오에 대한 자기 지도 학습(self-supervised pre-training) 및 자원이 제한된 임상 하드웨어로의 배포를 탐구해야 한다고 밝혔습니다.