기술 요약: 도메인 변화(Domain Shift) 하에서의 유방 촬영술용 파운데이션 모델 강건성 벤치마킹

문제 정의

파운데이션 모델(FM)은 사전 학습된 백본을 동결하고 경량 분류 헤드를 학습된 소스 데이터셋에 적용하는 워크플로우를 통해, 유방 촬영술의 이미지 특징 추출기로 점점 더 많이 채택되고 있다. 그러나 외부 도메인 변화 하에서 이러한 표현(representations)의 강건성은 여전히 불분명하다. 선행 연구는 대규모 또는 특정 양식(modality) 특화 사전 학습이 본질적으로 강건한 분포 외(OOD) 일반화를 보장하지 못한다는 것을 시사한다. 이러한 과제는 유방 밀도, BI-RADS 심각도, 암 상태와 같이 임상적 라벨이 이질적이고, 데이터셋마다 정밀도, 유병률 및 주석 프로토콜이 상이한 유방 촬영술의 특성으로 인해 더욱 악화된다. 결과적으로, 높은 내 분포(ID) 성능이 OOD 일반화로 이어지지 못하는 경우가 많으며, 이는 유방 촬영술의 표현이 소스 데이터를 넘어 어떻게 일반화되는지 평가하기 위한 체계적인 벤치마크를 필요로 한다.

방법론

벤치마크 구축

저자들은 12개 국가/지역(북미, 유럽, 아시아, 중동, 아프리카, 오세아니아)에 걸친 15개의 공개 유방 촬영술 데이터셋으로 구성된 조화로운 벤치마크를 구축하였다. 이 벤치마크는 세 가지 뚜렷한 임상 작업(task)을 다룬다:

1. 유방 밀도(Breast Density): 이미지 레벨에서 평가 (A, B, C, D).
2. BI-RADS 평가: 검사(exam) 레벨에서 평가 (1–5).
3. 암 상태(Cancer Status): 검사 레벨에서 평가 (이진 분류: 암/비암).

선형 분류기를 위한 학습용 소스 데이터셋으로서 라벨은 다음과 같이 조화되었다:

• BI-RADS: VinDr-Mammo (소스)
• 밀도: EMBED (소스)
• 암 상태: RSNA-site2 (소스)

모델 제품군

본 연구는 네 가지 비중첩 제품군으로 분류된 15개의 파운데이션 모델 백본을 평가하였다:

1. 자연 이미지 SSL: DINOv2, DINOv3.
2. 일반 방사선학 SSL: RAD-DINO, RayDINO.
3. 유방 촬영술 적응형 SSL: DINOv2-EMBED, DINOv3-EMBED, MAE-EMBED, VersaMammo (EMBED로 추가 사전 학습됨).
4. 시각-언어 모델 (VLMs):
   • 일반 의료용: BioMedCLIP, UniMedCLIP, MedSigLIP.
   • 유방 촬영술 특화: MaMA, GLAM, Mammo-CLIP, Mammo-FM.

평가 프로토콜

• 동결된 백본 선형 프로브(Frozen-Backbone Linear Probe): 모든 모델은 동결된 이미지 인코더로서 평가되었다. 작업별 선형 분류기는 소스 데이터셋에서 학습되었으며, 홀드아웃(held-out) ID 테스트 세트 및 12개의 작업 호환 OOD 데이터셋에서 평가되었다.
• 전처리: 이미지를 1024 × 768 크기로 조정하는 통합 전처리 파이프라인을 사용하였다.
• 집계(Aggregation): 검사 레벨 작업(BI-RADS, 암)의 경우, 이미지 레벨 확률을 클래스별 맥스 풀링(per-class max pooling) 및 재정규화를 통해 집계하였다.
• 지표: BI-RADS 및 밀도에 대해서는 Macro-averaged one-vs-rest AUROC를, 암 상태에 대해서는 Binary AUROC를 사용하였다. 부트스트래핑을 통해 95% 신뢰 구간을 계산하였다.

주요 기여

1. 조화로운 벤치마크: 15개 데이터셋과 12개 지역을 포괄하며, 세 가지 임상적으로 구별되는 작업을 포함하는 통합 벤치마크를 생성하였다.
2. 통합 평가: 일관된 동결 백본 선형 프로브 프로토콜을 사용하여 세 가지 작업에 대해 15개의 파운데이션 모델을 체계적으로 비교하였다.
3. 다차원 분석: 집계된 점수를 넘어 모델 제품군 비교, 데이터셋별 평가, 특징 공간 검사(UMAP)를 포함하는 OOD 동작 분석을 수행하였다.

결과

ID–OOD 성능 정렬

• BI-RADS: ID와 OOD 성능 간의 강력한 순위 정렬($\rho = 0.89$)을 보였으나, 평균 OOD 격차는 $-0.092$였다.
• 밀도: 높은 ID 상한선(0.93–0.95)을 가졌으나, 유사한 OOD 격차($-0.092$)와 낮은 순위 상관관계($\rho = 0.76$)를 보였다.
• 암 상태: 가장 약한 ID/OOD 순위 관계($\rho = 0.61$)를 보였으며, 데이터셋 간의 라벨 정의 차이로 인해 약간의 양의 격차($+0.017$)가 나타났다.

모델 수준 성능

• 유방 촬영술 특화 VLM: 가장 강력한 전체 평균 OOD 성능을 달了.
  • Mammo-FM: BI-RADS에서 최고 성능 ($0.688 \pm 0.016$).
  • MaMA: 밀도 ($0.865 \pm 0.006$) 및 암 상태 ($0.718 \pm 0.014$)에서 최고 성능.
• 시각 전용 베이스라인: DINOv3가 가장 경쟁력 있는 시각 전용 모델로 등장하였으며, 유방 촬영술 특화 사전 학습이 없음에도 불구하고 여러 유방 촬영술 적응 모델보다 우수한 성능을 보였다 (예: BI-RADS에서 $0.635$로 MaMA의 $0.646$에 근접).
• 유방 촬영술 적응: 단일 유방 촬영 데이터셋(예: EMBED)에 대한 지속적 사전 학습이 OOD 일반화를 일관되게 개선하지는 못했다. 일부 경우(예: DINOv3-EMBED)에는 자연 이미지 베이스라인에 비해 성능 저하가 발생하기도 했다.

사전 학습 요인

• VLM vs. 시각 전용: VLM은 모든 작업에서 시각 전용 모델보다 일반적으로 더 높은 평균 OOD AUROC를 달성하였다.
• 도메인 정렬: 유방 촬영술 특화 VLM이 일반 의료용 VLM보다 우수한 성능을 보였는데, 이는 시각적 노출 자체보다 유방 촬영술 언어와의 정렬이 더 중요하다는 것을 시사한다.
• 작업 의존성: 선도적인 모델은 보편적이기보다 작업에 따라 달라진다. 예를 들어, MaMA의 밀도 사전 학습(테이블 형태의 메타데이터 사용)은 우수한 밀도 성능과 상관관계가 있었고, Mammo-FM의 보고서 기반 사전 학습은 검사 레벨의 결과를 가진 데이터셋에서의 암 상태 성능과 상관관계가 있었다.

데이터셋 수준의 이질성

• 강력한 평균 OOD 성능이 모든 외부 데이터셋에 대한 균일한 동작을 의미하지는 않는다.
• 획득 변동성: Mammo-FM은 MaMA에 비해 비표준 양식(예: 조영 증강 또는 스캔된 필름)에 대해 더 우수한 일반화 능력을 보여주었다.
• 특징 공간: UMAP 분석 결과, 유용한 표현은 임상적 신호(예: 밀도, BI-RADS)를 보존하면서도 데이터셋 및 획득 구조(예: 제조사, 뷰)를 유지함을 보여주었다. 강력한 외부 일반화가 완전한 도메인 불변성을 요구하는 것은 아니다.

의의 및 주장

본 논문은 유방 촬영술 사전 학습만으로는 강건한 OOD 일반화에 충분하지 않다고 주장한다. 대신, 일반화는 사전 학습 목적, 모델 유형(시각 전용 vs. 시각-언어), 그리고 사전 학습 데이터셋의 다양성 간의 상호작용에 달려 있다.

핵심 요점은 다음과 같다:

• VLM의 우월성: 유방 촬영술 특화 VLM(MaMA, Mammo-FM)이 가장 강력한 OOD 성능을 제공하지만, 그 이점은 작업 및 데이터셋에 따라 달라진다.
• 강건한 베이스라인: DINOv3는 매우 경쟁력 있는 시각 전용 베베이스라인으로 남아 있으며, 이는 모달리티 특화 사전 학습이 항상 필수적이라는 가설에 도전한다.
• 평가 표준: 데이터셋 레벨의 OOD 평가는 유방 촬영술에서 FM 표현의 임상적 유용성을 평가하는 핵심 기준이다. ID 성능은 외부 강건성을 예측하는 좋은 대리 지표가 되지 못하기 때문이다.
• 한계점: 본 연구는 표현의 품질을 측정하기 위해 선형 프로브 프로토콜을 사용하였으며, 이는 도달 가능한 절대적인 최적 성능(전체 미세 조정 시 달성 가능할 수 있는)은 아니다. 향후 연구에서는 전체 미세 조정, 불확실성 추정 및 신뢰도 교정(confidence calibration)을 탐구할 것을 제안한다.