Adapting Medical Vision Foundation Models for Volumetric Medical Image Segmentation via Active Learning and Selective Semi-supervised Fine-tuning

본 논문은 지식 발산과 해부학적 난이도에 기반하여 정보성이 높은 샘플을 선택하는 능동 학습 전략과 제한된 주석 예산 하에서 성능을 극대화하기 위해 신뢰할 수 있는 레이블이 없는 데이터를 활용하는 준지도 학습 접근법을 결합하여 체적 분할을 위한 의료용 비전 기반 모델의 적응을 향상시키는 능동 선택적 준지도 미세 조정 (ASSFT) 프레임워크를 제안한다.

핵심

수백만 권의 일반적인 해부학 교과서를 수년 간 공부한 천재 의대생을 상상해 보세요 (이것이 의료 비전 기초 모델, 즉 Med-VFM 입니다). 이 학생은 인체 구조를 속속들이 알고 있지만, 특정 종류의 MRI 기기나 특정 병원의 환자 데이터를 본 적은 한 번도 없습니다.

이제 이 학생에게 새로운 병원 (대상 도메인) 에서 일하며 3 차원 스캔 이미지에서 간이나 신장 같은 장기의 윤곽을 그리는 (세그먼테이션) 작업을 도와달라고 요청한다고 가정해 봅시다. 문제는 새로운 병원의 스캔 이미지들이 약간 다르게 보이며, 이 학생은 아직 그것들로 훈련받지 않았다는 점입니다. 그냥 추측하게 내버려 둔다면 실수를 할 것입니다. 모든 새로운 스캔을 하나하나 공부하게 하고 인간 전문가가 라벨을 붙이게 한다면 시간이 무한히 걸리고 비용도 천문학적으로 들 것입니다.

이 논문은 이 학생을 훈련시키는 똑똑하고 효율적인 방법을 소개합니다: 능동적 선택적 준지도 미세 조정 (ASSFT). 이는 가능한 한 최소한의 예시를 사용하여 학생이 해당 병원의 고유한 스타일을 배우도록 돕는 "슈퍼 튜터" 시스템과 같습니다.

다음은 이 시스템이 작동하는 방식을 간단한 단계로 나눈 것입니다:

1. "슈퍼 튜터" 전략 (능동 학습)

학생에게 무작위 스캔을 공부하게 하는 대신, 시스템은 어떤 예시가 학생에게 가장 많은 것을 가르쳐 줄지 정확히 아는 똑똑한 튜터처럼 행동합니다.

시스템은 학생에게 보여줄 최고의 스캔을 선택하기 위해 두 가지 특별한 "안경"을 사용합니다:

• 안경 #1: "지식 격차" 렌즈 (DKD)
  학생이 마음속에 인체 지도를 가지고 있다고 상상해 보세요. 이 렌즈는 학생의 지도가 완전히 틀리거나 조각이 빠져 있는 스캔을 찾습니다. *"이 스캔은 학생이 아직 본 적 없는 것을 보여주는가?"*라고 묻습니다. 답이 '예'라면, 그것은 최우선 학습 항목입니다. 또한 학생이 이상한 간 유형 두 번을 반복해서 공부하지 않도록 보장하며, 다양한 새로운 것들을 보게 합니다.
• 안경 #2: "어려운 해부학" 렌즈 (ASD)
  때로는 스캔이 새로워서 혼란스러운 것이 아니라, 장기가 기형적으로 생겼거나 잘 보이지 않아서 혼란스러울 수 있습니다. 이 렌즈는 특히 장기 (전경) 에 초점을 맞추고 빈 공간 (배경) 은 무시합니다. *"이 장기의 윤곽을 그리기 어려운가?"*라고 묻습니다. 학생이 신장이 어디에서 끝나고 근육이 어디에서 시작되는지 추측하는 데 어려움을 겪고 있다면, 이 렌즈는 해당 스캔을 최우선 학습 항목으로 표시합니다.

결과: 시스템은 가장 혼란스럽고 독특한 스캔만 선택하여 인간 전문가에게 라벨을 붙이게 한 다음 학생에게 가르칩니다. 학생이 먼저 "어려운 것"에서 배우기 때문에 엄청난 시간을 절약할 수 있습니다.

2. "확신 있는 추측" 전략 (선택적 준지도 학습)

학생이 전문가가 라벨을 붙인 예시들을 배운 후에도, 더미 더미 쌓여 있는 수천 개의 라벨 없는 스캔이 여전히 남아 있습니다. 시스템은 이를 무시하지 않습니다. 대신 학생이 스스로 라벨을 붙여보게 하지만, 안전망이 있습니다.

• 안전망: 시스템은 학생이 매우 확신을 가지고 있고, 스캔이 이미 전문가가 라벨을 붙인 것들과 매우 유사한 경우에만 학생이 "스스로 공부"하도록 허용합니다.
• 필터: 학생이 불확실하거나 스캔이 배운 것과 완전히 다르다면, 시스템은 *"아니오, 아직 이건 추측하지 마세요"*라고 말합니다. 이는 학생이 자신의 실수에서 나쁜 습관 (잘못된 라벨) 을 배우는 것을 방지합니다.

3. 루프

이 과정은 다음 사이클로 반복됩니다:

1. 두 가지 렌즈 (지식 격차 + 어려운 해부학) 를 사용하여 최고의 새로운 예시를 선택합니다.
2. 인간이 라벨을 붙입니다.
3. 학생이 새로운 라벨과 올바르게 추측한 "안전한" 라벨 없는 것들을 공부합니다.
4. 학생이 새로운 병원의 데이터에 대한 전문가가 될 때까지 반복합니다.

이것이 왜 중요한가요?

이 논문은 다섯 가지 다른 의료 데이터셋 (다른 신체 부위, CT 및 MRI 와 같은 다른 유형의 스캔) 에서 이를 테스트했습니다. 그 결과 다음과 같은 점을 발견했습니다:

• 더 빠릅니다: 시스템은 기존 방법들이 필요로 하는 라벨 데이터의 아주 작은 일부만으로도 전문가 수준의 성능에 도달했습니다.
• 더 똑똑합니다: 무작위 스캔을 선택하거나 "불확실성"만 고려한 다른 방법들보다 일관되게 우수한 성과를 냈습니다.
• 과거 데이터 없이도 작동합니다: 일반적으로 모델을 적응시키려면 원래 훈련 데이터를 확인해야 합니다. 이 시스템은 원래 데이터가 프라이버시 이유로 잠겨 있어도 작동합니다.

요약하자면: 이 논문은 의료 AI 가 가장 흥미롭고 어려운 예시들만 공부하면서 쉬운 것들과 혼란스러운 추측들은 신중하게 무시함으로써 새로운 업무를 빠르게 습득할 수 있는 방법을 제공합니다. 이는 "한 사이즈가 모두에게 맞다"는 AI 를 매우 적은 인간의 도움으로 특화된 전문가로 변모시킵니다.

기술 요약

기술 요약: 의료 비전 기초 모델을 위한 능동적 선택적 반지도 세밀 조정

1. 문제 제기

자기지도 학습을 통해 대규모 라벨 없는 의료 데이터셋으로 사전 훈련된 의료 비전 기초 모델 (Med-VFMs) 은 의료 이미지 분석에서 강력한 잠재력을 보여주었습니다. 그러나 새로운 대상 도메인에 적용될 때, 특히 3 차원 의료 이미지 분할과 같은 하위 작업에서의 성능은 여전히 제한적입니다.

현재의 적응 전략은 세 가지 주요 한계에 직면해 있습니다:

1. 비효율적인 샘플 선택: 기존 능동 학습 (AL) 및 능동 도메인 적응 (ADA) 방법은 종종 무작위 샘플링이나 단순한 불확실성/다양성 지표에 의존합니다. 이러한 접근 방식은 Med-VFMs 의 사전 훈련된 지식을 명시적으로 활용하여 대상 도메인의 "학습되지 않은" 패턴을 포함하는 샘플을 식별하지 못합니다. furthermore, 이미지 수준의 지표는 종종 배경 불확실성으로 인한 선택 편향을 초래하여, 정보량이 풍부한 전경 해부학적 구조를 간과합니다.
2. 소스 데이터 의존성: 많은 도메인 적응 방법은 적응을 유도하기 위해 소스 도메인 데이터에 대한 접근이 필요합니다. 실제로는 개인정보 보호 제약으로 인해 Med-VFMs 의 사전 훈련 데이터에 접근할 수 없는 경우가 많아, 이러한 방법들은 적용 불가능해집니다.
3. 노이즈가 있는 반지도 학습: 반지도 학습 (SSL) 은 풍부한 라벨 없는 대상 데이터를 활용할 수 있지만, 초기 적응 라운드에서 모델이 아직 신뢰할 수 없을 때 모든 의사 라벨링된 샘플을 무작위로 사용하면 노이즈가 발생합니다. 이는 성능을 저하시키거나, 고품질 라벨 데이터에서 학습하는 대신 노이즈가 있는 의사 라벨에 과적합되게 만들 수 있습니다.

핵심적인 과제는 소스 데이터 없이 제한된 주석 예산 하에서 라벨링된 데이터와 라벨링되지 않은 대상 샘플 모두의 활용도를 극대화하면서 Med-VFMs 를 대상 도메인에 효율적으로 적응시키는 것입니다.

2. 방법론: 능동적 선택적 반지도 세밀 조정 (ASSFT)

저자들은 능동 학습 전략과 선택적 반지도 세밀 조정 메커니즘을 통합한 ASSFT 프레임워크를 제안합니다. 이 프레임워크는 소스 도메인 데이터에 대한 접근 없이 $R$라운드에 걸쳐 반복적으로 작동합니다.

2.1. 능동적 테스트 시간 샘플 쿼리 전략

주석을 위해 가장 정보량이 풍부한 샘플을 선택하기 위해, 저자들은 **다양화된 지식 발산 (DKD)**과 **해부학적 분할 난이도 (ASD)**라는 두 가지 보완적 지표를 기반으로 한 쿼리 전략을 도입합니다.

• 다양화된 지식 발산 (DKD): 이 지표는 사전 훈련된 모델에 비해 새로운 지식을 도입하는 샘플을 식별하면서 대상 데이터셋 내의 다양성을 보장합니다. 이는 두 가지 구성 요소로 이루어집니다:

  • 사전 및 적응 지식 발산 (PAKD): 초기 사전 훈련된 인코더 $E^{(0)}$와 적응된 인코더 $E^{(i)}$에서 추출된 특징 임베딩 간의 코사인 거리를 측정합니다. 높은 PAKD 는 해당 샘플이 모델이 아직 포착하지 못한 도메인별 정보를 포함하고 있음을 나타냅니다.
  • 쌍별 비유사성 (PD): 중복을 피하고 도메인 내 다양성을 촉진하기 위해, 이전에 순위가 매겨진 고 PAKD 샘플에 대한 후보 샘플의 의미적 비유사성을 측정합니다.
  • DKD 점수: PAKD 와 PD 의 곱으로 정의됩니다.

• 해부학적 분할 난이도 (ASD): 이 지표는 전체 이미지 볼륨이 아닌 전경 해부학적 구조를 분할하는 난이도에 초점을 맞춥니다.

  • 배경의 지배를 방지하기 위해, 적응 라운드가 진행됨에 따라 3 에서 1.5 로 동적으로 감소하는 온도 스케일링 메커니즘 $\tau(r)$을 배경 클래스 확률에 적용합니다.
  • 조정된 확률을 기반으로 이진 전경 마스크가 생성됩니다.
  • ASD 점수는 전경 영역 내 클래스 확률의 엔트로피로 계산됩니다. 높은 ASD 는 모델에게 도전적인 복잡한 해부학적 패턴을 나타냅니다.

• 통합 쿼리 기준: DKD 와 ASD 점수는 비교 가능성을 보장하기 위해 정규화되고 분위수 매핑을 통해 변환된 후 합산되어 최종 쿼리 점수 $Q(x)$를 형성합니다. 상위 $N_B$개의 샘플이 전문가 주석을 위해 선택됩니다.

2.2. 선택적 반지도 세밀 조정

노이즈를 도입하지 않고 라벨 없는 데이터를 활용하기 위해, 프레임워크는 각 라운드에서 세 단계의 프로세스를 사용합니다:

1. 지도 세밀 조정: 모델은 현재 이용 가능한 라벨링된 대상 샘플을 사용하여 먼저 업데이트됩니다.
2. 신뢰할 수 있는 라벨 없는 샘플 선택: 다음 기준에 따라 의사 라벨링을 위한 라벨 없는 샘플의 하위 집합이 선택됩니다:
   • 예측 신뢰도: 전경 영역에서 상위 두 예측 클래스 확률 간의 마진.
   • 의미적 거리: 후보 샘플의 특징 임베딩과 라벨링된 샘플 (앵커) 의 임베딩 간의 최소 코사인 거리.
   • 높은 신뢰도와 작은 의미적 거리를 가진 샘플은 신뢰할 수 있는 것으로 간주됩니다. 선택된 샘플의 수 ($N_{SU}$) 는 반복 횟수 ($N_{SU} = N_B \cdot r$) 에 따라 증가합니다.
3. 의사 라벨 기반 세밀 조정: 선택된 신뢰할 수 있는 샘플에 대해 의사 라벨이 생성됩니다. 이러한 라벨은 라벨링된 세트와 결합되어 추가 세밀 조정을 위한 확장된 학습 세트를 형성합니다.

참고: 의사 라벨링을 위해 선택된 샘플은 중복 주석을 방지하기 위해 다음 능동 학습 라운드의 후보 풀에서 명시적으로 제외됩니다.

3. 주요 기여

1. ASSFT 프레임워크: 능동 학습과 선택적 반지도 학습을 통합하여 소스 도메인 데이터 없이 작동하는 3 차원 분할 작업에 Med-VFMs 를 적응시키기 위한 통합 프레임워크.
2. 능동적 테스트 시간 샘플 쿼리: DKD와 ASD를 활용하여 정보량이 풍부한 샘플을 선택하는 새로운 전략. DKD 는 지식의 새로움과 다양성을 포착하고, ASD 는 해부학적 복잡성을 우선시하여 표준 불확실성 기반 방법의 한계를 해결합니다.
3. 선택적 반지도 세밀 조정: 예측 신뢰도와 라벨링된 데이터에 대한 의미적 근접성을 기반으로 신뢰할 수 있는 라벨 없는 샘플을 선택적으로 통합하여 노이즈가 있는 의사 라벨의 위험을 완화하는 메커니즘.
4. 광범위한 검증: 다양한 모달리티, 해부학적 구조, 데이터셋 규모를 가진 다섯 가지 다양한 3 차원 의료 이미지 분할 작업에 대한 포괄적인 실험.

4. 실험 결과

저자들은 AMOS2022-CT, FLARE 2021, Abdomen Atlas, AMOS2022-MRI, Abdominal MRI 등 다섯 가지 데이터셋에서 ASSFT 를 평가했습니다.

• 성능: ASSFT 는 모든 데이터셋과 쿼리 예산에서 기존 최첨단 AL 및 ADA 방법 (Random, Entropy, Core-set, BADGE, SANN, UGTST, CUP 포함) 보다 일관되게 우수한 성과를 거두었습니다.
  • AMOS2022-CT에서 5% 의 샘플만 쿼리했을 때, ASSFT 는 80.51의 Dice 점수를 달성하여 강력한 베이스라인인 UGTST 를 약 4.7 점, 무작위 선택을 약 7.2 점 능가했습니다.
  • AMOS2022-MRI(모달리티 간 적응) 에서 ASSFT 는 5% 의 샘플 쿼리로 0.46 의 거의 제로샷 베이스라인에서 52.06으로 Dice 점수를 향상시켜 51 점 이상의 개선을 이루었습니다.
  • Abdominal MRI(퓨샷 설정) 에서 ASSFT 는 단 3 개의 라벨링된 샘플 (3-shot) 로 83.98의 Dice 를 달성하여 다른 방법들을 크게 능가했습니다.
• 효율성: 이 방법은 주석 비용의 일부로 완전 지도식 상한선 성능 (100% 라벨링 데이터) 에 빠르게 접근합니다. 예를 들어, FLARE 2021 에서 25% 의 쿼리 샘플로 모델이 완전 지도식 성능의 97.96% 에 도달할 수 있었습니다.
• 애벌레이션 연구:
  • 반지도 구성 요소를 제거한 경우 (DKD+ASD 만 사용) 성능이 저하되어 선택적 의사 라벨링의 가치를 확인했습니다.
  • PAKD 나 PD 를 개별적으로만 사용하는 것은 결합된 DKD 지표보다 열등했습니다.
  • ASD 의 동적 온도 스케일링은 고정 온도 또는 마스크 없음보다 우월함이 입증되었습니다.
  • 통계 분석 (Mann-Whitney U 검정) 은 의사 라벨링을 위해 선택된 샘플이 선택되지 않은 샘플보다 유의하게 높은 Dice 점수를 가짐을 확인했습니다 ($p < 0.01$).

5. 중요성과 주장

이 논문은 ASSFT 가 다음과 같은 임상 환경에서 Med-VFMs 를 배포하기 위한 주석 효율적이고 일반화 가능한 솔루션을 제공한다고 주장합니다:

• 소스 데이터가 unavailable 한 경우: 이 방법은 개인정보 보호가 제한된 의료 데이터에 필수적인 소스 프리 도메인 적응 설정에서 작동합니다.
• 주석이 부족한 경우: 가장 정보량이 풍부한 샘플을 능동적으로 선택하고 신뢰할 수 있는 라벨 없는 데이터를 활용함으로써, 프레임워크는 최소한의 전문가 라벨링으로 높은 성능을 달성합니다.
• 도메인 편이가 큰 경우: 이 프레임워크는 다양한 영상 모달리티 (CT 에서 MRI 로) 와 다양한 해부학적 복잡성 전반에 걸쳐 견고함을 보여줍니다.

저자들은 그들의 접근 방식이 특히 지식의 새로움, 데이터 다양성, 작업별 해부학적 난이도 간의 균형을 맞추는 필요성을 고려할 때, 기초 모델을 의료 분할에 적용하는 데 있어 특정 한계를 해결한다고 강조합니다. 그들은 ASSFT 가 높은 분할 정확도를 유지하면서 주석 부담을 크게 줄여 Med-VFMs 의 실용적인 임상 워크플로우로의 전환을 촉진한다고 결론지었습니다.