Robustness of transferability estimation metrics for medical imaging

기술 요약: 의료 영상 분야에서 전이 가능성 추정 지표의 강건성

문제 정의
데이터 부족 문제로 인해 전이 학습(Transfer Learning, TL)은 의료 영상 분류의 표준 패러다임이 되었으나, 특정 타겟 작업에 가장 적합한 사전 학습된 소스 모델을 선택하는 것은 여전히 중요한 과제로 남아 있습니다. 전이 가능성 추정(Transferability Estimation, TE) 지표는 모든 후보 모델을 미세 조정(fine-tuning)하는 계산 비용 없이 최적의 소스 모델을 예측하는 것을 목표로 하지만, 그 신뢰성은 의문스럽습니다. 기존 연구들은 TE 지표의 성능이 실험 설정의 변화에 따라 상충되는 결과를 보고해 왔으며, 이는 종종 실험 환경의 차이에서 기인합니다. 또한, 대부분의 TE 지형은 자연 이미지(예: ImageNet)를 대상으로 설계 및 평가되며 정확도(Accuracy)를 주요 지표로 사용합니다. 반면, 의료 영상은 일반적으로 AUROC(Area Under the Receiver Operating Characteristic Curve)로 측정되는 클래스 불균형에 대한 강건성을 요구합니다. 현재 문헌에는 타겟 데이터셋의 표현(예: 샘플 크기, 랜덤 시드)이 변할 때 TE 지표가 어떻게 작동하는지, 그리고 참조 순위(reference ranking)를 위한 평가 지표의 선택이 TE 지표 평가에 어떤 영향을 미치는지에 대한 체계적인 조사가 부족합니다.

방법론
저자들은 MedMNIST v2 데이터셋 컬렉션(2D 생물 의학 영상 데이터셋 포함)을 사용하고 ImageNet을 소스 풀(source pool)로 사용하여 체계적인 연구를 수행했습니다. 이 연구는 두 가지 주요 실험으로 나뉩전됩니다:

1. 타겟 데이터셋 표현의 영향 (Ex1):

   • 미니어처 인구 집단(Miniature Populations): 저자들은 8개의 타겟 데이터셋으로부터 훈련 데이터의 5%, 10%, 25%, 50%, 75%를 샘플링하여 "미니어처 인구 집단"을 구축했습니다. 이 서브셋들은 분포 유지를 위해 클래스 레이블별로 층화(stratified)되었으며, 안정성을 테스트하기 위해 5개의 서로 다른 랜덤 시드를 사용하여 생성되었습니다.
   • 평가된 지표: 7가지 기존 TE 지표(H-score, LEEP, NLEEP, LogME, NCTI, PARC, SFDA)를 테스트했습니다.
   • 안정성 측정: 연구에서는 지표 내 안정성(동일한 서브셋 크기에 대해 서로 다른 랜덤 시드 간의 순위 일치도), 참조 안정성(서브셋 순위와 전체 데이터셋 순위 간의 일치도), 지표 간 안정성(서로 다른 TE 지표 간의 일치도)을 측정했습니다.
   • 상관 계수: 단일 지표에 의한 편향을 피하기 위해 저자들은 Spearman의 순위 상관계수($\rho$), Kendall의 Tau($\tau$), 그리고 가중 Kendall의 Tau($\tau_w$)를 활용했습니다.

2. 참조 순위를 위한 평가 지표의 영향 (Ex2):

   • 참조 순위: 소스 모델들을 전체 타겟 훈련 세트에서 미세 조정했습니다. 그 결과 나타난 성능은 **정확도(Accuracy)**를 최적화했을 때와 AUROC를 최적화했을 때의 두 가지 방식으로 각각 순위가 매겨졌습니다.
   • 비교: TE 지표에 의해 생성된 순위를 이 두 가지 뚜렷한 참조 순위와 비교하여, TE 지표가 실제 성능(ground-truth)의 평가 지표 선택에 얼마나 강건한지 결정했습니다.

주요 기여
본 논문은 세 가지 주요 기여를 제공합니다:

1. 데이터셋 변동에 대한 민감도: 본 연구는 TE 지표가 샘플 크기 및 랜덤 시드를 포함한 타겟 데이터셋의 작은 변화에 매우 민감하다는 것을 입증합니다. 동일한 타겟 데이터셋(예: Breast)을 사용하더라도 서로 다른 랜덤 시드를 사용할 경우 소스 모델의 순위가 크게 요동칩니다.
2. 평가 지표의 영향: 저자들은 평가 지표(정확도 vs AUROC)의 선택이 소스 모델의 참조 순위를 근본적으로 변화시킨다는 것을 보여줍니다. 결과적으로, 어떤 TE 지표가 "최선"인지에 대한 평가는 어떤 참조 순위를 사용하느냐에 따라 크게 달라집니다.
3. 벤치마킹: 본 연구는 Med-MNIST에 대한 벤치마크 결과를 제공하며, 현재의 TE 지표들이 의료 영상 맥락에서 사용되는 평가 지표와 관계없이 참조 순위와 낮은 일치도를 보임을 강조합니다.

결과

• 불안정성: TE 지표의 순위는 서로 다른 랜덤 시드나 서브셋 크기에 따라 안정적이지 않습니다. 예를 들어, 동일한 타겟 데이터셋(예: Breast)에 대해 어떤 소스 모델은 한 랜덤 시드에서는 1위로, 다른 랜덤 시드에서는 5위로 기록될 수 있습니다.
• 지표별 동작 특성: LEEP는 더 작은 데이터셋에서 상대적으로 높은 일관성을 보였으나, H-score는 가장 낮은 안정성을 보였습니다. 일부 지표(NLEEP, SFDA)는 수학적 한계(예: 조건수가 나쁜 공분산 행렬 또는 계수가 부족한 산포 행렬)로 인해 NaN 값을 생성하거나 특정 데이터셋에서 모델 간 차이를 구별하지 못했습니다.
• 낮은 일치도: TE 지표에 의해 생성된 순위와 참조 순위(정확도 및 AU로 AUROC 모두) 사이에는 일관되게 낮은 일치도가 나타납니다. 이러한 낮은 일치도는 훈련 데이터의 100%를 사용할 때도 지속되며, 이는 문제가 단순히 데이터 부족 때문이 아니라 도메인 특유의 제한 사항임을 시사합니다.
• 평가 지표 의존성: 참조 순위 자체도 불안정합니다. 정확도에 의해 높게 평가된 모델은 AUROC에 의해 다르게 순위가 매겨지는 경우가 많습니다. TE 지표는 일반적으로 정확도 기반 순위에 최적화되어 있으므로, AUROC가 목표인 경우 성능을 신뢰성 있게 예측하지 못합니다.

의의 및 주장
저자들은 TE 지표의 낮은 신뢰성이 단순히 평가 지표의 선택 때문만이 아니라, 더 넓은 의미의 도메인 특유의 문제라고 주장합니다. 본 연구는 TE 방법론을 검증할 때 단일 랜덤 시드 실험이나 단일 평가 지표에 의존하는 현재의 관행에 이의를 제 제기합니다. 연구 결과는 주로 자연 이미지를 위해 개발된 기존 TE 지표들이 데이터가 부족하고 클래스 불균형이 빈번한 의료 영상 작업에 견고하게 일반화되지 못함을 시사합니다. 결론적으로, TE 지표가 의료 애플리케이션에서 소스 모델 선택을 위한 신뢰할 수 있는 도구로 간주되기 위해서는 향후 연구에서 타겟 데이터셋 표현의 불안정성과 참조 순위의 민감성을 반드시 고려해야 합니다.