Searching for Robust Augmentations to Improve Out-of-Domain Generalization in Dermoscopic Skin Cancer Classification

기술 요약: 피부암 진단 모델의 도메인 외 일반화 성능 향상을 위한 강건한 증강 기법 탐색

문제 정의
딥러닝 모델을 이용한 더모스코피 피부 병변 분류는 내부 테스트 세트에서는 높은 정확도를 달-성하지만, 새로운 데이터 소스(도메인 외, OOD)에 적용될 때 상당한 성능 저하를 겪는다. 이러한 "도메인 시프트(domain shift)"는 서로 다른 클리닉 간의 촬영 장치, 조명, 색상 처리 및 캡처 아티팩트의 차이로 인해 발생한다. 기존 연구들은 아키텍처 선택과 내부 검증을 광범위하게 연구해 왔으나, 어떤 특정 범주의 데이터 증강(augmentation)이 소스 수준의 변화에 대한 강건성을 효과적으로 개선하는지에 대한 체계적인 분석은 부족한 실정이다. 또한, 기존의 증강 연구들은 대개 인-도메인(in-domain) 검증을 최적화하는 데 집중하여, 완전히 새로운 획득 환경으로 모델을 전이시키는 구체적인 과제를 해결하지 못하고 있다.

방법론
본 연구는 이진 악성 대 비악성 분류기를 위해 OOD 일반화를 개선하는 데이터 중심 접근 방식을 채택한다.

• 데이터셋: 훈련 및 인-도메인 평가는 ISIC 아카이브(BCN20000, Derm12345, HIBA, BALD, MILK10k, ISIC 2016–2020)의 다중 소스 컬렉션과 Derm7pt를 활용한다. 엄격한 OOD 평가를 보장하기 위해, HAM10000과 ISIC 2019–2020 데이터셋을 소스 분리된(source-disjoint) 테스트 세트로 완전히 격리하였다. 독립적인 폐쇄형 임상 데이터셋(Melanoscope)은 모델 선택에 영향을 주지 않고 오직 최종 외부 검증용으로만 사용되었다.
• 모델 아키텍처: ImageNet 가중치로 초기화된 ConvNeXt-Large 백본을 사용하였으며, 이진 분류 헤드를 결로하였다.
• 증강 탐색: 저자들은 세 가지 범주의 증강에 대해 체계적인 탐색을 수행하였다:
  1. 단일 증강: 개별 기하학적 및 광학적 변환.
  2. 광학적 조합: 색상 기반 연산자(예: ColorJitter, PlanckianJitter, HEStain)의 고정된 쌍 또는 삼중 조합.
  3. 복합 정책(Composite policies): 경진대회 솔루션 및 저자들의 자체 발견에서 영감을 얻은 구성(예: mix, kaggle_strong_hestain).
• 평가 지표: 주요 지표는 ROC-AUC(Area Under the Receiver Operating Characteristic Curve)이다. 평가는 인-도메인 테스트, 소스 분리된 OOD 테스트, 그리고 독립적인 Melanoscope 세트를 포함한다. 통계적 유의성은 부트스트랩 신뢰 구간과 DeLong 테스트를 통해 평가되었다. 또한 특징 공간(feature space)의 혼합과 어텐션 맵을 정성적으로 평가하기 위해 t-SNE 시각화와 Grad-CAM을 사용하였다.

주요 기여

1. OOD를 위한 체계적 증강 탐색: 인-도메인 성능을 기준으로 증강 순위를 매기는 기존 연구와 달리, 본 연구는 소스 수준의 홀드아웃 테스트 세트에서 성능을 극대화하는 정책을 명시적으로 탐색한다.
2. 광학적 우위 확인: 본 연구는 광학적 변환(색상 및 강도 조정)이 기하학적 변환보다 이 특정 도메인에서 OOD 강건성을 이끄는 주요 동력임을 확인하였다.
3. "Mix" 정책: 저자들은 광학적 변환과 완만한 기하학적 변환을 결합한 mix라는 특정 복합 증강 정책을 제안한다. 이 정책은 인-도메인 정확도를 유지하면서 가장 높은 OOD 이득을 얻는 것으로 나타났다.
4. 엄격한 검증 프로토콜: 본 논문은 스크리닝 결과(단일 실행 점 추정치)와 확장 평가(다중 시드, 신뢰 구간, 독립적 외부 데이터셋)를 구분함으로써, 발견된 결과의 분산과 한계를 투명하게 보여준다.

결과

• 도메인 외(OOD) 성능: mix 정책은 스크리닝 단계의 베이스라인 대비 ROC-AUC를 +0.0332 개선하여 가장 큰 OOD 이득을 달성하였다. 확장 평가(홀드아웃 소스에서 9,921개 이미지)에서는 +0.053 (95% CI: +0.045 to +0.061, p < 0.001)의 개선을 보였다.
• 인-도메인 성능: mix 정책은 인-도메인 정확도에서도 긍정적인 효과를 유지하며 ROC-AUC를 +0.0061 개선하였고, 이는 강건성이 내부 성능의 희생을 수반하지 않았음을 입증한다.
• 시드 간 강건성: mix 정책의 OOD 이점은 네 가지 서로 다른 무작위 훈련 시드에 걸쳐 지속되었다 (베이스라인: 0.761–0.775; Mix: 0.806–0.829).
• 외부 검증 (Melanoscope): 독립적인 Melanoscope 데이터셋에서 단일 체크포인트는 민감도를 0.591에서 0.818로 증가시켰다. 그러나 저자들은 이 결과가 단 22개의 악성 사례에 기반하고 있으며, AUC에 대한 통계적 유의성에 도달하지 못하고(p = 0.22), 여러 훈련 시드에 걸쳐 평균했을 때 그 이점이 사라진다는 점을 명시하였다.
• 특징 분석: t-SNE 시각화는 mix 정책이 베이스라인에 비해 특징 공간에서 소스 특이적 클러스터링을 감소시켰음을 보여주었다. Grad-CAM 분석은 증강된 모델이 주변부 아티팩트보다는 병변 자체에 더 조밀하게 집중함을 시사했다.
• 진단별 세부 분석: OOD 개선은 멜라노마 재현율(recall)의 유의미한 향상보다는 주로 양성 각화증(benign keratoses)에 대한 특이도(specificity) 증가(위양성 감소)에 의해 주도되었으며, 멜라노마 재현율은 모든 구성에서 0.26–0.43으로 낮게 유지되었다.

의의 및 한계
본 논문은 실제 도메인 시프트의 원인(특히 광학적 변량)을 모델링하는 증강 기법이 인-도메인 정확도를 극대화하거나 모델 아키텍처를 변경하는 것보다 OOD 일반화에 더 중요할 수 있다고 주장한다. mix 정책은 임상적 검증 이전에 고려되어야 할 단순하고 재현 가능한 베이스라인 단계로 제시된다.

그러나 저자들은 다음과 같이 명시적으로 한계를 밝힌다:

• 선택 편향(Selection Bias): 해당 정책은 주요 OOD 평가에 사용된 데이터와 동일한 소스(HAM10000 및 ISIC 2019–2020)를 사용하여 선택되었다. 따라서 보고된 효과 크기는 낙관적으로 편향되었을 수 있으며, 이 결과가 완전히 새로운 소스로의 일반화를 독립적으로 확인하는 것은 아니다.
• 제한된 외부 증거: 독립적인 Melanoscope 데이터셋에서의 개선은 통계적으로 유의미하지 않았으며 여러 훈련 시드에 걸쳐 지속되지 않았다. 이는 ISIC/HAM 소스에서 관찰된 강건성이 완전히 다른 임상 환경으로 전이되는지 아직 증명되지 않았음을 나타낸다.
• 임상적 유용성: 특이도는 개선되었으나 멜라노마에 대한 절대적인 재현율이 여전히 낮기 때문에, 현재 모델은 자율 진단보다는 검토를 위한 우선순위 지정에 더 적합하다.

저자들은 mix 정책이 강건한 베이스라인을 제공하지만, 향-후 연구에서는 편향되지 않은 일반화를 확인하기 위해 소스 분리 선택 프로토콜(예: leave-one-source-out)과 더 다양하고 큰 외부 코호트에 대한 검증이 필요하다고 결론짓는다.