Unsupervised Source-Free Ranking of Biomedical Segmentation Models Under Distribution Shift

1. 문제 정의 (Problem)

생물의학 영상 분석에서 딥러닝 기반 분할 (Segmentation) 모델의 재사용은 데이터 주석 비용이 높다는 병목 현상을 해결할 수 있는 유망한 방법입니다. BioImage Model Zoo(BMZ) 나 ToothFairy 챌린지 등 다양한 사전 훈련된 모델들이 공개되어 있지만, 새로운 타겟 데이터셋에 가장 적합한 모델을 선택하는 것은 여전히 어려운 문제입니다.

기존의 모델 순위 결정 (Ranking) 또는 전이성 (Transferability) 추정 방법들은 다음과 같은 한계가 있습니다:

• 레이블 의존성: 대부분 타겟 도메인의 정답 레이블 (Ground Truth) 이 필요합니다.
• 모델 접근성: 모델의 내부 특징 공간 (Feature Space) 에 접근하거나 특정 훈련 가정을 요구하는 경우가 많습니다.
• 작업 제한: 분류 (Classification) 작업에 최적화되어 있으며, **의미론적 분할 (Semantic Segmentation)**이나 **인스턴스 분할 (Instance Segmentation)**에는 직접 적용하기 어렵습니다. 특히 인스턴스 분할은 객체 식별 후 처리 (Post-processing) 에 의존하므로 특징 공간 기반 평가가 불가능합니다.
• 생물의학 데이터의 특수성: 자연 영상용 전이성 지표들이 생물의학 데이터 (세포, 미토콘드리아 등) 에서는 신뢰할 수 있는 상관관계를 보이지 않습니다.

따라서, 레이블 없이 (Unsupervised), 소스 데이터나 모델 내부 구조에 접근하지 않고 (Source-Free, Black-box compatible), 다양한 분할 모델들을 새로운 타겟 데이터에 대해 자동으로 순위 결정할 수 있는 방법이 필요합니다.

2. 제안 방법: CMR (Consistency-based Model Ranking)

저자들은 **예측 일관성 (Prediction Consistency)**을 기반으로 한 새로운 프레임워크인 CMR을 제안합니다. 이 방법은 모델이 입력 또는 특징 공간에 가해진 작은 교란 (Perturbation) 에 대해 얼마나 안정적인지 측정하여 모델의 적합도를 평가합니다.

핵심 원리

• 가정: 잘 전이된 모델은 타겟 도메인에서 결정 경계 (Decision Boundary) 가 명확하게 형성되어 있어, 작은 교란이 가해져도 예측 클래스가 쉽게 바뀌지 않습니다 (큰 마진). 반면, 부적합한 모델은 교란에 민감하게 반응하여 예측이 뒤바뀝니다.
• 교란 유형:
  1. 입력 공간 교란 (Input Space): 테스트 시 입력 이미지에 가우시안 노이즈, 밝기/대비 변화, 감마 보정 등을 적용.
  2. 특징 공간 교란 (Feature Space): 모델의 중간 레이어 (특히 병목 레이어 또는 모든 레이어) 에 테스트 시 드롭아웃 (Test-time Dropout, TTD) 을 적용하여 특징을 무작위로 제거.

지표 (Metrics)

모델의 출력 일관성을 정량화하기 위해 세 가지 지표를 제안합니다:

1. CMR-EI (Effective Invariance): 분류 작업의 EI 를 분할로 확장한 것으로, 소프트맥스 확률과 이진 예측의 일관성을 '소프트'하게 측정합니다.
2. CMR-NHD (Normalized Hamming Distance): 전경 (Foreground) 픽셀에 한정된 이진 예측 간의 해밍 거리를 측정하여 '하드' 일관성을 평가합니다. (IoU 와 유사한 개념)
3. CMR-ARS (Adapted Rand Score): 인스턴스 분할을 위해 개발된 지표입니다. 픽셀 단위의 클래스 비교가 불가능하므로, 두 예측 간의 픽셀 쌍 (Pair) 이 동일한 인스턴스로 할당되었는지 여부에 기반한 랜드 지수 (Rand Index) 를 사용합니다.

이러한 일관성 점수를 여러 교란에 대해 평균화하고, 모델 집합 내에서의 중앙값 (Median) 을 최종 순위 점수로 사용합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 범용 프레임워크: 의미론적 분할과 인스턴스 분할 모두에 적용 가능한 최초의 비지도, 소스 프리, 블랙박스 호환 모델 순위 결정 방법을 제안했습니다.
2. 모델 및 아키텍처 무관성: 모델의 내부 구조나 훈련 방식에 의존하지 않으며, 추론 API 나 컨테이너화된 배포 환경에서도 작동합니다.
3. 광범위한 검증: 전자 현미경 (EM) 의 미토콘드리아, 광학 현미경 (LM) 의 세포 및 핵 분할, 그리고 3D CBCT 치과 영상 (ToothFairy2) 등 다양한 생물의학 작업과 모달리티에서 검증되었습니다.
4. UDA (Unsupervised Domain Adaptation) 지원: 비지도 도메인 적응 후 모델의 성능을 순위 결정하는 데에도 효과적임을 입증했습니다.

4. 실험 결과 (Results)

저자들은 다양한 공개 데이터셋과 모델 세트를 사용하여 제안된 방법의 유효성을 입증했습니다.

• 성능 상관관계: CMR 으로 산출된 순위는 실제 타겟 도메인에서의 성능 (F1-score, mAP 등) 순위와 매우 강한 양의 상관관계를 보였습니다.
  • 의미론적 분할: 기존 전이성 지표 (LEEP, LogME 등) 나 UDA 검증 방법 (Transfer Score) 은 생물의학 데이터에서 실패하거나 낮은 상관관계를 보인 반면, CMR 은 일관된 높은 상관관계 (Kendall tau $\approx$ 0.7~0.9) 를 보였습니다.
  • 인스턴스 분할: 기존 인스턴스 분할 평가 방법 (SEG) 은 파라미터에 민감하고 형태에 둔감한 반면, CMR-ARS 는 픽셀 수준의 품질을 직접 반영하여 우수한 성능을 보였습니다.
• ToothFairy2 챌린지 적용: 42 개의 클래스가 있는 3D 치과 영상 데이터셋에서, 테스트 레이블 없이 CMR 을 적용한 결과, 실제 챌린지 순위 (DICE 점수 기준) 를 성공적으로 재현했습니다.
• UDA 후 순위 결정: Mean Teacher 및 AdaBN 등의 UDA 기법을 적용한 후에도 CMR 은 적응된 모델들의 성능을 정확히 순위 결정하여, 기존 SOTA 방법 (Transfer Score) 보다 우월함을 보였습니다.
• 강건성: 다양한 교란 강도 (노이즈 크기, 드롭아웃 비율) 에 대해 순위 결정 성능이 안정적임을 확인했습니다.

5. 의의 및 결론 (Significance)

이 연구는 생물의학 영상 분석 분야에서 **모델 재사용 (Model Reuse)**의 장벽을 낮추는 중요한 기여를 합니다.

• 실용성: 레이블이 없는 새로운 데이터셋이 주어졌을 때, 전문가의 수동 평가나 추가적인 주석 없이도 가장 적합한 모델을 자동으로 선별할 수 있게 합니다.
• 확장성: BioImage Model Zoo 와 같은 대규모 모델 저장소에서 수백만 개의 모델 중 특정 작업에 맞는 모델을 찾는 것을 가능하게 하여, 생물의학 AI 의 접근성을 높입니다.
• 일반화: 분류뿐만 아니라 복잡한 분할 작업 (특히 인스턴스 분할) 에도 적용 가능한 범용적인 접근법을 제시하여, 향후 모델 평가 및 벤치마킹의 새로운 표준을 제시합니다.

결론적으로, 이 논문은 예측 일관성이라는 직관적인 개념을 통해, 레이블과 소스 데이터 접근 없이도 생물의학 분할 모델의 전이 성능을 정확하게 예측할 수 있는 강력한 도구를 제시했습니다.