Beyond Classification: Pathology Foundation Models as Detection Encoders for Mitotic Figures

기술 요약: 분류를 넘어: 분열상(Mitotic Figures) 검출을 위한 병리 파운데이션 모델

문제 제기
UNI, Virchow, H-Optimus와 같은 병리 파운데이션 모델(Foundation Models, FMs)은 방대한 양의 레이블 없는 병리 조직 데이터셋에 대한 자기지도 학습을 활용하여 이미지 수준 및 패치 수준 분류 작업에서 강력한 성능을 입증해 왔다. 그러나 이들의 밀집 객체 검출(dense object detection) 작업에서의 유용성은 여전히 불분명하다. 구체적으로, 주로 이미지 수준의 자기지도 학습을 통해 훈련된 이러한 FMs의 잠재 공간(latent spaces)이 분열상(mitotic figures, MFs) 검출을 위한 백본으로서 충분히 변별력 있고 공간적으로 해상도가 높은 특징을 포함하고 있는지 여부는 알려져 있지 않다. 분열상 검출은 종양학적 예후 계층화에 있어 매우 중요한 작업이지만, 의미론적 요약보다는 미세한 공간적 국소화(spatial localization)를 요구한다. FMs를 세포 수준 파이프라인(예: CellViT++)에 통합하려는 이전의 시도들은 강력한 분류 표현력이 반드시 검출로 전이되는 것은 아니며, 밑바닥부터 학습된 모델보다 성능이 떨어질 수 있음을 보여주었다. 본 연구는 동결된(frozen) FMs 백본이 완전히 엔드투엔드(end-to-end)로 훈련된 합성곱(convolutional) 베이스라인과 경쟁할 수 있는지 조사한다.

방법론
저자들은 멀티 도메인 MIDOG++ 데이터셋과 도메인 외(OOD) 데이터셋인 TUPAC16을 사용하여 동결된 병리 FMs와 전통적인 합성곱 베이스라인을 체계적으로 비교 평가하였다.

• 백본(Backbones): 여섯 가지 ViT 기반 FMs를 엄격하게 동결된 특징 추출기로 평가하였다: UNI, UNI2-h, Virchow, Virchow2, H-Optimus-0, H-Optimus-1. 이들은 두 가지 ResNet-50 베이스라인(하나는 완전히 엔드투엔드로 미세 조정된 것, 다른 하나는 동결된 것)과 비교되었다.
• 검출 헤드(Detection Heads): 각 백본은 서로 다른 패러다임을 나타내는 세 가지 독특한 검출 아키텍처와 결합되었다:
  • 단일 단계(Single-stage): RetinaNet
  • 2단계(Two-stage): Faster R-CNN
  • 트랜스포머 기반 집합 예측(Transformer-based set prediction): Deformable DETR
• 아키텍처 적응(Architecture Adaptation): ViT 백본은 단일 스케일 특징 맵을 출력하는 반면 검출기는 다중 스케일 계층 구조를 필요로 하므로, 동결된 백본과 검출 헤드 사이에 경량화된 특징 피라미드 넥(Feature Pyramid Neck, ViTDet 설계 기반)을 삽입하였다. 이 넥(neck)은 동결된 백본 구성에서 유일하게 학습 가능한 구성 요소였으며, 단일 스케일 표현을 다중 스케일 밀집 예측으로 적응시키는 역할을 담당했다.
• 훈련 프로토콜: 모든 모델은 동일한 데이터 증강(플립, 아핀 변환, 염색 지터링) 및 최적화 설정(AdamW, 코사인/스텝 학습률 스케줄)을 사용하여 MMDetection 프레임워크에서 훈련되었다. 평가 지표에는 마이크로 평균 F1, 정밀도(precision), 재현율(recall), 그리고 자유 범위 작동 특성 곡선 아래 면적(FROC-AUC)이 포함되었다.

주요 결과
연구는 MIDOG++ 테스트 세트와 TUP고(TUPAC16) OOD 세트에 대해 다음과 같은 성능 특성을 도출하였다:

1. 동결된 FMs의 경쟁력: 가장 우수한 동결된 FM 구성(H-Optimus-0와 RetinaNet 조합)은 MIDOG++에서 0.7718의 F1 점수를 기록하여, 완전히 미세 조정된 ResNet-50 베이스라인(F1 0.7917)에 근접하였다. 주목할 점은, 동결된 FMs가 동결된 ResNet-50 베이스라인(최고 F1 0.7498)을 유의미하게 능가했다는 것이며, 이는 이 장점이 단순히 백본을 동결했기 때문이 아니라 병리 특화 사전 학습에서 기인했음을 나타낸다.
2. 검출 헤드의 영향: 성능은 검출 헤드에 따라 크게 달라졌다. RetinaNet이 가장 신뢰할 수 있는 헤드로 나타났으며, ResNet-50 베이스라인, H-Optimus-0, Virchow 모두에서 최고 F1 점수를 달성했다. Faster R-CNN과 Deformable DETR은 백본에 따라 더 가변적인 결과를 보였다.
3. 도메인 외(Out-of-Domain) 강건성: TUPAC16 데이터셋에서는 성능 순위가 역전되었다. 최고 F1 점수(0.7349)는 동결된 FM(H-Optimus-0와 RetinaNet 조합)에 의해 달성되었으며, 이는 가장 우수한 ResNet-50 구성(0.7193)을 넘어섰다. 이는 동결된 FM 특징이 소스 도메인에서 훈련된 완전히 미세 조정된 합성곱 네트워크보다 도메인 변화에 대해 약간 더 강건할 수 있음을 시사한다.
4. 백본 순위: FMs 중에서는 병리 특화 모델인 H-Optimus 모델들(0 및 1)이 일반적으로 성능을 선도하였고, Virchow 제품군이 그 뒤를 바짝 쫓았다. UNI와 UNI2-h는 뒤처졌다.

의의 및 주장
본 논문은 현재의 병리 FMs의 동결된 잠재 공간이 태스크 특화적인 백본 가중치의 적응 없이도 분열상과 같은 작은 객체를 국소화하는 데 필요한 충분한 정보와 공간적 해상도를 갖추고 있다고 결론짓는다. 저자들은 다음과 같이 주장한다:

• 공간 정보의 존재: 이미지 수준의 자기지도 학습만으로 훈련되었음에도 불구하고, 이 모델들은 경량화된 넥(neck)과 헤드에 의해 복구 가능한, 분열상과 같은 작은 객체를 국소화하는 데 필요한 공간 정보를 인코딩하고 있다.
• 강건성: 동결된 FMs는 이 특정 검출 설정에서 완전히 미세 조정된 베이스라인보다 높은 수준의 도메인 변화 강건성을 보여준다.
• 설계적 함의: 본 연구는 검출 헤드와 넥의 선택이 특정 파운데이션 모델 간의 차이보다 더 중요할 수 있음을 강조한다.

저자들은 이러한 결과가 동결된 표현형의 특성을 나타내는 것임을 명시하며 주의를 기울였다. 그들은 매개변수 효율적 미세 조정(예: LoRA)이 엔드투엔드 훈련 모델과의 남은 격차를 메울 수 있을 가능성이 있지만, 그러한 적응이 관찰된 도메인 외 강건성을 유지할지는 여전히 미지수라고 제안한다. 이 연구는 파운데이션 모델이 기존의 확립된 역할인 분류를 넘어, 밀집된 병리 검출 작업을 위한 실행 가능한 백본임을 입증한다.