기술 요약: HistoFID – 병리 파운데이션 모델 간의 프레셰 거리(Fréchet-distance) 평가 교정

1. 문제 정의

프레셰 인셉션 거리(FID)는 생성 이미지 모델을 평가하는 표준 지표로, 고정된 네트워크(일반적으로 Inception-v3)에서 추출한 특징값에 가우시안 분포를 적합시켜 두 이미지 집합 사이의 거리를 정량화한다. 디지털 병리학에서는 도메인 특화 인코더가 더 의미 있는 특징 공간을 제공한다는 가정하에, Inception 네트워크를 조직학 파운데이션 모델(예: UNI2-h, Virchow2, Phikon-v2)로 교체하여 사용한다.

그러나 이러한 교체는 검증되지 않은 중요한 변수를 도입한다. 보고된 프레셰 거리 값은 사용된 특정 인코더에 따라 크게 달라진다는 점이다. 저자들은 동일한 타일 쌍에 대해, 6개의 일반적인 인코더를 사용했을 때 원시(raw) 프레셰 거리가 약 30배까지 차이 날 수 있음을 입증했다. 더욱이 이러한 차이는 임베딩 차원과 상관관계가 없다. 결과적으로, 원시 점수는 서로 다른 인코더 간에 비교할 수 없으며, 인코더를 명시하지 않고는 점수를 해석하는 것이 불가능하다. 이러한 의존성은 생성 모델 평가의 결론 자체를 바꿀 수도 있으며, 어떤 모델이 "더 사실적인지"에 대한 판단을 변화시킬 수 있다.

2. 방법론

본 연구는 6개의 패치 수준 특징 추출기를 벤치마킹한다: Inception-v3 (자연 이미지 베이스라인), Phikon-v2, CONCH, UNI2-h, Virchow2, 그리고 Prov-GigaPath. 평가는 두 가지 별도의 코호트를 활용한다:

• 내부 코호트(In-house Cohort): Turocrates.ai의 2,119개 전체 슬라이드 이미지(H&E 및 IHC)에서 추출된 약 500,000개의 사전 추출된 512×512 타일.
• TCGA-BRCA 코호트: The Cancer Genome Atlas의 100개 진단 슬라이드를 224픽셀 타일로 처리한 데이터.

공정한 비교를 위해, FID 추정에 내재된 유한 샘플 편향(finite-sample bias)을 제어하고자 샘플 크기를 일치시켰다 (양측당 25,000개 타일). 평가 설정은 다음과 같다:

1. 코호트 내 베이스라인: 각 인코더의 고유한 거리 하한(intrinsic distance floor) 측정.
2. 코호트 간 드리프트(Cross-cohort drift): 내부 코호트와 TCGA 분포 비교.
3. 제어된 섭동(Controlled perturbations): 25가지 섭동 패널 (기하학적, 광학적, 노이즈, 압축, 염색 변화).
4. 이미지 압축: JPEG, JPEG 2000, JPEG XL 및 독자적 코덱(TuroCompress) 평가.
5. 염색 정규화(Stain normalization): Macenko, Reinhard, Vahadane 방법 테스트.
6. 생성 평가: PixCell-256 및 CytoSyn 비교.
7. 슬라이드 수준 집계: 슬라이드 구성을 포착하기 위한 어텐션 풀링 인코더(CHIEF, Prov-GigaPath LongNet) 테스트.

정규화 프로토콜:
규모 의존성 문제를 해결하기 위해, 저자들은 비율 기반 정규화를 제안한다. 이들은 동일한 참조 코호트의 서로 다른 두 분할 집단 사이의 프레셰 거리를 "인코더별 하한($FD_{floor}$)"으로 정의한다. 보고되는 지표는 이 하한에 대한 테스트 거리의 비율이다:
$$r_e = \frac{FD_{test}^e}{FD_{floor}^e}$$
이 비율은 인코더 특유의 특징 스케일을 상쇄하여, 거의 인코더 불변적인 무차원 양(dimensionless quantity)을 산출한다.

3. 주요 기여

1. 인코더 의존성 정량화: 본 논문은 동일한 비교에 대해 원시 프레셰 거리가 6개 모델에 걸쳐 30배의 범위를 나타내며, 임베딩 차원에 따라 정렬되지 않음을 보여준다.
2. 정규화 프로토콜: 저자들은 단순한 비율 정규화(테스트 거리를 인코더의 코호트 내 하한으로 나눔)를 도입하고 검증하였다. 이는 인코더 간의 변동 계수(CV)를 코호트 내에서는 약 89%, 코호트 간에는 약 58% 감소시켜 비교 가능성을 회복시킨다.
3. 인코더 특성 규명: 연구는 분포 변화에 대한 민감도에 따라 두 가지 뚜렷한 인코더 그룹을 식별한다:
   • 민감한 그룹(Sensitive Group): CONCH, Phikon-v2, Inception-v3 (더 큰 변화를 보고함).
   • 불변한 그룹(Invariant Group): UNI2-h, Virchow2, Prov-GigaPath (더 작은 변화를 보고하며, 이는 대규모 독점 데이터 학습 및 강력한 증강 덕분인 것으로 보임).
     본 논문은 이 그룹화가 코호트 드리프트, 염색 변화, 생성 평가의 결과를 일관되게 결정함을 보여준다.

4. 결과

원시 거리 vs. 정규화된 거리

• 원시 거리: 동일한 코호트 내 비교에서, 원시 거리는 5.9 (Phikon-v2)에서 175.2 (Virchow2)까지의 범위를 보였다.
• 정규화 효과: 비율 정규화를 적용했을 때, 교차 인코더 변동 계수(CV)는 코호트 내에서는 1.19에서 0.13으로, 코호트 간에는 0.99에서 0.42로 감소하였다.

인코더 민감도 그룹

• 코호트 간 드리프트: 민감한 그룹은 하한의 1617배에 달하는 변화를 보고한 반면, 불변한 그룹은 78배를 보고했다.
• 염색 변화: 유사한 그룹화가 관찰되었으며, 민감한 인코더가 더 큰 변화를 감지했다. 염색 정규화(Macenko/Reinhard)는 미미한 효과를 보였는데, 이는 코호트 간의 차이가 색상뿐만 아니라 조직 내용물과 염색 패널의 차이에서 기인했기 때문이다.
• 섭동 민감도: 기하학적 안정성(90도 회전)은 민감/불변 그룹화를 엄격히 따르지는 않았다. 예를 들어, 불변 그룹인 Virchow2는 높은 회전 안정성(0.95 코사인 유사도)을 보였으나, 불변 그룹인 UNI2-h는 낮은 안정성(0.73)을 보였다. 노이즈는 모든 인코더에 가장 파괴적인 섭동이었다.

생성 평가

생성 모델(PixCell-256 vs. CytoSyn)의 순위는 인코더에 따라 달라졌다.

• CONCH 하에서: PixCell은 CytoSyn보다 현저히 낮은 순위로 평가되었다 (비율 2.52 vs. 1.42).
• Inception-v3 및 Phikon-v2 하에서: 두 모델의 순위는 훨씬 근접했다.
• 재현율(Recall): CytoSyn은 PixCell(거의 0에 가까움)에 비해 일관되게 높은 재현율(0.09–0.17)을 보여 실제 분포를 더 넓게 커버함을 나타냈으나, 어떤 모델이 "더 나은지"에 대한 순위는 인코더에 따라 변했다.

슬라이드 수준 vs. 패치 수준

• 패치 수준: 슬라이드 내 타일의 배치를 인식하지 못한다.
• 슬라이드 수준: 어텐션 풀링 인코더(CHIEF)를 사용했을 때, 동일한 풀링된 타일 구성이지만 슬라이드 내 배치가 반대인 코호트 간의 거리는 패치 수준 거리보다 약 320배 증가했다. 이는 슬라이드 수준의 집계가 패치 수준 지표로는 보이지 않는 구성 정보를 포착함을 입 demonstrate 한다. 실제 좌표를 기대하는 Prov-GigaPath LongNet 인코더는 이러한 증폭을 보이지 않았는데, 이는 해당 효과가 집계 메커니즘에 특이적임을 시사한다.

압축 및 병리학자 일치도

• 압축: TuroCompress는 가장 작은 파일 크기(타일당 6.5 kB, 55배 감소)에서도 SSIM > 0.95를 유지하며 가장 높은 재구성 충실도를 달eric 했다. 인코더 거리는 SSIM과 밀접하게 추적되었다 (Spearman 0.93–0.98).
• 일치도: 전문의 자격을 갖춘 두 명의 병리학자가 이미지 변형의 유사성을 순위 매겼다. 프레셰 거리의 순위(다양한 인코더 사용)는 인간의 지각과 밀접하게 일치했다 (Spearman $\rho \approx 0.96$). 이러한 일치도는 민감한 그룹과 불변한 그룹 모두에서 유지되었으며, 이는 거리의 크기는 변할지라도 차이의 방향은 전문가의 지각과 일치함을 나타낸다.

5. 의의 및 주장

본 논문은 프레셰 거리가 특징 추출기에 대한 의존성을 인정하고 제거하지 않는 한, 계산 병리학에서 유용할 뿐이라고 주장한다. 주요 의의는 비율 정규화 제안에 있으며, 이를 통해 서로 다른 파운데이션 모델 간의 결과를 지표를 버리지 않고도 비교할 수 있게 한다.

저자들은 다음을 강조한다:

1. 인코더 선택의 중요성: 인코더의 선택은 생성 평가의 결론이나 감지된 드리프트의 크기를 바꿀 수 있다.
2. 맥락적 선택: 실무자는 질문에 맞는 인코더를 매칭해야 한다. 민감한 인코더는 스캐너 드리프트나 염색 차이를 감지하는 데 적합하며, 불변한 인코더(강력한 증강이 적용된 DINOv2 모델들)는 이러한 불편한 요소들에 강건해야 하는 양을 측정하는 데 더 적합하다.
3. 보고 표준: 생성 평가를 위해서는 여러 인코더 하에서의 정규화된 거리를 보고하고, 완전한 그림을 제공하기 위해 거리와 함께 재현율 지표를 포함할 것을 권장한다.

본 연구는 관찰된 정규화된 거리의 차이가 병리학자의 지각과 모순되는 것이 아니라, 각 인코더의 특징 기하학 및 민감도 스케일의 속성임을 결론짓는다. 저자들은 재현 가능한 평가를 지원하기 위해 정규화 프로토콜, 섭동 패널 및 특징 추출물을 공개한다.