A protocol for evaluating robustness to H&E staining variation in computational pathology models

1. 연구 배경 및 문제 제기 (Problem)

• 핵심 문제: 계산병리학 (CPath) 모델의 임상 도입을 가로막는 주요 장벽 중 하나는 헤마톡실린 - 에오신 (H&E) 염색의 변이입니다. 실험실 간, 배치 간, 시약 농도, 스캐너 특성, 조직 처리 프로세스의 차이로 인해 전체 슬라이드 이미지 (WSI) 의 염색 강도와 색상이 크게 달라집니다.
• 현재의 한계:
  • 기존 연구는 주로 학습 단계에서 염색 정규화 (Stain Normalization) 나 증강 (Augmentation) 을 통해 강건성을 높이려는 '개발 중심' 접근에 치중했습니다.
  • 그러나 최근 CPath 파이프라인은 대규모 사전 학습된 기초 모델 (Foundation Models, 예: UNI, Virchow2 등) 을 특징 추출기로 사용하고, 그 위에 경량화된 분류기 (예: ABMIL) 를 학습시키는 '2 단계 (Two-stage)' 방식으로 전환되었습니다.
  • 이러한 환경에서는 학습 시의 염색 증강이 사전 학습된 특징 표현에 의해 그 영향력이 제한받으며, 기존 평가 방법들은 이미지 기반 참조나 생성적 변환에 의존하여 구체적이고 정량적인 염색 속성 (강도, 색상 유사도) 과 성능 저하 간의 인과 관계를 명확히 규명하기 어렵습니다.

2. 제안된 방법론 (Methodology)

저자들은 H&E 염색 변이에 대한 CPath 모델의 강건성을 체계적으로 평가하기 위한 3 단계 프로토콜을 제안했습니다.

Step 1: 참조 염색 조건 선정 (Reference Staining Conditions Selection)

• PLISM 데이터셋 활용: 46 가지 인간 조직, 13 가지 염색 조건, 13 가지 스캐너로 구성된 PLISM 데이터셋을 기반으로 새로운 참조 염색 라이브러리를 구축했습니다.
• 특성 추출: 각 슬라이드 패치에서 헤마톡실린과 에오신의 **염색 벡터 (Stain Vectors)**와 **염색 강도 (Stain Intensities)**를 추출했습니다.
• 시뮬레이션 조건 정의:
  • 강도 (Intensity): 최저 및 최고 H&E 강도 조건.
  • 색상 유사도 (Color Similarity): H&E 벡터 간의 각도 (OD 공간) 를 기준으로 가장 유사한 (Gill) 과 가장 다른 (Harris) 염색 조건.

Step 2: 테스트 세트 염색 특성 분석 (Characterize Test Set Staining Properties)

• SurGen 데이터셋 적용: colorectal cancer (CRC) 의 외부 검증 데이터셋인 SurGen (n=738 환자) 의 슬라이드별 염색 벡터와 강도를 추출하여 실제 임상 데이터의 변이 범위를 정량화했습니다.

Step 3: 시뮬레이션된 조건 하의 모델 추론 (Apply Model under Simulated Conditions)

• 제어된 재구성: Beer-Lambert 법칙을 기반으로 H&E 염색 분해 (Decomposition) 와 재구성 (Recomposition) 을 수행했습니다.
• 실험 설계: 4 가지 시뮬레이션 조건 (저/고 강도, 저/고 색상 유사도) 에서 모델을 추론시켰습니다.
• 평가 모델:
  • 시뮬레이션된 모델: TCGA-COAD/READ 데이터셋에서 3 가지 기초 모델 (UNI2-h, H-Optimus-1, Virchow2) 을 특징 추출기로 사용하고 ABMIL 분류기를 학습시킨 300 개의 모델.
  • 공개 모델: Wagner2023 (CTransPath 기반) 및 Niehues2023 (RetCCL 기반) 등 6 개의 공개 MSI 분류 모델.
• 총 평가 대상: 306 개의 미세부위 불안정성 (MSI) 분류 모델.

3. 주요 기여 (Key Contributions)

1. 체계적인 평가 프로토콜 개발: 학습된 CPath 모델의 강건성을 정량화하고, 특정 염색 속성 (강도, 색상) 이 성능에 미치는 영향을 분리하여 분석할 수 있는 표준화된 프레임워크를 제시했습니다.
2. PLISM 기반 참조 라이브러리 구축: 실제적인 염색 변이를 반영하는 정량적 참조 데이터 (염색 벡터 및 강도) 를 공개했습니다.
3. 대규모 모델 평가: 306 개의 다양한 MSI 분류 모델을 대상으로 성능과 강건성을 동시에 평가하여, 높은 성능이 반드시 높은 강건성을 보장하지 않음을 입증했습니다.
4. 오픈 소스 및 데이터 공개: 평가 코드, 훈련된 모델, 염색 특성 데이터 등을 공개하여 재현성과 향후 연구를 지원했습니다.

4. 주요 결과 (Results)

• 성능과 강건성의 관계:
  • 전체 모델 (n=306) 의 기준 성능 (AUC) 은 0.7690.911 이었으며, 강건성 (최대 - 최소 AUC 범위) 은 0.0070.079 였습니다.
  • 약한 역상관관계 (Pearson r = -0.22): 높은 기준 성능을 가진 모델이 반드시 염색 변이에 강건한 것은 아니었습니다.
• 기초 모델별 차이:
  • UNI2-h 기반 모델이 H-Optimus-1 및 Virchow2 기반 모델보다 강건성 면에서 더 일관된 성능을 보였습니다.
  • Wagner2023 모델 (CTransPath 기반) 은 기초 모델이 상대적으로 덜 강건함에도 불구하고, 집계기 (Aggregator) 학습을 통해 높은 성능과 강건성을 동시에 달성했습니다.
• 염색 조건의 영향:
  • 고강도 (High Intensity) 조건이 대부분의 모델에서 가장 높은 AUC 를 기록했습니다.
  • 저강도 및 높은 색상 유사도 조건은 성능 저하를 일으키는 경향이 있었습니다.
  • 그러나 모든 조건이 일부 모델에서는 최상의 성능을 내기도 했으므로, 모델별 개별 평가의 필요성이 강조되었습니다.
• 최고 성능 모델 선정: 성능 (AUC > 0.90) 과 강건성 (범위 < 0.03) 모두를 만족하는 10 개의 최상위 모델은 주로 UNI2-h 기반이었으며, 이들의 강건성 신뢰구간이 더 좁아 안정성이 높았습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 임상적 적용 가이드: 병원 및 임상 구현자는 자사 스캐너와 염색 프로토콜의 특성을 파악하고, 이를 기반으로 모델의 '작동 범위 (Operational Ranges)'를 정의해야 합니다.
• 품질 관리 (QC) 도구: 제안된 프로토콜은 모델 배포 전 '스트레스 테스트' 도구로 활용되어, 특정 염색 변이에서 성능이 급격히 떨어지는 모델을 사전에 선별할 수 있게 합니다.
• 미래 방향: 단순한 분류 성능 (AUC) 평가뿐만 아니라, 보정 (Calibration) 및 점수 안정성까지 포함하는 종합적인 강건성 평가 체계의 필요성을 제기했습니다.
• 결론: H&E 염색 변이에 대한 강건성은 모델의 고유한 속성이며, 성능과 독립적으로 평가되어야 합니다. 이 프로토콜은 신뢰할 수 있는 CPath 모델의 선택과 임상 배포를 위한 데이터 기반 의사결정을 지원합니다.

참고: 이 연구는 2026 년 3 월 13 일 arXiv 에 제출된 것으로 표기되어 있으며, PLISM 데이터셋과 SurGen 데이터셋을 활용하여 colorectal cancer 의 MSI 예측 모델을 평가했습니다.