Probing, Fusion, and Trustworthiness: A Systematic Evaluation of Foundation Model Representations for Multimodal Cancer Analysis

기술 요약: 다중 모달 암 분석을 위한 파운데이션 모델 표현의 프로빙, 융합 및 신뢰성

문제 정의
파운데이션 모델(FM)은 의료 데이터에 대한 강력한 표현 추출기로 부상했으나, 분포 변화(distribution shift)가 존재하는 실제 데이터셋에 대한 일반화 능력은 아직 충분히 탐구되지 않았습니다. 병리 및 전사체 파운데이션 모델(예: CONCH, UCE)에 대한 기존 평가들은 유망한 결과를 보여주지만, 이는 사전 학습 코퍼스와 중복될 가능성이 있는 공개 벤치마크에서 수행되는 경우가 많습니다. 상업적 종양학 소스에서 유래된 것과 같은 실제 산업 데이터셋은 종종 서로 다른 데이터 수집 파이프라인과 분포를 따릅니다. 본 논문은 세 가지 핵심적인 격차를 다룹니다: (1) FM 표현이 분포 외(OOD) 임상 데이터로 신뢰성 있게 전이되는지 여부, (2) 이미지와 오믹스 데이터의 다중 모달 융합이 단일 모달 베이스라인보다 일관된 이득을 제공하는지 여부, (3) 고위험 진단 환경에서 불확실성 정량화 및 보정(calibration)을 포함한 이러한 파이프라인의 신뢰성 여부입니다.

연구 방법론
본 연구는 두 개의 실제 내부(in-house, IH) 상업용 코호트인 IH-BC(유방암)와 IH-NSCLC(비소세포폐암)를 활용합니다. Flatiron Health-Caris Life Sciences Clinical-Molecular Database에서 유래된 이 데이터셋들은 쌍을 이루는 전체 슬라이드 H&E 이미지와 전사체 프로파일(TPM RNA 유전자 발현)을 제공합니다. 데이터는 훈련, 보정, 검증, 테스트 세트로 분할되었습니다 (7:3:1:1 비율).

실험 워크플로우는 세 단계로 구성됩니다:

1. 단일 모달 프로빙(Unimodal Probing):

   • 이미지 표현: 네 가지 타일 수준 병리 파운데이션 모델(CONCH, UNI, MUSK, Virchow)을 평가합니다.
   • 오믹스 표현: 세 가지 방법을 비교합니다: 전사체 파운데이션 모델(UCE), 변이형 오토인코더(scVI), 그리고 고전적인 차원 축소 베이스라인(PCA).
   • 다운스트림 태스크: 생검 부위 예측, 분자 아형 식별, 바이오마커 상태(PR, PIK3CA, LOH, TMB), 종양 부위 식별을 포함한 8가지 분류 태스크를 정의합니다.
   • 학습: 이미지의 경우 다중 인스턴스 학습(HEMIL)을, 오믹스의 경우 다층 퍼셉트론(GeneMLP)을 사용하여 단일 모달 성능을 평가합니다.

2. 다중 모달 융합(Multimodal Fusion):

   • 쌍을 이루는 이미지 및 오믹스 표현을 결합하기 위해 세 가지 융합 전략을 구현합니다:
     • CONTACT: 모든 이미지 타일 임베딩에 오믹스 특징을 결в합한 후 융합 인코더를 적용합니다.
     • MCAT: 이미지 토큰과 오믹스 토큰 간에 정보를 교환하는 공동 주의(co-attention) 트랜스포머를 사용하며, 이후 MIL 풀링을 수행합니다.
     • LateMIL: 독립적인 WSI 로짓과 오믹스 로짓을 가중 합산 방식으로 결합하는 후기 융합 접근 방식입니다.

3. 신뢰성 분석(Trustworthiness Analysis):

   • 컨포멀 예측(Conformal Prediction, CP): 선택된 모든 파이프라인에 분할 컨포멀 예측을 적용하여 주변부 커버리지 보장($\alpha = 0.10$)을 갖는 예측 세트를 생성합니다.
   • 지표: 경험적 커버리지, 평균 세트 크기, 싱글톤 비율(singleton rate), 그리고 "구조율(rescue rate)"(Top-1 점 예측이 틀렸을 때 예측 세트 내에서 실제 라벨이 회복되는 빈도)을 평가합니다.

주요 결과

• 단일 모달 성능:

  • 이미지 FM은 OOD 데이터에서 경쟁력 있는 성능을 달야하지만, 결과는 태스크 난이도에 따라 크게 달라집니다 (예: IH-BC 생검 부위의 높은 AUC > 0.9 vs. IH-NSCLC 생검 부위의 ~0.64).
  • 오믹스 표현은 보완적인 신호를 제공합니다. 특히, 고전적인 PCA 베이스라인이 여러 태스크에서 학습된 전사체 파운데이션 모델(UCE, scVI)보다 더 우수한 성능을 보이는 경우가 많았으며, LOH, PR, PIK3CA, Subtype 및 TMB 태스크에서 가장 높은 AUC를 달성했습니다. 이는 생물학적 섭동(perturbations)을 포착하는 데 있어 효과적인 전사체 FM을 구축하는 것이 고전적인 통계적 방법론에 비해 여전히 어려운 과제임을 시사합니다.

• 다중 모달 융합:

  • 융합이 항상 유익한 것은 아닙니다. 다중 모달 방법(LateMIL, MCAT, CONTACT)은 단일 모달이 예측 신호를 독점하지 않는 경우에만 단일 모달 베이스라인보다 우수한 성능을 보입니다.
  • 한 모달이 지배적인 신호를 운반하는 경우(예: NSCLC-TMB에 대한 GeneMLP/PCA), 융합은 오히려 최상의 단일 모달 모델보다 성능을 저하시킬 수 있습니다.
  • LateMIL이 CONTACT 및 MCAT에 비해 태스크 전반에서 가장 일관된 성능을 보여주었습니다.

• 신뢰성 및 불확실성:

  • 컨포멀 예측은 모든 태스크에서 명목 목표치인 0.90 이상의 평균 커버리지를 달성했습니다.
  • 태스크 난이도가 세트 크기를 결정함: NSCLC 태스크(생검 부위, 종양 부위)는 과잉 커버리지(0.93–0.94)와 큰 평균 세트 크기(2.5+) 및 거의 0에 가까운 싱글톤 비율을 보였는데, 이는 폐 하위 영역을 구별하는 데 따르는 본질적인 어려움을 반영합니다. 반면, BC 태스크는 목표치에 더 근접하고 더 작은 세트 크기(~2.0)를 가진 타이트한 커버리지를 보여주었습니다.
  • 아키텍처 불가지론(Architecture Agnosticism): 컨포멀 동작(커버리지 및 세트 크기)은 백본 모델의 선택에 관계없이 대체로 견고합니다. 즉, 모델 아키텍처보다는 태스크의 난이도가 예측 세트의 특성을 결정합니다.
  • 구조율(Rescue Rate): 점 예측이 실패한 경우, 실제 진단명이 예측 세트 내에서 회복되는 비율은 72.6%에서 87.3% 사이로 나타나, 불확실성을 고려한 추론이 제공하는 안전망을 입증했습니다.

의의 및 주장
본 논문은 파운데이션 모델 표현이 미지의 실제 상업용 종양학 데이터로 적절히 전이될 수 있지만, 그 효용성은 매우 태스크 의존적이라고 주장합니다. 주요 기여 중 하나는 다중 모달 융합이 성능 향상을 보장하지 않으며, 한 모달이 이미 지배적인 신호를 제공하는 경우 오히려 해로울 수 있다는 발견입니다. 또한, 본 연구는 특정 임상 맥락에서 PCA와 같은 고전적 방법이 현대적인 전사체 파운데이션 모델보다 더 우수할 수 있음을 강조합니다.

신뢰성과 관련하여, 저자들은 단일 점 예측에서 컨포멀 예측 세트로 전환하는 것이 임상 지원에 필수적이라고 주장합니다. 이 접근 방식은 모델의 Top-1 예측이 틀리더라도 실제 진단이 배제되지 않도록 보장함으로써, 인간-AI 협업에서 발생할 수 있는 '침묵하는 오류(silent errors)'의 위험을 줄여줍니다. 본 연구는 모델 아키텍처도 중요하지만, 임상 태스크 자체의 내재적 난이도가 불확실성과 예측 세트 크기를 결정하는 주요 동인임을 강조합니다.