Unifying Multiple Foundation Models for Advanced Computational Pathology

1. 문제 정의 (Problem)

최근 계산 병리학 (Computational Pathology, CPath) 분야에서는 대규모 조직학 데이터셋을 기반으로 학습된 병리 기초 모델 (Pathology Foundation Models, 예: Virchow, UNI, H-Optimus 등) 이 혁신적인 성과를 거두고 있습니다. 그러나 이러한 모델들은 다음과 같은 근본적인 한계를 가지고 있습니다.

• 작업별 성능 편차: 기초 모델들의 성능은 학습 데이터의 구성 (조직 유형, 기관, 병리 소견 등) 에 따라 크게 달라집니다. 하나의 모델이 진단, 예후, 분자 예측 등 모든 작업에서 일관되게 우수한 성능을 내지 못합니다.
• 데이터 접근성 부족: 고성능 모델들은 종종 사설 (Proprietary) 대규모 데이터셋으로 학습되어 공개되지 않습니다. 이로 인해 연구 커뮤니티가 새로운 데이터를 추가하여 모델을 지속적으로 확장하거나 개선하기 어렵습니다.
• 기존 통합 방법의 비효율성: 기존에 여러 모델을 통합하기 위해 사용되던 오프라인 지식 증류 (Offline Knowledge Distillation) 방식은 별도의 증류 데이터셋이 필요하며, 새로운 모델이 등장할 때마다 학생 모델을 처음부터 다시 학습 (Retraining) 해야 하는 번거로움과 비효율성이 존재합니다. 또한, 작업별 (Task-specific) 적응 능력이 부족합니다.

2. 방법론 (Methodology: Shazam)

저자들은 이러한 문제를 해결하기 위해 Shazam이라는 새로운 온라인 통합 모델 (Online Integration Model) 을 제안합니다. Shazam 은 별도의 대규모 사전 학습이나 증류 데이터셋 없이, 여러 사전 학습된 병리 기초 모델을 실시간으로 통합하여 범용적이고 확장 가능한 표현 학습을 수행합니다.

핵심 아키텍처 및 기술적 특징:

1. 다중 교사 및 다중 스케일 표현 추출 (Multi-teacher & Multi-scale Representation Extraction):

   • 5 가지 최첨단 기초 모델 (UNI 2, Virchow2, H-optimus-1, Prov-Gigapath, Phikon-v2) 을 '교사 (Teacher)'로 활용합니다.
   • 각 모델의 트랜스포머 블록에서 저수준 (Low-level), 중수준 (Middle-level), 고수준 (High-level) 의 3 단계 특징을 추출합니다. 이는 국소적 형태, 조직 구조, 전역적 문맥 정보를 모두 포착하기 위함입니다.

2. 적응형 전문가 혼합 (Adaptive Mixture-of-Experts, MoE):

   • 추출된 다중 스케일 특징들을 통합하기 위해 게이팅 메커니즘 (Gating Mechanism) 을 도입했습니다.
   • 게이트 네트워크 (MLP) 가 입력된 특징 벡터를 기반으로 각 교사 모델의 기여도 가중치를 동적으로 계산합니다.
   • 이를 통해 특정 작업 (Task) 에 가장 유용한 정보를 제공하는 모델의 특징을 강조하고, 불필요한 노이즈는 억제하는 작업 적응형 (Task-adaptive) 융합이 가능합니다.

3. 온라인 증류 (Online Distillation):

   • 오프라인 증류와 달리, Shazam 은 온라인 증류 방식을 사용합니다.
   • 학생 모델 (Student Model) 은 고정된 교사 모델들의 특징을 실시간으로 모방하도록 학습되며, 다중 스케일 증류 손실 (Multi-level Distillation Loss) 을 최소화합니다.
   • 손실 함수는 코사인 거리 (Cosine Distance) 와 요소별 허버 손실 (Element-wise Huber Loss) 을 결합하여 이상치에 강건하게 학습을 유도합니다.

4. WSI 및 타일 레벨 처리:

   • WSI (전 슬라이드) 작업: Attention-Based Multiple Instance Learning (ABMIL) 을 사용하여 패치 수준의 특징을 슬라이드 수준의 표현으로 집계합니다.
   • 타일 (Tile) 레벨 작업: 패치 집계 없이 직접 특징을 사용합니다.

3. 주요 기여 (Key Contributions)

• 새로운 통합 패러다임 제안: 오프라인 증류의 한계를 극복하고, 새로운 기초 모델이 등장할 때마다 재학습 없이도 유연하게 통합할 수 있는 온라인 통합 프레임워크를 최초로 제시했습니다.
• 다중 스케일 및 다중 교사 융합: 단순히 특징을 연결하는 것을 넘어, MoE 와 게이트 메커니즘을 통해 조직학적 형태와 분자적 특성을 모두 포착하는 통합된 형태 - 분자 표현 (Unified Morphomolecular Representation) 을 학습합니다.
• 데이터 접근성 문제 해결: 원본 학습 데이터에 접근할 필요 없이, 기존에 공개된 기초 모델들의 지식만으로도 성능을 극대화할 수 있는 방법을 제시했습니다.

4. 실험 결과 (Results)

Shazam 은 4 가지 주요 병리 작업 (공간 전사체 예측, 생존 예후, 타일 분류, 시각적 질문 답변) 에 걸쳐 30 개의 벤치마크에서 평가되었습니다.

• 종합 성능: 30 개 작업 중 26 개에서 1 위를 기록했으며, 평균 순위 점수는 1.17로, 2 위인 Virchow2(평균 3.20) 를 압도적으로 앞섰습니다.
• 공간 전사체 (ST) 예측: HEST-1k 데이터셋의 8 개 장기 (장, 간, 유방 등) 에서 Shazam 은 모든 장기에서 가장 높은 피어슨 상관계수 (PCC) 를 기록했습니다. 특히 단일 모델이 특정 장기에서만 강점을 보이는 것과 달리, Shazam 은 장기 간 일반화 능력이 뛰어났습니다.
• 생존 예후 (Survival Prognosis): 10 개 TCGA 암 코호트에서 Shazam 은 평균 C-index 0.666을 기록하여 기존 최고 모델 (H-optimus-1, 0.642) 보다 통계적으로 유의미하게 높은 성능을 보였습니다. Kaplan-Meier 분석을 통해 고위험군과 저위험군의 생존 곡선 분리가 명확하게 이루어졌습니다.
• 타일 분류 및 VQA: 11 개의 타일 분류 데이터셋과 PathVQA 데이터셋에서도 Shazam 이 가장 높은 정확도를 보였습니다. 특히 VQA 작업에서는 기초 모델들이 언어 학습을 거치지 않았음에도 불구하고, Shazam 의 통합 표현이 시각 - 언어 정렬 능력을 향상시켜 0.575 의 정확도를 달성했습니다.
• Ablation Study:
  • 교사 모델 제거 실험: 주요 교사 모델을 제거할수록 성능이 급격히 하락하여, 다양한 교사의 지식 통합이 필수적임을 입증했습니다.
  • 특징 레벨 분석: 저/중/고수준 특징을 모두 통합했을 때 성능이 가장 우수하여, 다중 스케일 특징의 상호 보완성이 중요함을 확인했습니다.

5. 의의 및 결론 (Significance)

이 논문은 계산 병리학 분야에서 단일 거대 모델 (Monolithic Model) 에 의존하는 기존 접근법에서 벗어나, 모듈화되고 구성 가능한 시스템 (Modular and Compositional Systems) 으로의 전환을 제안합니다.

• 실용성: 기관별 데이터 접근 제한이나 프라이버시 문제로 인해 새로운 데이터를 수집하기 어려운 현실적인 제약 하에서도, 기존 모델들의 강점을 결합하여 성능을 지속적으로 향상시킬 수 있는 실용적인 전략을 제공합니다.
• 확장성: 새로운 기초 모델이 개발될 때마다 Shazam 아키텍처에 쉽게 추가하여 통합할 수 있어, 병리 AI 의 지속적인 진화와 확장 (Scalability) 을 가능하게 합니다.
• 임상적 가치: 공간 전사체 예측, 생존 분석, 정밀 진단 등 다양한 임상 과제에서 일관된 고성능을 발휘함으로써, 차세대 임상 의사결정 지원 시스템의 핵심 기술로 자리매김할 잠재력을 가집니다.

요약하자면, Shazam은 데이터 접근성의 한계를 극복하고, 다양한 병리 기초 모델의 상보적인 강점을 실시간으로 통합하여 계산 병리학의 성능과 범용성을 획기적으로 높인 혁신적인 프레임워크입니다.