Bridging the Modality Bottleneck in Pathology MIL through Virtual Molecular Staining

기술적 요약: 가상 분자 염색을 통한 병리학 MIL 의 모달리티 병목 현상 극복

문제 제기
계산 병리학에서 다중 인스턴스 학습 (MIL) 은 전체 슬라이드 이미지 (WSI) 를 분석하는 주류 프레임워크입니다. 표준 MIL 파이프라인은 일반적으로 고정된 패치 인코더 (병리학 기반 모델), 패치별 투영 계층, 그리고 슬라이드 수준 집계기로 구성됩니다. 인코더와 집계기는 광범위하게 최적화되었으나, 투영 계층은 여전히 중요한 병목 현상으로 남아 있습니다. 현재 기반 모델들은 주로 H&E 형태학과 병리학 보고서에 사전 훈련되어 조직 특징을 형태학적 축을 따라 조직화합니다. 그러나 많은 중요한 임상 종결점 (생물표지자 상태, 치료 반응, 생존율 등) 은 형태학만으로는 완전히 포착되지 않는 분자 상태에 의해 좌우됩니다. 조직학적으로 유사한 영역이 서로 다른 분자 프로그램에 해당할 수 있어, 형태학만 기반인 모델이 분자적으로 구별되는 사례를 식별하지 못하는 '모달리티 병목 현상'이 발생합니다. 기존에 분자 신호를 주입하려는 시도는 종종 인코더의 미세 조정 (fine-tuning) 이나 비전 - 오믹스 (vision-omics) 목적을 통한 기반 모델의 재사전 훈련을 요구하는데, 이는 표현력을 특정 모델 체크포인트에 종속시키고 높은 계산 비용을 초래합니다.

방법론: 분자 정보 염색 변환 (MIST)
저자들은 추론 시 공간 전사체 (ST) 가 필요 없이 전사체 모달리티 간극을 해소하는 표준 MIL 투영 계층의 플러그 - 앤 - 플레이 대체제인 MIST 를 제안합니다. MIST 는 훈련 단계에서 짝지어진 ST 와 H&E 데이터를 사용하여 '가상 분자 염색'을 구축한 후, 추론 단계에서는 H&E 전용 특징에 이를 적용하는 방식으로 작동합니다.

이 방법은 네 가지 주요 단계로 진행됩니다:

1. 교차 모달 프로토타입 학습: 짝지어진 ST-H&E 데이터 (HEST-1k 데이터셋에서 유래) 를 사용하여 유전자 발현 프로파일을 클러스터링하여 고유한 분자 개념을 식별합니다. 핵심적으로, 생성된 프로토타입은 고정된 기반 모델에서 유래한 형태학적 특징 공간에서 계산된 중심점이지만, 유전자 발현 클러스터에 의해 고정됩니다. 이를 통해 각 프로토타입은 특정 분자 프로그램의 형태학적 서명을 인코딩할 수 있습니다.
2. 소프트 패치 할당: WSI 의 각 패치에 대해 모델은 이러한 분자 프로토타입에 대한 소프트 친화도를 계산합니다. 하드 클러스터링과 달리, 이는 단일 조직 영역 내의 공발현 분자 프로그램이라는 생물학적 현실을 반영하여 패치가 여러 프로토타입을 동시에 활성화할 수 있게 합니다.
3. 프로토타입 조건부 저랭크 변환: 각 프로토타입은 저랭크 잔차 변환을 통해 패치 임베딩에 대한 특정 '뷰'를 유도합니다. 이는 염색이 기저 조직 위에 추가되는 물리적 특성을 모방합니다. 이 변환은 모든 프로토타입에 걸쳐 공유되는 저랭크 기저 ($V$) 와 프로토타입별 변조 행렬 ($U_k$) 을 사용하여, 변환이 효율적으로 유지되면서 공통된 형태학적 축에 기반하도록 보장합니다.
4. 잔차 혼합: 최종 패치 표현은 원래 임베딩과 염색된 뷰들의 가중 합이며, 가중치는 프로토타입 친화도에 의해 결정됩니다. 이 잔차 구조는 분자 사전 지식을 통합하면서도 원래 H&E 형태학을 안정적인 참조로 유지합니다.

주요 기여

• 모달리티 병목 관점: 본 논문은 분자 사전 지식을 주입하여 형태학만 기반인 기반 모델의 한계를 극복할 수 있는 모듈식 개입 지점으로서 MIL 투영 계층을 규명하며, 이는 용량 중심의 병목 현상과 구별됩니다.
• 가상 분자 염색: MIST 는 훈련 중 공간 전사체 사전 지식을 활용하여 H&E 특징을 유전자 정의 축을 따라 재조직하는 메커니즘을 도입하며, 추론 시에는 H&E 이미지만 요구합니다. 이는 고정된 병리학 기반 모델을 재훈련하거나 미세 조정할 필요성을 제거합니다.
• 교차 모달 적응: 유전자 기반 프로토타입을 형태학적 공간에 고정함으로써, MIST 는 병리학 기반 모델 생태계가 진화함에 따라 여전히 유효한 재사용 가능한 적응 모듈을 생성합니다.

실험 결과
MIST 는 고정된 UNI2-h 인코더를 사용하여 23 개의 하류 작업과 8 가지 다른 MIL 집계기 (ABMIL, CLAM, TransMIL 등 포함) 에 걸쳐 평가되었습니다.

• 성능 향상: MIST 는 표준 선형 투영 계층 대비 256 개 구성 중 240 개에서 성능을 개선하여 평균 +3.5% 의 성능 향상을 달성했습니다.
• 작업별 개선:
  • 생존 예측: 평균 +5.2% 향상 (일치 지수).
  • 조직 하위 유형 분류: 평균 +3.3% 향상 (균형 정확도/가중 $\kappa$).
  • 생물표지자 예측: 평균 +2.6% 향상 (AUROC).
• 절대 실험 (Ablation Studies): 유전자 기반 프로토타입을 무작위 벡터나 H&E 전용 클러스터링으로 대체할 경우 성능이 현저히 저하되어, 성장이 모델 용량 증가가 아닌 교차 모달 분자 사전 지식에서 비롯됨을 확인했습니다. 또한 저랭크 구조와 잔차 연결이 중요한 설계 선택임이 입증되었습니다.
• 해석 가능성: 보유된 HEST 슬라이드에 대한 공간적 검증은 MIST 가 H&E 형태학만으로 생물학적으로 의미 있는 분자 분포를 직접 추론할 수 있음을 보여주었습니다. 병리학적 분석은 프로토타입 친화도가 명시적인 병리학 주석의 감독 없이도 정상 대 종양, 폐포 대 편평 등 서로 다른 조직 상태와 일치함을 확인했습니다.

의의 및 주장
본 논문은 MIST 가 인코더 훈련 과정으로부터 분자 감독을 분리함으로써 계산 병리학의 모달리티 병목 현상을 효과적으로 해결한다고 주장합니다. 투영 계층에서 작동함으로써 MIST 는 분자 사전 지식을 재사용 가능하고 계산 효율적인 방식으로 고정된 기반 모델 파이프라인에 통합할 수 있게 합니다. 저자들은 투영 계층이 용량과 모달리티 병목 현상 모두를 나타낸다고 보는데, MAMMOTH 와 같은 방법이 용량을 해결한다면 MIST 는 모달리티 간극을 해결합니다. 결과는 분자 상태가 결과 (생존, 생물표지자) 를 주도하는 작업과 형태학만으로는 충분한 신호를 추출하는 데 어려움을 겪는 약한 집계기에게 분자 정보 사전 지식이 특히 유익함을 시사합니다. 이 연구는 교차 모달 프로토타입 친화도가 H&E 이미지만으로 공간적으로 일관되고 병리학적 의미가 있는 분자 프로그램을 포착할 수 있음을 보여주며, 추론 시 고비용의 분자 분석이 필요 없는 분자 정보 병리학으로 가는 길을 제시합니다.