기술 요약: Together, Then Apart (TTA)를 이용한 멀티모달 생존 분석

1. 문제 정의

멀티모달 생존 분석은 이질적인 생물 의학 데이터, 특히 병리 조직 전체 슬라이드 이미지(WSI)와 유전체 프로파일을 통합하여 암 예후를 개선하는 것을 목표로 한다. 현재의 최첨단 방법론들은 대개 교차 모달 상관관계를 포착하기 위해 이질적인 데이터들을 하나의 공유된 잠재 공간(shared latent space)으로 정렬(alignment)하는 데 의존하지만, 저자들은 여기서 결정적인 한계점인 **과잉 정렬 붕괴(over-alignment collapse)**를 지적한다.

공격적인 정렬은 이질적인 신호(예: WSI의 공간적 형태 패턴과 희소한 유전자 수준의 변이)를 조기에 단일한 표현형으로 강제 결합한다. 이러한 과정은 생존 예측에 필수적인 모달리티별 고유 정보를 억제할 수 있다. 경험적 관찰에 따르면, 이러한 과잉 정렬은 멀티모달 모델이 고유한 신호를 희석시키고 표현의 다양성을 감소시켜, 강력한 단일 모달리티 베이스라인(특히 WSI 전용 모델)보다 성능이 떨어지는 결과를 초래할 수 있다. 공유된 표현과 특정 표현을 분리하려고 시도하는 기존 방법들은 이러한 목적들을 독립적으로 처리하며, 의미론적 일치(semantic agreement)를 장려하는 동시에 모달리티의 정체성을 보존하기 위한 통일된 원칙이 부족하다.

2. 방법론: TTA 프레임워크

저자들은 효과적인 모델이 먼저 모달리티 간의 공유된 패턴을 발견한 다음, 모달리티별 고유 신호를 보존해야 한다는 원칙에 기반한 표현 학습 프레임워크인 **Together, Then Apart (TTA)**를 제안한다. 이 프레임워크는 네 가지 주요 구성 요소로 이루어져 있다.

2.1 토큰화 (Tokenization)

• WSIs: 이미지를 패치로 나누고 사전 학습된 이미지 인코더(예: UNI 또는 ResNet50)를 사용하여 병리 토큰(pathology tokens)을 생성한다.
• Genomics: 유전자 발현 프로파일을 경로 수준(예: Hallmark pathways)의 토큰으로 집계하여 압축적이고 해석 가능한 유전적 요인을 생성한다.

2.2 "Together" 단계: UOT 기반 프로토타입 정렬

이 단계에서는 두 모달리티를 공통의 생존 관련 구조를 포착하기 위해 공유된 프로토타입 세트($K$개의 학습 가능한 벡터)에 정렬한다.

• 불균형 최적 운송 (Unbalanced Optimal Transport, UOT): 토큰 간의 직접적인 매칭 대신, 모델은 UOT를 사용하여 양쪽 모달리티의 토큰을 공유 프로토타입 뱅크로 매핑한다. 이를 통해 불확실하거나 노이즈가 있는 토큰이 성급하게 매칭되지 않고 확산되거나 "싱크(sink)"로 라우팅될 수 있도록 한다.
• 커리큘럼 질량 ($\rho$): 학습의 불안정성을 해결하기 위해, 실제 프로토타입으로 운송되는 총 질량($\rho$)을 작은 값에서 1.0까지 점진적으로 높이는 커리큘럼 전략을 사용한다. 이는 학습 초기에는 불확실성에 관대하게 대응하고, 후기 단계에서는 결정적인 매칭을 강제하도록 보장한다.
• 결합 할당 (Joint Assignment): 병리 및 유전체 토큰을 결합하여 단일 운송 계획을 통해 공유 프로토타입에 할당함으로써, 교차 모달 증거가 통일된 기하학적 구조 아래에서 상호작용할 수 있도록 한다.
• 인스턴스 수준 감독: UOT 할당은 교차 엔트로피 손실($\mathcal{L}_{instance}$)을 통해 토큰-프로토타입 예측을 규제하는 소프트 의사 라벨(soft pseudo-labels) 역할을 한다.

2.3 "Apart" 단계: 대비적 다양화 (Contrastive Diversification)

정렬 후, 모델은 모달리티 고유의 특성을 보존하고 표현 붕괴를 방지하기 위해 모달리티를 명시적으로 분리한다.

• 모달리티별 앵커 (Modality-Specific Anchors): 모달리티 식별자 역할을 하는 학습 가능한 앵커($a^p$는 병리, $a^g$는 유전체)를 도입한다.
• 앵커 정교화 (Anchor Refinement): 경량 셀프 어텐션 모듈을 통해 프로토타입 토큰에 모달리티별 앵커를 추가하여, 표현이 모달리티의 정체성을 유지하도록 정교화한다.
• 대비적 규제 (Contrastive Regularization): 특징들이 자신의 모달리티 앵커에는 가깝게 유지하면서 다른 모달리티의 앵커와는 멀어지도록 유도하기 위해 InfoNCE 스타일의 손실($\mathcal{L}_{contrast}$)을 적용한다. 이는 모달리티가 균질한 표현으로 붕괴되는 것을 방지한다.

2.4 예측 헤드 (Prediction Head)

정교화된 모달리티 스트림은 프로토타입 수준에서 병리가 유전체를 쿼리하고 그 반대가 가능하도록 하는 코-어텐션(co-attention) 모듈(트랜스포머 스타일)을 사용하여 결합된다. 결과적인 결합 표현은 선형 헤드로 매핑되어 생존 위험 점수를 산출하며, 이는 Cox 부분 우도($\mathcal{L}_{surv}$)로 학습된다.

전체 학습 목적 함수는 다음과 같다:
$$\mathcal{L}_{total} = \mathcal{L}_{surv} + \lambda_{contrast}\mathcal{L}_{contrast} + \lambda_{inst}\mathcal{L}_{instance}$$

3. 주요 기여

1. 과잉 정렬 붕괴 식별: 본 논문은 공격적인 교차 모달 정렬이 모달리티별 신호를 억제하여 단일 모달리티 베이스라인보다 성능을 저하시킬 수 있음을 강조한다.
2. TTA 프레임워크: "Together-Then-Apart" 원칙을 구현하는 새로운 아키텍처를 제안한다. 이는 공유 프로토타입 및 UOT를 통한 교차 모달 정렬과 앵커 및 대비적 규제를 통한 모달리티별 차별성을 균형 있게 조절한다.
3. 강건한 정렬 메커니즘: 불균형 최적 운송과 커리큘럼 질량 스케줄을 사용하는 방식은 노이즈가 있는 대응 관계, 샘플 내 이질성, 모달리티 불균형을 효과적으로 처리할 수 있게 한다.
4. 해석 가능성: 학습된 프로토타입 구조는 임상 결과와 관련된 해석 가능한 교차 모달 패턴을 드러낸다.

4. 실험 결과

저자들은 쌍을 이룬 WSI 및 유전체 데이터를 사용하여 5개의 TCGA 암 코호트(BLCA, BRCA, STAD, CRC, KIRC)에서 TTA를 평가하였다.

• 성능: TTA는 가장 높은 전체 일치 지수(C-Index)인 0.693을 달성하였으며, 이는 두 번째로 우수한 멀티모달 방법(MMP)보다 2.6% 높고, 단일 모달리티 베이스라인보다 유의미하게 높은 수치이다.
• 절제 연구 (Ablation Studies):
  • "Apart" 단계를 제거했을 때 CRC 코호트에서 성능이 크게 하락(0.685에서 0.587로)하였으며, 이는 형태학적 단서가 지배적인 경우 WSI 고유의 신호를 보존하는 것이 매우 중요함을 입증한다.
  • "Together"(정렬) 단계와 "Apart"(다양화) 단계 모두 상호 보완적임을 확인하였다. 두 단계를 모두 적용했을 때 베이스라인 대비 **5.0%**의 성능 향상을 보였다.
  • 커리큘럼 질량 스케줄($\rho$)과 UOT 소프트 할당은 하드 클러스터링(KMeans)이나 고정 질량 운송에 비해 안정성과 성능 측면에서 결정적인 역할을 하였다.
• 계층화 (Stratification): 캡플란-마이어(Kaplan-Meier) 분석 결과, 5개 코호트 모두에서 고위험군과 저위험군 사이에 통계적으로 유의미한 분리($p < 0.05$)가 확인되었다.

5. 의의 및 주장

본 논문은 효과적인 멀티모달 생존 모델이 이질적인 신호를 하나의 표현 공간으로 무분별하게 밀어넣어서는 안 된다고 주장한다. 대신, 공유된 예후 구조를 포착하기 위해 먼저 정렬하고, 그 후 독특한 모달리티별 증거를 유지하기 위해 분리하는 전략을 채택해야 한다.

저자들은 TTA를 교차 모달 정렬과 모달리티별 정보 보존 사이의 긴장을 해결하는 솔루션으로 제시한다. 다양한 암 유형에 걸쳐 최근의 최첨단 방법론들을 지속적으로 능가하는 성능을 입증함으로써, 본 연구는 공유된 의미론적 정렬과 모달리티별 차별성 사이의 균형을 맞추는 것이 멀티모달 생물 의학 표현 학습의 핵심 설계 원칙임을 시사한다. 연구의 진전을 돕기 위해 코드는 공개되어 있다.