Latent World Recovery for Multimodal Learning with Missing Modalities

기술 요약: 다중 모달리티 결측 상황에서의 잠재 세계 복구(Latent World Recovery)를 위한 다중 모달 학습

문제 정의

현대 생명과학, 특히 멀티오믹스(multi-omics) 분석에서 생물학적 시스템은 이질적인 모달리티(예: 유전자 발현, DNA 메틸화, 단백질 풍부도)로 특징지어집니다. TCGA와 같은 대규모 자원이 풍부한 데이터를 제공함에도 불구하고, 비용 제약, 분석 실패 또는 불완전한 데이터 통합으로 인해 모든 샘플에서 전체 모달리티 세트를 온전히 확보하는 것은 여전히 핵심적인 과제로 남아 있습니다.

이러한 "결측 모달리티(missing modality)" 문제에 대한 기존 접근 방식은 다음과 같은 뚜렷한 한계를 가진 두 가지 범주로 나뉩니다:

1. 임퓨테이션(Imputation) 기반 방법: 하위 분석 전에 누락된 모달리티를 합성하려고 시도합니다. 이는 오류 전파를 유발할 수 있으며, 하나의 모달리티가 다른 모달리티를 정확히 재현하도록 강제하는 과정에서 모달리티 고유의 변이를 가릴 수 있습니다. 이는 하나의 모달리티가 다른 모달리티를 똑같이 복제하도록 만드는 것이 별개의 생물학적 과정을 반영하지 못할 수 있기 때문입니다.
2. 고정 집합(Fixed-set) 또는 후기 융합(Late-fusion) 방법: 초기 융합(Early-fusion) 방식은 완전한 입력을 요구하며, 후기 융합 방식은 결정 단계에서만 교차 모달리티 상호작용을 포착하므로 일관된 공유 잠재 구조(shared latent organization)를 학습하는 데 실패합니다.

본 논문은 목표가 모든 누락된 모달리티를 재구성하는 것이 아니라, 각 가용 모달리티를 근저에 있는 잠재적 생물학적 상태에 대한 부분적인 인지로 취급하여, 관측된 모달리티로부터 유용한 통일된 샘플 수준의 표현을 직접 복구하는 것이라고 상정합니다.

방법론: 잠재 세계 복구 (Latent World Recovery, LWR)

저자들은 불완전한 다중 모달 표현 학습을 위해 설계된 VAE(Variational Autoencoder) 기반 프레임워크인 **잠재 세계 복구(LWR)**를 제안합니다. 이 프레임워크는 세 가지 핵심 원칙에 따라 작동합니다:

1. 공유 잠재 공간을 갖는 모달리티별 인코딩:
   각 모달리티 $v$는 입력을 공유 잠재 공간으로 매핑하는 모달리티별 변이형 인코더 $q_{\phi_v}(z^{(v)}_i | x^{(v)}_i)$에 의해 처리됩니다. 인코더는 평균 $\mu^{(v)}_i$와 분산 $\sigma^{(v)}_i$를 갖는 가우시안 사후 분포를 출력합니다. 잠재 변수 $z^{(v)}_i$는 재매개변수화 기법(reparameterization trick)을 사용하여 샘플링됩니다.

2. 가용성 인지 잠재 융합 (Availability-Aware Latent Fusion):
   LWR은 누락된 데이터를 0이나 마스크 토큰으로 임퓨테이션하는 대신, 특정 샘플에 대해 관측된 모달리티의 임베딩만을 집계하여 융합된 샘플 수준의 임베딩 $\hat{z}_i$를 구축합니다.

• 적응형 어텐션 메커니즘은 각 관측된 모달리티의 잠재 표현을 기반으로 가중치 $s^{(v)}_i$를 계산합니다.
• 이 가중치는 관측된 집합 $V_i$에 대해 소프트맥스(softmax)를 통해 정규화됩니다: $\alpha^{(v)}_i = \frac{\exp(s^{(v)}_i)}{\sum_{u \in V_i} \exp(s^{(u)}_i)}$.
• 최종 임베딩은 가중 합계입니다: $\hat{z}_i = \sum_{v \in V_i} \alpha^{(v)}_i z^{(v)}_i$.
  이 메커니즘은 훈련과 추론 시 동일하게 적용되어, 모델이 배포 시 직면하게 될 것과 동일한 불완전한 조건 하에서 최적화되도록 보장합니다.

3. 이웃 기반 잠재 정렬 (Neighbor-Based Latent Alignment):
   모달리티 간의 엄격한 좌표 수준 일치를 강요하지 않으면서(이는 모달리티 고유의 신호를 억제할 수 있음) 정렬하기 위해, LWR은 이웃 기반 정렬 목적 함수를 도입합니다.

• 각 관측된 모달ity $v$에 대해, 사후 평균 $\mu^{(v)}$의 코사인 유사도를 기반으로 $v$가 존재하는 미니 배치 서브셋에 대한 이웃 분포 $r^{(v)}_{ij}$가 계산됩니다.
• 동일한 샘플 서브셋에 대해 융합된 잠재 공간 $\hat{z}$에서의 대응하는 분포 $\hat{r}^{(v)}_{ij}$가 계산됩니다.
• 손실 함수는 모달리티별 분포(stop-gradient 타겟으로 취급됨)와 융합된 분포 사이의 KL 발산을 최소화합니다. 이는 공유 공간 내에서 개별 모달리티에 의해 유도된 국소적 샘플-이웃 구조를 보존합니다.

훈련 목적 함수:
전체 손실은 세 가지 항의 조합입니다:
$$\mathcal{L} = \lambda_{rec}\mathcal{L}_{rec} + \lambda_{KL}\mathcal{L}_{KL} + \lambda_{neigh}\mathcal{L}_{neigh}$$

• $\mathcal{L}_{rec}$: 관측된 모달리티에만 적용되는 재구성 손실(MSE).
• $\mathcal{L}_{KL}$: 관측된 모달리티에만 적용되는 변이형 정규화(KL divergence).
• $\mathcal{L}_{neigh}$: 이웃 기반 정렬 손실.

결정적으로, LWR은 표현 학습을 태스크 특화 예측으로부터 분리합니다. 훈련 후, 융합된 잠재 표현 $\hat{z}_i$를 추출하여 외부 다운스트림 모델(예: 분류를 위한 XGBoost, 생존 분석을 위한 Cox 모델)의 입력으로 사용합니다.

주요 기여

1. 정식화의 전환: 저자들은 불완전한 다중 모달 학습을 "부분적 관측으로부터의 잠재 상태 복구"로 재정의하여, 누락된 데이터를 합성하는 것에서 가용한 데이터로부터 강건한 표현을 학습하는 것으로 초점을 전환했습니다.
2. LWR 프레임워크: 가용성 인지 어텐션 융합과 이웃 기반 잠재 정렬을 결려한 VAE 기반 아키텍처를 제안합니다. 이는 명시적 재구성이 갖는 오류 전파와 좌표 수준 정렬의 경직성을 피합니다.
3. 실증적 검증: 본 프레임워크는 분류, 생존 예측 및 재구성 작업에 대해 실제 불완전한 멀티오믹스 벤치마크(TCGA, CCMA, CCLE)에서 평가되었습니다.

실험 결과

저자들은 MIND, IntegrAO, JASMINE, MSNE를 포함한 최신 성능의 베이스라인들과 LWR을 비교 평가했습니다.

• 암 표현형 분류: LWR은 TCGA, CCMA, CCLE 데이터셋 전반에 걸쳐 가장 우수한 평균 순위(2.20)를 달이트했습니다. 여러 TCGA 코호트(예: KIRC, BLCA, STAD)에서 베이스라인들을 능가했으며, CCMA에서 가장 높은 정확도(0.844 vs 베스트 베이스라인 0.793)를 달성했습니다.
• 생존 예측: LWR은 경쟁력 있는 성능을 보여주었으며, 여러 TCGA 코호트(BRCA, STAD, UCEC, COADREAD, LIHC)에서 MIND와 대등한 수준인 평균 순위 2.35로 가장 우수한 C-index를 달성했습니다.
• 재구성: LWR은 마스킹된 오믹스 값을 재구성하는 데 있어 모든 데이터셋에서 가장 높은 피어슨 상관계수를 기록하였으며, 이는 학습된 임베딩이 모달리티 고유의 정보를 효과적으로 보존하고 있음을 나타냅니다.
• 절제 연구 (Ablation Studies):
  • 정렬 (Alignment): 이웃 기반 정렬을 단순한 쌍별 좌표 정렬(pairwise coordinate alignment)로 대체했을 때, 특히 재구성(상관계수가 0에 가까움)에서 상당한 성능 저하가 발생하여, 엄격한 좌표 매칭이 해롭다는 것을 확인했습니다.
  • 융합 (Fusion): 어텐션 기반 융합이 일반적으로 가장 좋은 분류 결과를 냈지만, 생존 예측의 경우 평균 융합(mean fusion)과 이웃 정렬을 결합했을 때 약간 더 나은 성능을 보였습니다. 이는 동적 특징 선택과 정규화 사이의 트레이드오프를 시사합니다.
• 사례 연구 (클러스터링): TCGA 데이터에 대한 LWR 임베딩의 비지도 클러스터링은 뚜렷한 생존 결과를 가진 환자 하위 그룹을 드러냈습니다. 저등급 신경교종(LGG)에서 클러스터는 알려진 분자적 아형(IDH 변이형 vs 야생형) 및 그와 관련된 예후와 완벽하게 일치하였으며, 이는 잠재 공간의 생물학적 해석 가능성을 입증합니다.

의의 및 주장

본 논문은 LWR이 누락된 데이터의 합성으로부터 표현 학습 과정을 분리함으로써, 불완전한 다중 모달 학습에 대한 실용적이고 강건한 접근 방식을 제공한다고 주장합니다. 저자들은 이웃 기반 정렬 전략이 좌표 수준의 제약(이는 잠재 공간을 과도하게 정규화함)보다 교차 샘플 관계 구조를 보존하는 데 더 안정적인 방법임을 강조합니다.

결과에 따르면, 관측된 모달리티로부터 직접 일관된 공유 잠재 조직을 학습하는 것은 다운스트림 태스크를 위한 실행 가능하고 효과적인 전략입니다. 프레임워크는 사례 연구에서 확인된 바와 같이, 환자의 이질성을 임상적으로 의미 있게 포착하는 데 성공했습니다. 저자들은 향-후 연구에서 더 표현력이 높은 불확실성 인지 융합 메커니즘을 탐구하고, 더 크고 다양한 생물 의학 데이터셋으로 프레임워크를 확장해야 한다고 결론지었습니다.