CoVAE: correlated multimodal generative modeling

이 논문은 잠재 공간의 융합 전략이 다중 모달 데이터의 결합 통계적 구조를 파괴한다는 기존 Multimodal VAE 의 한계를 극복하고, 모달 간 상관관계를 포착하여 정확한 교차 모달 재구성과 불확실성 정량화를 가능하게 하는 새로운 생성 모델인 CoVAE 를 제안합니다.

핵심

코바 (CoVAE): 서로 다른 감각을 연결하는 '지혜로운 번역가'

이 논문은 인공지능이 여러 가지 다른 형태의 데이터 (예: 사진과 글, 혹은 유전자 정보 A 와 B) 를 동시에 다룰 때 발생하는 **'오해'**를 해결하는 새로운 방법을 소개합니다.

기존의 인공지능 모델들은 서로 다른 데이터를 하나로 합칠 때, 마치 **모든 것을 완벽하게 일치시키는 '강압적인 통역사'**처럼 행동했습니다. 하지만 현실에서는 두 가지 정보가 100% 일치하지 않고, 약간의 불확실성이 존재하는 경우가 많습니다. 이 새로운 모델인 CoVAE는 그 불확실성을 인정하고, 데이터 간의 미묘한 관계를 정확히 포착하는 '현명한 중재자' 역할을 합니다.

---

1. 문제점: "완벽한 일치"라는 함정

기존의 다중 모달 (Multimodal) AI 모델들은 여러 데이터를 하나의 '잠재 공간 (Latent Space)'이라는 방에 모아두는 방식을 썼습니다. 이때 발생하는 문제는 다음과 같습니다.

• 상황: 한 친구가 "오늘 날씨가 좋네"라고 말하고, 다른 친구는 "그래서 산책을 갔어"라고 말합니다.
• 기존 모델의 실수: 이 두 문장을 하나로 합쳐서, "날씨가 좋으면 무조건 산책을 가야 한다"는 완벽한 법칙처럼 만들어버립니다. 만약 "날씨가 좋네"라는 말만 들었을 때, 기존 모델은 "산책을 갔다"는 사실을 100% 확신하며 매우 선명한 그림을 그려냅니다.
• 현실: 하지만 날씨가 좋아도 산책을 안 갈 수도 있죠. 기존 모델은 이 **불확실성 (Uncertainty)**을 무시하고, 마치 모든 것이 정해져 있는 것처럼 너무 자신 있게 예측합니다. 이를 논문에서는 "통계적 구조의 붕괴"라고 부릅니다.

2. 해결책: CoVAE (상관관계 변이 오토인코더)

저자들은 CoVAE라는 새로운 모델을 제안합니다. 이 모델은 데이터 간의 관계를 '완벽한 일치'가 아니라 **'약한 연결'**로 이해합니다.

• 비유: 두 개의 서로 다른 언어를 번역하는 팀

  • 기존 모델: 한 사람이 두 언어를 동시에 번역해서, A 언어의 단어 하나에 B 언어의 단어가 항상 1:1 로 매칭되게 만듭니다. (예: "사과" = "Red")
  • CoVAE: 두 명의 전문 번역가가 각자의 언어를 번역하되, 서로의 작업을 상호 참조합니다. "사과"를 번역할 때, "Red"일 수도 있지만 "Green"일 수도 있다는 확률을 고려합니다.

• 핵심 기술: "비대각선"의 마법

  • 기존 모델은 데이터 간의 관계를 단순하게 (대각선으로) 연결했습니다.
  • CoVAE 는 비대각선 (Non-diagonal) 구조를 사용합니다. 이는 마치 두 데이터가 서로 영향을 주고받는 복잡한 그물망처럼 연결된다는 뜻입니다. 덕분에 한쪽 정보가 부족할 때, 다른 쪽 정보를 통해 "아, 이 부분은 확실하지 않구나"라고 불확실성을 정확히 계산할 수 있습니다.

3. 실험 결과: 왜 이것이 중요한가?

저자들은 이 모델을 두 가지 상황에서 테스트했습니다.

A. 가상의 숫자 실험 (MNIST)

• 상황: 두 개의 숫자 그림을 서로 다른 정도로 연관 지어 만들었습니다. (예: 99% 비슷하게 만들거나, 50% 만 비슷하게 만듦)
• 결과:
  • 기존 모델: 두 그림이 50% 만 비슷해도, 마치 100% 같다는 듯이 너무 선명하고 확실한 그림을 그려냈습니다. (실제와 다름)
  • CoVAE: 두 그림이 50% 만 비슷할 때는, 결과도 약간 흐릿하고 불확실한 그림을 그렸습니다. 이는 "나는 이 부분이 확실하지 않아"라고 인정하는 정직한 태도입니다.

B. 실제 의학 데이터 (암 연구)

• 상황: 환자의 mRNA(유전자 정보 A) 와 miRNA(유전자 정보 B) 데이터를 분석했습니다.
• 결과:
  • 한쪽 정보만 있을 때, 다른 쪽 정보를 예측하는 CoVAE는 가장 현실적인 예측을 했습니다.
  • 특히, **불확실성 (Uncertainty)**을 잘 잡았습니다. 데이터가 부족할 때는 "모르겠다"는 신호를 강하게 보내고, 데이터가 충분할 때는 확신을 가지는 등 상황에 맞는 판단을 내렸습니다.

4. 결론: 불확실성을 인정하는 것이 지혜다

이 논문의 핵심 메시지는 **"인공지능도 '모르는 것'을 인정해야 한다"**는 것입니다.

기존 모델들은 모든 것을 완벽하게 맞추려고 애쓰다가, 오히려 현실과 동떨어진 확신에 찬 오류를 범했습니다. 반면, CoVAE는 데이터 간의 미묘한 상관관계를 포착하고, 정보가 부족할 때는 적절한 불확실성을 표현함으로써 더 신뢰할 수 있는 예측을 가능하게 합니다.

한 줄 요약:

"CoVAE 는 서로 다른 데이터를 단순히 하나로 합치는 것이 아니라, 그들 사이의 '미묘한 차이'와 '불확실성'까지 고려하여 더 현실적이고 정확한 미래를 예측하는 똑똑한 인공지능입니다."

기술 요약

1. 문제 정의 (Problem Statement)

• 배경: 다중 모달 (Multimodal) 데이터 (예: 이미지와 텍스트, mRNA 와 miRNA 등) 에서 효과적이고 압축된 표현을 학습하기 위해 변이 오토인코더 (VAE) 가 널리 사용되고 있습니다.
• 핵심 문제: 기존 다중 모달 VAE 모델들은 잠재 공간 (Latent Space) 에서 서로 다른 모달리티의 정보를 융합 (Fusion) 하는 전략 (예: Product-of-Experts, Mixture-of-Experts) 을 사용합니다.
  • 통계적 구조의 붕괴: 이러한 융합 전략은 각 모달리티를 단일 잠재 점 (single latent point) 으로 매핑하므로, 생성된 데이터에서 모달리티 간의 상관관계가 파괴됩니다.
  • 결정론적 관계: 단일 잠재 점에서 복원된 모든 모달리티는 결정론적으로 연결되어 상호 정보량 (Mutual Information) 이 최대화됩니다. 이는 실제 데이터의 복잡한 상관 구조를 반영하지 못합니다.
  • 불확실성 추정 오류: 특히 일부 모달리티가 누락된 경우 (Missing Modality), 기존 모델은 누락된 모달리티에 대해 과도하게 확신 (Overconfident) 하는 경향이 있어, 실제 불확실성을 과소평가합니다. 이는 과학적 응용 (예: 의학 데이터 분석) 에서 치명적인 오류를 초래할 수 있습니다.

2. 제안 방법론: CoVAE (Methodology)

저자들은 CoVAE (Correlated Variational Autoencoders) 를 제안하여 위 문제를 해결합니다.

• 핵심 아이디어: 잠재 공간 내에서 모달리티 간의 상관관계를 명시적으로 학습하고 저장하기 위해 비대각 (Non-diagonal) 공분산 구조를 가진 다변량 가우시안 사전 분포 (Prior) 를 도입합니다.
• 아키텍처:
  1. 개별 인코더: 각 모달리티 $x_k$는 별도의 인코더 $q_{\phi_k}(z_k | x_k)$를 통해 $d$차원의 잠재 변수 $z_k$로 인코딩됩니다 (대각 공분산을 가짐).
  2. 결합 잠재 변수: 모든 모달리티의 잠재 변수를 연결하여 $z = [z_1, ..., z_K]$를 형성합니다.
  3. 상관관계 사전 분포: 결합 잠재 변수 $z$에 대해 평균이 0 이고 공분산 행렬 $\Sigma_{prior}$인 다변량 가우시안 분포 $p(z) = \mathcal{N}(0, \Sigma_{prior})$를 사전 분포로 설정합니다. 여기서 $\Sigma_{prior}$는 모달리티 간의 상관관계를 저장하는 비대각 행렬입니다.
  4. 추론 (Inference) 전략:
     • 일부 모달리티가 관측 ($O$) 되고 일부가 누락 ($M$) 된 경우, 관측된 $z_O$를 조건으로 하여 누락된 $z_M$의 조건부 분포를 계산합니다.
     • $z_M | z_O \sim \mathcal{N}(\Sigma_{MO}\Sigma_{OO}^{-1}z_O, \Sigma_{MM} - \Sigma_{MO}\Sigma_{OO}^{-1}\Sigma_{OM})$
     • 이를 통해 관측되지 않은 모달리티에 대해 실제 상관관계에 기반한 현실적인 불확실성 (Posterior) 을 추정할 수 있습니다.
• 학습 과정:
  • Deep CCA 활용: 사전 분포의 공분산 행렬 $\Sigma_{prior}$의 가중치는 학습 중 최적화하기보다, Deep CCA를 통해 사전 학습 (Pre-training) 하여 고정하는 방식이 더 효과적임을 발견했습니다.
  • 손실 함수: 결합 인코더와 단일 모달리티 인코더를 모두 학습시키며, 조건부 생성 시 Eq. (2) 를 사용하여 누락된 모달리티의 잠재 변수를 샘플링하고 재구성합니다.

3. 주요 기여 (Key Contributions)

1. 통계적 구조 보존: 기존 모델들이 무시했던 모달리티 간의 상관관계를 잠재 공간의 공분산 행렬을 통해 명시적으로 모델링하여, 생성된 데이터가 원본 데이터의 통계적 구조를 따르도록 합니다.
2. 정확한 불확실성 추정: 누락된 모달리티를 예측할 때, 기존 모델들이 보여주는 과도한 확신 (Sharp but wrong) 대신, 상관관계 수준에 따라 적절한 불확실성 (Wider posterior) 을 부여합니다.
3. 새로운 아키텍처 제안: Product-of-Experts 나 Mixture-of-Experts 와 같은 기존 융합 전략의 한계를 극복하는 새로운 Joint Model 아키텍처를 제시했습니다.

4. 실험 결과 (Results)

저자들은 합성 데이터 (Synthetic) 와 실제 생물의학 데이터 (Biomedical) 에 대해 CoVAE 를 검증했습니다.

• 합성 데이터 (MNIST 쌍):

  • 상관관계 재현: CoVAE 는 입력된 상관관계 수준 ($\rho$) 을 정확히 재현한 유일한 모델이었습니다. 기존 모델들은 상관관계가 1(완전 상관) 인 것처럼 행동하거나, 실제 상관관계와 무관하게 일정한 상관관계만 생성했습니다.
  • 불확실성 추정: Fig. 6 에서 보듯, CoVAE 는 관측된 모달리티에는 낮은 불확실성을, 누락된 모달리티에는 상관관계가 낮을수록 높은 불확실성을 부여하는 등 올바른 불확실성 추세를 보입니다. 반면 다른 모델들은 관측 여부와 상관없이 동일한 불확실성을 부여했습니다.
  • 생성 품질: 상관관계가 중간 정도일 때, CoVAE 는 약간 흐릿할지라도 올바른 숫자를 생성하는 반면, 기존 모델들은 선명하지만 잘못된 숫자를 생성했습니다.

• 생물의학 데이터 (Pan-Cancer mRNA/miRNA):

  • 데이터: TCGA 프로젝트의 8,314 개 샘플 (mRNA 3,217 개, miRNA 383 개 특징) 사용.
  • 상관관계 학습: CoVAE 는 mRNA 와 miRNA 잠재 표현 간에 $\rho=0.78$의 강한 선형 의존성을 학습했습니다.
  • 성능 비교:
    • 결합 작업 (Joint Tasks): 모든 모달리티가 존재할 때 분류 정확도는 기존 모델들과 비슷하거나 약간 낮았으나, 전반적으로 경쟁력 있는 성능을 보였습니다.
    • 조건부 작업 (Conditional Tasks): 한 모달리티를 기반으로 다른 모달리티를 재구성하거나 분류하는 작업에서 CoVAE 는 mRNA→miRNA 재구성에서 가장 우수한 성능을 보였으며, miRNA→mRNA 재구성에서도 최상위권 성능을 기록했습니다.
    • 특징 수준 재구성: CoVAE 는 재구성된 값과 실제 값 간의 스피어만 상관관계 (Spearman correlation) 를 모든 설정에서 일관되게 높게 유지했습니다.

5. 의의 및 결론 (Significance)

• 과학적 응용의 중요성: 과학적 데이터 분석에서는 단순한 데이터 압축을 넘어, 불확실성 정량화 (Uncertainty Quantification) 와 조건부 생성 (Conditional Generation) 이 매우 중요합니다. CoVAE 는 이러한 요구사항을 충족시키는 유일한 모델로 입증되었습니다.
• 한계 및 향후 과제:
  • 현재 모델은 상관관계를 가우시안 공간의 글로벌 상관관계로 가정하고 있어, 복잡한 비선형 상관관계가 있는 실제 데이터에는 한계가 있을 수 있습니다.
  • 잠재 공간의 기하학적 차이로 인해 재구성 손실 (Reconstruction Loss) 면에서 일부 모델보다 성능이 낮을 수 있으나, 이는 통계적 정확성과 불확실성 추정 능력과 트레이드오프 관계임을 확인했습니다.
• 결론: CoVAE 는 다중 모달 데이터의 통계적 구조를 보존하면서, 누락된 데이터에 대한 현실적인 예측과 불확실성 추정을 가능하게 하는 강력한 생성 모델입니다. 이는 의료 진단, 과학적 시뮬레이션 등 신뢰성이 요구되는 분야에서 큰 잠재력을 가집니다.