CASL-VAE: Learning Structured Latent Variables from Unpaired Data for Semi-supervised Clustering and Paired Sample Generation

기술 요약: CASL-VAE

문제 정의
많은 과학적 및 임상적 과제는 참조 집단(예: 건강한 상태) 대비 대상 집단(예: 질병 상태)의 변동성을 정량화하는 것을 요구합니다. 그러나 기존 방법론들은 이러한 환경에서 세 가지 주요 장애물에 직면해 있습니다:

1. 얽힘(Entanglement): 대상 특이적 변동이 도메인 전반에 걸쳐 공유되는 변동성과 혼재되어, 미세한 효과를 가릴 수 있습니다.
2. 이질성(Heterogeneity): 대상 집단은 빈번하게 다중 모드 이질성(예: 서로 다른 질병 하위 유형)을 나타내며, 표준 모델은 이를 분리해내는 데 실패합니다.
3. 쌍을 이룬 데이터의 부재(Lack of Paired Data): 특정 대상 샘플이 특정 참조 샘플에 대응하는 직접적인 감독(supervision)을 위한 쌍 데이터는 드물게 존재하며, 이는 도메인 간 관계를 직접 학습하는 것을 방지합니다.

결과적으로, 현재의 생성 모델은 공유된 요소와 도메인 특이적 요소를 얽히게 만들며, 표준 대조 분석(contrastive analysis) 방법들은 다중 모드 대상 이질성을 포착하거나 쌍 샘플 생성을 지원하는 데 필요한 잠재 구조가 부족합니다.

방법론: CASL-VAE
저자들은 CASL-VAE(Contrastive Analysis with Structured Latents via Variational Autoencoder)를 제안합니다. 이는 unpaired(쌍이 없는) 참조-대상 데이터로부터 구조화되고 분리된 잠재 표현을 학습하도록 설계된 딥 생성 프레임워크입니다.

• 잠재 요인 분해(Latent Factorization): 모델은 잠재 공간을 두 개의 구별된 구성 요소로 분해합니다:

  1. 연속적 공통 잠재 변수 ($z$): 참조 및 대상 집단 모두에서 공유되는 변동성을 포착하는 도메인 불변 변수입니다.
  2. 계층적 돌출 잠재 변수 ($s$): 대상 특이적 변동을 모델링하는 변수입니다. 이는 다음과 같이 추가로 분해됩니다:
     • 이산 구성 요소 ($s_{cat}$): 잠재적 하위 유형(예: 질병 하위 유형)을 나타냅니다.
     • 연속 구성 요소 ($s_{cont}$): 이산 구성 요소에 조건화되어 각 하위 유형 내의 미세한 변동을 포착합니다.

• 생성 과정(Generative Process): 모델은 대상 관측치($x$)가 $z$와 $s$ 모두로부터 생성되는 반면, 참조 관측치($y$)는 오직 $z$로부터만 생성된다고 가정합니다(이때 돌출 잠재 변수는 정보가 없는 사전 설정값으로 고정됨). 이러한 가산적(additive) 구조는 입력 공간에서 공통 기여분과 돌출 기여분을 명시적으로 분리할 수 있게 합니다.

• Unpaired 데이터로부터의 최적화: 핵심적인 이론적 기여는 오직 주변(marginal, unpaired) 관측치만을 사용하여 결합 로그 가능도(joint log-likelihood)에 대한 변이 하한(variational lower bound)을 도출한 것입니다. 사후 분포 디커플링 제약(posterior decoupling constraint, $q(z|x) = q(z|y)$)을 부과함으로써, 공통 잠재 변수는 도메인 불변이 됩니다. 이를 통해 모델은 쌍을 이룬 훈련 샘플 없이도 완화된 결합 가능도를 최대화하는 것과 동등한 목적 함수를 최적화할 수 있습니다.

• 정규화(Regularization): 돌출 잠재 변수가 대상 특이적 변동만을 포착하고 공통 잠재 변수가 도메인 불변을 유지하도록 하기 위해, 저자들은 네 가지 정규화 항을 사용합니다:

  1. 최대 평균 불일치(Maximum Mean Discrepancy, MMD): 도메인 간 공통 잠재 분포를 정렬합니다.
  2. 샘플 수준 잠재 일관성(Sample-level Latent Consistency): 교차 도메인 변환 하에서 공통 잠재 변수의 안정성을 강제합니다.
  3. 준지도 이진 교차 엔트로피(Semi-supervised Binary Cross-Entropy): 도메인 레이블(참조 vs 대상)을 약한 감독(weak supervision)으로 사용하여 참조 샘플을 특정 이산 범주로 강제하고, 나머지 범주는 비지도 대상 하위 유형 발견을 위해 남겨둡니다.
  4. 참조 정규화(Reference Regularization): 참조 샘플에 대한 연속 돌출 잠재 정보의 표현을 억제하여, 참조 도메인의 변동성을 인코딩하는 것을 방지합니다.

주요 기여

1. 프레임워크: 구조화된 계층적 잠재 변수를 사용하여 unpaired 데이터로부터 분리된 공유 및 대상 특이적 표현을 학습하는 대조 생성 프레임워크인 CASL-VAE를 도입했습니다.
2. 계층적 분해: 연속적인 하위 유형 내 변동을 보존하면서 비지도 대상 하위 유형 발견을 가능하게 하는 계층적 돌출 잠재 구조를 제안했습니다.
3. 다운스트림 역량: 이 구조가 paired-sample 생성(주어진 대상에 대한 참조 샘플 합성, 또는 그 반대) 및 도메인 간 비교와 같은 해석 가능한 다운스트림 작업을 가능하게 함을 입증했습니다.

실험 결과
저자들은 신경 영상 데이터(iSTAGING 컨소시엄 및 ADNI 데이터셋의 뇌 부피)를 통해 CASL-VAE를 검증했습니다.

• 준합성 실험(Semi-synthetic Experiments): 알려진 ground-truth 하위 유형과 위축률(10–30%)을 가진 시뮬레이션된 질병 패턴을 사용하여:

  • 하위 유형 발견: CASL-VAE는 GMM, K-means, cVAE, SepVAE, Smile-GAN을 포함한 베이스라인 모델들과 비교하여, 특히 효과 크기가 약한 "경미한(mild)" 위축 설정(10–20%)에서 우수한 Adjusted Rand Index (ARI) 점수를 달ável 했습니다. 또한 결합 클러스터링 시 대상 하위 유형을 참조 도메인으로부터 성공적으로 구분해 냈습니다.
  • 해석 가능성: 모델은 시뮬레이션된 ground-truth 마스크와 거의 완벽하게 일치하는 전형적인 대상 패턴을 복구했습니다.
  • 쌍 샘플 생성: 쌍 샘달 생성 작업에서, CASL-VAE는 cVAE 및 SepVAE보다 생성된 참조 샘플과 ground-truth 쌍 참조 샘플 사이의 코사인 유사도가 더 높았습니다.

• 실제 데이터 적용: 알츠하이머병(AD) 코호트(CN을 참조, MCI/AD를 대상으로 함)에 적용하여, 모델은 사전에 하위 유형 레이블이 없음에도 불구하고 생물학적으로 타당한 이질성을 밝혀내고 AD 인구 내의 뚜렷한 하위 유형을 성공적으로 식별하는 능력을 보여주었습니다.

의의 및 주장
본 논문은 CASL-VAE가 unpaired 데이터만을 사용하여 교차 도메인 분석 및 쌍 샘플 생성을 수행하기 위한 원칙적인 확률적 기초를 제공한다고 주장합니다. 대조 분석과 구조화된 계층적 잠재 변수를 통합함으로써, 이 방법은 요소를 얽히게 만들거나 다중 모드 대상 이질성을 모델링하지 못하는 기존 접근 방식의 한계를 해결합니다. 저자들은 이 방식이 비지도 대상 하위 유형 발견을 가능하게 하면서도 해석 가능성을 유지한다는 점을 강조하며, 이는 사후 분석이나 기존의 하위 유형 레이블에 의존하는 기존의 대조 및 클러스터링 방법과 차별화됩니다. 이 프레임워크는 unpaired 참조-대상 비교 및 이질적인 대상 변동 모델링이 필요한 모든 환경에 광범위하게 적용될 수 있음을 제시합니다.