Bayesian Joint Additive Factor Models for Multiview Learning

기술 요약: 다중 뷰 학습을 위한 베이지안 결합 가법 요인 모델 (Bayesian Joint Additive Factor Models for Multiview Learning)

문제 정의
본 논문은 동일한 샘플 세트에 대해 여러 유형의 고차원적이고 노이즈가 섞인 이질적인 측정값(예: 유전체학, 대사체학, 단백질체학)이 수집되는 다중 뷰(multiview) 데이터를 분석하는 과제를 다룹니다. 주요 동기는 정밀 의료(precision medicine)로, 여기서 여러 뷰를 통합하는 것은 환자의 이질성을 이해하고 임상 결과를 예측하는 데 매우 중요합니다. 그러나 기존의 방식들은 다음과 같은 주요 장애물에 직면해 있습니다:

1. 신호 대 잡음비(Signal-to-Noise Ratio)의 가변성: 서로 다른 뷰는 종종 매우 다른 신호 대 잡음비를 가지며, 표준적인 융합 방법(초기 또는 후기 융합)은 이를 고려하지 못합니다.
2. 해석 가능성 및 식별 가능성: 기존 방법들은 특히 고차원 저표본($p \gg n$) 설정에서, 여러 뷰에 걸쳐 공유되는 변동과 단일 뷰에 특이적인 변동을 분리하는 데 어려움을 겪습니다.
3. 계산 및 통계적 한계: 현재의 베이지안 공식화는 지나치게 경직된 제약을 부과하거나, 편향을 도입하거나, 혹은 공유된 성분과 뷰 특이적 성분을 동시에 추정하면서 요인의 수를 결정하는 데 실패하는 경우가 많습니다. 또한, 가법 요인 모델(additive factor models)은 뷰 특이적 요인이 공유 요인과 혼동될 수 있는 특정한 비식별성 문제를 겪습니다.

방법론
저자들은 두 가지 상호 보완적인 베이지안 요인 회귀 모델을 제안합니다:

1. 결합 요인 회귀 (Joint Factor Regression, JFR): 모든 뷰에 걸친 결합된 변동을 단일 요인 집합($\eta_i$)을 사용하여 포착하는 베이키스라인 모델입니다. 이 모델은 로딩 행렬(loading matrices)에 독립 누적 수축 프로세스(Independent Cumulative Shrinkage Process, I-CUSP) 사전 분포를 사용합니다. 이를 통해 모델은 불필요한 요인을 0으로 적응적으로 수축시켜, 사전에 지정하지 않고도 공유 구조의 유효 랭크(effective rank)를 학습할 수 있습니다.

2. 결합 가법 요인 회귀 (Joint Additive Factor Regression, JAFAR): 변동을 다음 두 가지 성분으로 명시적으로 분해하는 더 미묘한 모델입니다:

   • 공유 요인 ($\eta_i$): 최소 두 개 이상의 뷰에서 완전하거나 부분적으로 공유됩니다.
   • 뷰 특이적 요인 ($\phi_{mi}$): 특정 모달리티 $m$에 고유합니다.
     가법적 분해에서 발생하는 비식별성 문제(즉, 뷰 특이적 요인이 수학적으로 희소한 공유 요인으로 재표현될 수 있는 문제)를 해결하기 위해, 저자들은 의존 누적 수축 프로세스(Dependent Cumulative Shrinkage Process, D-CUSP) 사전 분포를 도입합니다. 이 사전 분포는 Gibbs 샘플링 적응 단계에서 제약 조건을 강제합니다. 즉, 어떤 요인이 공유 성분에 포함되는 조건은 해당 요인이 최소 두 개의 뷰에서 활성화되는 경우로 한정됩니다. 이는 뷰 특이적 요인을 공유 집합으로 잘못 할당할 확률을 0으로 보장합니다.

주요 기술적 기여

• 새로운 사전 분포 (I-CUS P 및 D-CUSP): 본 논문은 CUSP 사전 분포(Legramanti et al., 2020)를 다중 뷰 환경으로 확장합니다. D-CUSP는 특히 요인의 오할당을 방지하기 위해 뷰 간의 의존성을 유도함으로써 가법 모델의 식별성 문제를 해결합니다. 이는 표준적인 직교성 제약만으로는 베이지안 프레임워크 내에서 해결되지 않는 문제입니다.
• 템퍼링 확장형 (JFRT 및 JAFART): 극단적인 $p \gg n$ 시나리오(추론된 랭크가 샘플 크기 $n$을 초과하는 경우)에서 표준 CUSP 사전 분포가 너무 많은 요인을 추론할 수 있음을 인지하여, 저자들은 템퍼링된 버전을 제안합니다. 이들은 분수 사후 분포(fractional posteriors)를 활용하여, 랭크 선택 시 피처 차원 $p$가 아닌 유효 샘플 크기로서 $n$을 취급합니다.
• 효율적인 추론: 저자들은 JAFAR 모델의 구조적 희소성을 활용하는 Gibbs 샘플러를 개발했습니다. 잠재 요인과 로딩을 공동 업데이트함으로써, 이들은 대규모 $p$에 대해서도 비분할 표현보다 더 유리하게 스케일링되는 계산 비용을 달ps합니다.
• 후처리: 회전, 라벨, 부호 모호성을 해결하기 위해 수정된 Multiview MatchAlign 절차가 도입되었습니다. 이는 Varimax 회전을 적응시켜 공유 및 특이 성분의 복합 구조를 존중하며, 특정 뷰가 지배적인 뷰가 교차 뷰 희소 패턴을 왜곡하는 것을 방지합니다.

결과
방법론은 시뮬레이션 연구와 실제 응용 사례를 통해 평가되었습니다:

• 시뮬레이션 (비지도 학습): 공유 및 뷰 특이적 성분을 분리함에 있어, D-CUSP를 사용한 JAFAR는 실제 요인 구조를 성공적으로 복구했습니다. 경쟁 모델들(NAIVE 및 FULL-D priors)은 성분을 올바르게 분리하지 못하여 공유 랭크가 팽창되고 공분산 재구성이 저하되었습니다. JFR과 JAFAR는 공분산 행렬 재구성 측면에서 경쟁 모델(BIP, BSFP)보다 우수한 성능을 보였습니다.
• 시뮬레이션 (지도 학습): JFR과 JAFAR는 최신 경쟁 모델들(Cooperative Learning, IntegratedLearner, BIP, BSFP)과 비교하여 경쟁력 있거나 더 우수한 예측 정확도(MSE 및 $R^2$)를 달성했습니다. 결정적으로, 이러한 정확도는 기저의 의존 구조를 정확하게 재구성하는 것과 결합되어 나타났습니다. JAFAR는 유사한 예측 성능을 유지하면서 JFR보다 약 55% 적은 실행 시간을 필요로 하는 상당한 계산적 이점을 보여주었습니다.
• 실제 데이터 적용 (진통 시작 예측): 모델들은 면역체, 대사체, 단백질체 데이터($n=53, p \approx 6000$)를 사용하여 진통 시작 시간을 예측하는 데 적용되었습니다.
  • 표준 JFR 및 JAFAR는 샘플 크기를 초과하는 랭크를 추론하였는데, 이는 극단적인 고차원 설정에서 알려진 문제입니다.
  • **템퍼링 버전 (JFRT, JAFART)**은 적응형 베이지안 프레임워크를 유지하면서도 추론된 요인 수를 BSFP 수준으로 성공적으로 줄였습니다.
  • 예측 측면에서, JAFAR와 그 템퍼링 변형은 표본 외 테스트(out-of-sample tests)에서 BSFP, Cooperative Learning, IntegratedLearner보다 뛰어난 성능을 보였습니다.
  • JAFART는 적은 수의 잠재 요인으로 인해 추정 노이즈가 감소함에 따라, 템퍼링되지 않은 버전보다 더 잘 보정된 90% 신뢰 구간(과잉 커버리지 감소)을 제공했습니다.

의의 및 주장
본 논문은 JFR과 JAFAR가 요인의 수를 동시에 추정하고, 공유된 변동과 뷰 특이적 변동을 분리하며, 정확한 불확실성 정량화를 제공할 수 있는 완전한 베이지안 프레임워크를 제공한다고 주장합니다. 저자들은 다음을 강조합니다:

• JAFAR가 고차원 설정에서 선호되는 선택지이며, 이는 생물학적 신호(실제 신호든 아티팩트든)로부터 뷰 특이적 신호를 격리함으로써 해석력을 높이고 계산 효율성을 제공하기 때문입니다.
• D-CUSP 사전 분포는 가법 모델의 식별성을 위해 필수적이며, 다른 가법 인수 분해 접근 방식들이 겪는 특정 비식별성 문제를 해결합니다.
• 템퍼링된 공식은 표준 요인 모델이 허구의 고랭크 구조를 추론할 수 있는 극단적인 $p \gg n$ 영역에 대한 실용적인 해결책을 제공합니다.
• 오픈 소스 R 패키지 jafar는 이러한 방법들을 구현하여 정밀 의료 및 기타 다중 뷰 학습 맥락에서의 활용을 용이하게 합니다.

저자들은 JFR과 JAFAR가 잠재 표현의 정확도 측면에서는 본질적으로 동등하지만, JAFAR의 구조적 분해가 추론과 확장성 측면에서 뚜렷한 이점을 제공한다는 점을 언급하며 겸허한 입장을 유지합니다. 또한, 템퍼링된 버전은 완전한 대체제가 아니라 특정 극단적 시나리오를 위한 선택적 적응임을 밝힙니다.