MediEncoder: Nonlinear Representation Learning for High-Dimensional Causal Mediation Analysis

기술 요약: 비선형 고차원 인과 매개 분석을 위한 MediEncoder

문제 정의
인과 매개 분석은 처치 효과를 매개체를 통해 작동하는 자연 직접 효과(NDE)와 자연 간접 효과(NIE)로 분해하는 것을 목표로 한다. 고전적인 방법들은 저차원의 직접 관찰 가능한 공변량과 매개체를 가정하지만, 현대의 생물 의학 연구(예: 유전체학, 멀티오믹스)는 하위 차원의 잠재적 생물학적 과정을 나타내는 고차원의 노이즈가 섞인 측정치를 빈번하게 포함한다. 기존의 고차원 매개 방법들은 다음과 같은 상당한 한계에 직면해 있다:

1. 희소성/변수 선택: 희소성(예: Lasso)에 의존하는 방법들은 관측된 변수를 매개체로 취급하며, 근저에 있는 잠재적 구조를 모델링하는 데 실패한다.
2. 선형성: PCA 또는 선형 요인 모델에 기반한 차원 축소 기법은 선형 측정 맵을 가정하는데, 이는 복잡한 생물학적 시스템에서 흔히 나타나는 비선형 관계를 반영하기에는 제한적이다.
3. 구조적 독립성: 딥러닝 접근 방식(예: 표준 오토인코더 또는 VAE)은 공변량과 매개체의 잠재 표현(representation) 사이의 구조적 의존성을 무시하고, 공변량과 매개체를 독립적으로 학습하는 경우가 많다.
4. 잠재적 비선형성: 기존의 딥 매개 추정기들은 잠재적인 비선형 요인과 공변량-매개체 표현 간의 구조적 의존성이 존재하는 설정을 명시적으로 타겟팅하지 못한다.

핵심 과제는 잠재 구조, 고차원성, 비선형 측정 맵, 그리고 처치-공변량-매개체 상호작용을 동시에 처리할 수 있는 프레임워크를 개발하는 것이다.

방법론: MediEncoder
저자들은 비선형 고차원 인과 매개 분석을 위해 설계된 표현 학습 프레임워크인 MediEncoder를 제안한다. 이 방법은 두 가지 주요 단계로 작동한다:

1. 결합된 표현 학습 (Coupled Representation Learning):
   MediEncoder는 고차원 공변량($X$)과 매개체($M$)의 저차원 표현을 공동으로 학습하기 위해 구조화된 인코더-디코더 아키텍처를 채택한다. 아키텍처는 다음과 같이 구성된다:

   • 인코더/디코더: $X$와 $M$에 대한 별도의 인코더-디코더 쌍($g_X, h_X$ 및 $g_M, h_M$)을 사용하여 재구성 손실(reconstruction loss)을 최소화한다.
   • 교차 요인 네트워크 ($g_{XM}$): 핵심 구성 요소로서, 처치($A$)와 학습된 공변량 표현($g_X(X)$)을 매개체 표현 공간($g_M(M)$)으로 매핑한다. 이 네트워크는 방향성 결합을 강제하여, 매개체 표현이 처치와 공변량 표현으로부터 예측 가능하도록 함으로써 잠재적 구조 방정식인 $f_M = \mu^*(A, f_X) + \text{noise}$를 존중하도록 유도한다.
   • 손실 함수: 훈련 목적 함수는 $X$와 $M$에 대한 재구성 손실의 가중 합에 더해, 실제 매개체 표현과 교차 요인 네트워크으로부터의 예측값 사이의 불일치를 벌칙으로 주는 정렬 손실 항($\lambda_3$)을 최소화한다.

2. 교차 적합 효율적 영향 함수 추정 (Cross-Fitted Efficient Influence Function Estimation):
   표현이 학습되면, 이를 사용하여 매개 분석에 필요한 넌서스 함수(성향 점수, 결과 회귀, 밀도 비율)를 추정한다. 저자들은 타겟 파라미터 $\theta_0 = E\{Y(1, f_M(0))\}$ (교차 세계 평균)를 추정하기 위해 교차 적합(cross-fitting) 절차(데이터를 네 개의 서로 소인 부분 집합으로 분할)를 활용한 효율적 영향 함수(IF) 기반 추정기를 사용한다.

   • 추정기는 오라클(oracle) IF의 관측되지 않은 잠재 요인을 학습된 표현으로 대체하여 구축된다.
   • 이론적 결과에 따르면, 학습된 표현이 실제 잠재 요인의 좌역변환(left-invertible transformation)을 근사하기만 하면 되며, 실제 잠재 요인을 정확하게 복구할 필요는 없다.

주요 기여
본 논문은 네 가지 주요 기여를 설명한다:

1. 비선형 잠재 요인 프레임워크: 선형성 및 희소성 가정을 피하고 잠재 구조와 비선형 측정 맵을 수용하는 고차원 데이터를 위한 매개 프레임워크를 도입하였다.
2. MediEncoder 알고리즘: 표준 멀티 뷰 오토인코더와 구별되는, 공변량과 매개체 표현 간의 구조적 의존성을 포착하기 위한 교차 요인 네트워크를 사용하는 결합된 표현 학습 알고리즘을 개발하였다.
3. 모듈형 점근 이론: 결과적인 교차 적합 추정기가 $\sqrt{n}$-일치성(consistency)을 가지며 점근적으로 정규 분포를 따른다는 것을 증명하는 이론적 프레임워크를 확립하였다. 이 이론은 넌서스 추정기가 적절한 속도로 수렴한다는 전제하에, 학습된 표현이 잠재 요인의 좌역변환을 근사하는 한 유효한 추론이 성립함을 공식화한다.
4. 실증적 검증: 시뮬레이션과 알츠하이머병 신경영상 연구(ADNI) 데이터에 대한 실제 적용을 통해 방법론의 성능을 입증하였다.

결과

• 시뮬레이션: 비선형 고차원 설정(Haar 웨이브릿 로딩 함수 사용)에서 MediEncoder는 Projection, 표준 오토인코더, 변이형 오토인코더(VAE), 그리고 IMAVAE를 포함한 경쟁 차원 축소 접근 방식보다 일관되게 우수한 성능을 보였다. MediEncoder는 더 낮은 평균 제곱 오차(RMSE), 더 작은 표준 편차, 그리고 명목적 95% 수준에 근접한 신뢰 구간 커버리지 비율을 달성하였다. 어블레이션 연구(ablation study)를 통해 정렬 항($\lambda_3$)이 매개체 표현을 안정화하고 추정 효율성을 개선하는 데, 특히 작은 표본 크기에서 매우 중요하다는 것을 확인하였다.
• 실제 데이터 적용 (ADNI): 본 방법론은 우울 증상(처치)이 인지 기능 저하(결과)에 미치는 매개 작용을 DNA 메틸화(매개체)를 통해 연구하는 데 적용되었다. 분석($n=649, p=171, q=3,206$) 결과, 우울 증상이 인지 기능 저하에 미치는 양(+)의 총 효과를 추정하였다. 점 추정치는 해당 효과가 주로 직접 경로를 통해 작동하며, DNA 메틸화에 의해 매개되는 간접 효과는 더 작고 불확실하다는 것을 시사했다. 총 효과 구간은 0을 포함하지 않았으나, 직접 및 간접 효과 구간은 0을 포함하였으며, 이는 매개 기제 해석에 주의가 필요함을 시사한다.

의의 및 주장
본 논문은 Medi-Encoder가 변수가 잠재적이고 비선형적인 생물학적 과정의 노이즈가 섞인 대리물인 고차원 매개 분석을 위한 통계적으로 유효한 프레임워크를 제공함으로써 중요한 격차를 메운다고 주장한다. 선형성이나 독립성 중 하나만을 다루는 기존 방법들과 달리, MediEncoder는 매개 구조와 일치하는 표현을 공동으로 학습한다. 저자들은 자신들의 이론적 결과가 잠재 요인의 정확한 복구를 요구하는 것이 아니라, 학습된 표현이 좌역변환을 통해 매개 함수에 필요한 정보를 보존하기만 하면 된다는 점을 강조한다. 이는 현대 생물 의학 데이터의 복잡성에 대응하면서도 준매개변수적 효율성(semiparametric efficiency)의 바람직한 통계적 특성을 유지할 수 있게 하여, MediEncoder를 견고하게 만든다.