Toward Scalable and Valid Conditional Independence Testing with Spectral Representations

기술 요약: 스펙트럼 표현을 통한 확장 가능하고 유효한 조건부 독립성 검정을 향하여

문제 정의
조건부 독립성(CI) 검정은 무작위 변수 $X$와 $Y$가 $Z$가 주어졌을 때 독립인지($H_0: X \perp\!\!\perp Y | Z$)를 결정하는 작업으로, 인과 추론, 특징 선택 및 그래픽 모델링의 기초가 된다. 그러나 비모수적 설정에서 CI 검정은 근본적으로 매우 어려운 문제로 알려져 있다. Shah & Peters (2020)는 모든 조건부 독립 분포에 대해 제1종 오류를 균일하게 제어하면서 동시에 모든 대립 가설에 대해 검정력을 유지할 수 있는 테스트는 존재할 수 없음을 입증했다. 결과적으로, 기존 방법들은 유효성을 확보하기 위해 제한적인 구조적 가정(예: 매끄러움, 알려진 조건부 분포 또는 특정 회귀율)에 의존한다.

부분 공분산 연산자(partial covariance operators)를 사용하는 커널 기반 방법(예: KCIT, RCIT)은 구조적 가정을 암시적으로 인코딩함으로써 원칙적인 접근 방식을 제공하지만, 적응성이 제한적이고 고차원 설정에서 확장성이 떨어진다는 단점이 있다. 반대로, Model-X나 로컬 순열 검정(local permutation tests)과 같은 방법들은 $P(X|Z)$에 대한 강한 가정이나 데이터의 매끄러움에 대한 가정을 필요로 하는데, 이는 실제 상황에서는 충족되지 않을 수 있다. 따라서 커널 방법의 이론적 엄밀함과 현대적 표현 학습(representation learning)의 확장성 및 적응성 사이를 잇는 방법론이 필요하다.

방법론
저자들은 고전적인 커널 테스트의 한계를 해결하기 위해 스펙트럼 표현 학습을 활용하는 SpectralCIT 프레임워크를 제안한다. 핵심 아이디어는 부분 공분산 연산자 $\Sigma_{X\dot{Y} \cdot Z}$ (여기서 $\dot{Y} = (Y, Z)$)의 주요 스펙트럼 특징(단일 함수, singular functions)을 학습하고, 이 학습된 표현을 사용하여 단순하고 확장 가능한 검정 통계량을 구축하는 것이다.

1. 스펙트럼 표현 학습 (Spectral Representation Learning):
   이 방법은 부분 연산자의 랭크-$d$ 절단된 특이값 분해(SVD)를 학습하는 것을 목표로 한다. 무조건적 공분산 추정과 달리, 부분 연산자는 직접 관찰할 수 없는 잔차화(residualization) 항을 포함한다. 저자들은 이를 다음과 같은 **이중 레벨 최적화 문제(bi-level optimization problem)**로 정식화한다:

   • 외부 문제 (Outer Problem): 부분 연산자의 주요 단일 함수를 근사하기 위해 특징 맵 $u_\theta(X)$와 $v_\theta(Y, Z)$를 학습한다.
   • 내부 문제 (Inner Problem): 트레이스(trace)의 순환적 성질로부터 유도된 저계수 보조 문제를 통해, $Z$에 대한 조건부 처리를 암시적으로 수행하는 특징 맵 $w_\theta(Z)$를 학습한다.

   학습 목적 함수는 힐베르트-슈미트트 노름(Hilbert-Schmidt norm)의 연산자 근사 오차로부터 유도된 대비 학습 손실(contrastive loss)이며, 학습된 특징들이 잘 조건화되도록 직교성 제약(orthonormality constraints)을 통해 정규화된다. 알고 Alogirthm은 파라미터 $\theta$로 매개변수화된 신경망을 사용하며, 미니 배치 상에서 확률적 경사 하강법을 통해 최적화된다.

2. 검정 통계량 구축 (Test Statistic Construction):
   훈련 세트에서 $\hat{u}_\theta, \hat{v}_\theta, \hat{w}_\theta$가 학습되면, 홀드아웃(held-out) 테스트 세트에서 검정 통계량을 계산한다. 통계량은 다음과 같이 정의된다:
   $$\hat{T}_n = n \| \hat{C}_{\hat{U}_\theta \hat{V}_\theta} - \hat{C}_{\hat{U}_\theta \hat{W}_\theta} \hat{C}_{\hat{W}_\theta \hat{V}_\theta} \|_F^2$$
   여기 여기서 $\hat{C}$는 학습된 특징들의 경험적 교차 공분산 행렬을 나타낸다. 이 통계량은 학습된 스펙트럼 부공간 내에서 $Z$를 고려한 후 $X$와 $Y$ 사이의 잔여 의존성(residual dependence)을 측정한다.

3. 이론적 보장 (Theoretical Guarantees):

   • 유효성 (귀무 가설 하에서): 귀무 가설 하에서 그리고 특징들의 완만한 정규성(sub-Gaussianity) 가정 하에, 저자들은 표현 학습 오차($E_{val}$)가 소멸할 경우 $\hat{T}_n$이 자유도가 $d^2$인 카이제곱 분포로 수렴함을 증명한다. 이를 통해 순열 검사 없이 표준 카이제곱 임계값을 사용할 수 있다.
   • 검정력 (대립 가설 하에서): 검정력은 학습된 표현의 품질($E_{pow}$)에 의해 결정된다. 저자들은 표현 오차와 통계적 추정 오차에 의해 결정되는 임계값보다 신호 강도(부분 연산자의 힐베르트-슈미트트 노름)가 높을 경우, 본 테스트가 높은 검정력을 달성함을 입증한다.

주요 기여

1. 알고리즘 혁신: 부분 공분산 연산자의 주요 스펙트럼 특징을 추정하기 위한 확장 가능한 이중 레벨 대비 학습 알고리즘을 도입하여, 고전적 커널 방법의 적응성 및 확장성 병목 현상을 극복하였다.
2. 이론적 분석: 표현 학습 오차와 테스트 성능을 연결하는 포괄적인 이론적 프레임워크를 제공한다. 논문은 제1종 오류 제어(점근적 카이제곱 유효성)와 검정력에 대한 보장을 제공하며, 신호 강도, 표현 품질, 샘플 크기 사이의 트레이드오프를 규명한다.
3. 경험적 검증: 다양한 합성 데이터(포스트-비선형 모델 및 고차원 비매끄러운 변형 포함)와 실제 데이터(유방암 조직학 및 유전자 발현 데이터)에 대한 광범로한 실험을 수행하였다. 결과는 SpectralCIT가 커널 기반 방법들이 실패하거나 유효성을 잃는 영역에서도 견고한 제1종 오류 제어와 높은 검정력을 유지함을 보여준다.

결과

• 합성 벤치마크: 다양한 조건부 차원($d_Z \in [50, 300]$)을 가진 포스트-비선형 모델에서, SpectralCIT는 명목 수준($\alpha=0.05$)에서 제1종 오류를 일관되게 제어하면서 높은 검정력을 달ach성했다. 반면, KCIT, RCIT, GCIT와 같은 방법들은 고차원에서 제1종 오류 제어에 실패했으며, DGCIT는 제어 능력을 완전히 상실했다.
• 비매끄러운 데이터: 로컬 순열 검정(NNLSCIT)의 매끄러움 가정을 위반하도록 설계된 고차원 비매끄러운 데이터 모델에서, SpectralCIT는 견고함을 유지했으나 NNLSCIT는 제1종 오류 제어의 완전한 붕괴를 겪었다.
• 확장성: SpectralCIT는 고차원 설정에서 KCIT보다 약 2배 빠른 것으로 나타났다. 이는 복잡도가 $N \times N$ 커널 행렬 계산이 아닌, 절단 차원 $d$에 따른 저계수 연산에 의해 지배되기 때문이다.
• 실제 적용: TCGA-BRCA 유방암 데이터에 적용하여, 분자 프로파일($X$)이 생존($Y$)을 예측하는 데 있어 조직학적 이미지 특징($Z$) 이상의 예후 정보를 제공하는지 테스트하였다. 선형 모델과 다른 CI 테스트들은 귀무 가설을 기각하지 못한 반-면, SpectralCIT는 복잡한 비선형 의존성을 탐지하여 귀무 가설을 강력하게 기각하였으며, 이는 XGBoost 모델에 의해 확인되었다.

의의 및 주장
본 논문은 "확장 가능한 CI 검정을 향한 원칙적이고 통계적으로 근거 있는 경로"를 제공한다고 주장한다. 커널 이론과 현대적 표현 학습을 결려함으로써, SpectralCIT는 유효성과 확장성 사이의 결정적인 트레이드오프를 해결한다. 저자들은 이 접근 방식이 매끄러움(Lipschitz 연속성 등)과 같은 제한적인 구조적 가정을 요구하지 않으며, 조건부 분포 $P(X|Z)$에 대한 접근도 필요하지 않음을 강조한다. 유효성은 학습 과정에 의해 제어될 수 있는, 학습된 스펙트럼 표현의 품질에 달려 있다. 이 연구는 스펙트럼 의존성 연산자의 구조를 학습하는 것이 비모수적 조건부 독립성 검정의 "차원의 저주"를 극복하기 위한 유효한 전략임을 시사한다.