Differentiable Cyclic Causal Discovery Under Unmeasured Confounders

기술 요약: 미관측 교란 요인을 고려한 미분 가능한 순환 인과 발견 (Differentiable Cyclic Causal Discovery Under Unmeasured Confounders)

문제 정의
인과 발견(Causal discovery)은 변수들 사이의 인과 관계를 나타내는 유향 그래프 구조를 추론하는 것을 목표로 한다. 기존 알고리즘들은 일반적으로 두 가지 제한적인 가정에 의존한다: (i) 기저의 인과 그래프는 유향 비순환 그래프(DAG)이다, (ii) 모든 변수는 관측 가능하다(미관측 교란 요인이 없다). 이러한 가정은 생물학적 네트워크와 같이 피드백 루프(순환)와 숨겨진 교란 요인이 존재하는 실제 시스템에서 빈번하게 위반된다. 일부 방법론은 순환을 다루고 다른 방법론은 교란 요인을 다루지만, 이 둘을 동시에 처리하면서 특히 비선형 환경에서도 작동하는 방법은 드물다. 또한, 교란 요인이 있는 순환 그래프를 다루는 기존 접근 방식들은 선형성을 가정하거나 확장성 문제로 어려움을 겪는 경우가 많다. 본 논문은 중재 데이터(interventional data)를 사용하여 미관측 교란 요인이 존재하는 비선형 순환 인과 그래프를 학습하는 과제를 해결한다.

방법론: DCCD-CONF
저자들은 이러한 복잡한 조건 하에서 인과 구조를 학습하기 위한 미분 가능한 프레임워크인 DCCD-CONF를 제안한다. 이 방법론은 다음의 구성 요소들을 기반으로 구축된다:

1. 잠재 교란 요인을 포함한 구조 방정식 모델 (SEM):
   시스템은 유향 엣지($i \to j$)와 양방향 엣지($i \leftrightarrow j$)를 포함하는 유향 혼합 그래프(DMG)로 모델링된다. 양방향 엣지는 숨겨진 교란 요인을 나타낸다. 저자들은 교란을 별도의 잠재 변수 노드로 모델링하는 대신, 외생 노이즈 항의 상관관계로 모델링한다. 구체적으로, 노이즈 벡터 $Z$는 가우시안 분포 $Z \sim \mathcal{N}(0, \Sigma_Z)$를 따르며, 공분산 행렬 $\Sigma_Z$의 0이 아닌 비대각 성분은 변수 간의 교란을 나타낸다.

2. 암시적 흐름(Implicit Flows)을 통한 미분 가능한 인과 메커니즘:
   순환과 비선형성을 처리하기 위해, 인과 메커니즘은 암시적 흐름을 사용하여 모델링된다. 구조 방정식은 $X = F(X, Z)$로 정의되며, 여기서 $F$는 신경망으로 매개변수화된 함수이다. 고유한 고정점(평형점)의 존재와 가역성을 보장하기 위해, 저자들은 특정 형태의 수축 사상(contractive mapping)을 강제한다: $F(x, z) = -g_x(x) + g_z(z) + z$. 여기서 $g_x$와 $g_z$는 수축 함수이며 (스펙트럼 정규화를 통해 강제됨), 이를 통해 역방향 맵 $z = f_x(x)$와 순방향 맵을 계산하기 위한 루트 파인딩(root-finding) 알고리즘(예: Broyden's method)을 사용할 수 있다.

3. 중재 데이터 및 절단된 그래프 (Mutilated Graphs):
   본 프레임워크는 "외과적(surgical)" (hard) 중재를 활용한다. 특정 노드에 중재가 가해지면, 해당 노드로 들어오는 모든 엣지(유향 및 양방향 모두)가 제거되고, 해당 노드는 알려진 분포에서 샘플링된 값으로 설정된다. 이러한 중개 하에서의 데이터 가능도(likelihood)는 순방향 맵의 야코비안(Jacobian)을 기반으로 도출된다.

4. 최적화 및 점수 함수:
   학습 목적 함수는 여러 중재 설정에 걸친 관측 데이터의 정규화된 로그 가능도를 최대화하는 것이다.

   • 그래프 구조: 인접 행렬은 행렬 $B$로 매개변수화된 베르누이 확률 변수로 취급된다. 희소성 정규화의 대리 지표로 $L_1$-노름이 사용된다.
   • 야코비안 행렬식: 야코비안의 로그 행렬식을 계산하는 것은 계산 비용이 많이 든다 ($O(d^2)$). 저자들은 편향을 줄이기 위해 확률적으로 절단된 $\log(1+x)$의 멱급수 전개를 기반으로 한 불편 추정치(unbiased estimator)와 Hutchinson 트레이스 추정기를 결합하여 사용한다.
   • 교란 분포: 공분산 행렬 $\Sigma_Z$는 양의 정치성(positive definiteness)과 안정성을 보장하기 위해 희소성 정규화 최적화 문제(Lasso 회귀로 공식화됨)를 풀어 업데이트된다.

주요 기여

1. 새로운 프레임워크: 상관관계가 있는 가우시안 노이즈를 통해 미관측 교란 요인을 명시적으로 모델링하면서 비선형 순환 인과 그래프를 학습할 수 있는 최초의 미분 가능한 프레임워크인 DCCD-CONF를 도입하였다.
2. 이론적 보장: 저자들은 제안된 점수 함수를 최대화하는 것이 특정 가정(데이터가 모델 클래스 내에 있고 $\sigma$-분리 속성을 갖는다는 가정 포함) 하에서 실제 진리(ground truth) 그래프의 중재 동치 클래스(interventional equivalence class)를 식별함을 증명한다.
3. 알고리즘 효율성: 암시적 흐름과 야코비안 행렬식의 계산적 난제를 확률적 추정과 구조화된 노이즈 공분산 업데이트를 통해 해결하는 확장 가능한 최적화 절차를 개발하였다.

실험 결과
프레임워크는 합성 데이터와 실제 데이터를 통해 평가되었다:

• 합성 데이터: DCCD-CONF는 다양한 교란 요수의 수, 순환의 수, 비선형성의 정도, 중재 횟수에 대해 NODAGS-Flow, LLC, DAGMA, ADMG와 같은 최신 베이스라인들과 비교되었다.
  • 성능: DCCD-CONF는 그래프 복구에 대해 일관되게 더 낮은 구조적 해밍 거리(SHD)를 달ek성하였으며, 교란 요인 식별에 대해 더 높은 F1 점수를 기록했다. 특히 비선형 환경에서 두드러졌다.
  • 강건성: 이 방법은 순환과 교란 요수의 수가 증가함에 따라 강건함을 보여주었다. 중재 횟수가 증가함에 따라 베이스라인보다 우수한 성능을 보였으며, LLC와 같은 일부 베이스라인은 순수 관측 환경에서 실패하였다.
  • 확장성: 노드 수가 10개에서 80개로 증가함에 따라 성능이 우수하게 유지되었다.
• 실제 데이터: 모델은 Perturb-CITE-seq 유전자 중재 데이터셋(대조군, 공동 배양, IFN-$\gamma$ 조건하의 흑색종 세포)에 적용되었다.
  • 지표: 실제 진리 그래프를 구할 수 없으므로, 성능은 홀드아웃 테스트 데이터에 대한 음의 로그 가능도(NLL)로 측정되었다.
  • 결과: DCCD-CONF는 세 가지 조건 모두에서 가장 낮은 NLL을 달성하여 NODAGS, LLC, DCDI보다 뛰어난 예측 정확도와 생물학적 시스템의 교란 모델링 능력을 보여주었다.

의의 및 주장
본 논문은 DCCD-CONF가 비선형성, 순환, 잠재 교란 요인을 동시에 해결함으로써 이전까지 파편화되어 있던 문제 공간에 대한 통합된 솔루션을 제공한다고 주장한다. 저자들은 자신들의 접근 방식이 이론적 일관성 보장을 제공하며, 선형성, 비순환 구조 또는 완전한 관측 가능성에 국한되었던 기존 방법론들에 비해 실질적인 우월성을 제공한다고 단언한다. 이 연구는 실제 시스템에서 교란 요인의 보편성을 강조하며, 교란 요인을 고려하는 것이 인과 발견의 정확도를 크게 향러올 수 있음을 입증한다. 저자들은 현재 작업이 가우시안 외생 노이즈를 가정하고 있으나, 향후 연구에서는 다른 노이즈 분포를 탐색하고, 결측치를 처리하며, 중재 대상에 대한 가정을 완화하는 방향을 포함할 것이라고 언급하였다.