Consistent Bayesian causal discovery for structural equation models with equal error variances

1. 연구 배경 및 문제 정의 (Problem)

• 인과 구조 발견 (Causal Discovery): 관측 데이터로부터 변수 간의 인과 관계 (방향성 포함) 를 학습하는 문제입니다. 일반적으로 방향성 비순환 그래프 (DAG) 로 표현됩니다.
• 식별성 (Identifiability) 의 한계: 일반적인 베이지안 네트워크나 선형 SEM(Structural Equation Model) 에서는 데이터만으로는 DAG 를 고유하게 식별할 수 없으며, 마르코프 동치 클래스 (Markov equivalence class) 까지만 식별이 가능합니다.
• 핵심 가정: 본 논문은 오차항의 분산이 모든 변수에 대해 동일하다는 가정 (Equal Error Variances) 하에 문제를 다룹니다.
  • 이 가정 하에서는 오차항이 가우시안이 아니더라도 (비정규 분포라도) 참인 DAG 를 고유하게 식별할 수 있음이 알려져 있습니다 (Peters & Bühlmann, 2014 등).
• 연구 격차: 기존 베이지안 구조 학습 방법들은 주로 가우시안 오차를 가정하거나, 계산 효율성에 집중했습니다. 오차 분산이 동일한 비가우시안 환경에서 이론적으로 일관성 (Consistency) 이 보장되는 베이지안 선택 프레임워크는 부족했습니다. 본 논문은 이 격차를 메우기 위해 제안되었습니다.

2. 제안된 방법론 (Methodology)

저자들은 다음과 같은 베이지안 접근법을 제안합니다.

A. 작업 모형 (Working Model)

• 실제 데이터 생성 과정은 오차항이 독립적이고 분산이 $\sigma^2$으로 동일한 선형 SEM 이지만, 오차 분포는 정규분포가 아닐 수 있습니다.
• 가정: 분석을 위해 오차항이 가우시안이고 분산이 동일한 선형 SEM을 "작업 모형 (Working Model)"으로 설정합니다.
  • $X_j = X_{pa_\gamma(j)}^T b_j^\gamma + e_j^\gamma$, 여기서 $e_j^\gamma \sim N(0, \theta^\gamma)$.

B. 사전 분포 (Priors)

• SEM 계수 ($b_j^\gamma$): 각 변수의 부모 노드들에 대한 계수 벡터에 대해 독립적인 $g$-prior를 적용합니다.
  • $b_j^\gamma | \theta^\gamma \sim N(0, g\theta^\gamma (D_{j,n}^T D_{j,n})^{-1})$.
• 오차 분산 ($\theta^\gamma$): 무정보적 Jeffreys 사전분포 ($\pi(\theta) \propto 1/\theta$) 를 사용합니다.
• DAG 사전분포: 그래프 구조에 대한 사전분포 $\pi(\gamma)$는 균일 분포 (Uniform) 나 일반적인 비정보적 분포를 가정합니다.

C. 주변 가능도 (Marginal Likelihood)

• 계수와 분산을 적분하여 DAG $\gamma$에 대한 주변 가능도 $m(D_n|\gamma)$를 유도합니다.
• Lemma 1에 따르면, 이 식은 최소제곱 오차의 합 ($R_n^\gamma$) 을 포함하는 폐쇄형 (closed-form) 식으로 표현됩니다.
  • $m(D_n|\gamma) \propto (V_n + g R_n^\gamma)^{-np/2} (1+g)^{(np-|\gamma|)/2}$.
  • 여기서 $R_n^\gamma$는 각 변수를 부모 변수로 회귀했을 때의 잔차 제곱합의 합입니다.

3. 핵심 이론적 기여 (Key Contributions)

A. 최소 오차 제곱합의 성질 (Theorem 1)

• 주요 발견: 참인 DAG($\gamma^*$) 에 대해 각 변수를 부모로 예측할 때의 기대 오차 제곱합의 합 ($r_{\gamma^*}$) 은, 참 그래프의 **초그래프 (Supergraph, $\gamma \supseteq \gamma^*$)**일 때만 최소값을 가집니다.
• 증명 전략: 공분산 행렬의 Cholesky 분해 대각 성분을 회귀 관점에서 해석하여 증명했습니다.
  • 즉, $r_\gamma \ge r_{\gamma^*}$이며, 등호는 $\gamma \supseteq \gamma^*$일 때만 성립합니다.
  • 이 성질은 비가우시안 오차 분포에서도 성립하며, 베이지안 선택의 이론적 근거가 됩니다.

B. 일관된 DAG 선택 (Theorem 2)

• 주장: 제안된 베이지안 방법 (작업 모형: 가우시안 SEM, $g=n$ 설정) 은 데이터가 생성된 실제 DAG($\gamma^*$) 를 일관성 있게 (Consistently) 선택합니다.
• 수렴성: 표본 크기 $n \to \infty$일 때, 참 DAG 의 사후 확률 $\pi(\gamma^*|D_n)$이 확률 1 로 수렴합니다.
  • $1 - \pi(\gamma^*|D_n) \le O_p(n^{-1/2}) + \exp(-n \delta^*/2)$.
• 의의: 오차항이 정규분포가 아니더라도 (모델 오설정이 있더라도), 등분산 가정 하에서 참 구조를 일관되게 찾아낸다는 것을 수학적으로 증명했습니다.

4. 실험 결과 (Simulation Study)

• 설정: $p=3$개의 변수를 가진 DAG 를 가정하고, 오차항을 Laplace 분포, 정규분포, t-분포 등 서로 다른 비가우시안 분포로 생성했습니다.
• 결과:
  • 표본 크기 ($n$) 가 증가함에 따라 참 DAG($\gamma^*$) 의 사후 확률이 1 로 수렴하는 것을 확인했습니다.
  • 다양한 $n$에 대한 박스플롯과 히스토그램은 사후 확률이 1 에 집중됨을 보여주며, Theorem 2의 이론적 결과를 실증적으로 뒷받침했습니다.

5. 의의 및 결론 (Significance)

1. 이론적 엄밀성: 비가우시안 오차와 모델 오설정이 존재하는 상황에서도 베이지안 구조 학습이 일관성을 가진다는 것을 최초로 증명했습니다.
2. 실용적 유연성: 복잡한 비가우시안 분포를 직접 모델링할 필요 없이, 단순한 가우시안 작업 모형과 $g$-prior 만으로도 강력한 성능을 발휘함을 보였습니다. 이는 계산 효율성을 유지하면서 이론적 보장을 제공합니다.
3. 확장 가능성:
   • 고차원 설정 (Sparsity 가정 하) 으로 확장 가능.
   • 비선형 SEM, 순환 그래프 (Cyclic graphs), 잠재 교란 변수 (Latent confounders) 가 있는 경우 등 향후 연구 과제로 제시됨.

요약: 본 논문은 오차 분산이 동일하다는 조건 하에서, 가우시안 가정을 기반으로 한 베이지안 프레임워크가 비가우시안 데이터에서도 참 인과 구조를 일관되게 복원할 수 있음을 이론적으로 증명하고 실증적으로 검증한 중요한 연구입니다.