Multi-Domain Causal Empirical Bayes Under Linear Mixing

이 논문은 **"다중 도메인 선형 혼합 인과 표현을 위한 경험적 베이지안 (Multi-Domain Empirical Bayes for Linearly-Mixed Causal Representations)"**이라는 제목으로, 고차원 관측 데이터에서 저차원 인과 잠재 변수 (causal latent variables) 를 추정하는 **인과 표현 학습 (Causal Representation Learning, CRL)**의 새로운 접근법을 제시합니다. 기존 연구들이 주로 식별 가능성 (identifiability) 이론에 집중했다면, 이 논문은 **유한한 샘플 (finite samples)**에서의 추정 (estimation) 문제에 초점을 맞추고 있습니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

• 배경: CRL 은 고차원 관측치 ($x$) 에서 저차원 인과 잠재 변수 ($z$) 를 복원하는 것을 목표로 합니다. 이는 일반적으로 식별이 어렵기 때문에, 서로 다른 환경 (도메인) 에서 수집된 비-i.i.d. 데이터를 활용하여 인과적 불변성 (invariance) 을 찾는 것이 일반적입니다.
• 도메인 간 차이: 각 도메인은 공유된 인과 모델 (SCM) 에 대한 희소 개입 (sparse interventions) 으로 인해 생성된다고 가정합니다. 즉, 측정 과정은 도메인 간에 동일하지만, 잠재 변수의 분포 (prior) 는 개입 대상에 따라 달라집니다.
• 핵심 과제: 유한한 노이즈가 있는 데이터에서 인과 구조와 혼합 행렬 (mixing matrix) 을 학습하고, 각 관측치에 대한 잠재 변수의 사후 분포 (posterior) 를 정확하게 추정하는 것입니다. 이는 많은 국소 잠재 변수에 대한 동시 추론 (simultaneous inference) 문제로 볼 수 있습니다.

2. 방법론 (Methodology)

저자들은 경험적 베이지안 (Empirical Bayes, EB) 프레임워크를 CRL 에 적용하여, f-modeling 접근법을 제안합니다.

A. 모델 가정

1. 선형 가우시안 측정 모델: 관측치 $x$는 잠재 변수 $z$에 선형 변환 ($A$) 을 가하고 가우시안 노이즈를 더한 형태입니다.
2. 개입 구조적 사전분포 (Interventional Structural Priors): 잠재 변수 $z$는 알려진 방향 비순환 그래프 (DAG) 를 가진 인과적 구조적 모델 (SCM) 을 따릅니다. 각 도메인 $e$는 특정 노드에 대한 개입 ($a_e$) 을 나타내며, 이는 해당 노드의 생성 메커니즘을 변경합니다.
3. 직교성 가정: 혼합 행렬 $A$의 열들이 직교한다고 가정하여 (또는 이를 완화하여), 문제를 **정규 평균 모델 (Normal Means Model)**로 축소합니다.

B. 핵심 알고리즘: EM 기반 f-modeling

전통적인 EB 의 g-modeling(사전분포를 명시적으로 모델링) 대신, f-modeling(관측 데이터의 주변 분포를 모델링하여 사후분포를 유도) 방식을 채택했습니다.

1. Tweedie's Formula 활용:

   • 정규 평균 모델에서 최적의 사후 평균 추정치는 Tweedie 공식을 통해 주변 분포의 스코어 함수 (score function, $\nabla \log f(x)$) 로 표현됩니다.
   • 이를 통해 사전분포 $p(z|a)$를 직접 학습하지 않고도, 관측 데이터의 분포를 학습하여 잠재 변수 $z$의 사후 평균을 추정할 수 있습니다.

2. 인과적 스코어 매칭 (Causal Score Matching):

   • 스코어 함수를 추정할 때, 인과 그래프 구조를 활용하여 **희소성 (sparsity)**을 부여합니다.
   • 각 잠재 변수 $z_j$의 스코어는 부모 노드와 개입 정보에만 의존하도록 제한하여 (Markov blanket 기반), 차원의 저주를 피하고 효율적인 추정을 가능하게 합니다.
   • Decoupled Estimation: 스코어 매칭 손실 함수가 각 차원별로 분리되어 최적화될 수 있음을 증명하여, $d_Z$개의 작은 문제를 병렬로 해결할 수 있게 합니다.

3. EM 알고리즘 (Algorithm 1):

   • E-step: 현재 추정된 혼합 행렬 $A$와 노이즈 분산을 고정하고, Tweedie 공식과 스코어 매칭을 사용하여 잠재 변수 $z$의 1 차 및 2 차 모멘트 (평균 및 분산) 를 추정합니다.
   • M-step: 추정된 $z$의 모멘트를 사용하여 로그 가능도 (log-likelihood) 를 최대화하도록 $A$ (혼합 행렬) 와 $\sigma^2$ (노이즈 분산) 를 업데이트합니다.
   • 이 과정을 수렴할 때까지 반복합니다.

3. 주요 기여 (Key Contributions)

1. CRL 에 대한 경험적 베이지안 프레임워크 도입: 인과 표현 학습 문제를 동시 추론 문제로 재해석하고, EB 의 shrinkage(수축) 개념을 적용하여 노이즈 제거 및 추정의 안정성을 높였습니다.
2. 인과 구조를 활용한 f-modeling 알고리즘 개발: 인과 그래프 지식을 스코어 함수 추정 과정에 통합하여, 기존 방법보다 더 정확하고 효율적인 잠재 변수 복원을 가능하게 했습니다.
3. 유한 샘플에서의 추정 이론 및 알고리즘: 식별 가능성 이론을 넘어, 실제 유한 데이터에서 작동하는 구체적인 EM-style 알고리즘을 제시했습니다.
4. g-modeling과의 연결: 기존 CRL 방법들 (VAE, iVAE 등) 이 g-modeling 관점에서 어떻게 해석될 수 있는지 논의하며, 제안된 f-modeling 과의 관계를 명확히 했습니다.

4. 실험 결과 (Results)

• 데이터: 인과 구조가 알려진 합성 데이터 (SCM 기반) 를 사용하여 다양한 개입 시나리오를 생성했습니다.
• 성능: 제안된 CRL f-modeling 방법은 다음과 같은 기준에서 다른 방법들 (PCA, 개입 정보 무시, 단순 EB 등) 보다 우수한 성능을 보였습니다.
  • 상대적 MSE (Relative MSE): 잠재 변수 복원 오차가 가장 낮았습니다.
  • 혼합 행렬 추정 오차: Frobenius norm 기준으로도 가장 정확했습니다.
  • 안정성: 다양한 도메인 환경에서 일관된 성능을 보였으며, 특히 개입 정보가 포함된 다중 도메인 구조를 올바르게 활용할 때 성능이 극대화되었습니다.
  • 확장성: 인과 그래프가 완전 그래프 (complete DAG) 일 경우 계산 비용이 증가하지만, 실제 DAG 구조를 사용할 경우 확장성이 뛰어났습니다.

5. 의의 및 결론 (Significance)

• 실용적 가치: 이 연구는 이론적인 식별 가능성뿐만 아니라, 실제 데이터 (유한 샘플, 노이즈) 에서 인과 표현을 어떻게 효과적으로 학습할지에 대한 실용적인 솔루션을 제공합니다.
• 노이즈 제거 능력: EB 의 수축 (shrinkage) 특성을 활용하여 노이즈가 있는 관측치에서 잠재 인과 변수를 더 정확하게 복원할 수 있음을 입증했습니다.
• 미래 방향: 비선형 측정 모델로의 확장, 그래프 구조를 모르는 경우의 학습, 그리고 다양한 개입 구조 (이진 개입 외) 로의 확장을 논의하며, 인과적 경험적 베이지안 프레임워크가 다양한 CRL 시나리오에 적용될 수 있는 넓은 가능성을 제시했습니다.

요약하자면, 이 논문은 다중 도메인 데이터의 인과적 구조를 활용하여 경험적 베이지안 기법 (f-modeling) 으로 인과 표현을 학습하는 새로운 알고리즘을 제안하며, 합성 데이터 실험을 통해 기존 방법보다 우수한 추정 정확도와 안정성을 입증했습니다.