Discrete Causal Representations from Heterogeneous Domains: A Bayesian Approach with Social Survey Applications

기술 요약: 베이지안 다중 도메인 인과 표현 학습 (Bayesian Multi-Domain Causal Representation Learning)

문제 설정
인과 표현 학습(Causal Representation Learning, CRL)은 관측된 저수준 측정값으로부터 고수준의 잠재적 인과 개념을 추론하는 것을 목표로 한다. 이러한 표현의 식별 가능성(identifiability)은 이론적으로 광범위하게 연구되어 왔으나, 실제 데이터에 적용 가능한 불확실성을 고려한 실용적인 방법론은 여전히 미개척 영역으로 남아 있다. 본 연구는 서로 다른 여러 도메인(환경)에서 수집된 이질적인 데이터를 통해 이산적 인과 표현을 학습하는 과제를 다룬다.

핵심적인 어려움은 인과 변수가 대개 잠재적(latent)이며, 고차원의 대리 변수(예: 설문 응답)를 통해 간접적으로만 관측된다는 점에 있다. 또한, 도메인 간의 분포 변화는 기저에 있는 인과 기제(causal mechanisms)의 희소하고 국지적인 변화(중재, interventions)로부터 발생하며, 생성 과정의 다른 부분은 불변(invariant) 상태를 유지한다는 특징이 있다. 표준적인 인과 발견(causal discovery) 방법론들은 관측된 데이터와 잠재 변수 사이의 불일치, 그리고 실제 시나리오에서 완벽한 단일 노드 중재(single-node intervention)가 부재하다는 점 때문에 이러한 환경에서 실패하는 경우가 많다.

방법론
저자들은 이산적 인과 개념을 가진 잠재 변수 모델로서 데이터 생성 과정을 정형화하는 계층적 베이지안 모델을 제안한다. 이 프레임워크는 세 가지 핵심 구성 요소를 통합한다:

1. 생성 모델 구조:

   • 잠재 인과 모델: 잠재 변수 $Z = (Z_1, \dots, Z_L)$은 이산적이며 인과 그래프 $G$를 따른다. 결합 분포는 인과 기제 $p(Z_\ell | PA_\ell)$로 분해된다.
   • 다중 도메인 중재: 도메인 간의 차이는 잠재 인과 기제에 대한 미지의 소프트(soft, 불완전한) 다중 노드 중재로 모델링된다. 모델은 모든 도메인에 걸쳐 불변하는 측정 과정 $p(X|Z)$를 가정하는 반면, 잠재 분포 $p(Z)$는 이러한 중재로 인해 변한다.
   • 이산 잠재 변수: 모델은 이산 잠재 변수에 집중하며, 이를 통해 도메인별 주변 분포 $p(X)$를 도메인별 혼합 가중치는 다르지만 공유된 혼합 성분을 갖는 유한 혼합 모델(finite mixture models)로 표현할 수 있게 한다.

2. 베이지안 사전 확률 및 가정:

   • 희소 기제 변화: 유한한 샘플을 처리하고 과적합을 방지하기 위해, 저자들은 희소 기제 변화 가설을 정교화한다. 이들은 $\epsilon$-중재 검출 가능성($\epsilon$-intervention detectability, 가정 3.3)을 도입하여, 활성화된 모든 중재가 최소 $\epsilon$만큼의 분포 변화(KL 발산으로 측정)를 유도해야 함을 요구한다.
   • KL-임계값 기반 변화 사전 확률: 중재 검달 가능성을 구체화하기 위해, 저자들은 로짓 공간(logit space)에서의 중재 변화에 대한 새로운 사전 확률을 고안했다. 이 사전 확률은 KL 발산의 이차 근사를 사용하여 노이즈와 구별하기 어려운 너무 작은 변화를 절단함으로써, 무시할 만한 중재를 효과적으로 배제한다.
   • 희소성 유도: 중재 대상에 Beta-Bernoulli 사전 확률을 배치하여, 분포 변화가 소수의 요인에만 영향을 미친다는 가정을 반영함으로써 희소성을 유도한다.
   • 측정 모델: 잠재 개념이 관측 변수의 평균에 가산적으로 기여하는 가법적 가우시안(additive Gaussian) 측정 모델을 사용한다. 이러한 파라미터화는 잠재 수준을 서열적 요인(ordinal factors)으로 취급함으로써 해석력을 높인다.

3. 추론 체계:

   • 잠재 순서의 순열 대칭성(permutation symmetries)으로 인해 발생하는 고도의 다봉성(multimodality) 사후 분포 때문에, 표준적인 깁스 샘플링(Gibbs sampling)은 불충분하다.
   • 저자들은 우도 템퍼링(likelihood tempering)을 사용하는 **순차 몬테카를로 샘플링(Sequential Monte Carlo Sampling, SMCS)**을 채택한다. 이 집단 기반 방법은 가중치 재설정(reweighting), 재표집(resampling), 변이(mutation, 깁스 업데이트) 단계를 사용하여 입자(particles) 집단을 사전 분포에서 사후 분포까지 일련의 중간 분포를 통해 진화시킨다.
   • 추론은 대부분의 파라미터에 대해 공액 업데이트(conjugate updates)를 활용하며, 비공액 로짓 파라미터를 효율적으로 처리하기 위해 폴리아-감마(Pólya-Gamma) 데이터 증강을 사용한다.

주요 기여

1. 개념적 측면: 본 논문은 계층적 베이지안 모델을 통해 중재적 다중 도메인 데이터를 정형화하며, 인과적 가정(모듈성, 희소 변화)을 구체적인 모델링 선택 및 사전 확률로 변환한다. 또한 유한 샘플 시나리오를 위해 희소 기제 가설을 $\epsilon$-검출 가능성 조건을 통해 정교화한다.
2. 기술적 측면: 저자들은 새로운 KL-발산 절단 사전 확률과 복잡하고 다봉적인 사후 분포를 탐색할 수 있는 SMCS 기반 추론 절차를 개발하였다.
3. 실증적 측면: 모델 수식화부터 추정 및 해석에 이르는 완전한 비지도 CRL 파이프라인을 복잡한 실제 데이터(특히 사회 및 정치 설문 데이터)에 적용하여 그 효용성을 입증하였다.

결과
본 방법론은 합성 데이터와 두 가지 실제 사례 연구를 통해 평가되었다:

• 합성 실험: SMCS 방식은 실제 잠재 인과 구조와 중재 대상을 복구하는 데 있어 표준 깁스 샘플링, 병렬 템퍼링(Parallel Tempering), 변분 추론(Variational Inference)보다 우수한 성능을 보였다. 절제 연구(Ablation studies) 결과, KL-임계값 또는 희소성 사전 확률을 제거하면 예측 적합도(LPPD)는 개선되었으나 근저의 인과 구조 복구 능력은 크게 저하되었다. 이는 예측과 인과 발견 사이의 트레이드오프를 보여준다.
• 세계 가치 조사 (WVS): 국가별 설문 데이터(2017–2022)에 적용한 결과, 모델은 경제적 어려움(economic hardship), 인구 통계(demographics), *문화적 보수주의(cultural conservatism)*라는 세 가지 해석 가능한 잠재 요인을 복구하였다. 이는 잉글하트-벨제트(Inglehart–Welzel) 지도와 일치하는 결과였다. 또한 모델은 경제적 어려움과 인구 통계가 문화적 보수주의에 영향을 미치는 인과 구조를 추론하였으며, 알려진 사회경제적 변화와 일치하는 국가별 중재 패턴을 식별하였다.
• 미국 정치적 견해 데이터:
  • 실제 데이터: 다양한 미국 지역 및 도시화 수준의 설문 데이터를 분석한 결과, 정치적 분열(농촌 대 도시 경사도)을 반영하는 대체로 일차원적인 잠재 구조를 발견하였으며, 이는 알려진 정치적 트렌드와 일치한다.
  • LLM 생성 데이터: 통제된 중재를 포함하여 대규모 언어 모델(LLM)로 생성된 "준합성(semi-synthetic)" 데이터셋을 사용했을 때, 모델은 규제(Regulation), 당파성(Partisanship), 무역(Trade), 이민(Immigration), *빈곤(Poverty)*이 포함된 5개 변수 인과 그래프를 성공적으로 복구하였다. 복구된 의존 관계(예: 규제 $\to$ 빈곤)는 합성 생성 과정에 내재된 "그라운드 트루스(ground-truth)" 처치 효과와 일치하였다.

의의 및 주장
본 논문은 복잡한 실제 데이터에 완전한 비지도 CRL 파이프라인을 적용한 첫 번째 성공적인 사례 중 하나라고 주장한다. 이 연구의 의의는 이상적인 합성 환경과 이론적 식별 가능성 결과를 넘어, 다음과 같은 문제를 처리할 수 있는 강력하고 불확실성을 고려한 베이지안 프레임워크를 개발했다는 점에 있다:

• 유한한 샘플 크기.
• 불완전하고, 다중 노드이며, 소프트한 중재.
• 부분적 식별 가능성 및 모델 오설정(misspecification).

점 추정(point estimate)이 아닌 사후 분포를 타겟팅함으로써, 이 방법은 제한된 데이터로 인한 인식론적 불확실성(epistemic uncertainty)과 생성 과정의 내재적 모호함으로 인한 우연적 불확실성(aleatoric uncertainty)을 모두 정량화한다. 저자들은 이 작업이 이론적 인과 표현 학습과 인과 변수가 잠재적이고 중재가 관찰되지 않는 사회과학과 같은 실질적 응용 분야 사이의 간극을 메우는 단계라고 보고 있다.