기술 요약: CDFM: 범용 인과 발견 파운데이션 모델을 향하여

문제 정의

인과 발견(Causal discovery), 즉 관측 데이터로부터 기저의 인과 구조를 복구하는 과정은 전통적으로 파편화된 테스트 기반 패러다임에 의존해 왔다. 기존 알고리즘들은 특정 인과 메커니즘(예: 선형 비가우시안성, 가법 노이즈, 또는 특정 독립성 제약 조건)에 맞춰 정교하게 설계되었다. 결과적으로, 이러한 방법론들은 그 기저의 가정이 엄격하게 성립할 때만 탁월한 성능을 발휘한다. 이질적인 데이터와 미지의 생성 프로세스가 특징인 실제 시나리오에서, 실무자들은 알고리즘을 수동으로 선택하고, 가정을 검증하며, 통계적 검정을 재평가하는 소모적인 루프에 직면하게 된다. 이러한 데이터 특정적 접근 방식은 현대 과학적 발견의 요구 사항을 충족하기에는 규모가 부족하며, 다양하고 미지의 인과 메커니즘 전반에 걸쳐 일반화되는 데 어려움을 겪는다.

방법론

저자들은 이질적이고 초기 상태에서 미지인 인과 메커니즘에 대해 제로샷 구조 추론(zero-shot structural inference)을 수행하도록 설계된 통합 프레임워크인 **CDFM(Causal Discovery Foundation Model)**을 제안한다. 이 방법론은 딥러닝 아키텍처 설계와 인과 식별성 이론을 연결하는 원칙적인 변분 프레임워크(variational framework)에 기반한다.

1. 이론적 토대: 변분 분해 (Variational Decomposition)

핵심적인 이론적 통찰은 미지의 메커니즘 하에서의 인과 발견이 베이지안 모델 선택 문제라는 점이다. 진정한 인과 메커니즘 $M^*$은 알 수 없으므로, 모델은 방대한 메커니즘 가설 공간 $\mathcal{M}$에 대해 주변화(marginalize)를 수행해야 한다.

• 식별성 경계 (Identifiability Boundaries): 본 논문은 제약 조건이 없다면 인과 방향을 수학적으로 식별하는 것이 불가능함을 입증한다(정리 1). 그러나 메커니즘 공간 $\mathcal{M}$이 "엄격한 공간 식별성(strict space identifiability)" 속성을 만족한다면, 정확한 주변 가능도(marginal likelihood)가 진정한 그래프를 유일하게 식별한다(정리 3).
• 변분 추론 (Variational Inference): 주변 가능도를 직접 계산하는 것은 실행 불가능하다. CDFM은 변분 추론을 사용하여 문제를 공식화하며, 메커니즘에 대한 사후 분포를 근사하기 위해 매개변수화된 분포 $Q(M|X)$를 도입한다. 이는 학습 목적 함수를 세 가지 다루기 쉬운 구성 요소로 분해하는 ELBO(Evidence Lower Bound)를 생성한다:
  1. 메커니즘 추론 (Mechanism Inference): $Q(M|X)$는 잠재적 메커니즘 인코딩을 추론하기 위해 통계적 흔적(노이즈 특성, 비선형성 등)을 추출한다.
  2. 데이터 재구성 (Data Reconstruction): $\log P(X|G, M)$은 추론된 메커니즘과 그래프가 관측된 데이터를 설명하도록 보장한다(자기 지도 신호).
  3. 그래프 추론 (Graph Inference): $\log P(G|M)$은 인코딩된 메커니즘을 조건으로 구조적 그래프를 디코딩한다.

2. 아키텍처 설계

CDFM의 아키텍처는 변분 분해를 명시적으로 반영한다:

• 열 단위 임베딩 및 교차 어텐션 (Column-Wise Embedding & Alternating Attention): 입력 데이터(결측치 처리를 위한 이진 지표 채널 포함)는 주변 분포를 포착하기 위해 Set Transformer를 사용하여 임베딩된다. 행(row)과 열(column) 방향의 어텐션 블록이 교차로 쌓여 결합 의존성을 통합하고 잠재 메커니즘 분포 $Q(M|X)$를 매개변수화한다.
• 데이터 재구성 (Imputation): 잔차 블록(residual block)은 마스킹된 항목에 대한 조건부 분위수 값을 예측한다. 이는 데이터 재구성 항을 충족하기 위한 자기 지도 학습 과제로 기능한다. 어텐션 과정 중에는 "소프트 인과 마스크(soft causal mask)"가 사용되어, 현재의 에지 가중치 가설에 기반하여 비인과적 변수로부터의 정보 흐름을 억제함으로써 구조 정교화를 위한 비지도 내부 루프를 생성한다.
• 그래프 추론 (Graph Inference): 유도된 셀프 어텐션(induced self-attention)은 각 변수에 대한 "원인(cause)" 및 "결과(effect)" 요약 벡터를 추출한다. 혼합 전문가(Mixture-of-Experts, MoE) 쌍선형 헤드는 이 벡터들을 에지 로짓(edge logits)으로 디코딩하며, 이는 방향성 에지와 잠재적 교란 요인을 위한 양방향 에지를 자연스럽게 수용한다. 경량화된 그래프 적응형 임계값 교정기(graph-adaptive threshold calibrator)는 연속적인 확률을 이진 그래프로 변환한다.

3. 사전 학습 전략

CDFM은 매우 다양하고 방대한 합성 구조적 인과 모델(SCM) 공간에서 사전 학습된다. 데이터 생성기는 다음을 포괄한다:

• 그래프 구조: 다양한 희소성과 크기($D \in [2, 100]$)를 가진 6가지 무작위 그래프 모델(ER, Scale-Free, WS, SBM 등).
• 메커니즘 다양성: 선형 및 비선형 모델(가법 노이즈, 후-비선형, 랜덤 푸리에 특징), 이산 및 혼합 유형 메커니즘, 그리고 물리 기반 모델.
• 노이즈 및 교란: 다양한 노이즈 분포(가우시안, 라플라스, 코시 등), 이분산성(heteroscedasticity), 그리고 잠재적 교란(데이터 배치의 15%).
• 실제 환경 모사: 시뮬레이션된 측정 오차, 이산화, 그리고 무작위 결측치(MCAR).

주요 기여

1. 패러다임 전환: 인과 발견을 일반 목적의 파운데이션 모델 작업으로 공식화하여, 전문화된 알고리즘 선택에서 제로샷 구조 추론이 가능한 통합 추론 접근 방식으로 전환하였다.
2. 원칙적인 프레임워크: 파운데이션 모델과 구조적 식별성을 변분 프레임워크를 통해 통합하였으며, 미지의 메커니즘을 잠재 변수로 취급하여 주변화 문제를 다루기 쉬운 학습 목표로 변환하였다.
3. 아키텍처 설계: 메커니즘 인코딩, 구조 인식 재구성, 그래프 디코딩이 이론적 분해와 일치하도록 CDFM을 설계하여, 관측 데이터로부터 직접적이고 견고한 추론을 가능하게 하였다.
   కు
4. 대규모 사전 학습: 다양한 인과적 지식에 의해 구동되는 포괄적인 사전 학습 체계를 도입하였으며, 복잡한 통계적 비대칭성을 내재화하기 위해 방대한 가설 공간을 합성하였다.

실험 결과

저자들은 합성 벤치마크, 실제 데이터셋, 그리고 통제된 식별성 연구를 통해 CDFM을 평가하였다.

• 합성 벤치마크: CDFM은 15개의 서로 다른 메커니즘 패밀리와 다양한 그래프 크기($D \in [10, 100]$) 및 샘플 크기($N \in [500, 4000]$)에 대해 기존 알고리즘(PC, GES, DirectLiNGAM, NOTEARS) 및 아마티즈드(amortized) 베이스라인(AVICI, TabCausal, Arrow)을 일관되게 능가하였다. CDFM은 우수한 AUROC 및 F1 점수를 달성하며, 문제 규모가 커짐에 따라 안정적인 성능을 입증하였다.
• 실제 벤치마크:
  • Causal Chamber: 물리적 다변량 시스템(Task A1 및 A2)에서 CDFM은 높은 AUROC(0.952 및 0.965)를 달성하며 모든 베이스라인을 압도하였고, 합성 데이터에서 물리 시스템으로의 전이 가능성을 입증하였다.
  • Tübingen 벤치마크: 95개의 이변량 원인-효과 쌍에 대해 CDFM은 67.1%의 정확도를 기록하며 다른 최신 방법들을 넘어섰다.
• 식별성 검증: 통제된 실험을 통해 CDFM이 이론적 식별성 경계를 준수함을 확인하였다. CDFM은 기능적 비대칭성(비선형성/비가우시안성)이나 V-구조가 존재할 때 인과 방향을 정확히 식별하는 반면, 식별 불가능한 영역(예: 선형 가우시안 모델)에서는 우연 수준의 성능(정확도 $\approx$ 0.5)으로 회귀한다.
• 결측치 임퓨테이션 (Missing Value Imputation): 재구성 목적 함수의 부산물로서, CDFM의 임퓨테이션 헤드는 결측치가 있는 연속형 및 이산형 데이터 모두에서 고전적인 방법인 MissForest 및 MICE를 능가하는 최첨단 성능을 달성하였다.

의의 및 주장

본 논문은 CDFM이 범용 인과 발견 엔진을 향한 중요한 진전임을 주장한다. 알고리즘 선택의 병목 현상을 수동적인 방식에서 다양하고 식별 가능한 합성 데이터를 대규모로 생성하는 방식으로 전환함으로써, CDFM은 복잡한 인과적 비대칭성을 내재화하여 미지의 생성 프로세스 전반에 걸쳐 일반화할 수 있게 된다.

저자들은 이 모델이 인과적 가정을 제거하는 것이 아니라, 광범위한 가정 클래스에 걸쳐 이를 채택하는 법을 학습하는 것이라고 강조한다. 이 연구는 인과 모델이 단일하고 경직된 가정을 최적화하는 것을 넘어, 메커니즘 패밀리에 대한 광범한 표현을 학습하는 미래 방향을 제시한다. 결과는 이러한 파운데이션 모델이 데이터의 양과 이질성에 따라 확장 가능한 강력한 제로샷 인과 발견 능력을 제공하며 패러다임 전환을 이끌 수 있음을 보여준다.