기술 요약: 알고 있는 것을 활용하라: 부분 그래프를 이용한 인과적 파운데이션 모델 (Use What You Know: Causal Foundation Models with Partial Graphs)

문제 정의

인과 추론은 전통적으로 두 단계의 과정을 거칩니다. 먼저 인과적 가정(대개 인과 그래프를 통해)을 세우고, 그 다음 해당 가정에 맞춤화된 전용 추정기를 선택하는 것입니다. 최근 Prior-Data-Fitted Networks(PFN)를 기반으로 하는 **인과적 파운데이션 모델(Causal Foundation Models, CFMs)**은 인과 발견(causal discovery)과 추론을 하나의 방식으로 통합하여 제공하지만, 현재는 도메인 지식을 테스트 시점에 반영할 수 없다는 결정적인 한계가 있습니다.

기존의 CFM은 다음 중 하나에 해당합니다:

1. 학습 사전 확률(training prior)을 특정 인과 구조(예: 백도어 조정 케이스)로 제한하며, 이는 새로운 가정이 생길 때마다 비용이 많이 드는 재학습을 요구합니다.
2. **가능한 모든 구조에 대해 주변화(marginalize)**를 수행하며, 이는 부분적인 도메인 지식이 존재함에도 이를 무시함으로써 불필요하게 보수적인 추정치와 부정밀한 예측을 초래합니다.

본 연구가 다루는 핵심 과제는 일반 목적의 CFM이 파운데이션 모델의 유연성을 유지하면서도, 부분적인 인과 정보(예: 부분적으로 알려진 인과 그래프 또는 조상 관계)를 추론 과정에서 조건화(conditioning)할 수 있도록 하는 방법입니다.

방법론

1. 인과 지식의 표현: 부분 조상 행렬 (Partial Ancestral Matrices, PAMs)

저자들은 **부분 조상 행렬(PAMs)**을 조건화 신호로 사용할 것을 제안합니다. 직접적인 인과 에지($A_{ij}=1$)를 요구하는 인접 행렬(adjacency matrices)과 달리, PAM은 조상 관계($z_i$가 $z_j$의 조상이면 $T_{ij}=1$)를 인코딩합니다.

• 장점: 조상 지식은 직접적인 인과 기제(예: 흡연이 암을 유발한다는 것을 아는 것이 정확한 생물학적 경로를 명시하는 것보다 쉬움)보다 더 견고하고 얻기 쉽습니다.
• 부분성: 행렬 $\tilde{T} \in \{-1, 0, 1\}^{K \times K}$는 다음을 허용합니다:
  • $1$: 알려진 조상.
  • $-1$: 알려진 비조상 (예: 시간적 순서에 의해 배제됨).
  • $0$: 알 수 없는 관계.
    이 표현 방식은 지식이 없는 경우, 부분적인 경우, 그리고 완전한 경우를 모두 포괄합니다.

2. 구조적 조건화 메커니즘 (Architectural Conditioning Mechanisms)

본 논문은 PAM을 입력받아 두 가지 상호 보완적인 메커니즘을 통해 작동하도록 수정된 트랜스포머 기반 CFM 아키텍처를 소개합니다.

• 구조적 어텐션 바이어싱 (Structural Attention Biasing):
  • 소프트 바이어스 (Soft Bias): 학습 가능한 스칼라 바이어스($\beta_{anc}, \beta_{non-anc}$)를 어텐션 로짓(attention logits)에 더합니다. 양(+)의 바이어스는 알려진 조상에게 주의를 기울이도록 유도하고, 음(-)의 바이어스는 알려진 비조상에 대한 주의를 억제합니다. 이를 통해 모델은 불완전한 정보에도 불구하고 인과적 부모(parents)를 우선시할 수 있습니다.
  • 하드 마스킹 (Hard Masking): 알려진 비조상에 대한 어텐션을 $-\infty$로 엄격하게 설정하는 대안적 방법입니다.
• 구조적 특징 변조 (Structural Feature Modulation, GCN):
  • 그래프 합성곱 네트워크(GCN) 인코더가 PAM을 처리하여 구조 인식 노드 임베딩을 생성합니다.
  • 이 임베딩은 **적응형 레이어 정규화(Adaptive Layer Normalization, AdaLN)**를 통해 모든 트랜스포머 블록에 주입되어, 인과 그래프 내에서의 전역적 구조적 위치에 따라 변수의 은닉 표현(hidden representations)을 변조합니다.

3. 학습 및 데이터 생성

• 사전 확률 (Prior): 저자들은 본질적으로 인과적인 표 형식 파운데이션 모델(Tabular Foundation Model, TFM) 사전 확률을 구축했습니다. 이는 다양한 메커니즘(MLP, XGBoost, 다양한 비선형성)과 노이즈 분포를 가진 구조적 인과 모델(SCMs)을 샘플링하여 합성 데이터셋을 생성합니다.
• 분산 학습 (Amortized Training): 모델은 정보가 누락된 다양한 정도를 처리하도록 학습됩니다. 학습 과정에서 PAM의 항목들을 무작위로 숨김(0으로 설정)으로써, 모델이 전체, 부분 또는 정보가 없는 상황에 모두 적응할 수 있는 단일 가중치 세트를 학습하도록 강제합니다.

주요 결과

1. 조건화의 효과성

선형-가우시안(linear-Gaussian) 및 복잡한 비선형 사전 확률에 대한 실험 결과는 다음과 같습니다:

• 소프트 어텐션 + GCN이 가장 효과적인 조건화 전략이며, 그래프 조건화가 없는 베이스라인, 하드 마스킹, 또는 GCN 단독 방식보다 일관되게 우수한 성능을 보였습니다.
• **조상 행렬(ancestral matrices)**에 조건화하는 것이 전체 인접 행렬에 조건화하는 것과 유사한 성능을 보여, 조상 지식을 실용적인 대리물(proxy)로 사용하는 것이 타당함을 입증했습니다.

2. 부분 정보에 대한 견고성

• 분산 효율성 (Amortization Efficiency): 무작위로 숨겨진(0으로 표시된) PAM을 사용하여 학습된 단일 모델이, 전체 정보 또는 정보가 없는 경우에만 학습된 특화 모델들과 거의 대등한 성능을 보였습니다.
• 무지(Ignorance) vs 오설정(Misspecification): 불확실한 에지를 숨기는 것(알 수 없음으로 표시)이 에지를 오설정하는 것(방향을 뒤집는 것)보다 훨씬 덜 해롭다는 중요한 발견을 했습니다. 성능은 에지가 숨겨짐에 따라 점진적으로 저하되지만, 에지가 잘못 지정되면 급격히 떨어집니다. 이는 부분 행렬의 실용적 가치를 강조합니다.

3. 준합성 벤치마크 (Semi-Synthetic Benchmarks)

RealCause 벤치마크(IHDP, ACIC, CPS, PSID)에서:

• **비혼란성(unconfoundedness)**을 인코딩하는 부분 조상 정보를 제공하는 것은 그래프 조건화가 없는 모델에 비해 성능($\sqrt{PEHE}$ 및 상대적 ATE 오차 기준)을 크게 향상시켰습니다.
• 그래프 조건화 모델은 대부분의 데이터셋에서 Do-PFN 및 CausalFM과 같은 특화된 베이스라인을 능가했습니다.
• CausalPFN이 RealCause에서 가장 우수한 종합 성능을 보였으나, 저자들은 이를 그래프 조건화 때문이 아니라 사전 확률의 정렬(CausalPFN의 학습 데이터가 RealCause의 데이터 생성 과정을 모방함) 때문이라고 분석했습니다. 그래프 조건화가 도입되면, 본 모델이 CausalFM 및 Do-PFN을 앞섭니다.

4. 특화 모델과의 비교

백도어 기준(back-door criterion)이 위반되는 설정(CausalPFN이나 CausalFM 같은 특화 모델이 오설정된 가정을 사용하는 상황)에서, 그래프 조건화된 CFM은 상당한 우위를 보였습니다. 이는 가용한 부분 구조를 활용하여 식별 불가능한(non-identifiable) 사례를 처리할 수 있는 능력을 입증합니다.

의의 및 주장

본 논문은 "올인원(all-in-one)" 인과적 파운데션 모델 개발의 핵심 장애물을 해결했다고 주장합니다. 즉, 데이터 기반으로 인과적 질의에 답하는 동시에 어떠한 양의 도메인 전문 지식도 효과적으로 활용할 수 있는 능력입니다.

• 통합 프레임워크: 단일 CFM이 재학습 없이도 관측 데이터와 다양한 수준의 인과 지식(없음, 부분적, 혹은 전체)에 유연하게 조건화될 수 있음을 보여줍니다.
• 실용적 유용성: 부분 조상 행렬을 활용함으로써, 정밀한 그래프를 요구하는 전통적인 인과 추정기의 경직성과 도메인 지식을 무시하는 현재 파운데이션 모델의 "블랙박스"적 특성 사이의 간극을 메웁니다.
• 제한된 범위: 저자들은 일부 지표에서 절대적인 성능 향상이 작다는 점을 인정하며(이는 사전 확률의 작은 인과 효과 때문임), 본 방법론이 미래의 견고한 인과 효과 추정 모델을 위한 실행 가능하고 효과적인 토대를 구축했음을 강조합니다. 또한 현재 작업은 완전히 관측된 변수에 집중하고 있으며, 잠재적 혼란 변수(hidden confounders) 문제는 향후 "올인원" 발전을 위한 과제로 남겨두었습니다.