기술 요약: FoundCause

문제 정의

관측 데이터로부터의 인과 발견(Causal discovery)은 머신러닝과 통계학에서 여전히 근본적인 과제로 남아 있다. 핵심적인 어려움은 통제된 개입(controlled interventions)에 대한 접근 없이 방향성 있는 인과 구조를 복구하고 잠재적 교란(latent confounding)을 식별하는 데 있다. PC(constraint-based), GES(score-based), 그리고 NOTEARS와 같은 연속 최적화 방식(continuous optimization approaches)을 포함한 고전적 방법론들은 이론적으로는 잘 정립되어 있으나, 상당한 한계를 지닌다. 이러한 방법들은 데이터셋마다 비용이 많이 드는 최적화 과정을 요구하며, 하이퍼파라미터와 분포 가정에 민감하고, 고차원 또는 이질적인 데이터 환경으로 확장하는 데 실패하는 경우가 많다. 더욱이, 인과 발견은 선형성, 가법 노이즈(additive noise), 혹은 충실성(faithfulness)과 같은 강력한 가정이 전제되지 않으면 일반적으로 식별 불가능(not identifiable)하다. 이러한 가정들은 실제 세계의 시나리오에서 빈번하게 위배된다.

최근의 아모티제이션(amortized) 접근법들은 데이터셋을 그래프로 직접 매핑하기 위해 합성 데이터로 모델을 학습시켜 확장성 문제를 해결하려 시도해 왔다. 그러나 기존의 신경망 기반 방법들은 인과 관계의 비대칭성이나 고차 구조 패턴(chain, collider)과 같은 도메인 특화된 인과적 귀납 편향(causal inductive biases)을 명시적으로 통합하지 못하며, 잠재적 교란을 명시적으로 모델링하는 데에도 실패하는 경우가 많다.

방법론: FoundCause

FoundCause는 관측 데이터셋을 단 한 번의 순방향 패스(forward pass)를 통해 인과 그래프(방향성 있는 에지와 잠재적 교환 행렬 모두 포함)로 직접 매핑하도록 설계된 아모티제이션 기반 인과 발견 모델이다. 이 모델은 전적으로 합성 구조적 인과 모델(SCM)을 통해 학습되며, 별도의 데이터셋별 튜닝 없이도 실제 데이터에 일반화된다.

아키텍처

아키텍처는 순열 불변 트랜스포머(permutation-invariant transformer)와 명시적인 통계적 귀납 편향을 결합한 하이브리드 설계이다:

1. 입력 표현: 모델은 데이터 행렬 $X \in \mathbb{R}^{N \times D}$와 선택적 바이너리 관측 마스크 $M$을 입력으로 받는다. 각 엔트리는 정규화된 값과 관측 상태를 포함하는 2채널 벡터로 표현되어, 모델이 결측치를 임퓨테이션(imputation) 없이도 네이티브하게 처리할 수 있도록 한다.
2. 축 분해 인코더(Axis-Factorized Encoder): 핵심 인코더는 샘플($N$)과 변수($D$)에 대해 교차하는 어텐션 블록을 사용하는 트랜스포머를 활용한다.
   • 변수 어텐션(Variable-Attention): 학습 가능한 글로벌 토큰과 **통계 조건부 편향(stat-conditioned bias)**을 포함한다. 이 편향은 고전적인 비대칭 측정치(예: 상관관계, 잔차 분산 비대칭성, V-구조 지표)에서 유도된 쌍별 통계적 특징을 어텐션 메커니즘에 직접 주입하여, 모델이 알려진 인과 신호를 따르도록 유도한다.
   • 샘플 어텐션(Sample-Attention): 분포적 특성을 포착하기 위해 샘플 전반에 걸쳐 정보를 집계한다.
3. 풀링(PMA): 멀티헤드 어텐션 기반 풀링(Pooling by Multihead Attention) 메커니즘은 샘플 수준의 임베딩을 변수별 표현으로 집계하며, 다중 양상성(multimodality)과 같은 고차 분포적 특성을 포착하기 위해 맥스 풀링(max-pooling)을 결합한다.
4. 요소 분해 에지 디코더(Factored Edge Decoder): 예측 헤드는 에지의 존재 여부와 방향을 분리한다:
   • 존재 헤드(Existence Head): 에지가 존재하는지를 예측하기 위해 대칭적 특징(임베딩의 합, 요소별 곱, 교란 점수)을 사용한다.
   • 방향 헤드(Direction Head): 방향을 예측하기 위해 반대칭적 특징(임베딩의 차 및 게이트형 비대칭 통계)을 사용한다.
5. 삼각형 정교화(Triangular Refinement): AlphaFold2에서 영감을 받은 정교화 모듈은 변수 트리플 $(i, k, j)$에 대해 $R$번의 업데이트를 수행한다. 이를 통해 모델은 고차 인과 모티프(chain, fork, collider)를 추론하여 마르코프 동등 클래스(Markov equivalence classes)를 해결할 수 있다.
6. 교란 모듈(Confounder Module): 전용 모듈은 학습 가능한 잠재 토큰을 사용하여 숨겨진 공통 원인을 모델링한다. 이 모듈은 변수 토큰 로딩의 노이지-OR(noisy-OR) 집계를 통해 쌍별 교란 확률을 계산하고, 대칭적인 교란 행렬 $\hat{C}$를 생성한다.

학습 및 손실 함수

모델은 다양한 그래프 토폴로지, 비선형 메커니즘, 노이즈 분포를 아우르는 DoWhy 및 커스텀 생성기를 통한 수천 개의 합성 SCM을 통해 학습된다. 주요 학습 전략은 다음과 같다:

• 연속적 재생성(Continuous Regeneration): 고정된 코퍼스에 대한 과적합을 방지하기 위해 매 에포크마다 합성 데이터를 재생성한다.
• 안티-숏컷 증강(Anti-Shortcut Augmentation): 변수 인덱스의 무작위 치환과 서브포퓰레이션 혼합을 사용하여 모델이 가짜 상관관계(예: 변수 순서)에 의존하는 것을 방지한다.
• 손실 함수: 방향성 있는 에지에 대한 클래스 균형 바이너리 크로스 엔트로피와 여러 보조 항을 결합한다:
  • 방향 교정($L_{cal}$): 반대 방향 간의 극단적인 로짓 격차를 제한한다.
  • 스켈레톤 감독($L_{skel}$): 인접성을 위해 방향 불가지론적(direction-agnostic) 감독을 제공한다.
  • 교란 손실($L_{conf}$): 잠재 교란 모듈을 감독한다.
  • 희소성 및 규제화: 과도하게 조밀한 그래프에 대한 페널티와 풀링/게이팅 메커니즘에 대한 규제화를 적용한다.

주요 기여

1. 명시적 잠재 교란 모델링: FoundCause는 전용 학습 가능 토큰을 사용하여 잠재적 교란을 명시적으로 모델링하고, 방향성 있는 DAG와 대칭적인 교란 행렬을 모두 출력하는 최초의 아모티제이션 기반 인과 발견 접근법이다.
2. 통계적 귀납 편향: 일반적인 신경망 아키텍처와 달리, FoundCause는 고전적인 쌍별 통계적 특징(비대칭성, V-구조)을 어텐션 메커니즘과 디코딩 과정에 직접 주입하여, 고전적 인과 발견 원리와 딥러닝을 결합한다.
3. 삼각형 정교화: 삼각형 기반 정교화 모듈의 도입을 통해 모델이 고차 인과 모티프를 추론할 수 있게 함으로써, 마르코프 동등 구조의 해상도를 높인다.
4. 네이티브 결측 데이터 처리: 아키텍처는 마스크된 입력을 네이티브하게 처리하여, 고전적 베이스라인에서 발생하는 임퓨테이션 방식의 편향을 피한다.
5. 제로샷 일반화: 모델은 훈련 범위($D \in [2, 50]$)를 벗어난 변수 개수($D$) 및 샘플 크기($N$)에 대해서도 강력한 일반화 성능을 보여주며, $D=100$인 데이터셋에서도 성능을 유지한다.

실험 결과

FoundCause는 15개의 실제 및 준현실적 벤치마크(ASIA, CHILD, SACHS, PETSHOP 포함)와 Tübingen 인과 관계 쌍 벤치마크를 통해 평가되었다.

• 성능: FoundCause는 11개의 고전적 비아모티제이션 방법(예: PC, GES, NOTEARS)과 4개의 아모티제이션 방법(예: AVICI, CSIvA, SEA)보다 우수한 성능을 보인다.
  • 가장 강력한 비아모티제이션 방법 대비 F1 점수에서 +9.6%, **AUROC에서 +1.2%**의 향상을 달야냈다.
  • 최고의 고전적 베이스라인 대비 SHD/d를 18.9% 감소시켰다.
  • F1, AUROC, SHD/d 모두에서 최상위 순위를 차지하면서 15개 데이터셋 전체에 대해 성공적으로 추론을 완료한 유일한 방법이다(일부 고전적 방법은 시간이 초과되거나 실패함).
• 이변량 방향성(Bivariate Direction): Tübingen 벤치마크에서 FoundCause는 특화된 이변량 방법(SLOPTY, HECI)의 성능에 근접하며, 고전적 베이스라인인 ICA-LiNGAM을 크게 능가한다.
• 강건성: 30% MAR(Missing At Random) 오염 상황에서도 FoundCause는 클린 데이터 F1의 92%를 유지하는 반면, 임퓨테이션에 의존하는 고전적 방법들은 성능이 크게 저하된다.
• 효율성: 추론은 평균 2초 미만의 단일 순방향 패스로 수행되며, 이는 몇 시간이 소요되는 최적화 기반 방법들과 대조적이다.

의의 및 주장

본 논문은 FoundCause가 확장 가능하고 실용적인 인과 발견을 향한 중요한 진전임을 주장한다. 구조적 귀납 편향이 결합된 아모티제이션 추론을 통해, 고전적 방법의 이론적 보증과 신경망 접근법의 확장성 사이의 트레이드오프를 해결한다.

저자들은 FoundCause가 새로운 식별 가능성 보증에 의존하는 것이 아니라, 광범위한 데이터 생성 프로세스에서 잘 작동하는 실용적인 추론 절차를 학습한다는 점을 강조한다. 잠재적 교란을 명시적으로 모델링하는 능력과 결측 데이터를 네이티브하게 처리하는 능력은 실제 적용 가능성을 위한 핵심적인 발전으로 강조된다. 이 연구는 FoundCause를 실무적 인과 분석을 위한 실용적인 도구이자, 인과적 추론을 네이티브하게 통합하는 미래 모델의 토대로 위치시킨다. 저자들은 재현성을 지원하기 위해 모델을 오픈 소스로 공개할 계획이다.