기술 요약: CausalMoE

문제 정의

그랜저 인과 발견(Granger Causal Discovery, GCD)은 복잡한 시스템의 시간적 의존성을 분석하는 데 있어 근본적인 패러다임입니다. 그러나 기존의 신경망 기반 GCD 방법론들은 주로 "일률적인" 균일 분포 모델링(Uniform Distribution Modeling, UDM) 전략에 의존합니다. 이 접근 방식은 모든 시간적 세그먼트가 단일한 기저 분포에서 추출된 샘플이라고 가정하며, 데이터 생성 과정이 균질하다고 간주합니다. 실제 시계열 데이터에서 이러한 가정은 짧은 시간 단위의 패치(patch) 수준에서도 발생하는 분포 변화(distribution shifts)와 동적 레짐 변화(regime changes)를 설명하지 못합니다. 결과적으로 UDM 기반 방법론들은 이질적인 레짐들을 혼재시켜, 표현형을 엉키게 만들고 진정한 인과관계를 희석시킨 가짜 인과 그래프를 생성하게 됩니다.

또한, 현재의 GCD 방법론들은 수치적 관측값에만 전적으로 의존하는 엄격한 단일 모드(unimodal) 체계입니다. 복잡한 시스템에서 수치적 상관관계만으로는 인과 식별에 충분하지 않은 경우가 많은데, 이는 의미론적 맥락(텍xtual descriptions, 이벤트 주석)이나 시각적 상태가 결정적인 혼란 변수(confounder) 또는 판별 신호로 작용할 수 있기 때문입니다. 최근의 시계열 파운데이션 모델(TSFMs)은 대규모 사전 학습을 통해 데이터 부족 문제를 해결하고 있으나, 이들은 인과적 충실도(causal fidelity)보다는 예측 최적화에 집중하며, 이 과정에서 구조적 변동성을 잠재 표현(latent representation) 속에 흡수시켜 인과 발견에 필요한 불변성(invariance)을 훼 Erode(침식)시키곤 합니다.

방법론: CausalMoE

이러한 한계를 해결하기 위해 저자들은 CausalMoE를 제안합니다. 이는 십억 단위 규모의 멀티모달 그랜저 인과 파운데이션 모델입니다. 이 아키텍처는 정적인 모델링 가정을 탈피하여, 패치 수준의 시간적 이질성을 명시적으로 모델링하고 멀티모달 사전 지식(prior)을 통합합니다. 프레임워크는 세 가지 핵심 모듈로 구성됩니다.

1. 멀티모달 패치 인코딩 (Multimodal Patch Encoding)

입력되는 다변량 시계열은 패치 단위로 분할됩니다. 의미론적 및 시각적 사전 지식을 활용하기 위해 각 패치는 세 가지 모달리티로 변환됩니다:

• 시간적(Temporal): 원시 수치 패치.
• 텍스트적(Textual): 패치를 데이터셋 컨텍스트, 과거 데이터, 통계적 특징(예: 추세, 중앙값), 태스크 지침을 포함한 구조화된 프롬프트로 래핑합니다. 이는 동결된(frozen) 거대언어모델(LLM)에 의해 처리됩니다.
• 시각적(Visual): 패치를 쌍선형 보간법(bilinear interpolation)을 사용하여 이미지 형태로 크기를 조정하고 정규화합니다. 이는 동결된 시각-언어 모델(VLM)에 의해 처리됩니다.
  결정적으로, 이러한 모달리티들은 관찰된 과거 패치의 결정론적 뷰(deterministic views)이며, 추가적인 외생 변수가 아닙니다. 따라서 새로운 혼란 변수를 도입하지 않습니다.

2. 패턴 라우팅 기반 이질적 전문가 혼합 (Pattern-Routed Mixture of Heterogeneous Experts, MoHE)

분포 변화를 처리하기 위해, CausalMoE는 패치 특화 패턴 라우팅(Patch-Specific Pattern Routing, PSPR) 모듈을 도입합니다. 이 모듈은 부분 공간 클러스터링(subspace clustering)을 사용하여 잠재적인 시간적 패턴(예: 계절성, 추세, 스펙트럼 변동)을 감지하고, 각 패치를 가장 적합한 도메인 전문가에게 동적으로 라우팅합니다.
MoHE 아키텍처는 네 가지 특화된 전문가로 구성됩니다:

• 의미론적 전문가 (Semantic Expert): 동결된 LLM을 사용하여 프롬프트 수준의 의미론적 규칙성(추세, 노이즈 패턴)을 인코딩합니다.
• 멀티모달 전문가 (Multimodal Expert): 동결된 VLM을 사용하여 형태 수준의 시각적 구조(피크의 날카로움, 포락선 형태)를 포착합니다.
• 시간 주파수 전문가 (Temporal Frequency Expert): 시간 영역의 특징과 푸리에 영역의 표현을 결합하여 정적인 스펙트럼 패턴을 포착합니다.
• 다중 스케일 시간 전문가 (Multiscale Temporal Expert): 다운샘플링된 표현을 집계하여 비정상적(non-stationary) 추세와 계층적 계절성 패턴을 모델링합니다.
  게이팅 네트워크는 각 패치에 대해 상위-$k$개의 전문가를 선택함으로써, 레짐 특유의 메커즘을 공유 역학으로부터 분리해냅니다.

3. 인과 인식 셀프 어텐션 (Causality-Aware Self-Attention, CASA) 및 그래프 복구

해석 가능한 그래프 복구를 보장하기 위해, CausalMoE는 인과 인식 셀프 어텐션(CASA) 메커니즘을 채택합니다. 시간 단계(time steps)를 가로질러 작동하는 표준 셀프 어텐션과 달리, CASA는 변수 간(across variables)에 작동합니다. 이는 표준 투영 행렬을 변수 수준의 투영($\omega_q, \omega_k, \omega_v \in \mathbb{R}^{D \times D}$)으로 대체하여, 변수 간의 영향력을 명시적으로 인코딩하는 어텐션 가중치를 계산합니다.
인과 그래프는 근사 최적화(proximal optimization)를 통해 추론됩니다. 인과 인접 행렬의 희소성(sparsity)을 촉진하기 위해 가치 투영 가중치에 규제 항이 적용됩니다. 최적화는 비볼록(non-convex) 목적 함수를 풀기 위해 그룹 소프트 임계값 처리(group soft-thresholding)를 포함한 근사 경사 하강법(proximal gradient descent)을 사용하며, 이를 통해 희소하고 해석 가능한 그랜저 인과 그래프를 산출합니다.

주요 기여

1. CausalMoE 아키텍처: 패치 수준의 시간적 이질성을 명시적으로 모델링하는 십억 단위 규모의 멀티모달 파운데이션 모델을 제안합니다. 이는 패턴 라우팅 기반 이질적 전문가 혼합을 활용하여 패치를 특화된 전문가에게 동적으로 라우팅함으로써, 레짐 특유의 인과관계를 공유 역학으로부터 분리합니다.
2. 멀티모달 통합: GCD 루프에 LLM과 VLM을 통합한 최초의 사례입니다. 수치적 신호를 텍스트 및 시각적 사전 지식과 정렬함으로써, 수치 데이터만으로는 모호한 복잡한 시나리오에서 인과 추정을 정규화합니다.
3. 인과 인식 메커니즘: 라우팅된 멀티모달 표현으로부터 직접 희소하고 해석 가능한 그랜저 인과 그래프를 복구하기 위한 CASA 메커니로 및 근사 최적화 전략을 설계했습니다.

실험 결과

다섯 가지 벤치마크 데이터셋(합성 VAR 및 Lorenz-96 시스템, 시뮬레이션된 fMRI 데이터, 유전자 발현 데이터셋 DREAM-3 및 DREAM-4)에 대해 광범한 실험을 수행했습니다.

• 지도 학습 성능: CausalMoE는 모든 완전 지도 학습 벤치마크에서 새로운 SOTA(State-of-the-Art)를 달성했습니다. 특히 Lorenz-96 및 DREAM-4와 같은 복잡한 비선형 데이터셋에서 전통적인 방법(예: GC, PCMCI) 및 최신 신경망 방식(예: NGC, CUTS, JRNGC)을 크게 압도합니다.
• 퓨샷 일반화 (Few-Shot Generalization): 퓨샷 설정(데이터의 1%~10%로 학습)에서 CausalMoE는 탁월한 강건성을 보여줍니다. 전체 데이터로 학습된 베이스라인의 성능에 필적하는 성능을 데이터의 극히 일부만을 사용하고도 달성합니다. 예를 들어, DREAM-4에서 CausalMoE는 단 5%의 학습 데이터만으로 AUROC > 0.6을 달성한 반면, 기존 신경망 방법들은 성능이 급격히 저하되었습니다.
• 절제 연구 (Ablation Studies): 패턴 라우터, 멀티모달 변환 또는 CASA 메커니즘을 제거하면 성능이 일관되게 저하되며, 이는 각 구성 요소가 레짐을 분리하고, 의존성을 정규화하며, 희소한 인과 구조를 추출하는 데 필수적임을 입증합니다.
• 효율성: 더 큰 파운데이션 백본이 성능을 향상시키지만, CausalMoE의 경량화 버전은 파운데이션 모델을 동결된 특징 추출기로 사용하기 때문에 실질적으로 감소된 학습 비용으로도 강력한 인과 발견 능력을 유지합니다.

의의 및 주장

본 논문은 CausalMoE가 정적인 "일률적(one-size-fits-all)" 인과 모델링에서 적응형, 레짐 인식(regime-aware) 인과 모델링으로의 패러다임 전환을 의미한다고 주장합니다. 정적인 모델링 가정과 동적인 실제 세계의 이질성 사이의 괴리를 해결함으로써, CausalMoE는 전통적인 방법들이 실패하는 데이터가 부족하고 복잡한 시나리오에서도 신뢰할 수 있는 인과 추론을 가능하게 합니다.

저자들은 이 접근 방식이 단순히 기존 모델의 규모를 키우는 것이 아니라, 다음과 같이 인과 발견 파이프라인을 근본적으로 재고한다고 강조합니다:

1. 시간적 이질성을 완화(smoothing)하는 대신 명시적으로 모델링합니다.
2. 수치 데이터만으로는 식별 불가능한 인과 관계를 해소하기 위해 의미론적 및 시각적 사전 지식을 활용합니다.
3. 분포 변화와 제한된 데이터 가용성에 강건한 "서비스로서의 인과 발견(causal-discovery-as-a-service)"을 위한 실용적인 프레임워크를 제공합니다.

이 연구는 멀티모달 인과 발견을 향한 기초적인 단계로 자리매김하고 있으나, 저자들은 예측 의존성(그랜저 인과관계)에 대한 의존성과 사전 학습된 파운데이션 모델으로부터 상속될 수 있는 편향(bias)에 대한 한계를 언급하였습니다.