Interventional Time Series Priors for Causal Foundation Models

이 논문은 기존 시계열 벤치마크의 한계를 극복하고 인과적 기초 모델을 훈련하기 위해 관측 및 개입 데이터를 모두 제공하는 합성 시계열 구조 인과 모델 생성 프레임워크인 'CausalTimePrior'를 제안하고, 이를 통해 PFN 기반의 컨텍스트 내 인과 효과 추정이 가능함을 입증합니다.

핵심

이 논문은 **"시간의 흐름 속에서 인과관계를 파악하는 새로운 AI 의 탄생"**에 대한 이야기입니다.

기존의 AI 는 주로 "과거의 데이터를 보고 미래를 예측하는 것"에 능했습니다. 하지만 이 논문은 **"만약 우리가 무언가를 강제로 바꾸면 (개입), 미래가 어떻게 변할까?"**라는 질문을 AI 가 스스로 답할 수 있게 하려는 시도입니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

1. 문제: "만약에..."를 상상할 수 있는 AI 가 없다?

우리가 AI 에게 "내일 비가 오면 우산을 챙길까?"라고 물으면, 과거 데이터를 보고 "비가 오면 우산을 챙기는 경우가 많았으니 챙기겠지"라고 답합니다. 하지만 "만약 내가 내일 우산을 아예 안 챙기게 강제로 만들면, 그 사람의 기분은 어떻게 변할까?" 같은 질문에는 답하기 어렵습니다.

기존의 시간序列 (Time Series) 데이터는 모두 '관측된 사실'만 담고 있습니다. 마치 드라마의 한 장면을 찍은 사진만 있는 것과 같습니다. 우리는 그 장면에서 "주인공이 왜 울고 있는지"는 알 수 있지만, "만약 주인공이 웃었다면 스토리가 어떻게 달라졌을까?"를 알려주는 **대안적인 시나리오 (인터벤션 데이터)**는 없습니다.

이런 데이터가 없으면, AI 는 "왜 (Why)"와 "만약 (What if)"을 배우지 못합니다.

2. 해결책: "가상의 실험실"을 만든다 (CausalTimePrior)

저자들은 이 문제를 해결하기 위해 **CausalTimePrior(인과적 시간 우선순위)**라는 것을 만들었습니다. 이를 **'가상의 실험실'**이나 **'시뮬레이션 게임 엔진'**이라고 생각하면 쉽습니다.

• 기존 방식: 실제 세상에서 실험할 수 없어서 데이터가 부족함.
• 이 논문의 방식: 컴퓨터 안에서 수천, 수만 개의 가상의 세상을 만들어냅니다.
  • "이 세상은 A 가 B 를 원인으로 가집니다."
  • "그런데 갑자기 A 를 강제로 바꿔보세요 (예: A 를 0 으로 고정)."
  • "오! 그럼 B 가 이렇게 변하네요!"

이렇게 **관측 데이터 (원래 모습)**와 **개입 데이터 (바꾼 모습)**를 짝지어 만들어낸 것입니다. 마치 요리사에게 "재료 A 를 넣으면 맛이 이렇고, A 를 빼면 맛이 저렇다"는 식으로 수만 번의 가상 요리 실험을 시켜서 레시피를 익히는 것과 같습니다.

3. 이 실험실의 특별한 점: "상황이 변하는 세상"

이 실험실의 가장 큰 특징은 세상의 법칙이 변할 수 있다는 점입니다.

• 일반적인 시뮬레이션: 물리 법칙이 항상 일정함.
• 이 실험실 (Regime-switching): 때로는 "여름"이 되고, 때로는 "겨울"이 되어 인과관계가 바뀝니다.
  • 예: "여름에는 선풍기를 켜면 시원해지지만 (인과), 겨울에는 선풍기를 켜도 추울 뿐이다 (인과 관계 소멸)."

이처럼 상황 (Regime) 이 바뀌는 복잡한 세상을 시뮬레이션할 수 있기 때문에, AI 는 더 똑똑하게 "상황을 봐서 인과관계를 판단하는 법"을 배울 수 있습니다.

4. 결과: "맥락 학습"을 하는 AI (PFN)

이 가상의 실험실에서 훈련된 AI(기초 모델, Foundation Model) 는 놀라운 능력을 보여줍니다.

• 기존 AI: 새로운 데이터를 볼 때마다 다시 공부를 해야 함 (매번 새로운 시험을 치러야 함).
• 이 논문의 AI (PFN): 한 번 배운 지식을 바로 적용합니다.
  • 마치 유능한 의사처럼, 환자를 처음 보더라도 "이 환자는 과거에 A 를 치료했을 때 B 가 좋아졌던 기록이 있으니, 이번에도 A 를 치료하면 B 가 나아지겠구나"라고 즉석에서 추론합니다.

실제 실험 결과, 이 AI 는 "인과관계가 없는 두 변수"와 "인과관계가 있는 두 변수"를 구별하는 데 매우 뛰어났습니다. 마치 가짜 뉴스와 진짜 뉴스를 구별하는 사람처럼, 겉보기에 비슷해 보여도 (상관관계) 실제로는 원인이 아닌 것을 구별해냈습니다.

5. 요약: 왜 이것이 중요한가?

이 연구는 **"시간이 흐르는 데이터 (주가, 날씨, 뇌파 등) 에서 인과관계를 파악하는 AI 의 기초를 닦았다"**는 점에 의미가 있습니다.

• 과거: "데이터가 없으니 인과관계 AI 는 만들 수 없어."
• 지금: "가상의 실험실 (CausalTimePrior) 을 만들어서 AI 에게 '만약에'를 가르쳤다."
• 미래: 이 AI 를 통해 의사결정 지원 시스템을 만들 수 있습니다.
  • "이 약을 주면 환자의 상태가 어떻게 변할까?"
  • "이 정책을 바꾸면 경제가 어떻게 변할까?"

결국 이 논문은 AI 가 단순히 "예측"하는 것을 넘어, "이해하고 판단"하는 단계로 나아가는 중요한 디딤돌이 된 것입니다. 마치 어린아이가 장난감으로 세상을 연습하며 성장하듯, AI 도 이 가상의 실험실에서 인과관계의 지혜를 얻은 셈입니다.

기술 요약

1. 문제 정의 (Problem)

• 배경: 사전 데이터 적합 네트워크 (Prior-Data Fitted Networks, PFNs) 는 표본 데이터 (Tabular data) 분야에서 인과 추론을 위한 강력한 기반 모델 (Foundation Models) 로 부상했습니다. Do-PFN, CausalFM 등의 연구는 합성 데이터로 사전 학습하여 관찰 데이터만으로 개입 (Intervention) 효과를 추정하는 능력을 보여주었습니다.
• 한계: 이러한 PFN 접근법을 시계열 (Time Series) 로 확장하는 데는 근본적인 장벽이 존재합니다.
  • 기존 시계열 인과성 벤치마크 (CausalTime, TimeGraph, CauseMe 등) 는 실제 관측 데이터나 지상 진실 (Ground-truth) 인과 그래프를 제공하지만, 개입 데이터 (Interventional data) 를 생성하지 않습니다.
  • 인과 기반 모델의 핵심 학습 목표인 "개입 하에서의 결과 예측"을 학습하려면 관찰 데이터와 개입 데이터가 쌍을 이루는 (Paired) 데이터가 필수적이지만, 이를 제공하는 합성 데이터 생성기가 부재했습니다.
• 목표: 시계열 인과 추론을 위한 기반 모델을 학습시킬 수 있는 관찰 데이터와 개입 데이터가 쌍을 이루는 합성 시계열 생성 프레임워크를 개발하는 것.

2. 방법론 (Methodology): CausalTimePrior

저자들은 CausalTimePrior라는 새로운 프레임워크를 제안하며, 이는 이산 시간 동적 구조 인과 모델 (Discrete-time Dynamic Structural Causal Models, TSCMs) 에서 관찰 및 개입 시계열을 샘플링하는 사전 분포 (Prior) 입니다.

2.1. 핵심 구성 요소

1. 시계열 구조 인과 모델 (TSCM) 정의:

   • 시간 지연 DAG (Directed Acyclic Graph) 를 기반으로 하며, $G_0$는 동시적 (Instantaneous) 엣지, $G_k$는 시간 지연 $k$에 대한 엣지를 표현합니다.
   • 구조 방정식 $X_t^{(i)} = f_i(Pa(X_t^{(i)})) + \epsilon_t^{(i)}$를 따릅니다.

2. 사전 분포 (Prior Distribution) 설계:

   • 그래프 (Graph): 변수 수 ($N$), 최대 지연 ($K$), 엣지 확률 ($p$) 을 무작위 샘플링합니다. 엣지는 Erdős-Rényi 모델을 기반으로 하며 위상 정렬을 통해 비순환성을 보장합니다.
   • 메커니즘 (Mechanism): 다양한 비선형 활성화 함수 (sin, cos, tanh, exp 등) 와 가중치를 사용하여 복잡한 비선형 자기회귀 (Nonlinear Autoregressive) 동역학을 생성합니다.
   • 노이즈 (Noise): 정규, 균일, 라플라스 분포 등 다양한 노이즈 분포를 적용합니다.

3. 개입 유형 (Intervention Types) 지원:

   • Hard Intervention (do-연산자): 특정 변수의 값을 상수 $c$로 고정하여 들어오는 엣지를 끊습니다.
   • Soft Intervention: 메커니즘에 시프트 ($\delta$) 를 추가하여 분포를 변경합니다.
   • Time-varying Intervention: 개입 값이 시간에 따라 변화하는 프로필 (단계, 램프, 정현파 등) 을 따릅니다.

4. 레짐 스위칭 (Regime-switching) 동역학:

   • 현실 세계의 구조적 단절 (Structural breaks) 을 모델링하기 위해 마코프 체인에 기반한 레짐 스위칭을 도입했습니다.
   • 서로 다른 레짐 ($R$) 마다 고유한 인과 그래프와 메커니즘을 가지며, 시간이 지남에 따라 인과 구조가 변경되는 시나리오를 생성합니다.

5. 데이터 생성 파이프라인:

   • 하나의 TSCM $S$를 샘플링한 후, 동일한 구조를 기반으로 관찰 시계열 ($X^{obs}$) 과 개입 시계열 ($X^{int}$) 을 생성하여 학습 튜플 $(X^{obs}, \text{intervention spec}, Y^{int})$ 을 구성합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 레짐 스위칭 지원 생성기: 기존 생성기들은 정적인 인과 구조만 다뤘으나, CausalTimePrior 는 시간에 따라 변하는 인과 구조 (Regime-switching) 와 개입 데이터를 동시에 지원하는 최초의 프레임워크입니다.
2. 다양한 개입 유형 지원: Hard, Soft, Time-varying 개입을 모두 지원하며, 비선형 메커니즘과 다양한 노이즈 분포를 포함하여 실제 시계열의 복잡성을 포괄합니다.
3. PFNs 를 위한 실용적 사전 (Prior): 시계열 인과 추론을 위한 기반 모델 학습을 위한 관찰/개입 쌍 데이터를 체계적으로 생성하는 표준적인 방법을 제시했습니다.

4. 실험 결과 (Results)

저자들은 CausalTimePrior 로 생성된 10 만 개의 TSCM 데이터로 2 계층 GRU 기반의 간단한 PFN 을 학습시키고, 1,000 개의 홀드아웃 (held-out) TSCM 에서 성능을 평가했습니다.

• 인과 구조 학습 능력:
  • 모델은 개입 대상 변수 (Intervened) 에 대한 질문에서 Ground Truth 와의 비율 (Pred/GT) 이 0.95로 매우 높았으나, 인과적 연결이 없는 변수 (Non-causal) 에 대해서는 0.46으로 낮았습니다. 이는 모델이 인과적 연결을 구분하여 학습했음을 시사합니다.
  • VAR(벡터 자기회귀) 베이스라인과 비교했을 때, VAR 은 상관관계에 기반하여 인과적이지 않은 변수에서도 큰 오차를 보인 반면, 제안된 PFN 은 인과적이지 않은 경우 오차를 최소화했습니다 (Spurious correlation 제거).
• 성능 비교:
  • 단일 데이터셋에 맞춰 학습된 VAR-OLS 와 유사한 RMSE(176.45 vs 176.45) 를 달성하면서도, 데이터셋별 재학습 (Per-dataset fitting) 이 필요 없는 In-context 학습이 가능했습니다.
  • 인과 그래프를 발견하는 PCMCI+ 보다는 RMSE 가 약간 높았으나, 그래프 발견에 드는 계산 비용을 절감할 수 있습니다.
• 개입 유형 다양성의 효과:
  • Hard 개입만 학습한 모델보다 Hard, Soft, Time-varying 을 모두 학습한 모델이 효과 방향 정확도 (70.4% vs 63.9%) 와 효과 크기 상관관계에서 더 우수한 성능을 보였습니다.
• OOD(Out-of-Distribution) 일반화:
  • 더 크고 밀집된 그래프, 복잡한 비선형 메커니즘을 가진 테스트 데이터에서는 성능이 저하되었으나, 여전히 인과적 연결 유무에 따른 예측 차이를 유지했습니다.

5. 의의 및 결론 (Significance)

• 시계열 인과 기반 모델의 길을 열다: 이 연구는 시계열 분야에서 PFN 기반의 인과 추론 기반 모델을 구축할 수 있는 필요한 데이터 인프라 (Synthetic Generator) 를 최초로 제공했습니다.
• 실용적 가치: 실제 데이터가 부족하거나 개입 실험이 불가능한 상황 (예: 의료, 금융, 기후) 에서, 합성 데이터를 통해 사전 학습된 모델이 새로운 시나리오에서 개입 효과를 추정할 수 있는 가능성을 입증했습니다.
• 미래 방향: 현재 이산 시간 및 마코프 가정을 기반으로 하지만, 연속 시간 (Continuous-time) 동역학 및 비마코프적 혼란 (Non-Markovian confounding) 으로 확장하고, 실제 데이터 기반의 반합성 (Semi-synthetic) 벤치마크를 구축하는 것이 향후 중요한 과제로 제시되었습니다.

요약하자면, 이 논문은 시계열 인과 추론을 위한 대규모 모델 (Foundation Model) 학습을 가로막던 '개입 데이터 부재' 문제를 해결하기 위해, 다양한 개입 유형과 레짐 스위칭을 지원하는 합성 데이터 생성기 (CausalTimePrior) 를 제안하고, 이를 통해 학습된 모델이 관찰 데이터만으로 인과 효과를 추정할 수 있음을 실험적으로 증명했습니다.