🤖 machine learning

A Causal Foundation Model for Structure and Outcome Prediction

이 논문은 합성 데이터로 학습되어 실제 데이터셋으로 일반화될 수 있으며, 인과 구조와 결과를 동시에 예측하는 동시에 퍼얼(Pearl)의 인과 계층 모든 단계에 걸친 질의를 지원하는 인과 파운데이션 모델인 TabPFN-CFM을 소개한다.

원저자: Max Zhu, Martino Mansoldo, Ching-Hao Wang, Stefan Groha

게시일 2026-06-26

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Max Zhu, Martino Mansoldo, Ching-Hao Wang, Stefan Groha

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 탐정이 되어 미스터리를 해결해야 한다고 상상해 보세요. 하지만 당신에게 주어진 것은 오직 정렬되지 않은 오래된 사진 더미(관찰 데이터)뿐이며, 목격자의 증언은 전혀 없습니다. 당신은 두 가지를 알아내야 합니다:

이야기: 누가 무엇을 일으켰는가? (비가 와서 풀이 젖은 것인가, 아니면 누군가 양동이를 엎지른 것인가?)
"만약에" (What If): 만약 당신이 다르게 행동했다면, 어떤 일이 일나했을까? (만약 양동이를 엎지르지 않았다면, 풀은 여전히 젖어 있었을까?)

보통 이를 해결하려면 세상의 규칙을 추측하는 인간 전문가가 필요하거나, 컴퓨터가 수백만 번의 추측을 하나씩 시도해 봐야 합니다. 이 논문은 TabPFN-CFM이라는 새로운 종류의 "슈퍼 탐정" AI를 소개합니다. 이 AI는 이미 수백만 개의 가상의 미스터리 이야기로 이루어진 도서관을 읽었습니다. 이 모델은 매우 다양한 시나리오를 접해 보았기 때문에, 당신이 엉망인 사진들을 보여주더라도 즉시 그 이야기와 당신의 "만약에" 질문에 답할 수 있습니다.

이 모델이 어떻게 작동하는지 쉬운 개념으로 나누어 설명하겠습니다:

1. "인과적 파운데이션 모델" (The Causal Foundation Model - 슈퍼 탐정)

이 모델을 수많은 합성(synthetic) 세계의 이야기를 공부하며 평생을 보낸 학생이라고 생각해보세요. 이 가상의 세계들에서 작가들은 수천 가지의 서로 다른 규칙을 만들었습니다: 때로는 중력이 다르게 작용하고, 때로는 사람들이 무작위로 행동하며, 때로는 숨겨진 요인(예: 비밀 요원)이 일을 망치기도 합니다.

이 학생은 너무나 많은 변형을 보았기 때문에, 당신이 실제 데이터셋(예: 매출 숫자나 학교 성적)을 보여주더라도 처음부터 규칙을 배울 필요가 없습니다. 그저 "아, 이건 내 도서관에 있는 시나리오 #4,592와 비슷하네"라고 말하며, 발생 가능한 인과 관계를 즉각적으로 파악해 냅니다.

2. 세 가지 단계의 미스터리 해결

이 논문은 이 모델이 저자들이 "인과 계층(Causal Hierarchy)"이라고 부르는 세 가지 유형의 질문을 처리할 수 있다고 주장합니다.

단계 1: 관찰자 (무슨 일이 일어나고 있는가?)
- 질문: "데이터를 보니, 누군가 빨간 셔츠를 사면 모자도 함께 사는가?"
- 모델의 역할: 모델은 보이는 것을 바탕으로 결과를 예측합니다.
단계 2: 개입자 (내가 무언가를 바꾸면 어떻게 될까?)
- 질문: "내가 강제로 모든 사람이 빨간 셔츠를 사게 만든다면(원래는 안 샀더라도), 그들이 모자를 살 것인가?"
- 모델의 역할: 이것은 까다로운 작업입니다. 실제 세상에서는 일어나지 않은 일이기 때문입니다. 모델은 변화를 시뮬레이션하여 결과를 예측합니다.
단계 3: 시간 여행자 (과거에 상황이 달랐다면 어땠을까?)
- 질문: "존은 모자와 빨간 셔츠를 샀다. 하지만 만약 그가 빨간 셔츠를 사지 않았더라면 어땠을까? 그래도 모자를 샀을까?"
- 모델의 역할: 이것은 가장 어려운 단계입니다. 다른 사실들은 고정된 채로 시뮬레이션 속에서 시간을 되돌리는 과정이 필요합니다. 논문은 이 모델이 이를 잘 수행할 수 있는 몇 안 되는 모델 중 하나라고 말합니다.

3. "숨겨진 악당" (관찰되지 않은 혼란 변수)

많은 실제 세계의 미스터리에는 당신이 볼 수 없는 "숨겨진 악당"이 존재합니다. 예를 들어, "부(wealth)"라는 숨겨진 요인이 빨간 셔츠 구매와 모자 구매 모두에 영향을 줄 수 있습니다. 만약 당신이 "부"를 모른다면, 빨간 셔츠가 모자를 유발한다고 잘못 생각할 수 있습니다.

이 논문은 ADMG(Acyclic Directed Mixed Graph)라는 특별한 도구를 소개합니다. ADMG는 두 종류의 선을 그리는 지도라고 상상해 보세요:

화살표: 직접적인 인과 관계를 보여줍니다 (A가 B를 일으킴).
두 머리가 달린 구불구불한 선: "숨겨진 악당"을 보여줍니다 (A와 B가 모두 당신이 볼 수 없는 무언가에 의해 영향을 받고 있음).

TabPFN-CFM은 독특하게도 이 구불구불한 선을 자동으로 그려낼 수 있습니다. 즉, 당신이 알려주지 않아도 숨겨진 악당이 어디에 있을지 추측할 수 있습니다.

4. "치트 시트" 사용하기 (알려진 그래프)

때로는 이야기의 일부를 이미 알고 있는 경우도 있습니다. 예를 들어, 전문가가 "A가 B를 일으킨다는 것은 확실합니다"라고 말해준 경우입니다.

논문은 이 정보를 모델에게 준다면(마치 탐정에게 치트 시트를 건네주는 것처럼), 모델이 예측 능력을 더욱 향ç상시킨다는 것을 보여줍니다. 모델은 이 알려진 구조를 사용하여 나머지 미스터리에 대한 추측을 정교하게 다듬습니다.

5. 학습 방법 (Training)

이 모델은 처음에 실제 인간의 데이터로 학습되지 않았습니다. 대신 연구자들은 무작위 규칙, 무작위 노이즈, 그리고 숨겨진 변수를 가진 수십만 개의 가짜 데이터셋을 생성하는 컴퓨터 프로그램을 작성했습니다.

모델이 가짜 데이터셋을 보고 구조(지도)와 결과(결과물)를 맞히도록 학습시켰습니다.
모델이 세 가지 단계의 질문(관찰자, 개입자, 시간 여행자)을 동시에 수행하도록 훈련했습니다.
결과: 실제 데이터(예: 아마존 매출이나 법대 입학 성적)로 테스트했을 때, 이 모델은 기존 방식보다 특히 "만약에(What If)" 질문에서 더 뛰어난 성능을 보였습니다.

6. "속도 업그레이드"

저자들은 또한 모델의 "엔진"(아키텍처)을 개선했다고 언급합니다. 불필요한 부분을 제거하고 새로운 훈련 기법(Muon이라는 더 나은 옵티마이저와 ReLU2라는 새로운 활성화 함수)을 추가했습니다.

비유: 자동차 엔진을 업그레이드하는 것과 같습니다. 단순히 차를 더 빠르게 만든 것이 아니라, 연료(계산 능력)를 적게 쓰면서도 4배 더 빠르게 최고 속도에 도달하게 만들었습니다. 이는 모델이 훨씬 더 효율적으로 학습할 수 있음을 의미합니다.

요약된 주장

구조를 예측함: 인과 관계의 지도(숨겨진 요인 포함)를 그립니다.
결과를 예측함: "X를 바꾸면 어떻게 될까?"라는 질문에 답합니다.
반사실적(Counterfactual) 상황을 처리함: "X가 달랐다면 어떤 일이 일어났을까?"에 답합니다.
알려진 지도를 활용함: 부분적인 지도를 제공하면 정확도를 높이는 데 사용합니다.
일반화 능력이 뛰어남: 가짜 데이터로 학습했음에도 실제 데이터에서 잘 작동합니다.
빠름: 새로운 훈련 기법 덕분에 학습 효율이 3~4배 높습니다.

이 논문은 이 기술이 아직 의료 진단이나 법정에서 사용될 준비가 되었다고 주장하지 않습니다. 논문은 엄격하게, 테스트된 데이터셋(합성 수학 문제, 아마존 매출, 법대 입학 성적)에서 이 새로운 "슈퍼 탐정"이 인과 관계를 파악하는 데 있어 현재 최고의 도구들보다 우수하다는 점을 주장합니다.

기술 요약: TabPFN-CFM

문제 정의

관측 데이터로부터 인과 구조를 결정하고 인과적 결과를 예측하는 것은 머신러닝과 통계학에서 여전히 중요한 과제로 남아 있습니다. 기존 방법론들은 일반적으로 이러한 과제들을 개별적으로 다룹니다. 어떤 방법들은 구조적 예측(인과 그래프 학습)에 집중하고, 다른 방법들은 결과 예측(중재의 효과 추정)에 집중합니다. 또한, 많은 접근 방식이 관찰되지 않은 교란 변수(unobserved confounding variables)를 처리하는 데 어려움을 겪으며, 이는 식별 불가능한 그래프와 편향된 결과 추정으로 이어질 수 있습니다. 게다가 현재의 모델들은 Pearl의 인과 계층(Causal Hierarchy)에서 정의된 관측(observational), 중재(interventional), 반사실적(counterfactual) 질문의 전체 스펙트럼을 모두 지원하는 능력이 부족한 경우가 많습니다.

방법론

저자들은 관측 데이터로부터 인과 구조와 결과를 공동으로 예측하도록 설계된 인과적 파운데이션 모델인 TabPFN-CFM을 소개합니다. 이 접근 방식은 베이지안 Prior-Over-Functions (PFN) 프레임워크에 기반합니다.

핵심 프레klramework

모델은 기저 시스템이 구조적 인과 모델(SCM) $\psi = \{U, V, F\}$ 를 따른다고 가정합니다. 여기서 $U$ 는 관찰되지 않은 변수, $V$ 는 관찰된 변수, $F$ 는 구조 방정식입니다. 모델은 관측 데이터셋 $D_{obs}$ 와 선택적 사전 지식인 그래프 $G_{est}$ 로부터 사후 분포 $P(\psi | D_{obs}, G_{est})$ 를 근사하도록 훈련됩니다.

데이터 생성 및 훈련

합성 사전 분포 (Synthetic Priors): 모델은 SCM에 대한 사전 분포로부터 생성된 합성 데이터셋을 통해 훈련됩니다. 이 사전 분포에는 무작위 그래프 구조(DAGs), 누락된 노드, 다양한 노이즈 분포, 그리고 무작위 가중치와 비선형성을 가진 신경망으로 정의된 구조 방정식이 포함됩니다.
태스크 정식화: 각 훈련 샘플은 적합 세트( $D_{fit}$ $D_{f i t}$ ), 예측 쿼리( $D_{pred}$ $D_{p r e d}$ ), 그리고 반사실적 샘플( $D_{causal}$ $D_{c a u s a l}$ )로 구성됩니다. 모델은 세 가지 쿼리 유형을 동시에 처리하도록 훈련됩니다:
1. 관측 쿼리 (Observational Query): $P(y^* | x^*, T=t^*)$ 예측.
2. 중재 쿼리 (Interventional Query): $P(y^* | x^*, do(T=1-t^*))$ 예측.
3. 반사실적 쿼리 (Counterfactual Query): $P(y^* | x^*, do(T=1-t^*), y=y^*)$ 예측.
그래프 처리: 모델은 관찰되지 않은 교란을 표현하기 위해 양방향 에지(bidirected edges)를 사용하는 **비순환 방향 혼합 그래프(ADMGs)**를 활용합니다. 이를 통해 모델은 모든 변수가 관찰되었다고 가정하는 대신, 교란 구조를 예측할 수 있습니다.

아키텍처

TabPFN-CFM은 명시적인 그래프 조건부(graph conditioning)를 통해 Do-PFN 아키텍처를 확장합니다:

인코더 (Encoder): 적합 세트, 예측 쿼리, 그리고 사전 ADMG 구조(인접 행렬 $A$ , 양방향 행렬 $C$ , 조상 행렬 $R$ )를 임베딩합니다. 그래프 인코딩은 부모, 자식, 조상 및 후손 관계에 대한 직접적인 접근을 제공합니다.
트랜스포머 백본 (Transformer Backbone): 행 단위(row-wise) 및 열 단위(column-wise) 어텐션 메커니즘을 활용합니다. 결정적으로, 예측 모듈은 그래프 임베딩에 어텐션을 수행하여 예측이 그래프 사전 지식을 통합할 수 있도록 합니다.
출력 (Outputs):
- 결과 예측 (Outcome Prediction): 이산화된 결과 버킷(discretized outcome buckets)에 대한 로짓(logits)을 생성하는 헤드.
- 구조 예측 (Structure Prediction): 유향 인접 행렬( $\hat{A}$ ), 양방향 상관 행렬( $\hat{C}$ ), 조상 행렬( $\hat{R}$ )에 대한 요소별 예측을 생성하는 디코더.
훈련 효율성: 저자들은 기본 설정 대비 훈련 속도를 약 3-4배 향상시킨 여러 아키텍처 및 훈련 최적화(예: Muon 옵티마이저, ReLU2 활성화 함수, pre-layer normalization)를 구현했습니다.

손실 함수

모델은 다음과 같은 결합 손실 함수를 사용하여 최적화됩니다:
$L = L_{pred} + \lambda \cdot L_{graph}$
여기서 $L_{pred}$ 는 결과 예측을 위한 크로스 엔트로피 손실이며, $L_{graph}$ 는 구조적 예측(인접, 조상 및 교란 행렬)을 위한 이진 크로스 엔트로피 손실입니다. 부록의 이론적 증명은 그래프 입력을 조건으로 포함하는 것이 사후 정확도를 개선하거나(또는 변화 없이 유지하거나) 보장하며, 로그 확률을 최소화하는 것이 참된 사후 분포에 대한 KL 발산(KL divergence)을 최소화하는 것과 동일함을 보여줍니다.

주요 기여

통합된 인과 파운데이션 모델: TabPFN-CFM은 단일 파운데이션 모델 프레임워크 내에서 Pearl의 인과 계층의 세 단계 모두에 걸쳐 인과 구조와 결과를 공동으로 예측하는 최초의 모델입니다.
관찰되지 않은 교란 처리: ADMG를 채택함으로써, 모델은 관찰되지 않은 교란 변수를 명시적으로 예측하며, 이는 기존 딥러닝 인과 구조 학습 방법의 한계를 해결합니다.
그래프 조건부 추론: 모델은 사용 가능한 경우 알려진 그래프 구조를 활용하여 예측 정확도를 높이는 한편, 그래프를 알 수 없는 경우에도 견고함을 유지합니다.
효율성 개선: 정교한 훈련 절차와 아키텍처 변경을 통해 이전 베이스라인 대비 거의 4배 빠른 훈련 수렴을 달ورد했습니다.

실험 결과

모델은 합성 데이터셋(In-distribution 및 Out-of-distribution 모두)과 실제 데이터셋(Amazon Sales 및 Law School Admissions)에서 평가되었습니다.

결과 예측:
- 합성 OOD SEM 상에서, TabPFN-CFM은 중재 및 반사실적 설정에서 기존 메타 러너(S-, T-, X-, DR-learners) 및 Do-PFN보다 낮은 평균 제곱 오차(MSE)를 달성했습니다.
- Law School Admissions 데이터셋에서, 모델은 반사실적 정보를 활용함으로써 반사실적 설정에서의 정확도를 크게 향 향상시켰으며, 그러한 예측을 할 수 없는 베이스라인들을 능가했습니다.
구조 예측:
- TabPFN-CFM은 인접, 조상 및 교란 행렬을 예측하는 데 있어 강력한 베이스라인들(FCI, GES, LiNGAM, PC, AVICI)보다 우수한 성능을 보였습니다.
- 특히, OOD 합성 데이터에서 모델은 인접 행렬에 대해 0.889, 교란 행렬에 대해 0.828의 AUROC를 달성하였으며, 이는 차상위 성능 모델인 AVICI(각각 0.623 및 0.563)를 크게 상회하는 수치입니다.
그래프 조건부화 (Graph Conditioning): 참된 그래프 구조를 입력으로 제공하는 것은 중재 및 반사실적 설정에서 성능을 향상시켰으나, 관측적 예측에는 미미한 영향을 미쳤습니다. 이는 인과 이론과 일치합니다.

의의

본 논문은 TabPFN-CFM이 인과 추론 과업을 통합하는 진전된 단계임을 주장합니다. 다양한 인과 시스템의 사전 분포를 통해 훈련함으로써, 이 접근 방식은 파운데이션 모델이 특정 사전 분포에 과적합되지 않고 실제 세계의 인과 문제로 일반화될 수 있음을 보여줍니다. 관찰되지 않은 교란을 처리하고 반사실적 쿼리를 지원하는 능력은 머신러닝에서 더 견고한 인과적 추론을 향한 경로를 제시합니다. 저자들은 현재 작업이 비순환 구조에 집중하고 있으나, 향후 확장을 통해 시계열 및 순환적 인과 설정을 다룰 수 있다고 언급했습니다.