🤖 AI

Foundation Models for Partial Causal Identification

이 논문은 미관측 혼란 변수 하에서 부분적으로 식별 가능한 인과 효과의 범위를 제한하는 문제를 데이터와 가정을 인과 쿼리로 매핑하는 함수에 대한 분포 학습으로 변환하기 위해, 구조적 인과 모델에 대한 정형적 사전 확률을 정의하는 인과 파운데이션 모델 프레임워크를 제안한다.

원저자: Alexis Bellot, Anish Dhir

게시일 2026-08-24

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Alexis Bellot, Anish Dhir

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

데이터 과학의 세계에서 연구자들은 종종 자신이 볼 수 있는 것과 알고 싶은 것 사이의 좌절스러운 간극에 직면하곤 합니다. 수천 명의 환자에 대한 증상, 치료법, 결과가 기록된 데이터를 가진 의사를 상상해 보십시오. 하지만 이 의사는 환자들에게 처방을 무작위로 할당하는 통제된 실험을 수행한 적은 없습니다. 의사는 다음과 같은 질문을 던지고 싶어 합니다. 만약 특정 환자가 다른 약을 받았다면, 그 환자는 회복했을까? 이것은 인과관계에 관한 질문이지만, 데이터는 오직 실제로 일어난 일만을 보여줄 뿐, 다른 상황에서 어떤 일이 일어났을지에 대해서는 보여주지 않습니다. 보통 이러한 질문에 확실하게 답하기 위해 과학자들은 데이터가 생성되는 과정을 지배하는 정확한 숨겨진 규칙들을 알아야 합니다. 이러한 규칙을 알지 못하면, 답은 단 하나의 숫자가 아니라 가능성의 범위로 나타나게 됩니다. 이러한 불확실성을 부분 식별(partial identification)이라고 하며, 이는 오랫동안 연구자들이 새로운 문제마다 맞춤형의 일회성 해결책을 구축하도록 강요해 왔습니다. 이는 느리고 파편화된 과정이며 많은 중요한 질문들을 해결되지 않은 채로 남겨둡니다.

연구팀은 이제 이러한 까다로운 질문들을 위한 범용 해결사 역할을 하는 새로운 접근 방식을 개발했습니다. 각기 다른 새로운 데이터셋마다 고유한 수학적 공식을 만드는 대신, 그들은 단 하나의 강력한 컴퓨터 모델을 훈련시켜 가능한 모든 인과관계 시나리오의 지형을 학습하게 했습니다. '구조적 인과 모델(structural causal models)'—이는 기본적으로 변수들이 서로 어떻게 영향을 미치는지에 대한 상세한 지도와 같습니다—에 기반을 둔 이 모델은 방대한 양의 합성 예시들을 사용하여 학습되었습니다. 연구자들은 변수가 범주나 횟수와 같은 이산적인 형태일 때, 모델이 데이터가 생성될 수 있는 모든 가능한 방식을 고려하도록 보장하는 특정한 유형의 수학적 출발점, 즉 사전 확률(prior)을 만들었습니다. 수백만 개의 이러한 합성 시나리오를 통해 훈련함으로써, 모델은 실제 세계의 데이터셋을 보고 가능한 답변의 전체 범위를 포착하는 확률 분포를 즉각적으로 출력하는 법을 배웠습니다.

그 결과, 이 시스템은 관측 데이터셋과 "이 변수를 바꾸면 어떻게 될까?"와 같은 가상의 개입에 대한 구체적인 질문을 입력받아, 답에 대한 타이트하고 수학적으로 보장된 경계값을 반환할 수 있습니다. 연구자들은 실험에서, 정답이 전통적이고 느린 수학적 방법들을 통해 이미 알려져 있는 단순한 두 변수 시스템을 대상으로 이 시스템을 테스트했습니다. 새로운 모델은 기존 방식만큼 정확한 결과를 만들어내면서도 훨씬 짧은 시간 안에 이를 수행했습니다. 기존 방식이 단 하나의 답을 계산하는 데 1,000밀리초 이상 걸렸다면, 새로운 모델은 데이터의 양이 증가함에도 불구하고 10밀리초 미만의 시간 내에 결과를 전달했습니다. 더 중요한 것은, 모델의 출력이 단순한 추측이 아니었다는 점입니다. 데이터의 양이 증가함에 따라 모델이 제공하는 답변의 범위는 줄어들었으며, 진정한 수학적 한계치로 정확하게 수렴했습니다.

이 작업은 우리가 인과적 추론의 불확실성을 다루는 방식에 있어 중대한 변화를 의미합니다. 이전에는 연구자가 숨겨진 교란 요인이 있는 복잡한 시스템에서 인과 효과의 범위를 알고 싶다면, 깊은 전문 지식이 필요하고 오류가 발생하기 쉬운 새로운 최적화 문제를 처음부터 직접 유도해야 했습니다. 새로운 방법은 이러한 맞춤형 유도 과정을 학습된 능력으로 대체합니다. 연구자들은 유효한 인과 구조의 전체 공간을 아우르는 '정형적인(canonical)' 집합을 통해 훈련함으로써, 모델이 지식의 한계를 정의하는 패턴을 인식하도록 학습한다는 것을 입증했습니다. 새로운 데이터에 직면했을 때, 모델은 단순히 하나의 값을 예측하는 것이 아니라, 데이터 및 인과 법칙과 일치하는 전체 값의 집합을 매핑합니다. 이는 어떤 관측 데이터셋에 대해서도 모델이 진정한 답을 포함하는 유효하고 타이트한 구간을 제공할 수 있음을 의미하며, 결과적으로 어렵고 맞춤화된 수학적 퍼즐을 빠르고 표준적인 예측 작업으로 탈바꿈시킵니다.

이 접근 방식의 함의는 속도를 넘어 확장됩니다. 다양한 유형의 인과적 질의와 데이터셋에 걸쳐 작동하는 범용 도구를 제공함으로써, 연구자들은 부분 식별을 위한 파운데이션 모델을 만들어냈습니다. 이는 동일한 근간 시스템이 각 분야에 맞춰 다시 설계될 필요 없이 경제학, 역학, 또는 인공지능 분야의 질문에 적용될 수 있음을 의미합니다. 단일 점 추정치가 아닌 가능한 답변의 분포를 학습하는 모델의 능력은 현실 세계의 내재된 불확실성을 존중합니다. 이는 때때로 데이터만으로는 무엇이 일어났을지를 정확히 말할 수 없지만, 무엇이 가능한지는 말해줄 수 있다는 점을 인정하는 것입니다. 그렇게 함으로써, 이 모델은 관찰되지 않은 요인들의 안개를 헤쳐 나갈 수 있는 견고하고 원칙적인 방법을 제시하며, 의사 결정자들에게 진실이 존재해야 할 명확하고 수학적으로 타당한 경계를 제공합니다.

기술 요약: 부분 인과 식별을 위한 파운데이션 모델 (Foundation Models for Partial Causal Identification)

문제 정의

인과 추론은 종종 **식별성(identifiability)**의 문제에 직면한다. 즉, 인과적 쿼리(예: 반사실적 확률 또는 중재 효과)가 관측 데이터로부터 유일하게 계산되지 않을 수 있으며, 이는 특히 관측되지 않은 교란 요인이 존재하는 경우 대규모 표본 한계에서도 발생할 수 있다. 이러한 경우, 목표는 점 추정(point estimation)에서 부분 식별(partial identification)로 전환된다. 여기서의 목표는 관측된 데이터 및 구조적 가정과 일치하는 모든 값을 포함하는 가장 좁은 범위(즉, "식별 집합", identified set)를 결정하는 것이다.

기존의 부분 식별 방법론은 매우 파편화되어 있다. 역사적으로 특정 인과 구조, 쿼리 및 데이터 유형에 대한 경계(bounds)를 도출하는 것은 매번 별도의 유도 과정과 개별적인 최적화 실행을 필요로 했다. 최근의 **인과 파운데이션 모델(Causal Foundation Models, CFMs)**은 사전 데이터 적합 네트워크(PFN)를 사용하여 인과적 양에 대한 분포를 성공적으로 학습해 왔으나, 주로 점 식별이 가능한 영역에서 작동해 왔다. 부분 식별 설정에 적용될 때, 기존 방식들은 그 사전 분포(prior)가 데이터와 일치하는 모든 구조적 인과 모델(SCM)에 대해 전체 지지 집합(full support)을 보장하지 못하기 때문에, 유효한 경계를 원칙적으로 제공하지 못하고 잠재적으로 유효한 반사실적 값을 배제할 위험이 있다.

방법론

본 논문은 부분 식별을 위한 범용 파운데이션 모델을 제안하며, 이 모델은 인과적 쿼리에 대한 사후 분포를 출력하며, 이 분포의 지지 집합(support)은 식별 집합을 증명 가능하게 인코딩한다. 이 방법론은 다음 세 가지 핵심 축을 기반으로 한다.

1. 전체 지지 집합을 갖는 정형 사전 분포 (Canonical Priors with Full Support)

모델이 데이터와 일치하는 모든 SCM을 고려하도록 보장하기 위해, 저자들은 이산 관측치를 가진 SCM 공간에 대한 정형 사전 분포( $\Pi_0$ )를 정의한다.

정형 SCM (Canonical SCMs): 이산 관측치를 가진 모든 SCM이 외생 변수에 대한 범주형 확률 질량 함수로 매개변수화된 정형 SCM으로 동등하게 표현될 수 있다는 결과(Zhang et al., 2022)를 활용하여, 저자들은 표현 완전성(representation-complete)을 갖는 매개변수 공간을 정의한다.
사전 분포 구축: $\Pi_0$ $Π_{0}$ 는 인과 그래프( $G$ $G$ )와 정형 매개변수( $\theta$ $θ$ )의 결합 공간에 대해 정의된다.
- 그래프 구조 $G$ 는 에르되시-레니(Erdős-Rényi) 모델(베르누이 엣지 확률)로부터 샘플링된다.
- 외생 매개변수 $\theta$ 는 디리클레(Dirichlet) 분포로부터 샘플링된다.
전체 지지 집합 특성: 핵심적인 이론적 결과(Proposition 1)는 이 정형 사전 분포가 모든 SCM( $\mathcal{M}$ ) 공간에 대해 **전체 지지 집합(full support)**을 가짐을 증명한다. 이는 관측된 분포와 일치하는 어떤 SCM도 사전에 0의 확률을 할당받지 않음을 보장하며, 이는 부분 식별을 위한 유효한 경계를 도출하는 데 필수적인 요구 사항이다.

2. 사전 데이터 적합 네트워크 (Prior-Data Fitted Networks, PFNs)

저자들은 합성 데이터로부터 사후 분포를 직접 근사하기 위해 사전 데이터 적합 네트워크를 사용한다.

아키텍처: 변수 값, 유형(중재 vs. 관측), 상관관계를 보존하는 입력 임베딩을 특징으로 하는 트랜스포머 기반 아키텍처를 사용한다. 모델은 교대적인 샘플 단위 및 피처 단위 어텐션 메커즘을 활용한다.
학습 체계: 모델은 $(D_n, \Psi)$ $(D_{n}, Ψ)$ 쌍의 합성 배치로 학습된다.
- $D_n$ : 정형 사전 $\Pi_0$ 에서 추출된 SCM으로부터 샘플링된 관측 데이터셋.
- $\Psi$ : 생성된 SCM으로부터 계산된 참값(ground-truth) 반사실적 쿼리.
목적 함수: 네트워크는 데이터셋 $D_n$ 이 주어졌을 때 쿼리 $\Psi$ 에 대한 이산 분포( $[0, 1]$ 구간 내 빈(bin) 구성)를 예측하도록 학습되며, 이를 통해 사후 지지 집합의 추론을 효율적으로 처리(amortize)한다.

3. 구조적 가정의 처리

본 프레임워크는 부분적 또는 완전한 인과 그래프 지식을 가진 설정으로 확장 가능하다. $(G, D_n, \Psi)$ 튜플로 PFN을 학습함으로써, 모델은 특정 인과 구조나 동치류(equivalence classes)에 조건화될 수 있으며, 질적 지식을 활용하여 경계를 더욱 좁힐 수 있다.

주요 기여

정형 사전 분포 정의: 이산 관측치를 가진 SCM에 대해 전체 지지 집합을 갖는 정형 사전 분포를 정의하였다. 이를 통해 유효하고 점근적으로 타이트한(asymptotically tight) 경계 도출을 보장한다.
부분 식별을 위한 범용 솔버: 관측 데이터셋이 주어지면 식별 집합 전체를 포착하는 사후 분포를 출력하는 파운데이션 모델을 개발하였다. 이는 문제마다 별도의 유도 과정이 필요했던 기존 방식과 대조된다.
이론적 보장:
- 일치성 (Theorem 1): 데이터셋 크기 $n \to \infty$ 일 때, PFN의 예측 분포는 조건부 사전 $\Pi_0(\Psi | P_M)$ 로 약하게 수렴하며, 이는 식별 집합에 대한 정확한 베이지안 사후 분포에 해당한다.
- 빈도주의적 커버리지 (Theorem 2): PFN에서 도출된 베이지안 신뢰 집합(credible sets)은 식별 집합에 대해 점근적인 빈도주의적 커버리지를 달성한다.
- 보편성 (Corollary 1): 모델에 의해 유도된 100% 베이지안 신뢰 구간은 점근적으로 실제 식별 집합으로 수렴한다.

결과

저자들은 분석적 경계(예: Manski bounds, Tian & Pearl bounds)가 알려진 이진 이변량 시스템에서 제안된 인과 파운데이션 모델(CFM)을 평가한다.

정확도: 예측된 사후 분포는 분석적으로 도출된 식별 집합에 집중된다.
커버리지: 다양한 컨텍스트 크기( $n$ )를 가진 실험에서, CFM은 깁스 샘플러(Gibbs sampler, Zhang et al., 2022)를 이 작업에 맞게 변형한 것과 비슷하거나 이를 상회하는 1.00에 가까운(예: 0.99–1.00) 커버리지 비율을 달성한다.
효율성: CFM은 깁스 샘플러에 비해 추론 시간을 크게 단축함을 보여준다. 예를 들어, $n=400$ 일 때 CFM의 추론 시간은 약 25ms인 반면, 깁스 샘플러는 약 1521ms가 소요된다.
확장성: 도구 변수(instrumental variable) 그래프를 가진 삼변량 시스템에 대한 추가 실험은 더 복잡한 구조를 처리하면서도 높은 커버리지와 타이트한 구간 폭을 유지하는 모델의 능력을 확인시켜 준다.

의의 및 주장

본 논문은 인과 파운데이션 모델의 패러다임을 부분 식별 가능한 인과 효과의 추정으로 확장한다고 주장한다. 반사실적 경계를 구하는 문제를 데이터를 함수로 매핑하는 분포를 학습하는 문제로 변환함으로써, 저자들은 단일 모델이 문제별 유도 없이 광범위한 클래스의 쿼리, 데이터셋 및 구조적 가정을 처리할 수 있도록 한다.

그 의의는 **부분 식별의 아마티제이션(amortization of partial identification)**에 있다. 새로운 데이터셋과 쿼리가 나타날 때마다 새로운 최적화 문제를 푸는 대신, 제안된 방법은 점근적으로 유효하고 타이트한 경계를 제공하는 범용 솔버를 학습한다. 전체 지지 집합을 갖는 정형 사전의 사용은 기존의 파운데이션 모델과 차별화되는 핵심 기제로 제시되며, 이를 통해 도출된 경계가 단순히 데이터 기반일 뿐만 아니라 관측값과 일치하는 가능한 모든 인과 메커니즘 공간에 대해 이론적으로 근거가 있음을 보장한다.