🤖 machine learning

Causal Gaussian Processes for Robust Treatment Effect Evaluation with Unobserved Confounding

본 논문은 상세한 사전 지식을 요구하거나 처치를 이산적인 값으로 제한하지 않고도 외생적 도메인의 보편적 이산화를 활용하여 개입 분포를 근사함으로써, 혼란 변수가 존재하는 관측치로부터 연속적인 도메인에 걸친 강건한 인과 효과 평가를 가능하게 하는 인과 가우시안 프로세스(Causal Gaussian Process, CGP) 모델을 소개한다.

원저자: Junzhe Zhang, Jingyuan Chen, Elias Bareinboim

게시일 2026-06-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Junzhe Zhang, Jingyuan Chen, Elias Bareinboim

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 문제: "숨은 인형술사"

당신이 어떤 비료가 식물을 가장 크게 자라게 하는지 알아내려고 노력하고 있다고 상상해 보세요. 당신은 농부들이 이미 씨앗을 심어놓은 정원을 관찰합니다. 당신은 '슈퍼 비료'를 사용한 식물들이 엄청나게 크다는 것을 발견합니다. 그러면 당신은 "아하! 비료가 효과가 있구나!"라고 생각할지도 모릅니다.

하지만 여기 함정이 있습니다. 농부들은 무작위로 비료를 선택한 것이 아닙니다. 그들은 이미 햇빛이 가장 잘 들고 토양이 가장 비옥한 곳에 있는 식물들에게만 몰래 '슈퍼 비료'를 준 것입니다. 이 "햇빛과 토양"은 숨은 인형술사(unobserved confounder, 관측되지 않은 혼란 변수라고 불림)가 되어 비료의 선택과 식물의 성장 모두에 영향을 미쳤습니다.

데이터만 본다면, 당신은 비료가 기적이라고 믿게 될 것입니다. 하지만 만약 당신이 실제로 개입하여 그늘에 있는 식물에게 강제로 슈퍼 비료를 사용하게 한다면, 그 식물은 전혀 자라지 않을 수도 있습니다. 데이터는 그 숨은 인형술사 때문에 "편향(biased)"되어 있는 것입니다.

현실 세계에서 이런 일은 의학, 경제학, 정책 등 모든 곳에서 일어납니다. 우리는 완벽한 실험(예: 모든 사람에게 약을 먹이거나 먹이지 않는 실험)을 수행할 수 없는 경우가 많기 때문에, 숨겨진 요인들이 결과를 망쳐놓는 지저리한 관측 데이터에 의존해야만 합니다.

옛날 방식 vs 새로운 방식

옛날 방식 (표준 가우시안 프로세스):
표준 AI 모델(가우시안 프로세스와 같은)을 눈에 보이는 것을 아주 잘 복제하는 매우 재능 있는 화가라고 생각해 보세요. 만약 당신이 그들에게 편향된 정원 데이터를 보여준다면, 그들은 식물의 모습을 완벽하게 그려낼 것입니다. 그들은 "네, 슈퍼 비료가 식물을 거대하게 만듭니다!"라고 말할 것입니다. 하지만 그들은 비료가 성장을 일으킨 것이 아니라 햇빛이 성장을 일으켰다는 사실을 깨닫지 못합니다. 그들은 편향을 흉내 내는 데 너무 능숙합니다.

논문의 해결책 (인과적 가우시안 프로세스):
저자들인 장준제, 첸징위안, 엘리어스 베레인보임은 **인과적 가우시안 프로세스(Causal Gaussian Process, CGP)**라고 불리는 새로운 유형의 AI 모델을 구축했습니다.

단순히 그림을 복제하는 대신, 이 새로운 모델은 그림 뒤에 숨겨진 메커니즘을 이해하려고 노력합니다. 이 모델은 "만약 숨은 인형술사가 줄을 당기지 않았다면 어땠을까? 그렇다면 식물은 어떤 모습이었을까?"라고 묻습니다.

작동 원리: "픽셀화된" 우주

이 논문은 이 미스터리를 풀기 위한 영리한 트릭을 소개합니다.

세상을 블록으로 나누기:
숨은 인형술사(관측되지 않은 변수)가 어떤 숫자든 설정할 수 있는 매끄럽고 연속적인 다이얼이라고 상상해 보세요. 새 모델은 이 매끄러운 다이얼을 유한한 수의 "블록" 또는 "픽셀"로 나눕니다. 이는 고해상도 사진을 저해상도 픽셀 아트로 바꾸는 것과 같습니다.
- 마법 같은 점: 논문은 수학적으로 만약 이 픽셀들을 충분히 작게 만든다면, 어떤 가능한 숨겨진 시나리오라도 완벽한 정확도로 근사할 수 있다는 것을 증명합니다. 당신은 다이얼의 정확한 설정값을 알 필요가 없습니다. 단지 그것이 어떤 "블록"에 속하는지만 알면 됩니다.
"층화(Strata)" 전략:
세상이 이 블록들로 나뉘고 나면, 모델은 데이터를 그룹화합니다. 모델은 "좋아, '블록 A'에 있는 모든 식물은 비료에 한 가지 방식으로 반응하는 것 같아. '블록 B'에 있는 모든 식물은 다른 방식으로 반응하는 것 같아"라고 말합니다.
모델은 각 블록을 숨은 인형술사가 일관되게 작용하는 별개의 작은 우주처럼 취급합니다.
인과적 가우시안 프로세스:
모델은 이러한 각 블록에 대한 규칙을 학습하기 위해 특수한 형태의 수학(가우시안 프로세스)을 사용합니다. 모델은 다음과 같이 학습합니다: "우리가 블록 A에 있고 비료를 강제로 투여한다면, 식물은 X만큼 자란다."
그다음, 이 모델은 이 블록별 규칙들을 결합하여, 실제 세상에서 개입이 일어났을 때(즉, 숨은 인형술사의 편향을 제거했을 때) 어떤 일이 일어날지 추측합니다.

"보편적 근사(Universal Approximation)" 주장

이 논문은 매우 강력한 주장을 합니다. 이 방법은 변수가 얼마나 복잡하거나 연속적이든 관계없이 모든 인과 시스템에 적용 가능하다는 것입니다. 이 방법은 숨은 인형술사가 어떻게 작동하는지에 대한 정확한 공식을 알 필요가 없습니다. 단지 사건의 순서(예: 비료가 성장보다 먼저 온다)만 알면 됩니다.

이것은 범죄자의 이름이나 얼굴을 알 필요가 없는 숙련된 형사와 같습니다. 형사는 단지 범죄자가 특정 "구역"에 발자국을 남겼다는 사실만 알면 됩니다. 각 구역의 발자국을 분석함으로써, 형사는 범죄자를 직접 보지 못했더라도 범죄자의 전체 계획을 재구성할 수 있습니다.

실험 결과가 보여준 것

저자들은 여러 시나리오에서 이 모델을 테스트했습니다:

합성 게임 (Synthetic Games): 그들은 숨겨진 변수가 데이터를 망치는 서로 다른 규칙(다항식, 로지스틱, 선형)을 가진 가짜 세계들을 만들었습니다.
실제 데이터: 그들은 국제 뇌졸중 임상시험(International Stroke Trial) 데이터(뇌졸중 환자에게 아스피린을 사용하는 연구)를 사용했습니다. 그들은 환자의 "의식 상태"(완벽하게 측정할 수 없는 요소)가 혈압과 생존율 모두에 영향을 미치는 시나리오를 시뮬레이션했습니다.

결과:

**표준 모델(화가)**은 편향된 데이터를 보고 확신에 차서 틀린 답을 내놓았습니다. 모델은 편향에 과적합(overfit)되었습니다.
**인과적 모델(탐정)**은 편향을 무시했습니다. 이 모델은 실제 무작위 실험에서 어떤 일이 일어날지를 성공적으로 예측했습니다.

논문의 "성적표"(음의 로그 예측 가능도, Negative Log Predictive Likelihood)에서 인과적 모델은 훨씬 더 좋은 점수(낮을수록 좋음)를 기록했으며, 이는 표준 모델이 실패한 반면 인과적 모델은 새로운 무편향 데이터로 일반화될 수 있음을 입증했습니다.

요요약

이 논문은 측정할 수 없는 숨겨진 요인들이 존재하더라도, 지저분하고 편향된 실제 세계의 데이터로부터 진정한 인과 관계를 찾아낼 수 있는 새로운 AI 도구를 소개합니다. 이 모델은 알려지지 않은 세상을 관리 가능한 덩어리로 수학적으로 "픽셀화"하고, 각 덩어리에 대한 규칙을 학습한 다음, 이를 다시 결합하여 진실을 보는 방식으로 작동합니다. 이는 완벽한 통제 실험 없이도 "상관관계"(사건이 함께 일어나는 것)를 "인과관계"(한 사건이 실제로 다른 사건을 일으키는 것)로 바꾸는 방법입니다.

기술 요약: 관측되지 않은 혼란 변수가 존재하는 환경에서 강건한 처치 효과 평가를 위한 인과적 가우시안 프로세스

문제 정의

본 논문이 다루는 핵심 과제는 **관측되지 않은 혼란 변수(unobserved confounding)**에 의해 오염된 관측 데이터로부터 인과적 처치 효과를 평가하는 것입니다. 많은 실제 시나리오에서 목표로 하는 인과 효과(예: $E_x[Y]$ )는 관측 데이터만으로는 **식별 불가능(non-identifiable)**합니다. 이는 측정되지 않은 혼란 변수가 처치( $X$ )와 결과( $Y$ ) 사이에 가짜 상관관계(spurious correlations)를 유발하기 때문입니다.

표준 가우시안 프로세스(GP) 회귀는 연속적인 도메인에서 복잡한 함수적 매핑을 모델링하는 데 탁월하지만, 관측 데이터에 존재하는 편향을 학습하고 증폭시키는 데 취약합니다. 결과적으로 표준 GP는 관측 데이터의 편향을 학습하여 개입 분포(interventional distributions, 즉 $X$ 가 특정 값 $x$ 로 설정되었을 때 일어날 일)로 일반화하는 데 실패하며, 이는 잘못된 정책 평가로 이어집니다. 기존의 강건한 전략들은 강력한 파라미터 가정, 환경에 대한 상세한 사전 지식에 의존하거나, 이산적인 처치 및 결과 공간으로 제한되는 경우가 많아 복잡한 연속 도메인에 적용하기 어렵습니다.

방법론

저자들은 비모수적 인과 추론과 가우시안 프로세스 모델링 사이의 간극을 메우는 세 가지 주요 방법론적 단계를 통해 새로운 프레임워크를 제안합니다.

1. 외생적 도메인의 보편적 이산화 (Universal Discretization of Exogenous Domains)
본 논문은 연속적인 처치 및 결과 도메인을 가진 임의의 구조적 인과 모델(SCM)에 대하여 외생 변수( $U$ )를 위한 보편적 이산화 절차를 도입합니다.

저자들은 공변량( $Z$ ), 행동( $X$ ), 보상( $Y$ )을 결정하는 구조 함수가 단순 함수(분리된 외생 도메인의 지시 함수에 대한 선형 결합)인 **인과적 정규 모델(Causal Canonical Model, CCM)**을 정의합니다.
정리 3.3은 이러한 인과적 정규 모델의 집합이 $L_1$ 노름(norm)에 대해 모든 SCM의 공간에서 **조밀(dense)**하다는 것을 입증합니다. 이는 임의의 인과 모델과 원하는 정확도 $\epsilon$ 에 대하여, 관측 분포 $P(X, Y, Z)$ 와 개입적 처치 효과 $E_x[Y|z]$ 를 모두 $\epsilon$ 이내의 오차로 근사할 수 있는 CCM이 존재함을 의미합니다.

2. 인과적 생성 모델(CGM)으로의 재매개변수화
학습을 용이하게 하기 위해, CCM의 이산적인 단순 함수들을 연속 함수를 사용하는 **인과적 생성 모델(Causal Generative Models, CGM)**로 재매개변수화합니다.

CGM에서 모집단은 유한한 수의 잠재 상태(strata) $u \in \{1, \dots, d\}$ 로 계층화됩니다.
각 계층 내에서 보상 함수 $h_u(x, z)$ 는 처치와 공변량을 결과로 매핑하는 연속 함수입니다.
정리 4.2는 이 CGM 가족이 인과적 근사 속성을 유지하며, 모든 SCM의 관측 및 개입 분포를 효과적으로 표현할 수 있음을 확인해 줍니다.

3. 인과적 가우시안 프로세스(CGP) 및 변분 추론
저자들은 보상 함수 $h_u$ 의 연속적인 특성을 처리하기 위해 가우시안 프로세스를 사용하여 CGM 가족을 구체화합니다.

모델 구조: 외생 분포 $P(u)$ 는 절단된 디리클레 프로세스(truncated Dirichlet process, stick-breaking process)를 통해 모델링됩니다. 각 잠재 계층 $u$ 에 대해, 공변량 $Z$ 와 처치 $X$ 는 조건부 다변량 정규 분포에서 추출됩니다. 결과 $Y$ 는 특정 커널(예: Radial Basis Function)을 가진 가우시안 프로세스에서 추출된 함수 $h_u(x, z)$ 에 의해 생성됩니다.
학습: 정확한 사후 추론(posterior inference)이 난해하므로, 저자들은 평균장 근사(mean-field approximation)를 사용한 **변분 추론(Variational Inference, VI)**을 채택합니다. 모델은 잠재 계층 할당과 가우시안 프로세스의 파라미터에 대한 사후 분포를 학습합니다.
추론: 목표 처치 효과 $E_x[Y|z]$ 는 $z$ 에 대한 잠재 계층의 사후 확률 $P(u|z)$ 에 의해 가중치가 부여된 학습된 보상 함수 $h_u(x, z)$ 를 평균 내어 계산됩니다. 이를 통해 모델은 데이터에 대한 강건한 설명을 찾기 위해 외생 도메인의 가능한 분할(partition)을 "탐색"하며, 관측되지 않은 혼란 변수를 설명할 수 있습니다.

주요 기여

보편적 이산화: 본 논문은 연속적 인과 모델의 외생 도메인이 임의의 인과 모델의 관측 및 개입 분포를 임의의 정확도로 근사하기 위해 일반성 상실 없이 이산화될 수 있다는 것을 공식적으로 증명했습니다.
인과적 가우시안 프로세스(CGP) 가족: 저자들은 정규 이산화를 표준 베이지안 추론 및 딥러닝 프레임워크와 호환되는 형태로 재매개변수화하는 새로운 생성 모델 가족을 개발했습니다.
강건한 부분 식별(Robust Partial Identification): 이 프레임워크는 혼란된 관측 데이터로부터 인과 효과에 대한 강건한 사후 분포를 도출할 수 있게 하며, 하부 구조 함수에 대한 강력한 파라미터 가정 없이도 연속 도메인에서의 부분 식별을 효과적으로 수행합니다.

실험 결과

저자들은 다양한 보상 함수(Polynomial, Logistic, Phase, Linear)를 가진 합성 데이터셋과 **국제 뇌졸중 시험(International Stroke Trial, IST)**의 실제 데이터를 사용하여 제안된 CGP를 표준 가우시안 프로세스 회귀와 비교 평가했습니다.

지표: 성능은 개입 데이터(무작위 대조 시험 또는 시뮬레이션된 개입 데이터)에 대한 **음의 로그 예측 가능도(Negative Log Predictive Likelihood, NLPL)**로 측정되었습니다.
결과:
- 표준 GP는 혼란된 관측 데이터에 지속적으로 과적합되어 높은 NLPL 점수를 기록했으며, 개입 분포로 일반화하는 데 실패했습니다.
- **Causal GP(CGP)**는 모든 합성 및 실제 데이터 실험에서 일관되게 현저히 낮은 NLPL 점수를 달로 달성했습니다.
- CGP에 의해 학습된 사후 분포는 진정한 처치 효과를 성공적으로 포착한 반면, 표준 GP는 관측되지 않은 혼란 변수로 인해 크게 벗어나는 모습을 보였습니다.

의의 및 주장

본 논문은 이 연구가 (이전에 이산 도메인에 대해 확립된) 구조적 인과 모델의 정규 분할(canonical partitioning)을 연속 도메인으로 일반화한다는 점을 주장합니다. 보편적 이산화 속성을 도입함으로써, 저자들은 복잡하고 알려지지 않은 인과 메커니즘을 유한한 수의 잠재 상태로 근사하는 것이 가능하다는 것을 보여주었습니다.

이 연구의 의의는 다음과 같은 상황에서 인과 추론을 위한 강건하고 데이터 기반적인 접근 방식을 제공한다는 데 있습니다:

관측되지 않은 혼란 변수가 존재하는 경우.
변수가 연속적인 경우.
생성 과정에 대한 상세한 파라미터 지식을 사용할 수 없는 경우.

저자들은 자신들의 방법이 "강건한 부분 식별"을 가능하게 하여, 관측 데이터에 편향이 있더라도 개입 시나리오로 일반화될 수 있는 처치 효과를 추론할 수 있게 한다고 주장합니다. 이 연구는 CGP를 잠재 공간의 이산화를 자동화하는 도구로 위치시켜, 복잡하고 실제적인 연속 환경에서도 강건한 인과 추론을 가능하게 합니다.