📊 statistics

Interventional Processes for Causal Uncertainty Quantification

이 논문은 스칼라 값이 아닌 전체 함수를 추정하는 문제를 해결하기 위해, 재생 커널 힐베르트 공간 표현을 활용하여 개입적 인과 함수에 대해 신뢰할 수 있고 다루기 쉬우며 교정된 불확실성 정량화를 제공하는 가우시안 프로세스 기반 프레임워크를 소개한다.

원저자: Hugh Dance, Peter Orbanz, Arthur Gretton

게시일 2026-06-02

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hugh Dance, Peter Orbanz, Arthur Gretton

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

큰 문제: 확신을 가지고 "만약에"를 추측하기

당신이 새로운 약의 효능을 결정하려는 의사라고 상상해 보세요. 단순히 약을 복용한 사람들을 보고 "효과가 있었다!"라고 말할 수는 없습니다. 왜냐하면 그 사람들이 이미 건강했을 수도 있기 때문입니다. 당신은 다음과 같은 것을 알아야 합니다: 만약 우리가 특정 인물에게 강제로 약을 먹게 한다면, 어떤 일이 벌어질까?

통계학에서 이것을 **인과 효과(causal effect)**라고 부릅니다. 어려운 점은 단순히 정답(점 추정치, "point estimate")을 맞히는 것이 아니라, 그 정답에 대해 얼마나 확신할 수 있는지를 아는 것입니다.

스칼라 vs 함수: 보통 사람들은 "평균적으로 약이 효과가 있는가?"(하나의 숫자)를 묻습니다. 하지만 현실 세계에서 답은 환자의 나이, 몸무게, 유전자에 따라 달라집니다. 즉, 답은 하나의 함수(모든 사람에게 약이 어떻게 작용하는지를 보여주는 곡선)입니다.
리스크: 만약 당신이 신뢰 구간(confidence range) 없이 단 하나의 숫자만 제공한다면, 위험한 결정을 내릴 수 있습니다. 만약 신뢰 구간을 너무 좁게(과잉 확신하여) 제공한다면, 실제로는 위험한 약인데도 안전하다고 믿게 될 수도 있습니다.

기존 방식: 둥근 구멍에 사각 못 밀어 넣기

이전 방법들은 이러한 신뢰 곡선을 그리기 위해 **가우시안 프로세스(Gaussian Process, GP)**라는 도구를 사용하려고 했습니다. GP를 데이터를 맞추려고 노력하는 유연한 고무판이라고 생각해 보세요.

하지만 "인과 함수(causal functions)" 뒤에 숨겨진 수학은 매우 엄격합니다. 이 함수는 RKHS(Reproducing Kernel Hilbert Space)라고 불리는 특별하고 엄격한 수학적 공간 안에 존재합니다.

문제점: 표준적인 고무판(GP)을 이 엄격하고 좁은 공간 안에 억지로 맞추려는 것은 마치 사각 못을 둥근 구멍에 밀어 넣으려는 것과 같습니다.
결과: 기존 방법들(예: "BayesIMP")은 이를 억지로 수행하려 했습니다. 이로 인해 두 가지 주요 결함이 발생했습니다:
1. 과소 적합(Underfitting): 고무판이 너무 딱딱해져서 데이터의 실제 모양을 따라 충분히 휘어지지 못했습니다. 즉, 데이터의 정점과 골짜기를 놓쳤습니다.
2. 분산 붕괴(Variance Collapse): 모델에게 학습 데이터에 없던 새로운 환자 유형에 대해 물어보면, 고무판이 갑자기 평평하게 툭 끊겨버렸습니다. 모델은 실제로 아무것도 모르면서도 "여기는 정확히 어떤 일이 일어나는지 알고 있다!"라고 말하며 과잉 확신하는 모습을 보였습니다.

새로운 해결책: IMPspec (유연한 다리)

저자들(Hugh Dance, Peter Orbanz, Arthur Gretton)은 IMPspec(Spectral representation을 이용한 Interventional Mean Process)이라는 새로운 방법을 만들었습니다.

그들이 문제를 어떻게 해결했는지, 간단한 비유를 통해 알아보겠습니다.

1. 규칙 완화 ( "느슨한 밧줄" 비유)

고무판을 엄격한 "인과적" 방 안에 가두는 대신, 그들은 방을 확장했습니다.

그들은 고무판이 조금 더 "느슨하게"(더 넓은 공간에 존재하도록) 허용한다면, 최종적인 답을 여전히 엄격한 인과적 방 안으로 끌어올 수 있다는 것을 깨달았습니다.
마법 같은 기술: 그들은 **스펙트럼 표현(Spectral Representation)**이라는 기술을 사용했습니다. 복잡한 인과 함수를 하나의 노래라고 상상해 보세요. 노래 전체를 한 번에 쓰려고 하는 대신, 노래를 개별적인 음표(주파수)들로 분해했습니다. 그리고 각 음표 위에 표준적이고 사용하기 쉬운 고무판을 올렸습니다.
이점: 개별 음표 단위로 작업하기 때문에 표준적이고 신뢰할 수 있는 도구들을 사용할 수 있습니다. 이 음표들을 다시 합쳤을 때, 최종적인 노래는 완벽하며 수학적 구조도 단순하게 유지됩니다.

2. "보정" 단계 ("온도 조절기" 비유)

새로운 방법을 사용하더라도 신뢰 구간(uncertainty bands)이 약간 어긋날 수 있습니다. 즉, 너무 좁거나 너무 넓을 수 있습니다.

저자들은 보정(Calibration) 단계를 추가했습니다. 이것은 온도 조절기(thermostat)와 같습니다.
그들은 실험을 여러 번 반복하는 것처럼 가정하는 시뮬레이션(부트스트랩, bootstrap)을 실행합니다. 그리고 확인합니다: "우리가 95% 확신한다고 말했을 때, 실제로 진실이 우리 범위 안에 95%의 비율로 들어오는가?"
만약 답이 "아니오, 우리는 80%의 시간 동안만 맞습니다"라면, 온도 조절기는 신뢰 구간이 완벽하게 보정될 때까지 "노브"(스펙트럼 측정치)를 조절합니다.

발견한 내용 (결과)

이 논문은 이 새로운 방법을 세 가지 방식으로 테스트했습니다.

장난감 예제 (Toy Examples): 단순하게 만들어진 시나리오에서, IMPspec은 기존 방법들보다 곡선을 훨씬 더 잘 그려냈습니다. 기존 방법들(BaylesIMP)은 "과소 적합"(모양을 놓침)되거나 "붕괴"(새로운 영역에서 과잉 확신함)되는 현상을 보였습니다. 반면 IMPspec은 유연성을 유지하면서 자신의 불확실성에 대해 정직했습니다.
합성 벤치마크 (Synthetic Benchmarks): 숨겨진 변수가 있는 복잡한 가상의 세계를 만들었습니다. IMPspec은 여기서도 가장 정확한 곡선과 가장 신뢰할 수 있는 신뢰 구간을 생성했습니다.
실제 데이터 (401(k) 및 의료):
- 401(k) 퇴직 연금 자격이 자산 형성에 미치는 영향을 조사하기 위해 실제 데이터셋을 사용했습니다. IMPspec은 소득에 따라 효과가 커진다는 것을 보여주었으며, 신뢰 구간 또한 합리적이었습니다.
- **인과적 베이지안 최적화(Causal Bayesian Optimization)**에 사용되었습니다. 암 부피를 최소화하기 위해 완벽한 약물 투여량을 찾으려 하지만, 몇 번의 투여량만 테스트할 수 있다고 상상해 보세요. IMPspec은 더 나은 "가이드" 역할을 하여, 자신이 어디에서 불확실한지를 정확히 알게 함으로써 다른 방법들보다 더 빠르고 안전하게 최적의 투여량을 찾도록 도왔습니다.

핵심 요약

이 논문은 개입(약물이나 정책 등)의 효과에 대해 우리가 얼마나 확신할 수 있는지를 계산하는 새로운 방법을 소개합니다.

기존 방식: 사각 못을 둥근 구멍에 억지로 밀어 넣으려 했고, 그 결과 부정확하고 위험할 정도로 과잉 확신하는 딱딱한 모델을 만들었습니다.
새로운 방식 (IMPspec): 문제를 관리 가능한 작은 조각들로 나누고(스펙트럴 표현), 표준 도구를 사용하여 해결한 뒤, 온도 조절기처럼 최종 결과를 보정합니다.
결과: 이는 데이터를 완벽하게 따라갈 만큼 유연하면서도, 자신이 답을 모를 때는 정직하게 모른다고 말할 수 있는 "고무판"을 제공하여, 높은 이해관계가 걸린 결정들을 더 안전하게 만듭니다.

기술 요약: 인과적 불확실성 정량화를 위한 중재 프로세스

문제 정의

인과 효과에 대한 신뢰할 수 있는 불확실성 정량화(Uncertainty Quantification, UQ)는 의료 및 정책과 같은 고위험 영역에서 매우 중요합니다. 빈도주의 방법론은 스칼라 평균 처치 효과(Average Treatment Effect, ATE)에 대해서는 유효한 신뢰 구간을 제공하지만, 이를 함수 값 형태의 인과적 타겟(예: 조건부 평균 처치 효과(CATE) 또는 연속적인 용량-반응 곡선)으로 확장하는 것은 여전히 어려운 과제로 남아 있습니다.

기존 접근 방식들은 다음과 같은 상당한 장애물에 직면해 있습니다:

빈도주의적 한계: 표준 디바이어스드 추정량(debiased estimators)은 리츠 표현자(Riesz representers)에 의존하는데, 이는 강력한 파라미터적 또는 매끄러움(smoothness) 가정이 없는 함수형 타겟에 대해서는 존재하지 않을 수 있습니다. 또한 이러한 방법들은 유한 샘플에서 약한 중첩(weak overlap) 문제에 민감합니다.
베이지안 한력: 중재 함수를 식별하는 조건부 법칙(conditional laws)에 사전 분포(prior)를 설정하는 것은 계산적으로 다루기 힘든 사후 추론(posterior inference) 문제를 야기합니다.
가우시안 프로세스(GP)의 한계: GP는 함수형 UQ를 위해 표준적으로 사용되지만, 재생 커널 힐베르트 공간(RKHS) 내의 함수를 위한 특화된 사전 분포를 구축하는 것은 쉽지 않습니다. Bespoke 공분산 구성을 사용하는 이전의 시도들(예: BayesIMP)은 비정상성(non-stationary) 커널로 인한 과소적합(underfitting)이나 학습 지원 범위를 벗어난 영역에서의 분산 붕괴(variance collapse)와 같은 병리적 현상을 겪었습니다.

방법론: IMPSPEC

저자들은 RKHS 표현을 활용하여 인과 함수에 대한 불확실성을 정량화하는 GP 기반 프레임워크인 IMPSPEC(Interventional Mean Process via Spectral representation)을 제안합니다. 이 방법의 핵심 혁신은 엄격한 RKHS 제약을 완화함으로써, 기존의 커널 추정기가 가진 이론적 보증을 유지하면서도 표준 GP 메커리즘을 사용할 수 있도록 하는 데 있습니다.

1. 스펙트럼 표현을 통한 RKHS 제약 완화

원래의 RKHS 제약을 회귀 객체에 직접 강제하는 대신, 이 방법은 함수 클래스를 확장합니다:

결과 회귀( $f$ )의 경우: 저자들은 경계값(boundedness)을 강제하기 위해 특화된 사전 분포를 구성하는 대신, 함수 $f$ 에 직접 단순 선형 커널 GP 사전 분포를 배치합니다. 이는 함수 클래스를 확장하지만 폐쇄형(closed-form) 사후 업데이트를 가능하게 합니다.
조건부 임베딩( $\mu$ )의 경우: $\mu(z) = E[\psi_V(V) | Z=z]$ 는 무한 차원의 RKHS 값을 갖는 함수이므로 표준 GP를 적용할 수 없습니다. 저자들은 **머서 정리(Mercer's theorem)**를 활용하여 특징 맵 $\psi_V$ 를 고유함수의 스펙트럼 급수로 분해합니다. 이를 통해 $\mu$ 를 독립적으로 표준 스칼라 GP 사전 분포를 배치할 수 있는 일련의 스칼라 값 조건부 기대치( $\mu_i$ )들의 시퀀스로 환원합니다.

2. 중재 프로세스(The Interventional Process)

인과 함수 $\gamma(w, z)$ 는 RKHS 내의 내적 $\gamma(w, z) = f(\psi_W(w) \otimes \mu(z))$ 로 표현됩니다. $f$ 와 스펙트럼 좌표 $\mu_i$ 에 대한 GP 사전 분포를 결합함으로써, 저자들은 중재 프로세스를 정의합니다.

사후 평균(Posterior Mean): 이 구조는 사후 평균이 Singh 등(2024)이 제안한 커널 인과 추정량을 정확히 회복하도록 보장하며, 이를 통해 확립된 점 추정치 주변의 불확실성을 타겟팅합니다.
사후 분산(Posterior Variance): 저자들은 $f$ 의 불확실성, $\mu$ 의 불확실성, 그리고 둘 사이의 상호작용을 설명하는 세 가지 항( $S_1, S_2, S_3$ )으로 분해되는 폐쇄형 사후 분산 식을 도출합니다.

3. 하이퍼파라미터 훈련 및 보정(Calibration)

훈련: 커널 길이 매개변수(lengthscales), 노이즈 분산 등의 하이퍼파라미터는 주변 가능도(marginal likelihood)를 최대화함으로써 최적화됩니다. 스펙트럼 성분의 경우, 저자들은 좌표별 가능도를 하나의 다룰 수 있는 가중 목적 함수로 통합합니다.
보정: 대리 가능도(surrogate likelihood) 및 모멘트 매칭 가우시안 근사로 인해 발생할 수 있는 커버리지 오류를 해결하기 위해, 저자들은 보정 절차를 도입합니다. 이 절차는 명목 신뢰 수준과 경험적 커버리지 사이의 불일치를 최소화하기 위해 스펙트럼 측도 $\nu$ (자유 매개변수)를 튜닝하며, 이때 부트스트랩 기반의 손실 함수를 사용합니다.

주요 기여

새로운 GP 프레임워크: 기존의 RKHS 제약 GP 구조에서 나타나는 병리적 현상을 피하면서 함수형 인과 관계의 UQ를 수행하는 GP 기반 접근법을 도입했습니다.
폐쇄형 추론: 중재 프로세스를 위한 폐쇄형 사후 모멘트(평균 및 분산)를 도출하여, 몬테카를로 샘플링 없이도 다룰 수 있는 훈련 및 추론을 가능하게 했습니다.
점 추정치와의 일관성: 사후 평균이 Singh 등(2024)의 커널 인과 추정량을 정확히 회복함으로써, 최첨단 점 추정치 주변에 UQ가 위치하도록 보장합니다.
보정 절차: 스펙트럼 측도 튜닝을 통한 사후 커버리지 보정 알고리즘을 제공하여 신뢰 구간의 신뢰도를 높였습니다.
실증적 검증: 합성 벤치마크, 인과적 베이지안 최적화 작업, 대규모 실제 데이터셋(401(k)) 전반에 걸쳐 개선된 불확실성 정량화 성능을 입증하는 동시에, 효과 추정 측면에서도 경쟁력 있는 성능을 유지함을 보여주었습니다.

실험 결과

저자들은 IMPSPEC을 BayesIMP, 샘플링 GP, 직교 랜덤 포레스트(ORF), 그리고 이중 강건(doubly robust) 추정량을 포함한 여러 베이스라인과 비교 평가했습니다.

토이 예제(Toy Example): IMPSPEC은 가장 낮은 RMSE와 보정 오차를 달이트했습니다. 특히, BayesIMP는 커널 구성의 비정상성으로 인해 인과 함수를 체계적으로 과소적합하는 모습을 보였습니다.
합성 벤치마크: IMPSPEC은 RMSE, 보정 오차, 구간 점수(interval score) 모든 면에서 다른 모든 방법을 압도했습니다. 결정적으로, BayesIMP와 달리 IM-SPEC은 학습 지원 범위를 벗어난 영역에서 분산 붕괴 현상을 겪지 않고 신뢰할 수 있는 불확실성 추정치를 유지했습니다.
인과적 베이지안 최적화(CBO): 최적의 중재를 찾는 작업에서 IMPSPEC은 가장 빠르게 수렴하였고 가장 낮은 누적 후회(cumulative regret)를 달성했습니다. 한 사례에서는 반복 제한 내에 근사 최적점을 찾아낸 유일한 방법이었으며, 이는 의사결정을 위한 불확실성 추정치의 유용성을 강조합니다.
실제 데이터 (401(k)): 9,915개의 관측치가 있는 데이터셋에 적용했을 때, IMPSPEC은 금융 자산에 대한 401(k) 자격의 소득 의존적 CATE에 대해 타당한 불확실성을 고려한 추정치를 생성했습니다. 이 방법은 GPU 환경에서 약 1분 내외의 실행 시간과 관리 가능한 메모리 사용량을 보이며 계산적 실용성을 입증했습니다.

의의 및 주장

본 논문은 IM-SPEC이 스칼라가 아닌 함수가 타겟인 인과 추론에서 불확실성 정량화를 위한 다룰 수 있고 신뢰할 수 있는 솔루션을 제공한다고 주장합니다. 이 방법은 다음과 같은 이점을 제공합니다:

강건성: 기존 RKHS 제약 GP 방법에서 나타나는 분산 붕괴 및 과소적합 문제를 방지합니다.
실용성: 대규모 데이터셋에 적합한 폐쇄형 추론 및 효율적인 하이퍼파라미터 튜닝을 제공합니다.
신뢰성: 신뢰 구간의 보정 성능을 개선하여, 과잉 확신이 위험할 수 있는 고위험 의사결정 상황에 필수적인 신뢰도를 높였습니다.

저자들은 IM-SPEC이 UQ 성능을 개선하지만, 그 신뢰성은 궁극적으로 기초가 되는 식별 가정(예: 인과 그래프의 유효성)의 적절성과 보정 절차의 품질에 달려 있음을 강조합니다. 그들은 IM-SPEC을 도메인 전문 지식 및 민감도 분석과 함께 사용되어야 할 도구로 정의합니다.