기술 요약: 분포적 도구 변수(Distributional Instrumental Variable, DIV) 방법론

문제 정의

본 논문은 무작위 실험을 사용할 수 없는 상황에서 미관측 혼란 변수(hidden confounders $H$)가 존재할 때 인과 효과를 추론하는 과제를 다룹니다. 도구 변수(Instrumental Variable, IV) 접근법은 이러한 내생성 문제를 해결하기 위한 표준적인 도구이지만, 기존 방법들은 대개 평균 인과 효과(예: 2단계 최소제곱법, 2SLS)나 분위수 처치 효과와 같은 특정 범함수(functionals)를 추정하는 데 집중합니다.

저자들은 인과 효과를 단일 수치(예: 평균)로 요약하는 것은 귀중한 정보를 버리는 것이라고 주장합니다. 많은 응용 분야에서는 처치 $X$에 대한 $do$-개입 하에서의 결과$Y$의 전체 개입 분포(interventional distribution, $P_{do(X:=x)}(Y)$로 표기)를 이해하는 것이 훨씬 더 유익합니다. 또한, 전통적인 IV 방법들은 도구 변수의 수가 처치 변수의 수보다 적거나, 조건부 평균 측면에서는 약하지만 고차 분포 모멘트 측면에서는 강한 관계를 가질 때 발생하는 "과소 식별(under-identified)" 설정에서 실패하는 경우가 많습니다.

방법론: 분포적 도구 변수 (DIV)

제안된 분포적 도구 변수(DIV) 방법은 구조적 인과 모델(Structural Causal Model, SCM) 프레임워크 내에서 생성 모델링(generative modelling)을 활용하여 전체 개입 분포를 추정합니다.

1. 구조적 인과 모델 및 생성적 정식화

저자들은 데이터가 다음과 같은 SCM에 의해 생성된다고 가정합니다:
$$X := g(Z, \eta_X)$$
$$Y := f(X, \eta_Y)$$
여기서 $Z$는 도구 변수, $X$는 처치, $Y$는 결과이며, $\eta_X$와 $\eta_Y$는 혼란으로 인해 상관관계가 있는 노이즈 항입니다. 고전적인 선형 IV 방법과 달리, DIV는 일반적인 비선형 함수 $g$와 $f$를 허용하며 가법적 노이즈(additive noise)를 가정하지 않습니다.

$\eta_X$와 $\eta_Y$ 사이의 상관관계를 포착하기 위해, DIV는 노이즈 항을 독립적인 표준 가우시안 변수와 공유된 잠재 노이즈 성분의 함수로 모델링합니다:
$$\eta_X = h_X(\varepsilon_X, \varepsilon_H)$$
$$\eta_Y = h_Y(\varepsilon_Y, \varepsilon_H)$$
여기서 $\varepsilon_X, \varepsilon_Y, \varepsilon_H$는 독립적인 표준 가우시안입니다. 이는 $(X, Y)$에 대한 $Z$ 조건부 결합 생성 모델을 산출합니다.

2. 에너지 점수(Energy Score)를 통한 추정

DIV 방법의 핵심은 Engression (Shen and Meinshausen, 2024)을 사용하여 결합 조건부 분포 $P(X, Y | Z)$를 적합시키는 것입니다. 모델 파라미터(함수 $g, f, h_X, h_Y$를 위한 신경망)는 다변량 분포에 대한 엄격하게 적절한 점수 규칙(strictly proper scoring rule)인 **기대 음의 에너지 점수(expected negative energy score)**를 최소화하도록 최적화됩니다.

모집단 목적 함수는 다음과 같습니다:
$$(g^*, f^*, h_X^*, h_Y^*) \in \arg \min_{f,g,h_X,h_Y} \mathbb{E} \left[ \|(X, Y) - (\hat{X}, \hat{Y})\| - \frac{1}{2}\|(\hat{X}, \hat{Y}) - (\hat{X}', \hat{Y}')\| \right]$$
여기서 $(\hat{X}, \hat{Y})$와 $(\hat{X}', \hat{Y}')$는 모델에 의해 생성된 독립적인 샘플입니다.

3. 개입 분포 추정

모델이 적합되면, 샘플링을 통해 개입 분포 $P_{do(X:=x)}(Y)$를 추정합니다. $do$-개입$do(X:=x)$는$X$와 그 노이즈$\eta_X$ 사이의 연결을 끊습니다. 절차는 다음과 같습니다:

1. $\varepsilon_Y$와 $\varepsilon_H$를 표준 가우시안에서 샘플링합니다.
2. 노이즈 $\eta_Y^* = h_Y^*(\varepsilon_Y, \varepsilon_H)$를 계산합니다.
3. 결과 $Y^* = f^*(x, \eta_Y^*)$를 생성합니다.

이 샘플들로부터 몬테카를로 방법을 통해 분포의 모든 범함수(평균, 분위수, 분산 등)를 추정할 수 있습니다.

주요 이론적 기여

본 논문은 세 가지 뚜렷한 모델 구성 하에서 개입 분포에 대한 식별성(identifiability) 결과를 확립합니다:

1. 일반 모델 클래스: 잠재적 교란(latent disturbances)에 대한 엄격한 단조성 가정과 공통 지지 집합(common support) 조건(도구가 큰 지지 집합을 가질 것을 요구함) 하에서, 개입 분포는 관측된 데이터로부터 유일하게 식별 가능합니다.
2. 전가법적 노이즈 모델 (연속형 도구 변수): 결과 모델을 전가법적 노이즈 형태(pre-additive noise form)로 제한함으로써, 저자들은 도구가 일반 클래스에서 요구되는 "큰 지지 집합" 조건을 반드시 만족하지 않더라도 연속적인 지지 집합을 가진 경우의 식별성을 보여줍니다.
3. 전가법적 노이즈 모델 (이산/이진 도구 변수): 결정적으로, 본 논문은 전가법적 노이즈 모델의 경우 이진 도구 변수와 다변량 처치 환경에서도 개입 분포가 식별 가능하다는 것을 입증합니다(이는 $dim(Z) < dim(X)$인 과소 식별 설정입니다). 이는 1단계에서 다중공선성 문제로 인해 실패하는 2SLS와 대조됩니다. 저자들은 만약 도구가 처치 분포에 미치는 영향이 단순히 결정론적인 이동(deterministic shift)에 그치지 않는다면(즉, 조건부 분포가 평균 이동 이상의 차이를 보인다면), 전체 분포 정보가 식별에 충분하다는 것을 보여줍니다.

또한, 본 논문은 단순한 파라미터 선형 하위 클래스에서 DIV 추정량의 **일관성(consistency)**을 증명합니다.

경험적 결과

저자들은 2SLS, Control Functions (CF), DeepIV, DeepGMM, HSIC-X, IVQR, DIVE를 포함한 벤치마크들과 DIV를 비교 평가했습니다.

• 시뮬레이션 데이터:
  • 평균 및 분위수 추정: DIV는 선형, 비선형, 전가법적 노이즈 설정 모두에서 평균 및 분위수 추정에 있어 경쟁력 있거나 우수한 성능을 보였습니다.
  • 과소 식별 사례: 단일 이진 도구 변수와 2차원 처치($dim(Z)=1, dim(X)=2$)가 있는 시나리오에서 2SLS와 다른 벤치마크들은 인과 파라미터를 식별하는 데 실패했습니다. 반면 DIV는 전체 분포 정보를 활용하여 파라미터를 성공적으로 복구했습니다.
  • 약한 도구 변수: DIV는 도구가 평균 관련성(mean relevance)이나 평균-분산 관련성(mean-variance relevance) 측면에서 약하더라도, 고차 분포 모멘트가 구조적 정보를 담고 있다면 견고함을 유지합니다.
• 실제 응용 사례:
  • 경제 데이터 (Acemoglu et al., 2001): 제도적 질과 GDP 간의 관계에 적용되었습니다. DIV는 원래의 2SLS 결과와 일치하는 양(+)의 대략 선형적인 인과 효과를 복구하는 동시에, 전체 분포 추정치(분위수)를 제공했습니다.
  • 단일 세포 데이터 (Single-Cell Data): 관찰되지 않은 CRISPR 섭동 하에서의 유전자 발현 예측에 적용되었습니다. DIV는 다른 방법들에 비해 미관측 개입 환경에 대한 뛰어난 일반화 능력과 다양한 훈련 서브셋에 대한 안정성을 보여주었으며, 이는 DIV가 근본적인 인과 메커니즘을 더 효과적으로 포착하고 있음을 시사합니다.

의의 및 주장

본 논문은 DIV가 다음과 같은 점에서 인과 추론의 중요한 진보를 제공한다고 주장합니다:

1. 추정 대상의 확장: 평균 또는 분위수 효과를 넘어 전체 개입 분포를 추정함으로써, 인과 메커니즘과 알레아토리적 불확실성(aleatoric uncertainty)에 대한 더 풍부한 이해를 제공합니다.
2. 식별 한계 극로: 전통적인 IV 방법(예: 2SLS)이 실패하는 "과소 식별" 문제, 특히 이진 도구 변수와 다변량 처치가 있는 설정에서 분포 정보를 활용하여 이를 해결합니다.
3. 유연성: 제한적인 가법적 노이즈 가정을 따르지 않고 일반적인 비선형 관계를 수용합니다.
4. 실용적 유용성: 추정된 개입 분포로부터 샘플링할 수 있는 효율적인 소프트웨어 구현체(R 및 Python)를 제공하여, 임의의 분포적 범함수를 계산할 수 있도록 합니다.

저자들은 DIV가 $P(X, Y | Z)$의 결합 분포를 추정하는 데 의존하지만, 이 접근 방식이 도구 변수로부터의 정보 사용을 극대화하여 복잡하고 혼란스러운 설정에서 식별 가능성을 높이는 최선의 방법이라고 결론짓습니다. 향-후 연구 방향으로는 인식론적 불확실성(epistemic uncertainty) 정량화 및 분포 일반화 작업에 대한 방법론 적용 등이 언급되었습니다.