기술 요약: 무본질적 이질성(No Essential Heterogeneity) 하에서의 준모수적 인과 매개 분석을 위한 표현 학습

1. 문제 정의

많은 무작위 실험의 주요 목적은 전체적인 처치 효과뿐만 아니라, 중간 변수 $M$에 의해 매개되는 간접 효과와 같은 근저의 인과 기제를 추정하는 것입니다. 중요한 방법론적 과제는 매개체와 결과 사이의 미측정 교란 요인이 존재할 때 발생합니다. 이러한 경우, 관찰된 공변량에 대해 매개체-결과 간의 교란이 없음을 요구하는 고전적인 순차적 무시 가능성(Sequential Ignorability, SI) 가정이 위반되며, 이는 일관된 추정치를 얻는 것을 방해합니다.

구조적 중첩 모델(Structural Nested Models, SNMs)과 G-추정법(G-estimation)은 미측정 교선 문제를 다루기 위한 프레임워크를 제공하지만, 전통적인 적용 방식은 종종 "순위 보존(Rank Preservation)" 가정에 의존합니다. 이 가정은 개인 수준의 편차가 모든 반사실적 레짐(counterfactual regimes)에서 동일함을 의미하며, 이는 처치 또는 매개 효과의 개인 수준 이질성을 배제한다는 점에서 지나치게 제한적이라는 비판을 자주 받습니다.

이를 해결하기 위해 Zheng과 Zhou(2015)는 "무본질적 이질성(No Essential Heterogeneity, NEH)" 가정을 기반으로 한 더 일반적인 구조적 평균 모델을 제안했습니다. NEH는 미측정 교란 요인을 허용하고 관찰된 공변량에 따른 임의의 효과 수정을 허용하지만, G-추정법을 위한 최적 가중치 함수가 처치가 매개체에 미치는 조건부 평균 처치 효과(CATE)에 의존한다는 점에 기반합니다. 고차원 공변량과 비선형 매개 효과가 존재하는 환경에서 이 CATE를 정확하게 추정하는 것은 어렵습니다. 표준 선형 접근 방식이나 별도의 회귀 모델(T-learner)은 복잡한 이질성을 포착하는 데 실패하여, 결과적으로 부적절한 가중치를 생성하고 최종 구조적 파라미터 추정치의 효율성을 저하시킬 수 있습니다.

2. 방법론: UNIT 프레임워크

저자들은 딥 표현 학습(deep representation learning)과 G-추정법을 결합한 2단계 추정량인 UNIT(Unmeasured-confounding-robust NEH-based Identification with TARNet)을 제 제안합니다.

이론적 프레임워크

이 방법은 다음의 핵심 가정하에 작동합니다:

1. 일관성/SUTVA: 잠재적 결과에 관한 표준 가정.
2. 처치 무시 가능성: 처치 할당은 사전 처치 공변량이 주어졌을 때 잠재적 결과 및 매개체와 독립적입니다(무작위 배정에 의해 충족됨).
3. 무본질적 이질성 (NEH): 미측정 교란 요인이 평균 처치 또는 매개 효과를 수정하지 않습니다. 이는 순위 보존보다 약하지만 완전한 비모수적 식별보다는 강한 조건입니다.
4. 올바른 구조적 명세: 구조적 평균 모델의 함수 형태가 올바르게 명세되었습니다.
5. 비퇴화성 (Non-degeneracy): 가중치 행렬은 비퇴화적이어야 하며, 이는 처치가 매개체에 대해 이질적인 효과를 가질 것을 요구합니다.

NEH 하에서, G-추정법을 위한 최적 가중치 함수는 매개체의 CATE인 $\tau_M(X) = E[M|T=1, X] - E[M|T=0, X]$에 의존합니다.

2단계 알고리즘

1단계: 가중치 추정을 위한 표현 학습
별도의 회귀(T-learner)나 선형 모델 대신, UNIT은 **처치 불가지론적 표현 네트워크(Treatment-Agnostic Representation Network, TARNet)**를 사용합니다.

• 구조: 네트워크는 처치 군단 전반에 걸쳐 공변량의 공유된 표현 $\Phi(X)$를 학습한 후, 처치 특이적 출력 헤드(대조군을 위한 $h_0$, 처치군을 위한 $h_1$)를 따릅니다.
• 메커니즘: 매개체의 CATE는 두 헤드의 차이인 $\hat{\tau}_M(X) = h_1(\Phi(X)) - h_0(\Phi(X))$로 추정됩니다.
• 교차 적합(Cross-fitting): 과적합을 방지하고 유효한 점근적 성질을 보장하기 위해, TARNet은 교차 적합을 사용하여 훈련됩니다. CATE는 각 단위에 대해 out-of-fold 방식으로 추정됩니다.
• 가중치 구성: 추정된 CATE는 플러그인 가중치 벡터 $\hat{W}(X) = (1, \hat{\tau}_M(X))^\top$를 구성하는 데 사용되며, 이는 처치 할당 확률에 의해 중심화되어 도구 변수 $\hat{A}_i = (T_i - p)\hat{W}(X_i)$를 형성합니다.

2단계: 구조적 G-추정
1단계에서 도출된 가중치를 사용하여, 다음의 경험적 G-추정 방정식을 풀어 구조적 파라미터 $\theta$를 추정합니다:
$$\sum_{i=1}^n \hat{A}_i \left( Y_i - \hat{g}^{(-)}(X_i) - H_i^\top \theta \right) = 0$$
여기서 $H_i$는 구조적 모델의 기저 함수(예: 처치 및 매개 지표)를 나타내며, $\hat{g}^{(-)}$는 기저 결과에 대한 교차 적합된 추정치입니다. 저자들은 기저에 선형 작동 모델을 사용하는 경우, 이 시스템이 폐쇄형 해(closed-form solution)를 갖는다고 언급했습니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 합니다:

1. 표현 품질과 효율성의 연결: 저자들은 학습된 표현 $\Phi$의 품질과 구조적 파라머 추정량의 효율성 사이의 명확한 이론적 및 경험적 연결 고리를 확립했습니다. 그들은 더 정확한 CATE 추정이 더 정보가 풍부한 플러그인 가중치 행렬을 생성하여 $\hat{\theta}$의 점근적 분산을 줄인다는 것을 입증했습니다.
2. UNIT 알고리즘: 저자들은 교차 적합된 TARNet 추정과 G-추정법을 결합한 실용적인 2단계 알고리즘을 제안합니다. 이 접근 방식은 더 강력한 순위 보존 가정을 보다 타당한 NEH 가정으로 완화하면서 미측정 매개체-결과 교란을 처리합니다.
3. 경험적 검증: 비가우시안 공변량, 복잡한 비선형 처치 효과, 미측정 교란을 포함하는 종합적인 시뮬레이션 연구를 통해, 저자들은 TARNet 기반 가중치가 선형 T-learner나 랜덤 포레스트(Random Forest)와 같은 클래식한 접근 방식에 비해 편향을 도입하지 않으면서도 매개 계수 추정의 정밀도를 유의미하게 향상시킨다는 것을 보여주었습니다.

4. 시뮬레이션 결과

저자들은 비선형성, 도구 변수의 강도, NEH 가정의 타당성 정도를 달리하여 7가지 시나리오에 대해 UNIT을 평가했습니다.

• CATE 추정 (1단계): 비선형 매개 효과가 있는 시나리오에서, TARNet은 선형 Ridge 회귀 및 별도의 랜덤 포레스트(T-learner)보다 매개 CATE를 추정하는 데 있어 성능이 월등히 뛰어났습니다. TARNet은 특히 표본 크기가 중간 규모($n \ge 1000$)일 때, 실제 CATE와의 높은 상관관계와 낮은 정규화된 평균 제곱근 오차(NRMSE)를 달로했습니다.
• 구조적 추정 (2단계):
  • 효율성: 비선형 설정에서, TARNet 기반 가중치는 선형 T-learner에 비해 매개 계수의 표준 오차를 약 30–50% 감소시켰습니다 ($n \ge 2000$에서 중앙값 SE 비율 1.45–1.51).
  • 편향 및 커버리지: NEH 가정이 성립할 때, 모든 G-추정량(사용된 1단계 학습기에 관계없이)은 편향되지 않았으며 명목 커버리지(약 95%)를 달성했습니다. 미측정 교란을 무시하는 나이브한 Baron–Kenny 추정량은 상당한 양의 편향을 보였으며 커버리지는 0%였습니다.
  • 강건성: NEH가 위반되었을 때(본질적 이질성이 존재할 때), 모든 방법은 동일한 편향된 극한값으로 수렴하였으며, 이는 해당 방법의 유효성이 특정 학습기가 아닌 NEH 가정에 의존함을 확인시켜 줍니다.
  • 공유 표현: TARNet(공유 표현)과 TNet(별도 신경망)을 비교했을 때, TARNet은 중간 규모의 표본 크기에서 표준 오차를 30–40% 줄이는 뚜렷한 유한 표본 이점을 보였습니다. 이 격차는 표본 크기가 커짐에 따라 줄어들었는데, 이는 공유 표현의 이점이 중간 규모의 표본에서 가장 중요하다는 것을 시사합니다.

5. 의의 및 주장

본 논문은 처치 할당은 무작위이지만 매개체-결과 간의 교란이 미측정된 적용 가능한 매개 분석에서 UNIT이 실질적인 효율성 이득을 제공한다고 주장합니다. G-추정법을 위한 최적 가중치를 추정하기 위해 딥 표현 학습을 활용함으로써, 이 방법은 고차원 및 비선형 설정에서의 선형 근사의 한계를 극복합니다.

저자들은 자신들의 기여가 식별 전략 자체(Zheng 및 Zhou, 2015로부터 상속됨)가 아니라, 더 나은 1단계 표현 학습이 더 효율적인 구조적 추정을 이끌어낸다는 점을 입증하는 데 있다고 강조합니다. 저자들은 복잡한 공변량-매개체 관계를 다루는 연구자들에게 UNIT이 정밀도 측면에서 전통적인 학습자보다 우수한 체계적이고 준모수적인 프레임워크를 제공한다고 주장합니다.

결론적으로, 이 방법은 강건하지만 NEH 가정 위반에 대한 만병통치약은 아니며, 관측 데이터에 적용하기 위해서는 성향 점수(propensity score)를 추정하기 위한 추가적인 확장이 필요합니다. 또한 저자들은 광범위한 경험적 검증을 위한 공개 벤치마크 데이터셋의 부족을 언급하였습니다.