기술 요약: 지수 분산족 결과변수를 위한 인과 효과 추정을 위한 표적 정규화

1. 문제 제기

신경망 (NN) 을 활용한 관찰 데이터로부터의 인과 효과 추정은 강력한 경험적 성능을 보여 왔으나, **이중 강건성 (doubly robustness)**과 빠른 수렴 속도와 같은 바람직한 반모수적 속성을 달성하는 것은 여전히 어렵습니다. TMLE(표적 최대우도추정) 나 표적 정규화 (Shi et al., 2019; Nie et al., 2021 등) 를 활용하는 기존 NN 기반 추정량들은 대부분 가우시안 분포를 가정하는 연속형 결과변수에 국한되어 있습니다.

이러한 제한은 이항 결과변수(예: 구매 결정), 계수 결과변수(예: 클릭 수), 또는 실무에서 흔히 발생하는 기타 왜도 분포를 포함하는 실제 시나리오로의 적용성을 제한합니다. Gao 와 Hastie(2022) 의 이전 연구는 부분 선형 R-러너 프레임워크 내에서 자연 모수 차이 (DINA) 를 사용하여 지수족 결과변수를 다루었으나, 이러한 분포에 대해 NN 에 표적 정규화 패러다임을 확장하지는 않았습니다. 결과적으로, 지수 분산족 (EDF) 결과변수에 대해 분포 수준에서 1 차 편향을 보정하면서도 이론적 보장을 유지하는 NN 기반 추정량의 부재가 존재합니다.

본 논문은 EDF 의 표준 (자연) 모수 $\theta$로 정의된 평균 용량 표준 함수 (ADCF), $\psi_a = \theta[\text{do}(A=a)]$를 추정하는 것을 목표로 합니다. 이 선택은 표준적 함수에서의 효과 비교 관행과 부합하며, 조건부 평균에서 흔히 발견되는 이질성 문제를 회피합니다.

2. 방법론

제안된 프레임워크는 이산형 (이항) 및 연속형 처치 설정 하에서 EDF 결과변수를 위한 표적 정규화를 통합합니다. 방법론은 세 가지 주요 이론적 및 알고리즘적 단계를 거칩니다:

A. 반모수 분석 및 편향 특성화

저자들은 먼저 ADCF 에 대한 플러그인 추정량의 폰 미세스 (von Mises) 전개를 유도하여 1 차 편향의 구조를 규명합니다.

• 이산형 처치: 이항 처치의 경우, 편향이 결과 모델 ($\mu$) 과 성향 점수 ($\pi$) 의 추정 오차 곱을 포함하는 2 차 잔차항으로 구성됨을 보여주는 전개를 유도합니다. 이 곱 구조는 두 모델 중 하나라도 일관되게 추정된다면 편향이 소멸함을 의미합니다 (이중 강건성).
• 연속형 처치: 연속형 처치의 경우, 점별 ADCF 는 경로 미분 가능하지 않아 표준 영향 함수가 정의되지 않습니다. 이를 극복하기 위해 저자들은 **체로 투영된 ADCF(sieve-projected ADCF)**를 도입합니다. 무한 차원 용량 - 반응 곡선을 유한 차원 B-스플라인 체 공간으로 투영합니다. 이 투영은 경로 미분 가능성을 복원하여 잘 정의된 영향 함수와 투영된 곡선에 대한 유효한 폰 미세스 전개를 가능하게 합니다.

B. 통합 표적 정규화

폰 미세스 전개를 통해 밝혀진 편향 구조를 활용하여, 저자들은 통합된 표적 정규화 목적 함수를 구성합니다.

• 변동 모델: 모수 공간 밖으로 추정치를 밀어낼 수 있는 사후 보정항을 추가하는 대신, 이 방법은 표준 모수에 스칼라 섭동 함수 $\epsilon(a)$를 도입합니다. 변동된 모수는 다음과 같이 정의됩니다:
  $$\hat{\theta}^*(x, a) = h(\hat{\mu}(x, a)) + \frac{\epsilon(a)}{\hat{\pi}(a|x)} h'(\hat{\mu}(x, a))$$
  여기서 $h$는 링크 함수이고 $h'$는 그 도함수입니다.
• 손실 함수: 이 방법은 변동성을 통합된 손실 함수를 통해 NN 훈련에 통합합니다:
  $$L_{TR}(\mu, \pi, \epsilon) = L(\mu, \pi) + \beta R(\mu, \pi, \epsilon)$$
  여기서 $L(\mu, \pi)$는 EDF 에 대한 표준 음의 로그 가능도이며, $R$은 변동된 모델의 음의 로그 가능도에서 유도된 표적 정규화 항입니다. 항 $R$은 $\epsilon$에 대한 도함수가 점수 방정식과 같도록 구성되어, 수렴 시 편향 항을 효과적으로 0 으로 만듭니다.
• 구현: 변동 매개변수 $\epsilon(a)$는 연속형 처치에서 체 투영에 사용된 것과 동일한 B-스플라인 기저를 사용하여 매개변수화되므로, 이론적 목표와 최적화 간의 일관성이 보장됩니다.

C. 이론적 보장

본 논문은 결과적으로 생성된 NN 기반 추정량이 $L_2$ 노름에서 이중 강건 수렴 속도를 달성함을 증명합니다. 구체적으로, 오차는 다음과 같이 제한됩니다:
$$O_p\left(n^{-1/3}\sqrt{\log n} + r_1(n)r_2(n) + r_2(n)^2\right)$$
여기서 $r_1(n)$과 $r_2(n)$은 각각 성향 점수 및 결과 추정량의 수렴 속도입니다. 이는 Nie et al.(2021) 의 이론적 보장을 가우시안 결과변수에서 전체 지수 분산족으로 확장한 것입니다.

3. 주요 기여

1. ADCF 의 반모수 분석: 저자들은 EDF 결과변수의 ADCF 에 대한 폰 미세스 전개를 유도합니다. 연속형 처치의 경우, 점별 함수의 비경로 미분 가능성을 처리하기 위해 체로 투영된 ADCF를 도입하여 잘 정의된 영향 함수를 확립합니다.
2. 통합 표적 정규화: 임의의 EDF 구성원에 대해 분포 수준에서 편향을 보정하는 통합 정규화 목적 함수를 제안합니다. 이를 통해 NN 은 모수 공간 내에 머무르면서 결과 모델, 성향 점수, 변동 매개변수를 엔드 - 투 - 엔드로 공동 학습할 수 있습니다.
3. 이론적 확장: 이 연구는 가우시안 분포에서 더 넓은 EDF 클래스 (베르누이 및 푸아송 포함) 로 이전 결과를 일반화하는 이중 강건 수렴 속도 증명을 제공합니다.
4. 실증 검증: 이 방법은 이항 및 연속형 처치를 가진 합성 및 준합성 데이터셋 (News, TCGA) 에서 검증되었으며, 베르누이 및 푸아송 결과변수 설정 모두에서 최첨단 성능을 입증했습니다.

4. 실험 결과

저자들은 Causal Forest, Dragonnet(비가우시안 결과변수를 위한 적응 버전 포함), VCNet, DINA-learner, 그리고 표준 이중 강건 (DR) 추정량을 포함한 여러 기준선과 비교하여 방법을 평가했습니다.

• 이항 처치: 베르누이 및 푸아송 결과변수를 가진 데이터셋에서 제안된 방법 ("Ours") 은 평균 처리 효과 (ATE) 에 대해 가장 낮은 평균 절대 오차 (MAE) 를 달성하여 Dragonnet, VCNet, 그리고 표준 DR 추정량을 능가했습니다. 특히, DR 추정량은 보정항에서 성향 점수로 나누는 과정으로 인해 유한 표본에서 덜 안정적인 것으로 나타났습니다.
• 연속형 처치: 연속형 처치의 경우, 이 방법은 ADCF 에 대해 가장 낮은 평균 제곱 오차 (AMSE) 를 달성했습니다. 결과는 기존 모델의 손실 함수를 단순히 적응시키는 것 (예: MSE 를 음의 로그 가능도로 대체) 은 부족하며, 구체적인 표적 정규화 메커니즘이 성능에 결정적임을 확인시켜 주었습니다.
• 민감도 분석: 정규화의 강도를 조절하는 하이퍼파라미터 $\beta$는 중간 정도의 영향을 미치는 것으로 나타났습니다. 값이 너무 작으면 편향을 보정하지 못하며, 너무 크면 nuisance 함수 추정에 간섭을 줍니다.

5. 중요성 및 주장

본 논문은 딥러닝을 활용한 인과 추론에서 중요한 간극을 해결한다고 주장합니다: 즉, 실제 응용 (이항 전환율이나 계수 데이터 등) 에서 흔히 발생하는 비가우시안, 왜도 결과변수를 처리할 수 있는 기존 표적 정규화 프레임워크의 무능함입니다.

필요한 반모수 전개를 유도하고 통합된 손실 함수를 구성함으로써, 저자들은 표적 정규화가 지수 분산족으로 성공적으로 일반화될 수 있음을 입증합니다. 이 연구의 중요성은 다음과 같습니다:

• 이론적 엄밀성: 이산형 및 연속형 처치 하에서 EDF 결과변수에 대한 폰 미세스 전개 및 영향 함수의 최초 유도를 제공하여, 이중 강건 추정량 구축을 가능하게 합니다.
• 실용적 적용성: 이전 방법들 (예: DINA-learner) 의 제한적인 부분 선형 가정에 의존하지 않고 이항 및 계수 결과변수를 처리하는 엔드 - 투 - 엔드 NN 아키텍처를 제공합니다.
• 강건성: 두 추정량이 일관될 때 개별 nuisance 추정량보다 빠른 수렴 속도를 달성하면서도, 가산 편향 보정 방법과 달리 모수 공간 내에서 안정성을 유지합니다.

저자들은 이 프레임워크가 최첨단 실증 결과로 검증된 바와 같이, 함수적 표적 정규화의 이론적 보장을 훨씬 더 넓은 결과변수 분포 클래스로 확장한다고 결론지었습니다.