Doubly Robust Estimation of Causal Effect on CVR with Targeted Regularization

기술 요약: 표적 정규화를 이용한 CVR에 대한 이중 강건 추정

1. 문제 정의

본 논문은 처치 $A$(예: 쿠폰 할당)가 **클릭 후 전환율(CVR)**에 미치는 인과 효과를 추정하는 문제를 다룹니다. CVR은 조건부 확률 $P(Y_2=1 | Y_1=1)$로 정의됩니다. 여기서 $Y_1$은 클릭을, $Y_2$는 전환을 나타냅니다. 대상 추정량(target estimand)은 특정 처치 전략 하에서의 평균 잠재 CVR입니다:
$$\psi_a = E[P(Y_2(a)=1 | Y_1(a)=1, X)]$$
여기서 $X$는 공변량을 나타냅니다.

주요 과제:

• 표본 선택 편향(Sample Selection Bias): 클릭된 샘플($Y_1=1$)에만 적용되는 표준 인과 추론 방법은 클릭 이벤트가 비무작위적이며 처치에 의존하기 때문에 편향을 유발합니다.
• 기존 CVR 예측의 한계: CVR 예측에 관한 기존 연구들은 전체 샘플에 대해 편향되지 않은 손실(unbiased loss)을 최적화함으로써 선택 편향을 교정하는 "이상적 손실(ideal loss)"을 활용합니다. 그러나 본 논문은 편향되지 않은 손실이 인과 효과에 대한 최종 추정량의 편향되지 않음을 이론적으로 보장하지는 않는다고 주장합니다.
• 표준 인과 추정량의 한계: 누설 파라미터(nuisance parameters)를 추정하고 그 비율을 취하는 플러그인 추정량(plug-in estimators)을 직접 적용하는 것은, 특히 신경망과 같은 유연한 비모수적 추정량을 사용할 때 수렴 속도가 느리고 모델 오설정(misspecification)에 민다면한 문제를 겪습니다.

2. 방법론

저자들은 준모수적 이론(semiparametric theory) 관점에서 접근하여, CVR 결과의 체인 구조(chain-structured nature)에 특화된 새로운 추정량을 도출합니다.

A. 이중 강건(Doubly Robust, DR) 추정량 구축
본 논문은 대상 추정량을 위한 영향 함수(influence function)와 본 미세스 확장(von Mises expansion)을 도출합니다. 이를 바탕으로 새로운 이중 강건 추정량을 구성합니다:
$$\hat{\psi}_{a}^{dr} = \hat{\psi}_{plug-in} + \mathbb{P}_n(\phi_a(\hat{P}))$$
여기서 $\phi_a(P)$는 다음의 누설 파라미터를 포함하는 영향 함수입니다:

• $\mu_1(x, a) = E(Y_1 | X, A=a)$ (클릭 확률)
• $\mu_2(x, a) = E(Y_2 | X, A=a)$ (전환 확률)
• $\pi(a|x)$ (성향 점수)

이 추정량은 플러그인 추정량의 1차 편향을 제거하는 교정 항을 포함합니다. 이론적으로, 이 추정량은 누설 파라미터들이 (예: $o_P(n^{-1/4})$와 같이) 느린 속도로 추정되더라도, 그 오차들의 곱이 충분히 빠르게 수렴한다면 **$\sqrt{n}$-일치성($\sqrt{n}$-consistency)**과 점근적 정규성을 달성합니다. 이 성질은 하나의 누설 파라미터 추정량이 일치하지 않더라도(이중 강건성) 유지됩니다.

B. 표적 정규화(Targeted Regularization) 프레임워크
직접적인 1단계 교정(one-step correction)이 가질 수 있는 수치적 불안정성(예: 파라미터 공간 밖의 추정치를 생성하거나 낮은 클릭률로 인해 불안정해지는 문제)을 해결하기 위해, 저자들은 표적 정규화 프레임워크를 제안합니다.

• 직접적인 교정 단계 대신, 학습 가능한 섭동 파라미터(perturbation parameter) $\epsilon(a)$를 도입합니다(연속적 처치의 경우 스플라인을 통해 근사).
• 영향 함수의 경험적 평균을 0으로 강제하기 위해 손실 함수에 정규화 항 $R$을 추가합니다:
  $$R = \frac{1}{n} \sum_{i=1}^n \left( \frac{y_{2i} - \hat{\mu}_{2i}}{\hat{\mu}_{1i}} - \frac{(y_{1i} - \hat{\mu}_{1i})\hat{\mu}_{2i}}{\hat{\mu}_{1i}^2} - \frac{\hat{\epsilon}(a_i)}{\hat{\pi}_i} \right)^2$$
• 멀티태스크 학습(Multi-Task Learning): 이 프레임워크는 CTR과 CVR의 인과 효과를 공동으로 추정합니다. 전환이 클릭을 함축한다는 논리적 제약($Y_2 \le Y_1$)을 강제하기 위해, 모델은 $\hat{\mu}_2 = \hat{\mu}_1 \times \tilde{\mu}_2$를 예측합니다.
• 그래디언트 차단(Gradient Blocking): 정확한 성향 점수 추정을 보장하기 위해, 표적 정규화 항으로부터의 그래디언트가 성향 점수 추정량 $\hat{\pi}$로 전파되는 것을 차단합니다.

3. 주요 기여

1. 이론적 정식화: 본 논문은 준모수적 관점에서 CVR 인과 추정을 재검토하여, 영향 함수를 도출하고 체인 구조의 결과물에 특화된 새로운 이중 강건 추정량을 확립했습니다. 또한 이 추정량이 완만한 가정 하에서 $\sqrt{n}$-일치성을 달성함을 증명했습니다.
2. 실용적 프레임워크: 복잡한 모델(예: 신경망)에 적합하도록 샘플 분할(cross-fitting)을 요구하지 않으면서도, 이중 강건성 개념을 안정적인 엔드투엔드(end-to-end) 학습 절차로 확장한 표적 정규화 프레임워크를 제안합니다.
3. 실증적 검증: 합성 데이터, 준합성 데이터 및 실제 데이터에 대한 광범위한 실험을 통해, 제안된 방법이 표준 베이스라인(DragonNet, VCNet, Causal Forest) 및 기존의 CVR 특화 방법들보다 우수한 성능을 보임을 입증했습니다.
4. 새로운 추정량의 이론적 필요성: "손실 디바이어싱(loss debiasing)"(CVR 예측 문헌)과 표준 인과 추정량을 결합하는 것이 열등한 결과를 낳는다는 것을 보여줌으로써, 최종 추정량을 직접 겨냥하여 도출된 추정량의 필요성을 강조했습니다.

4. 실험 결과

• 데이터셋: 합성 데이터와 준합성 데이터(News 데이터셋 기반)에 대해 실험을 수행했습니다. 또한 대규모 실제 데이터셋(CRITEO-UPLIFTv2)에 대해서도 실험을 진행했으나, 저자들은 공개된 데이터의 한계(예: 이진 처치 vs 연속적 처치, 타겟 추정량에 대한 Ground Truth 부재)로 인해 이는 보충 참조용으로만 사용되었음을 명시했습니다.
• 지표: 합성/준합성 데이터에는 평균 제곱 오차(AMSE)를 사용하였고, 실제 데이터에는 AUUC와 QINI를 사용했습니다.
• 성능:
  • 제안된 방법은 주요 합성 및 준합성 데이터셋에서 표준 DR 추정량과 "Ours (w/o. t-reg)" 절제 실험 모델을 포함한 모든 베이스라인보다 유의미하게 높은 성능을 보였습니다.
  • 절제 실험을 통해 표적 정규화가 핵심적임을 확인했습니다. 이를 제거하면 성능이 크게 떨어져 단순한 플러그인 추정량 수준으로 회귀했습니다.
  • 제안된 방법은 다양한 하이퍼파라미터 설정에서도 견고함을 보였습니다.
  • 손실 디바이어싱과 표준 인과 추정량을 결합한 대안적 접근 방식과 비교했을 때 제안된 방법이 더 우수함을 보여주었으며, 이는 편향되지 않은 손실이 편향되지 않은 인과 추정을 보장하지 않는다는 점을 확인시켜 줍니다.
  • CRITEO-UPLIFTv2 데이터셋 결과는 방법의 실용적 유용성을 추가로 검증했으나, 저자들은 데이터셋의 한계로 인해 성능이 과소평가되었을 수 있다고 주의를 주었습니다.

5. 의의 및 주장

본 논문은 CVR와 같은 체인 구조의 결과에 대한 인과 효과를 추정하기 위한 일반적인 프레임워크를 제공한다고 주장합니다. 본 연구의 의의는 이론적 준모수적 효율성과 실용적인 딥러닝 응용 사이의 간극을 메우는 데 있습니다.

• 기존의 CVR 예측을 위한 "이상적 손실"에 의존하는 방법들은 최종 추정량의 무편향성을 보장하지 못하므로 인과 효과 추정에는 불충분하다고 단언합니다.
• 표적 정규화로 안정화된 맞춤형 이중 강건 추정량이 이론적 보장(일치성, 점근적 정규성)과 실용적 안정성(모델 오설정 및 낮은 클릭률에 대한 견고성)을 모두 제공함을 입증합니다.
• 본 연구는 전략의 단계별 효율성(특히 클릭 후 전환)을 이해하는 것이 매우 중요한 이커머스 및 광고 분야의 기업 의사결정을 위한 솔루션으로 자리매김하고 있습니다.