📈 economics

A Large-Scale Empirical Comparison of Meta-Learners and Causal Forests for Heterogeneous Treatment Effect Estimation in Marketing Uplift Modeling

이 논문은 Criteo 의 1,398 만 건 데이터셋을 기반으로 S-Learner, T-Learner, X-Learner, Causal Forest 등 네 가지 메타러너와 인과 숲 모델을 대규모로 비교 평가하여, S-Learner 가 가장 높은 Qini 점수 (0.376) 를 기록하고 무작위 타겟팅 대비 3.9 배의 성과 개선을 보였음을 실증적으로 입증했습니다.

원저자: Aman Singh

게시일 2026-04-08

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Aman Singh

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

📝 핵심 내용: "모두에게 약을 주지 말고, 진짜 필요한 사람만 찾아라!"

마케팅 회사들은 보통 A/B 테스트를 합니다. "이 광고를 100 명에게 보여주고, 100 명에게 안 보여주고 결과를 비교하자"는 거죠. 하지만 이 방법은 **"누가 약을 먹으면 낫고, 누가 먹으면 오히려 독이 되는지"**는 알려주지 못합니다.

항상 구매하는 사람 (Always-converters): 광고 안 보여줘도 사는데, 광고를 보여주고 돈 낭비.
광고 보면 싫어하는 사람 (Sleeping dogs): 광고를 보면 오히려 불쾌해해서 구매를 안 함.
광고만 보면 사는 사람 (Persuadables): 광고를 보여줘야만 구매하는 진짜 타겟.

이 논문은 1,398 만 명이라는 어마어마한 규모의 고객 데이터를 가지고, **"어떤 수학적 방법 (모델) 을 쓰면 이 '진짜 타겟'을 가장 정확하게 찾아낼 수 있을까?"**를 비교 실험했습니다.

🥊 네 명의 선수 (모델) 들의 대결

연구진은 4 가지 다른 '추리 방법 (모델)'을 준비했습니다.

S-러너 (S-Learner): "한 명의 천재가 모든 걸 다 푼다."
- 광고를 받았는지 여부와 고객 정보를 모두 섞어서 하나의 거대한 모델을 만듭니다.
- 특징: 너무 복잡한 것을 단순하게 정리하는 경향이 있어, 실수를 줄이는 '안전한 방법'입니다.
T-러너 (T-Learner): "두 명의 전문가가 따로따로 푼다."
- 광고를 받은 그룹과 안 받은 그룹을 나누어 각각 모델을 만듭니다.
- 특징: 각 그룹의 특징을 잘 살리지만, 데이터가 한쪽으로 치우치면 (광고 받은 사람이 훨씬 많을 때) 헷갈릴 수 있습니다.
X-러너 (X-Learner): "서로 가르쳐 주는 두 명의 전문가."
- T-러너의 두 모델을 서로의 데이터에 적용해보며 교차 검증합니다. 불균형한 데이터 (광고 받은 사람이 훨씬 많은 경우) 에 유리하다고 알려져 있습니다.
Causal Forest (인과성 숲): "수천 그루의 나무가 모여 판단한다."
- 수많은 작은 결정나무 (Decision Trees) 를 만들어 집단 지성으로 판단합니다. "이 사람은 95% 확률로 효과가 있을 거야"라고 **불확실성 (확신도)**까지 알려줍니다.

🏆 대결 결과: 예상 밖의 승자

놀랍게도, 가장 정교해 보이는 X-러너나 Causal Forest 가 이긴 게 아니라, 가장 단순해 보이는 'S-러너'가 압도적인 1 위를 차지했습니다.

승리 이유: 데이터가 1,398 만 명이나 되는 거대한 규모에서는, 복잡한 모델이 오히려 잡음 (노이즈) 에 흔들리기 쉽습니다. 반면, S-러너는 자연스럽게 '과도한 추측'을 억제 (규제) 하여 가장 안정적이고 정확한 순위를 매겼습니다.
실제 효과: S-러너로 상위 20% 고객만 골라 광고를 보냈을 때, 무작위로 광고를 보낼 때보다 3.9 배 더 많은 구매를 이끌어냈습니다. 즉, 광고비를 80% 줄이면서 같은 효과를 본 것입니다.

🔍 흥미로운 발견들

불확실성의 진실 (Causal Forest 의 역할):
- Causal Forest 는 "이 사람은 효과가 있을 것 같아"라고 확신하는 고객은 전체의 **1.9%**밖에 없다는 사실을 밝혀냈습니다.
- 나머지 98% 는 "효과가 있을 수도, 없을 수도 있어"라고 애매모호했습니다. 이는 **"정확한 타겟을 찾는 게 얼마나 어려운 일"**인지, 그리고 "무조건 확신만 가지고 광고하면 안 된다는 점"을 보여줍니다.
비밀스러운 단서 (SHAP 분석):
- 고객 정보는 모두 암호화되어 있어 이름 (f0, f1...) 만 알 수 있었습니다. 하지만 분석 결과, 'f8'이라는 암호화된 정보가 광고 효과를 결정하는 가장 중요한 열쇠라는 것을 찾아냈습니다.
- 이는 마치 **"고객의 어떤 행동 패턴이 광고 반응의 핵심인지"**를 찾아낸 것과 같습니다.

💡 이 연구가 우리에게 주는 교훈

이 논문은 마케팅 담당자들에게 다음과 같은 조언을 합니다:

"복잡한 게 무조건 좋은 건 아니다": 데이터가 너무 많을 때는 오히려 단순하고 안정적인 모델 (S-러너) 이 더 잘 작동할 수 있습니다.
"모두에게 광고하지 마라": 무작위로 광고를 뿌리는 것보다, 모델이 추천한 '상위 20%'에게만 집중하면 비용을 크게 아낄 수 있습니다.
"불확실성을 인정하라": 100% 확신할 수 있는 고객은 드뭅니다. 따라서 확실한 고객에게 집중하고, 나머지는 신중하게 접근해야 합니다.

한 줄 요약:

"거대한 데이터를 분석해 보니, 가장 정교한 도구보다는 단순하고 안정적인 방법으로 '광고에 반응할 진짜 고객'을 찾아내는 것이, 돈을 아끼고 매출을 올리는 지름길이었다."

1. 문제 정의 (Problem)

디지털 마케팅에서 표준적인 A/B 테스트는 전체 캠페인 수준의 평균 처리 효과 (ATE) 만을 제공하며, 개별 고객 수준에서의 반응 차이를 구분하지 못합니다. 이로 인해 다음과 같은 경제적 비효율이 발생합니다.

Always-converters: 처리 (광고 노출 등) 가 없어도 구매할 고객에게 예산을 낭비함.
Sleeping dogs: 처리가 오히려 부정적인 영향을 미치는 고객에게 예산을 낭비함.
Missed revenue: 처리에 매우 민감하게 반응하는 고가치 고객을 놓침.

이러한 문제를 해결하기 위해 이질적 처리 효과 (Heterogeneous Treatment Effect, HTE) 를 추정하여 개별 고객별 조건부 평균 처리 효과 (CATE, $\tau(x)$ ) 를 예측하는 업리프트 모델링 (Uplift Modeling) 이 필요합니다. 그러나 산업 규모 (수천만 건) 에서 다양한 CATE 추정 방법론을 체계적으로 비교 평가한 연구는 부족했습니다.

2. 방법론 (Methodology)

저자는 UpliftBench라는 대규모 실증 벤치마크를 제안하며, Criteo Uplift v2.1 데이터셋 (약 1,398 만 건의 고객 기록) 을 사용하여 4 가지 CATE 추정기를 비교 평가했습니다.

데이터셋 특성:
- 12 개의 익명화된 공변량 (covariates, f0–f11) 사용.
- 처리 (Treatment) 와 대조군 (Control) 비율: 85% : 15% (불균형).
- propensity score AUC 가 0.509 로, 거의 무작위 할당에 가까워 내부 타당성이 높음.
- 주요 목표 변수: 방문 (Visit, 4.7% 긍정률).
평가된 모델 (Base Learner: LightGBM):
1. S-Learner: 처리 여부를 하나의 특성으로 추가하여 단일 결과 모델 ( $\mu(x, t)$ ) 을 학습. CATE 는 $\mu(x, 1) - \mu(x, 0)$ 로 추정.
2. T-Learner: 처리군과 대조군 각각에 대해 별도의 결과 모델 ( $\mu_1(x), \mu_0(x)$ ) 을 학습 후 차이 계산.
3. X-Learner: 처리 불균형 상황을 고려하여 두 그룹의 모델을 교차 적용 (cross-fitting) 하고 propensity score 로 가중치를 부여한 후 재학습하는 2 단계 접근법.
4. Causal Forest (EconML): 비모수적 접근법으로, Honest Splitting 을 통해 점 추정치와 95% 신뢰구간을 제공. (계산 제약으로 인해 10% 표본인 약 28 만 건으로 평가).
평가 지표:
- Qini 계수: 무작위 타겟팅 기준선 대비 모델의 누적 이득 곡선 면적을 측정하는 주요 순위 지표.
- 누적 이득 곡선 (Cumulative Gain Curves) 및 정책 시뮬레이션.
- 불확실성 정량화: Causal Forest 의 신뢰구간을 기반으로 고객 세분화 (확신 있는 설득 가능군, 확신 있는 비호의군 등).
- SHAP 분석: T-Learner 예측을 기반으로 각 특성이 HTE 에 기여하는 정도를 설명.

3. 주요 결과 (Key Results)

모델 성능 비교 (Qini 점수):
- S-Learner가 가장 높은 Qini 점수 (0.3759) 를 기록하여 가장 우수한 성능을 보였습니다.
- X-Learner (0.3615), T-Learner (0.3503), Causal Forest (0.2524) 순서였습니다.
- 특이점: 이론적으로 처리 불균형 (85/15) 상황에서 X-Learner 가 우세할 것으로 예상되었으나, 대규모 데이터 (1,120 만 건 학습) 에서는 S-Learner 의 정규화 효과가 더 유리하게 작용하여 오히려 S-Learner 가 더 좋은 성능을 보였습니다.
- Causal Forest 의 낮은 점수는 전체 데이터 대비 10% 표본의 한계로 인한 것으로 보이며, 근본적인 성능 부족보다는 계산적 제약의 결과로 해석됩니다.
타겟팅 효율성 (Business Impact):
- 예측된 CATE 가 높은 상위 20% 고객만 타겟팅할 경우, 무작위 타겟팅 대비 3.9 배 높은 효율을 달성했습니다.
- 상위 20% 고객만 접촉하여 전체 증분 전환 (Incremental Conversions) 의 77.7% 를 포착할 수 있었습니다.
- 이는 마케팅 예산을 80% 절감하면서도 동일한 전환 효과를 얻거나, 동일한 예산으로 더 큰 효과를 낼 수 있음을 의미합니다.
불확실성 정량화 (Causal Forest):
- 95% 신뢰구간 분석 결과, 고객 중 1.9% 만이 "확신 있는 설득 가능군 (Lower CI > 0)"으로 분류되었고, 0.1% 가 "확신 있는 비호의군 (Sleeping dogs, Upper CI < 0)"으로 분류되었습니다.
- 나머지 98% 는 불확실성이 큰 구간으로, 확률적 타겟팅이 이진 규칙 기반 접근법보다 우월함을 시사합니다.
특성 중요도 (SHAP):
- 12 개 익명 특성 중 f8이 HTE 의 주요 드라이버로 확인되었으며, f6, f2 와 함께 대부분의 분산을 설명했습니다.

4. 주요 기여 (Key Contributions)

대규모 실증 벤치마크 (UpliftBench): 산업 규모 (1,398 만 건) 의 실제 데이터에서 메타-러너 (S, T, X-Learner) 와 Causal Forest 를 체계적으로 비교한 최초의 연구 중 하나입니다.
실무적 통찰: 처리 불균형이 있는 상황에서도 대규모 데이터에서는 S-Learner 가 X-Learner 보다 더 안정적이고 우수한 성능을 낼 수 있음을 입증했습니다.
종합 평가 인프라: Qini 점수, 정책 시뮬레이션, 불확실성 정량화, SHAP 기반 특성 분석을 포함한 완전한 평가 파이프라인을 구축하고 오픈소스로 공개했습니다.
불확실성 정량화의 중요성 강조: Causal Forest 를 통해 고객별 신뢰구간을 추정함으로써, "확신 있는" 고객만 선별하는 전략의 한계와 확률적 접근의 필요성을 보여주었습니다.

5. 의의 및 시사점 (Significance)

실무 가이드라인 제공: 업리프트 모델링 파이프라인을 구축할 때, 무조건 복잡한 X-Learner 나 Causal Forest 를 선택하기보다, 데이터 규모와 특성에 따라 LightGBM 기반의 S-Learner가 강력한 베이스라인이 될 수 있음을 제시했습니다.
예산 최적화: 상위 20% 고객 타겟팅을 통해 3.9 배의 효율 향상을 달성할 수 있다는 정량적 증거는 마케팅 예산 배분 의사결정에 직접적인 근거를 제공합니다.
확장성 한계와 방향성: Causal Forest 의 경우 대규모 데이터 처리를 위해 표본 추출이 필요하다는 점을 지적하며, 향후 분산 처리 또는 근사 알고리즘을 통한 확장성 연구의 필요성을 제기했습니다.

이 연구는 이론적 모델 비교를 넘어, 실제 대규모 디지털 마케팅 환경에서 어떤 알고리즘이 가장 효과적인지에 대한 데이터 기반의 명확한 결론을 제시했다는 점에서 의의가 큽니다.