📊 statistics

Hierarchical Causal Uplift Modeling in Overlapping Customer Journeys

이 논문은 여러 마케팅 여정이 중첩되어 발생하는 실험적 편향을 해결하기 위해, 각 여정의 순수 효과와 상호작용을 분리하여 전체 증분 효과를 정확히 추정하는 계층적 인과적 업리프트 모델(Hierarchical Causal Uplift Model)을 제안합니다.

원저자: Jorge Pellegrini

게시일 2026-04-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jorge Pellegrini

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

📢 제목: "여러 명의 영업사원이 동시에 달려들 때, 진짜 실력자는 누구일까?"

1. 문제 상황: "너무 많은 영업사원, 누구 덕분에 물건을 샀지?" (Overlapping Journeys)

여러분이 여행 상품을 예약하려고 웹사이트에 들어갔다고 상상해 보세요.

영업사원 A (검색 담당): "고객님, 요즘 제주도 여행이 인기예요!"라고 이메일을 보냅니다.
영업사원 B (장바구니 담당): "고객님, 장바구니에 담아둔 호텔, 곧 품절돼요!"라고 푸시 알림을 보냅니다.
영업사원 C (할인 담당): "지금 결제하면 10% 할인!"이라는 쿠폰을 보냅니다.

자, 이제 여러분이 여행을 예약했습니다! 이때, 진짜 여러분의 마음을 움직인 사람은 누구일까요?

기존의 방식(A/B 테스트)은 영업사원 한 명씩 따로 불러서 "당신이 얼마나 잘했는지 보자"라고 테스트합니다. 하지만 실제 상황에서는 세 명의 영업사원이 동시에, 여기저기서 말을 걸죠. 이렇게 되면 각 영업사원의 진짜 실력이 서로 섞여버려서, **"어? 생각보다 별로 안 팔리네?"**라고 오해하게 됩니다. 실제로는 다들 엄청 잘하고 있는데 말이죠!

2. 해결책: "마법의 돋보기, 계층적 인과 모델" (Hierarchical Causal Model)

이 논문의 저자(Jorge Pellegrini)는 이 엉킨 실타래를 풀기 위해 '마법의 돋보기' 같은 수학 모델을 만들었습니다. 이 모델은 단순히 "누가 팔았나?"를 보는 게 아니라, 세 가지를 동시에 계산합니다.

순수 실력 (Pure Lift): 다른 영업사원이 아무도 없을 때, 그 사람이 혼자서 만들어낼 수 있는 진짜 판매 능력.
시너지 효과 (Synergy): A와 B가 동시에 말을 걸었을 때, 둘이 쿵짝이 잘 맞아서 판매량이 뻥튀기되는 효과. (예: "제주도 가세요!" + "지금 할인 중!"이 만나면 효과가 2배가 되는 것)
간섭 효과 (Cannibalization): 서로 말이 겹쳐서 오히려 고객을 헷갈리게 만드는 효과.

3. 어떻게 계산하나요? "몬테카를로 시뮬레이션" (Monte Carlo Simulation)

이 계산은 너무 복잡해서 한 번에 딱 나오지 않습니다. 그래서 저자는 **'수만 번의 가상 연습 게임'**을 합니다.

"만약 고객들이 이런 비율로 메시지를 받았다면?", "만약 실험 데이터에 약간의 오차가 있었다면?" 같은 수만 가지 시나리오를 컴퓨터로 계속 돌려보는 거죠. 마치 수만 번의 가상 전투를 치러서 가장 확률 높은 승리 공식(진짜 실력)을 찾아내는 것과 같습니다.

4. 결과: "알고 보니 영업사원들은 엄청난 에이스였다!" (Results)

이 모델을 실제 데스파가르(Despegar)라는 여행 플랫폼의 300만 명 데이터에 적용해 봤더니 놀라운 결과가 나왔습니다.

숨겨진 실력 발견: 기존 방식으로는 영업사원들이 "그저 그렇네"라고 평가받았지만, 모델로 계산해 보니 실제 실력(Pure Lift)은 기존 측정치보다 2.5배에서 많게는 4.6배나 높았습니다! (영업사원들이 서로 겹쳐서 실력이 가려져 있었던 거죠.)
찰떡궁합 발견: 영업사원들 사이에는 아주 미세하지만 긍정적인 시너지가 있었습니다. 특히 '할인 쿠폰' 담당은 고객이 '장바구니'에 물건을 담았을 때(구매 직전 단계) 엄청난 힘을 발휘한다는 것도 알아냈습니다.

5. 요약하자면?

이 논문은 **"여러 마케팅 활동이 뒤섞여서 서로의 성과를 깎아먹고 있을 때, 수학적인 모델을 통해 각 활동의 진짜 가치와 서로 간의 시너지를 정확하게 발라내는 방법"**을 제시한 것입니다.

이를 통해 기업은 "아, 이 영업사원은 진짜 에이스구나! 이 타이밍에 이 메시지를 보내면 효과가 배가 되겠어!"라는 똑똑한 전략을 세울 수 있게 됩니다.

[기술 요약] 중첩된 고객 여정에서의 계층적 인과적 업리프트 모델링

1. 문제 정의 (Problem Statement)

디지털 여행 플랫폼(Despegar 사례)은 사용자에게 여러 마케팅 여정(Marketing Journeys, 예: 검색, 구매 흐름, 오퍼 제공)을 동시에 실행합니다. 이 과정에서 다음과 같은 구조적 한계가 발생합니다.

노출의 중첩 (Overlapping Exposures): 사용자가 여러 마케팅 채널에 동시에 노출되면서 여정 간 상호작용(시너지 또는 잠식 효과)이 발생합니다.
A/B 테스트의 한계: 전통적인 A/B 테스트는 각 여정이 독립적이라고 가정합니다. 하지만 실제 환경에서는 여정들이 겹치기 때문에, 실험을 통해 관찰된 '리프트(Lift, 증분 효과)'는 각 여정의 **한계 효과(Marginal Effect)**만을 반영할 뿐, 해당 여정이 전체 시스템에 기여하는 **순수 효과(Pure Effect)**를 과소평가하게 됩니다.
운영적 제약: 모든 여정에 대해 개별적인 홀드아웃(Holdout) 그룹을 운영하는 것은 매출 손실과 고객 경험 저하를 초래하므로 비즈니스적으로 불가능합니다.

2. 방법론 (Methodology)

본 논문은 중첩된 노출 환경에서도 개별 여정의 순수 효과와 전체 시스템의 글로벌 효과를 분리하여 복원할 수 있는 **계층적 인과 모델(Hierarchical Causal Model)**을 제안합니다.

A. 모델 구조 (Model Formulation)

각 여정 $j$ 를 곱셈적 인과 인자(Multiplicative Causal Factor) $f_j = 1 + \ell_j$ 로 모델링합니다. 여기에 여정 간의 상호작용을 포착하기 위해 상호작용 계수 $\kappa$ 를 도입합니다.

상호작용 계수 ( $\kappa$ ): $\kappa = 1$ 이면 독립적임을 의미하며, $1$보다 크면 시너지(Synergy), 작으면 잠식(Cannibalization)을 의미합니다.
결합 효과 함수: 특정 조합 $c$ 에 노출된 사용자의 총 효과 $F(c)$ 는 개별 효과와 상호작용 계수의 곱으로 계산됩니다.

B. 최적화 및 추정 (Estimation & Optimization)

모델의 파라미터 $\theta$ 를 추정하기 위해 다음 과정을 거칩니다.

목적 함수 (Objective Function): 모델이 예측한 리프트와 실제 관찰된 실험 리프트 간의 잔차(Residual) 제곱합을 최소화하는 비선형 최소제곱법(Non-linear Least Squares)을 사용합니다.
정규화 (Regularization): 상호작용 계수가 지나치게 커지는 과적합을 방지하기 위해 $\kappa=1$ 에서 벗어날수록 페널티를 주는 Ridge 정규화를 적용합니다.
소프트 앵커 (Soft Anchors): 노이즈가 심한 '순수 리프트(Pure Lift)' 데이터를 하드 제약 조건이 아닌, 가우시안 사전 확률(Gaussian Prior) 형태의 소프트 제약 조건으로 포함시켜 추정의 안정성을 높였습니다.

C. 몬테카를로 시뮬레이션 (Monte Carlo Simulation)

단순한 점 추정을 넘어 불확실성을 정량화하기 위해 5,000회의 몬테카를로 반복 시행을 수행합니다.

사용자 세그먼트 비율의 불확실성은 **디리클레 분포(Dirichlet distribution)**를 통해 샘플링합니다.
실험 리프트 값의 변동성을 반영하여 파라미터의 사후 분포(Posterior distribution)를 도출합니다.

3. 주요 결과 (Key Results)

약 300만 명의 활성 사용자를 대상으로 분석한 결과는 다음과 같습니다.

상호작용 효과: 모든 상호작용 계수가 양수( $>0$ )로 나타나, 여정 간에 작지만 일관된 시너지 효과가 존재함을 확인했습니다. 특히 '구매 흐름(Flow)'과 '오퍼(Offer)' 여정 간의 시너지가 두드러졌습니다.
순수 효과의 복원: 관찰된 실험 리프트보다 모델이 추정한 순수 리프트가 훨씬 컸습니다.
- Offer 여정: 실험치 대비 약 4배
- Search 여정: 실험치 대비 약 4.6배
- Flow 여정: 실험치 대비 약 2.5배
- 이는 중첩된 노출로 인해 개별 여정의 효과가 실험 데이터상에서 상쇄(Attenuation)되었음을 입증합니다.
글로벌 리프트 일치성: 모델이 예측한 전체 글로벌 리프트는 실제 측정된 글로벌 리프트의 약 85% 수준을 재현하며, 시스템 전체의 증분 효과를 성공적으로 포착했습니다.

4. 의의 및 결론 (Significance & Conclusion)

학술적/기술적 기여: 중첩된 마케팅 환경에서 발생하는 인과적 추론의 편향(Bias) 문제를 수학적 모델링과 시뮬레이션을 통해 해결하는 프레임워크를 제시했습니다.
비즈니스 가치:
- 각 마케팅 여정의 **진정한 기여도(True Incrementality)**를 파악함으로써 마케팅 예산 배분 및 우선순위 결정에 과학적 근거를 제공합니다.
- 실제 실험을 대폭 축소하거나 중단하지 않고도, 기존의 A/B 테스트 데이터를 활용하여 시스템 전체의 효율성을 최적화할 수 있는 데이터 효율적(Data-efficient)인 방법론을 제공합니다.