Hierarchical Bayesian Experimental Estimation of Incremental Local Advertising Effects with Secure Aggregation and Differential Privacy

기술 요약: 보안 집계 및 차분 프라이버시를 활용한 계층적 베이지안 실험적 증분 로컬 광고 효과 추정

1. 문제 정의

본 논문은 엄격한 프라이버시 제약 조건 하에서 미국 내 로컬 상업 광고의 증분 효과(incremental effectiveness)를 측정하는 과제를 다룹니다. 전통적인 측정 모델은 세 가지 주요 장애물에 직면해 있습니다:

• 데이터 희소성 및 편향: 로컬 비즈니스(예: 레스토랑, 소매업)는 종종 광고 투자액이 적고, 전환 지표가 적으며, 캠페인 주기가 짧습니다. 표준 "라스트 클릭(last-click)" 기여 모델은 광고에 의한 전환과 유기적 수요(organic demand)를 구분하지 못하며, 종종 증분 효과를 과대평가합니다.
• 프라이버시 제한: 증가하는 규제로 인해 사용자 수준의 행동 데이터 접근이 제한됨에 따라, 집계된 프라이버시 보존 통계량을 사용해야 할 필요성이 커지고 있습니다.
• 통계적 식별력: 보안 집계(Secure Aggregation, SA)와 차분 프라이버시(Differential Privacy, DP)는 개별 데이터를 보호하지만, 이는 노이즈를 도입하여 특히 신호 대 잡음비(signal-to-noise ratio)가 낮은 소규모 샘플 캠페인의 통계적 식별 능력을 약화시킵니다.

핵심 문제는 프라이버시로 인해 왜곡된 지역 데이터를 사용하여 증분 전환 및 광고비 대비 수익률(ROAS)을 정확하게 추정할 수 있는 프레임워크를 구축하는 것입니다. 이때 노이즈를 무시하거나 프라이버시 보호 조치를 폐기하지 않아야 합니다.

2. 방법론

저자들은 지역 기반 무작위 실험, 보안 집계, 차분 프라이버시, 그리고 계층적 베이지안 추론을 통합하는 계산 파이프라인을 제안합니다.

A. 실험 설계 및 데이터 수집

• 범위: 본 연구는 12개 주에 걸친 1,860개 로컬 비즈니스를 대상으로 하며, 4,720개 캠페인, 12.6억 회의 임프레션, 218만 건의 구매/예약 기록을 포함합니다.
• 쌍 기반 지역 무작위화(Paired-Region Randomization): 인구 규모, 과거 매출, 산업 카테고리, 광고 집행액이라는 4차원 벡터를 기반으로 비즈니스를 처치군(treatment)과 대조군(control)으로 매칭하는 우편번호 단위의 쌍 기반 무작위 실험을 채택했습니다.
• 매칭 알고리즘: 시스템은 연속 변수에 대해 Z-점수 정규화를 사용하고, KD-트리 후보 검색(상위 5개) 및 마할라노비스 거리(Mahalanobis distance)를 사용하여 최종 선택(치환 없는 1:1 매칭)을 수행합니다. 캠페인 ID의 SHA-256 해시는 무작위 할당을 위한 시드(seed) 역할을 합니다.

B. 프라이버시 보존 데이터 집계

• 보안 집계 (SA): 로컬 노드는 임프레션, 방문, 전환, 광고 집행액을 고정 소수점 벡터로 인코딩합니다. 256비트 키를 사용하여 노드는 합산 과정에서 서로 상쇄되는 쌍을 이루는 마스크를 생성하며, 이를 통해 서버가 개별 샤드(shard) 데이터에 접근하는 것을 방지합니다.
• 차분 프라이버시 (DP): 집계 후, 가우시안 메커니즘(Gaussian mechanism)을 통해 지역별 주간 통계량에 노이즈를 추가합니다. 시스템은 $\epsilon = 2$, $\delta = 10^{-6}$의 프라이버시 예산을 운용합니다. 노이즈 분산은 명시적으로 보존되어 추론 모델로 전달됩니다.

C. 계층적 베이지안 추론 모델

• 가능도 구성 (Likelihood Construction): 모델은 관측된 노이즈가 포함된 카운트($\tilde{Y}_{ipt}$)를 가우시안 노이즈에 의해 왜곡된 잠재적 진성 카운트($Y_{ipt}$)의 실현값으로 취급합니다.
  • 관측 계층: $\tilde{Y}_{ipt} \sim N(Y_{ipt}, \sigma_{DP}^2)$
  • 카운트 계층: $Y_{ipt} \sim \text{NegativeBinomial}(\mu_{ipt}, \phi)$
• 계층 구조: 잠재 평균($\mu_{ipt}$)은 다음의 4단계 랜덤 효과 구조를 따릅니다:
  1. 기업 (Firm) (비즈니스 수준)
  2. 산업 (Industry)
  3. 대도시 지역 (Metropolitan Area)
  4. 광고 배치 주차 (Ad Placement Week)
• 추론: 모델은 가능도 함수 내에 기록된 프라이버시 노이즈 분산($\sigma_{DP}^2$)을 포함함으로써, 왜곡된 카운트를 노이즈 없는 관측값으로 취급하는 대신 왜곡을 고려한 추론을 수행합니다. 파라미터는 NUTS 샘플링(4개 체인, 4,000회 반복)을 통해 추정됩니다.

D. 의사결정 프레임워크

• 역사실 생성 (Counterfactual Generation): 사후 분포 샘플을 사용하여 처치 변수를 1(광고 있음)과 0(대조군)으로 설정함으로써 역사실적 전환 볼륨을 생성합니다.
• 예산 최적화: 수익 목표 달성 확률과 사후 분포의 5th, 50th, 95th 백분위수를 기반으로 사후 위험 함수(posterior risk function)를 최소화하여 결정(증가, 유지, 축소, 중단)을 내립니다.

3. 주요 결과

제안된 프레임워크를 표준 차이의 차이(Difference-in-Differences, DiD) 베이스라인 및 비계층적 모델과 비교 평가하였습니다.

• 추정 정확도:
  • 증분 전환에 대한 평균 절대 오차(MAE)는 표준 DiD의 71.4에서 계층적 베이지안의 43.6으로 감소하여, 38.9%의 감소를 보였습니다.
  • 증분 ROAS의 절대 오차는 0.39에서 0.17로 감소하여, 56.4%의 감소를 기록했습니다.
• 구간 교정 (Interval Calibration): 90% 사후 신뢰 구간은 명목 수준인 90%를 약간 상회하는 91.2%의 커버리지를 달取得했습니다.
• 차분 프라이버시의 영향:
  • DP 노이즈($\epsilon=2$)를 도입했을 때, 노이즈가 없는 시나리오와 비교하여 6.3회의 전환만큼 추가적인 오차가 발생했습니다(MAE가 37.3에서 43.6으로 상승).
  • 그럼에도 불구하고, 오차는 표준 DiD 베이스라인보다 현저히 낮았습니다.
  • 의사결정 안정성: **83%**의 기업이 기존의 예산 유지 또는 조정 결정을 유지한 반면, **17%**는 행동을 변경했습니다. 이는 가능도 함수 내의 노이즈 보정이 의사결정의 변동성을 효과적으로 완화했음을 나타냅니다.
• 소규모 샘플 성능:
  • 전환 수가 500회 미만인 캠페인의 경우, 계층적 정보 공유를 통해 최소 탐지 가능 효과(MDE)를 **8.6%**에서 **5.9%**로 줄였습니다 (31.4% 상대적 감소).
  • 중앙값 사후 표준 편차는 0.084에서 0.061로 감소했으며, 사후 분산은 약 47.3% 감소했습니다.

4. 의의 및 주장

본 논문은 전통적인 기여 모델의 한계를 극념하는, 통계적으로 엄밀하고 프라이버시를 보존하는 로컬 광고 측정 파이프라인을 제공한다고 주장합니다.

• 통계적 혁신: 주요 기여는 프라이버시 노이즈 분산을 가능도에 명시적으로 포함하는 계층적 베이지안 음이항 모델을 구축한 것입니다. 이를 통해 프라이버시 보호를 포기하거나 노이즈가 섞인 데이터를 실제 값으로 간주하지 않고도 증분 효과를 추론할 수 있습니다.
• 실용적 유용성: 이 프레임워크는 높은 분산으로 인해 전통적인 방식이 실패하기 쉬운 저전환, 소규모 샘플 시나리오에서도 안정적인 예산 최적화 결정을 가능하게 합니다. 계층 구조 전반에 걸친 다층적 파라미터 공유(기업, 산업, 메트로, 주차)를 활용함으로써 모델은 계층 간 정보를 효과적으로 빌려와 추정 분산을 줄입니다.
• 프라이버시-유용성 트레이드오프: 본 연구는 적절한 노이즈 보정과 계층적 모델링이 동반될 경우, 차분 프라이버시로 인한 유용성 손실(추가적인 6.3회의 전환 오차)이 관리 가능한 수준이며 대부분의 비즈니스 의사결정에 큰 영향을 미치지 않음을 입증했습니다(83%의 안정성).

저자들은 이 접근 방식이 데이터 가용성, 통계적 신뢰성, 그리고 개인의 프라이버시 사이의 균형을 맞추면서 사용자 수준의 추적을 대체할 수 있는 해석 가능한 통계적 대안을 제공한다고 결론짓습니다. 또한 외부 시장 변화, 지역 간 파급 효과, 산업적 이질성 등의 한계를 인정하며, 향후 연구에서 동적인 시변 인과 구조(dynamic time-varying causal structures)를 포함할 수 있음을 시사했습니다.