기술 요약: 마케팅 측정을 위한 신뢰할 수 있는 AI (Trustworthy AI)

1. 문제 정의

마케팅 측정은 광고 효과 추정치의 타당성을 위협하는 "삼중의 격변(triple disruption)"에 직면해 있습니다:

1. 개인정보 보호 제약: GDPR, CCPA와 같은 규제 및 플랫폼의 변화(Apple의 ATT, 쿠키 종식 등)로 인해 사용자 수준의 트래킹 데이터가 급격히 감소하였으며, 이는 아이덴티티 그래프를 파편화하고 선택 편향(selection bias)을 유발합니다.
2. AI 전환: 딥러닝과 인과 추론이 고급 모델링 역량을 제공하고 있지만, 이들은 종종 인과적 타당성보다 예측 정확도를 우선시하며, 이로 인해 인과적 주장에 필요한 가설들을 은폐할 위험이 있습니다.
3. 체계적 편향: 대규모 현장 실험(RCT) 연구들은 관측 기반 방법론(observational methods), 여기에는 정교한 머신러닝 접근법도 포함된다는 점을 입증했습니다. 이러한 방법들은 광고 효과를 체계적으로 과대평가하는 경향이 있습니다. Gordon 등(2023)의 연구에 따르면, 5,000개 이상의 사용자 피처를 사용하더라도 비실험적 방법론은 실험적 벤치마크 대비 중간 오차가 62~115%에 달했습니다.

핵심 과제는 진정한 광고 효과가 매우 미미하다는 점(평균 단기 탄력성 0.0008)입니다. 즉, 측정 오차가 신호(signal)를 쉽게 압도할 수 있습니다. 결과적으로, 예측 정확도(predictive accuracy)와 인과적 타당성(causal validity) 사이의 구별은 마케팅 자원 배분에 있어 생존의 문제가 되었습니다.

2. 방법론

본 연구는 PRISMA 2020 가이드라인에 따라 수행된 **체계적 문헌 고찰(Systematic Review)**입니다.

• 코퍼스(Corpus): Scopus, Web of Science, IEEE Xplore, ACM Digital Library, arXiv/SSRN에서 추출한 2010년에서 2026년 사이의 연구 108편.
• 선정 기준: 마케팅 측정(기여도 분석, MMM, 인과적 교정 또는 개인정보 보호 측정 방식)을 다루고, AI/ML 또는 인과 추론 기법을 사용하며, 실증적 결과나 이론적 프레임워크를 제시하는 논문.
• 증거 등급(Evidence Grading): 출처의 이질성(피어 리뷰 저널, 컨퍼런스 프로시딩, 프리프린트 등)을 관리하기 위해 4단계 증거 척도를 적용했습니다:
  • L1: 피어 리뷰를 거친 현장 실험/RCT 벤치마크.
  • L2: 복제 검증이 가능한 피어 리뷰 실증 연구.
  • L3: 실제 데이터로 실증적 검증을 거친 프리프린트.
  • L4: 개념적/백서 성격의 작업물.
• 분석: 메트릭의 이질성(예: AUC vs. MAPE vs. ATE)으로 인해 서사적 합성(narrative synthesis)을 사용했습니다. 본 리뷰는 AI 기술을 네 가지 측정 기능(멀티 터치 기여도 분석(MTA), 미디어 믹스 모델링(MMM), 인과적 교정, 개인정보 보호 측정)에 매핑합니다.

3. 주요 기여

A. 마케팅 측정 내 AI의 분류 체계(Taxonomy)

본 논문은 AI 기술을 측정 기능에 매핑하는 2차원 분류 체계를 개발하여, 결합 시 구현이 부족한 공백 영역(예: MMM에서의 Neural ODE, MTA에서의 차분 프라이버시)을 식별합니다. 방법론을 다음과 같이 분류합니다:

• 기여도 분석(Attribution): RNN/LSTM, Transformer, Neural ODE, 그리고 인과 발견(Causal Discovery, PCMCI).
• MMM: 수동적인 adstock/포화도 명세를 대체하는 딥러닝 프레임워크(GRU, Transformer).
• 인과적 교정(Causal Calibration): 이중/편향 제거 머신러닝(Double/Debiased ML), Causal Forest, 그리고 이질적 처치 효과(HTE) 추정.
• 개인정보 보호(Privacy): 차분 프라이버시(Differential Privacy, DP), 연합 학습(Federated Learning, FL), 클린 룸(Clean Rooms).

B. "측정-검증-보호" (MVP) 프레임워크

NIST AI 리스크 관리 프레임워크를 응용하여, 저자들은 마케팅의 신뢰성을 운영화하기 위한 MVP 프레임워크를 제안합니다:

1. 측정(Measure): 예측 정확도와 신뢰성에 집중 (예: 딥러닝 기여도 분석, 뉴럴 MMM).
2. 검증(Validate): 실험적 교정을 통한 인과적 타당성에 집중 (예: 지리적 실험, Ghost Ads, PIE).
3. 보호(Protect): 개인정보 준수에 집중 (예: DP, FL, 암호화 프로토콜).

순서 제약 원칙(The Ordering Constraint Principle): 이 프레임워크는 전체 측정 파이프라인의 신뢰도가 가장 취약한 축에 의해 제한된다고 상정합니다 ($\tau(M) \le \min(\tau_M, \tau_V, \tau_P)$). 예를 들어, 더 강력한 축(예: 모델 복잡도)을 업그레이드하더라도, 더 약한 축(예: 실험적 교정의 부재)이 해결되지 않으면 시스템 차원의 이득은 제로입니다.

C. 경영 의사결정 가이드

논문은 조직의 맥락(예: 소규모 광고주 vs 대규모 플랫폼)에 적합한 측정 아키텍처를 매칭하는 성숙도 기반 가이드(Table 9)를 제공하며, 모델의 정교함이 검증 및 개인정보 보호 축의 성숙도를 초과해서는 안 된다는 점을 강조합니다.

4. 주요 결과 및 발견

RQ1: AI 정확도 및 확장성

• 기여도 분석(Attribution): 딥러닝 모델(Transformer, RNN)은 높은 예측 정확도(AUC > 0.97)를 달성하며 수십억 건의 임프레션 규모로 확장 가능합니다(예: JD.com, LinkedIn). 그러나 높은 AUC가 반드시 인과적 타당성을 의미하지는 않습니다.
• MMM: 뉴럴 MMM 프레임워크(예: DeepCausalMMM, NNN)는 전통적인 베이지안 모델에 비해 개선된 예측 적합도(일부 벤치마크에서 MAPE를 5~15배 감소)를 보여줍니다. 그러나 이러한 개선은 종종 단일 벤치마크 비교에 기반하며 외부 복제 검증이 부족합니다.
• 인과 발견(Causal Discovery): 자동화된 인과 구조 발견(예: CausalMMM)은 채널 간 상호 의존성을 식별할 수 있으나, 가정에 의존적이며 측정되지 않은 혼란 변수(unmeasured confounders)로부터 발생하는 가짜 상관관계에 취약합니다.

RQ2: 인과적 신뢰성

• 예측과 인과의 분리: 예측 정확도와 인과적 타당성은 경험적으로 분리되어 있습니다. 높은 AUC를 가진 모델이라도 RCT 대비 62~115%의 기여도 오류를 발생시킬 수 있습니다.
• 교정의 필수성: 실험적 교정은 타협 불가능한 요소입니다. **PIE(Predictive Incrementality by Experimentation)**와 같은 방법은 일부 RCT가 모델을 학습시켜, 교정되지 않은 캠페인에 대해서도 87~94%의 의사결정 일치율로 교정을 확장할 수 있음을 보여줍니다.
• 역설(The Paradox): 진정한 광고 효과는 너무 작기 때문에(탄력성 ~0.0008), 미미한 측정 편향만으로도 결과가 무의미해질 수 있습니다.

RQ3: 개인정보 보호 트레이드오프

• 차분 프라이버시(DP): 측정 가능한 정확도 비용을 발생시킵니다. 프라이버시 예산($\epsilon$)에 따라 정확도 손실은 2%에서 33% 사이입니다. 엄격한 예산($\epsilon \le 1$)은 추정치를 무의미하게 만들 수 있습니다.
• 연합 학습/클린 룸: 핀터레스트(Pinterest) 등의 사례는 특정 구성 하에서 LoRA 어댑터를 사용한 연합 학습 방식이 중앙 집중형 성능의 **90~95%**를 유지할 수 있음을 보여줍니다(label DP at $\epsilon=5$ 기준).
• 집계 인과 방법론: **CDA(Causal-Driven Attribution)**와 같은 접근법은 집계된 데이터만으로 채널 수준의 인과 효과를 회복할 수 있으나, 여전히 가정에 의존적입니다.

5. 의의 및 주장

본 논문은 AI가 신뢰할 수 있는 측정 문제를 단순화하는 것이 아니라, 오히려 그 난이도를 높인다고 주장합니다. 주요 의의는 초점을 "AI 정확도"에서 인과적 타당성과 개인정보 준수로 정의되는 "AI 신뢰성"으로 전환하는 데 있습니다.

• 시스템적 관점: 저자들은 한 영역(예: 뉴럴 기여도 분석)의 발전이 다른 영역(예: 개인정보로 인한 데이터 손실 또는 교정 부재)의 제약으로 인해 무효화될 수 있다고 주장합니다.
• 실행 가능한 로드맵: MVP 프레임워크는 조직이 모델의 정교함보다는 (보통 검증이나 개인정보 보호와 같은) "가장 약한 연결 고리"를 우선시하며 단계적으로 신뢰할 수 있는 시스템을 구축할 수 있도록 돕는 원칙적이고 비강제적인 로드맵을 제공합니다.
• 연구 과제: 논문은 개인정보 친화적인 인과 추론, 확장 가능한 교정 방법, 그리고 예측력과 인과적 타당성 및 비용 효율성의 균형을 맞추는 파운데이션 모델의 필요성 등 중요한 공백을 식별합니다.

저자들은 AI가 전례 없는 패턴 인식 능력을 제공하지만, 상관관관과 인과관계를 혼동하는 것의 위험 부담이 그 어느 때보다 커졌다고 결론짓습니다. 신뢰할 수 있는 마케팅 측정을 위해서는 정교한 AI 모델, 엄격한 실험적 검증, 그리고 원칙 있는 개인정보 설계가 하나의 일관된 시스템으로서 통합되어야 합니다.