From Prompt to Purchase: How AI Brand Recommendations Move Consumers on the Open Web

기술 요약: 프롬프트에서 구매까지: AI 브랜드 추천이 오픈 웹에서 소비자 행동을 변화시키는 방식

문제 제기
대화형 AI 어시스턴트(특히 ChatGPT, Claude, Gemini와 같은 텍스트 기반 LLM)는 정보 탐색의 일상적인 진입점이 되었으나, 이들의 상업적 여정 내 역할은 표준 웹 분석에서는 보이지 않는 상태로 남아 있다. 어시스턴트가 브랜드를 추천하면, 사용자는 해당 브랜드를 검색하거나 유기적 채널(organic channels)을 통해 해당 사이트를 방문하기 위해 채팅창을 떠난다. 라스트 클릭(last-click) 기여 모델은 이러한 다운스트림 행동의 공로를 유기적 검색이나 직접 유입(direct traffic)으로 돌리며, 결과적으로 어시스턴트의 '언급'을 기록되지 않고 기여도가 측정되지 않는 노출로 만든다. 또한, 기존의 측정 방식은 진정한 추천과 사용자가 이미 이용 중인 브랜드(예: "당신의 Netflix 다운로드")에 대한 부수적인 참조를 혼동하여, 어시스턴트의 진정한 증분 효과(incremental impact)에 대한 추정치를 왜곡한다.

방법론
저자들은 옵트인(opt-in) 페이지뷰 클릭스트림 데이터와 동일한 사용자의 ChatGPT, Claude, Gemini 대화 데이터를 결합한 관찰 패널 데이터셋을 활용한다. 본 연구는 AI 생성 브랜드 언급의 효과를 격리하기 위해 엄격한 인과 추론 프레임워크를 적용한다:

• 분석 단위: 선별된 고인지도 소비자 브랜드에 대한 (사용자, 응답, 브랜드) 행(row).
• 결과 변수: 응답 후 7일간의 윈도우 동안 측정된 세 가지 다운스트림 행동:
  1. 회상(Recall): 브랜드 이름을 포함하는 Google 검색 쿼리.
  2. 발견(Discovery): 브랜드 자체 웹사이트 방문.
  3. 리테일(Retail): URL 경로 내에 브랜드가 식별되는(호스트 이름뿐만 아니라) 리테일러 제품 페이지 방문.
• 식별 전략(Identification Strategy): 연구는 동일한 사용자의 14일, 21, 28일 전 행동과 사후 행동을 비교하는 매치드 백워드-플라세보(matched backward-placebo) 설계를 사용한다.
• 교란 요인 통제(De-confounding Controls): 진정한 "획득(acquisition)" 효과와 노이즈를 분리하기 위해 저자들은 다음 필터를 적용한다:
  • 비고객 조건화(Non-Customer Conditioning): 최근 관찰된 브랜드 관련 활동(검색, 자사 사이트 방문, 리테일 방문)이 없는 사용자로 분석 범위를 제한함.
  • 태도 분류(Stance Classification): 소규모 언어 모델(SLM)을 사용하여 "추천"과 "부수적 이름 언급"(중립적 또는 주의적 언급)을 구분함.
  • 응답 내 통제(Within-Response Controls): 언급된 브랜드와 동일 카테고리에 속하지만 응답에서 이름이 언급되지 않은(unnamed) 다른 브랜드들을 동일 응답 내에서 비교함. 이는 동일한 카테고리 및 세션 컨텍스트를 공유하지만 브랜드 노출을 받지 않은 대조군으로 작용함.
  • 사전 추세 이벤트 스터디(Pre-Trend Event Studies): 행동이 응답 이전에 상승하지 않음을 검증하여(기존 고객 에피소드 배제) 확인함.
• 리테일 측정: 저자들은 호스트 기반 매칭이 아닌 "경로 인식형(path-aware)" 매칭(예: /Garmin-.../dp/와 같이 URL 경로에서 브랜드를 식별하는 방식)을 강조하며, 호스트 기반 매칭은 제품 페이지 방문에 대해 거의 무효한 추정치임을 발견했다.

주요 결과
본 연구는 AI 추천이 관찰 가능한 수준에서 참여하지 않았던 사용자를 오픈 웹상의 브랜드 네비게이션으로 이동시키는, 깨끗한 획득 유사 효과(acquisition-like effect)를 격리해 낸다:

• 증분 리프트(Incremental Lift): 최근 관찰된 참여가 없는 사용자의 경우, 브랜드 추천은 다음과 같은 결과를 초래한다:
  • 동일 명칭 Google 검색 +4.3 퍼센트 포인트(pp) 증가.
  • 브랜드 자체 사이트 방문 +2.4 pp 증가.
  • 브랜드 특정 리테일러 페이지 방문 +1.0 pp 증가.
• 태도 민감도(Stance Sensitivity): 효과는 용량 의존적(dose-dependent)이다. 비고객에게 이루어진 부수적 이름 언급(중립적 언급)은 행동 변화가 훨씬 적었으며(+1.8/+1.1/+0.3 pp), 이는 언급의 '의도'가 중요하다는 것을 시사한다.
• 특이성(Specificity): 리프트는 언급된 특정 브랜드에 국한된다. 동일한 응답 내에서 언급되지 않은 동일 카테고리의 브랜드들은 미미한 움직임(+0.6/+0.3/+0.3 pp)만을 보였으며, 이는 일반적인 카테고리 의도나 세션 전체의 활동 급증이 주된 동인이 아님을 입증한다.
• "풀링(Pooled)"의 오류: 모든 언급(기존 고객 및 부수적 언급 포함)을 단순 통합(naive pooling)하면 혼동된 수치가 포함된 매력적인 퍼널(+2.08/+2.37/+0.52 pp)이 나타난다. 이벤트 스터디 결과, 이러한 통합 그룹의 경우 브랜드 활동이 응답 이전에 상승하는 경우가 많았으며, 이는 사용자가 이미 활발한 참여 에피소드 중에 있었음을 나타낸다.
• 네비게이션 경로: 다운스트림 경로는 주로 검색을 매개로 한다. 사용자들은 채팅 내의 링크를 클릭하기보다, 브랜드 이름을 읽고 이를 검색한 뒤 자사 사이트나 리테일러로 이동한다. 이 과정은 엄격하게 선형적이지 않으며, 자사 사이트와 리테일러 방문은 종종 검색 이후의 병렬적인 목적지로 발생한다.
• 오디언스 구성: ChatGPT가 Gemini보다 높은 원시 리프트(raw lift)를 보이지만, 사용자 내 분석에 따르면 이는 인터페이스의 인과적 차이라기보다 오디언스 구성(ChatGPT 사용자가 일반적으로 웹 활동이 더 활발함)에 의한 것이다.

의의 및 주장
본 논문은 대화형 AI가 어떻게 소비자들을 프롬프트로부터 구매 인접 행동으로 이동시키는지에 대한 첫 번째 관찰적 측정을 제공한다고 주장한다. 주요 기여는 다음과 같다:

1. 기록되지 않은 영역의 측정: 어시스턴트가 표준 웹 로그가 기여도를 측정할 수 없는 브랜드 노출을 생성하며, 어시스턴트가 업스트림 접점(upstream touchpoint)으로서 작용하여 현재의 기여 모델에 "블라인드 스팟"을 만든다는 점을 입증한다.
2. 방법론적 분해: 태도 분류와 비고객 조건화를 사용하여, 기존 고객 행동이나 부수적 언급과 같은 교란 요인으로부터 진정한 획득 효과를 분리하는 프레임워크를 제공한다.
3. 획득 유사 도달 범위: 측정 가능한 효과는 최근 관찰된 참여가 없는 사용자들에게 집중되어 있다. 기존 고객의 경우, 언급이 활발한 에피소드와 동시에 발생하지만, 기존 트렌드를 넘어 행동을 명확히 가속화하지는 않는다.
4. 실무적 시사점: 저자들은 라스트 클릭 기여 모델이 유기적 검색과 직접 방문에 공로를 잘못 배분하고 있다고 주장한다. 이들은 "구매 인접" 리테일 방문(제품 페이지 뷰)이 구매의 관찰 가능한 대리 지표(proxy)라고 보며, AI가 매개하는 여정을 정확히 가치 평가하기 위해서는 "프롬프트-투-검색(prompt-to-search)" 브릿지를 고려한 측정 시스템이 필요하다고 주장한다.

한계점
저자들은 본 연구가 관찰 연구이며 거래를 직접 관찰하는 것이 아님을 명시한다. 즉, "리테일"은 판매가 아닌 제품 페이지 방문으로 정의된다. 또한, 사용자의 내부 의도가 프롬프트와 후속 행동 모두를 유도하는 "브랜드 특정적 의도 충격(brand-specific intent shock)"은 무작위 설계 없이는 식별 불가능하다는 점을 인정한다. 아울러, "비고객"의 정의는 상업적(제품을 한 번도 소유하지 않음)인 것이 아니라 행동적(최근 클릭 관찰되지 않음)인 것이므로, 이 효과는 실제 획득의 하한선(lower bound)이 된다.