Competition-Aware CPC Forecasting with Near-Market Coverage

이 논문은 검색 광고 입찰 환경에서 관찰되지 않는 경쟁 요인을 키워드 의미, 입찰가 동향, 지리적 구조 등을 통해 추정하여 CPC(클릭당 비용) 예측의 안정성과 정확도를 향상시키는 경쟁 인식형 예측 모델을 제안합니다.

핵심

🌊 비유: "안개 낀 바다에서의 배 띄우기"

想象해 보세요. 여러분이 **배 **(광고주)를 몰고 바다를 항해하고 있습니다. 여러분의 목표는 **연료 **(광고 예산)를 아끼면서 최대한 많은 물고기를 잡는 것입니다.

하지만 문제는 **안개 **(경쟁 정보)가 짙게 끼어 있다는 점입니다.

• 여러분은 **현재 물가 **(실제 광고비)와 **잡은 물고기 수 **(클릭 수)는 알 수 있습니다.
• 하지만 **다른 어부들 **(경쟁사)이 얼마나 많은 연료를 썼는지, **어떤 그물을 썼는지 **(경쟁사의 입찰 가격), **바다의 숨겨진 흐름 **(전체 시장 상황)은 볼 수 없습니다.

이런 '안개 낀 바다'에서 연료 비용을 예측하는 것은 매우 어렵습니다. 과거의 물가만 보고 미래를 예측하면, 갑자기 다른 어부들이 몰려와 물가가 폭등하는 상황을 놓치기 쉽기 때문입니다.

🕵️‍♂️ 이 연구의 핵심 아이디어: "눈에 보이지 않는 것을 추측하는 세 가지 방법"

연구팀은 "경쟁사의 행동을 직접 볼 수는 없지만, **그들이 남긴 흔적 **(추적)을 통해 상황을 유추할 수 있다"고 주장합니다. 마치 범인이 남긴 발자국, 목소리, 이동 경로를 분석해 범인을 추적하는 것처럼요.

그들은 세 가지 '추적 도구'를 개발했습니다.

1. **의미 있는 이웃 **(Semantic Neighborhoods)

   • 비유: "비슷한 목적을 가진 사람들"
   • "렌트카"와 "여행용 차"는 단어는 다르지만, 같은 목적 (차를 빌리는 것) 을 가진 사람들이 검색합니다. 이 연구는 AI 가 단어의 뜻을 이해하게 해서, 비슷한 목적을 가진 키워드끼리 묶어줍니다. "아, 이 키워드가 올랐다면, 비슷한 뜻을 가진 다른 키워드도 곧 오를 거야"라고 예측하는 것입니다.

2. **행동 패턴 분석 **(Behavioral Neighborhoods via DTW)

   • 비유: "동기부여된 춤추는 사람들"
   • 어떤 키워드는 단어는 완전히 다르지만, **가격이 오르는 타이밍 **(예: 휴가철, 주말)이 똑같을 수 있습니다. 연구팀은 시간의 흐름에 따라 가격 곡선이 어떻게 움직이는지 비교합니다. 마치 두 사람이 서로 다른 춤을 추지만, 리듬이 완벽하게 맞을 때 "이 두 사람은 같은 무대에서 춤추고 있구나"라고 추측하는 것과 같습니다.

3. **지리적 의도 **(Geographic Intent)

   • 비유: "지역별 날씨 예보"
   • 렌트카 수요는 공항이나 대도시처럼 장소에 따라 다릅니다. "파리 공항 렌트카"와 "서울 강남 렌트카"는 경쟁 구도가 완전히 다릅니다. 연구팀은 키워드가 어떤 지역을 타겟으로 하는지 분석해, 지역별 경쟁 상황을 반영합니다.

🛠️ 어떻게 적용했나? (두 가지 전략)

이 연구팀은 이 세 가지 '추적 도구'를 두 가지 방식으로 활용했습니다.

1. **비서처럼 활용 **(Covariates) 예측 모델에게 "이런 정보도 참고해"라고 추가 데이터를 줍니다.
2. **지도처럼 활용 **(Graph Neural Networks) 키워드들을 점으로, 서로 연결된 선으로 그려 네트워크 지도를 만들고, 이 지도를 통해 정보가 서로 전파되도록 합니다. (예: A 키워드 가격이 오르면, 연결된 B 키워드도 영향을 받을 거야)

📊 결과는 어땠나? (중요한 발견)

이 연구는 2021~2023 년의 거대한 데이터 (약 16 억 건의 광고 기록) 를 바탕으로 실험했습니다. 결과는 매우 흥미로웠습니다.

• 단순한 과거 데이터만 믿으면 안 됩니다: 과거 가격만 보고 미래를 예측하는 기존 방식은 시간이 지날수록 (1 주일, 6 주일, 12 주일 뒤) 예측이 빗나갔습니다.
• 경쟁 상황을 고려하면 훨씬 정확해집니다: 위의 '추적 도구'들을 활용하면, 특히 **중기 **(6 주)와 **장기 **(12 주) 예측에서 정확도가 크게 향상되었습니다.
• 가장 위험한 곳에서 가장 큰 효과: 가격이 비싸고 변동이 심한 '핵심 키워드'들에서 예측이 가장 잘 개선되었습니다. 이는 광고주에게 예산 낭비를 막아주는 가장 큰 효과를 줍니다.

💡 결론: "안개를 뚫는 나침반"

이 논문의 핵심 메시지는 이렇습니다.

"광고주는 경쟁사의 내부를 직접 볼 수 없지만, 키워드의 뜻, 가격 변화 패턴, 그리고 지역 정보라는 '눈에 보이는 흔적'들을 잘 분석하면, **보이지 않는 경쟁 상황 **(경쟁사의 입찰 등)을 충분히 추측할 수 있습니다.

이는 마치 안개 낀 바다에서 별자리나 파도 소리를 듣고 방향을 잡는 것과 같습니다. 단순히 과거의 파도만 기억하는 것보다, **주변 환경 **(경쟁 구조)을 함께 고려할 때 훨씬 더 안전한 항해를 할 수 있다는 것을 증명했습니다.

한 줄 요약:
"경쟁사의 행동을 몰라도, 키워드와 시장의 흔적을 잘 분석하면 광고 비용을 훨씬 더 정확하게 예측할 수 있다!"

기술 요약

1. 문제 정의 (Problem Definition)

• 핵심 문제: CPC 는 고정된 가격이 아니라 실시간 경매 결과물입니다. 광고주는 자신의 노출, 클릭, 지출 데이터는 관찰할 수 있지만, 경쟁사의 입찰가, 품질 점수, 전체 경매 상태는 관찰할 수 없습니다.
• 한계: 기존 시계열 예측 모델 (ARIMA, LSTM 등) 은 과거 CPC 데이터의 자기회귀적 (Autoregressive) 패턴에 의존합니다. 그러나 경쟁 구도가 급변하거나 (Regime Shift), 지역별 수요가 변화하는 중장기 (6 주~12 주) 구간에서는 이러한 접근법의 정확도가 떨어집니다.
• 목표: 관찰 가능한 데이터 (키워드 텍스트, CPC 궤적, 지리적 정보) 를 통해 **잠재적 경쟁 (Latent Competition)**을 추정하고, 이를 예측 모델에 통합하여 중장기 예측 안정성을 높이는 것.

2. 데이터 및 배경 (Data & Context)

• 데이터원: 2021~2023 년 유럽 자동차 렌탈 시장의 구글 광고 로그 (약 16.6 억 건의 이벤트).
• 샘플: 전처리 후 1,811 개의 키워드에 대한 주별 패널 데이터 (127 주).
• 특징: 자동차 렌탈 시장은 경쟁이 특정 주요 업체와 중개사 간에 집중되어 있으며, 지리적 (공항, 도시) 수요와 계절성이 뚜렷하여 경쟁 분석에 적합한 환경입니다.
• 통계적 특징: CPC 분포는 강한 오른쪽 치우침 (Right-skew) 과 두꺼운 꼬리 (Heavy-tail) 를 보이며, 고가/고변동성 키워드에서 예측 실패 시 비즈니스 리스크가 큽니다.

3. 방법론 (Methodology)

저자들은 관찰 가능한 3 가지 프록시 (Proxy) 를 추출하여 경쟁 인식 (Competition-Aware) 예측을 구현했습니다.

A. 경쟁 프록시 추출 (Competition Proxy Extraction)

1. 의미적 이웃 (Semantic Neighborhoods):
   • 사전 훈련된 Transformer 모델 (all-MiniLM-L6-v2) 을 사용하여 키워드 텍스트를 임베딩합니다.
   • 코사인 유사도를 기반으로 의미적으로 유사한 키워드 군집을 형성하여, 문법적 차이는 있지만 의도 (Intent) 가 유사하여 경쟁하는 키워드를 식별합니다.
2. 행동적 이웃 (Behavioral Neighborhoods via DTW):
   • 동적 시간 왜곡 (DTW) 알고리즘을 사용하여 CPC 궤적의 유사성을 측정합니다.
   • 텍스트적 유사성이 낮더라도 수요 충격이나 경매 재배분에 의해 유사한 CPC 움직임을 보이는 키워드들을 포착합니다.
3. 지리적 의도 (Geographic Intent):
   • 키워드 텍스트와 지리 명사록 (Gazetteers) 을 분석하여 대륙, 국가, 도시 수준의 위치 정보를 추출합니다.
   • 지역별 수요와 경쟁 구도의 이질성을 반영합니다.

B. 예측 아키텍처 및 구현 경로

추출된 프록시를 두 가지 방식으로 모델에 주입하여 평가했습니다.

1. 공변량 (Covariates) 경로: 프록시 정보를 외생 변수 (Exogenous Covariates) 로 사용하여 기존 시계열 모델에 입력합니다.
2. 관계적 (Relational) 경로: 의미적 임베딩을 기반으로 **고정된 의미 그래프 (Semantic Graph)**를 구성하고, 이를 **시공간 그래프 신경망 (STGNN)**의 인접 행렬로 사용하여 키워드 간 정보 전파를 모델링합니다.

C. 평가된 모델 군

• 기초 모델: SARIMAX, XGBoost, Random Forest, TabPFN 등.
• 시계열 파운데이션 모델 (TSFMs): Chronos-2, TimeGPT, Moirai (공변량 증강 버전).
• 시공간 그래프 신경망 (STGNNs): DCRNN, GConvLSTM, GraphWaveNet (의미 그래프 기반).

4. 주요 결과 (Key Results)

A. 예측 정확도 비교 (6 주 계획 horizon 기준)

• 전체적 성과: 경쟁 인식 프록시를 활용한 모델들은 기존 자기회귀 모델보다 일관되게 우수한 성능을 보였습니다.
• 최고 성능 모델:
  • Chronos-2 (공변량 증강): 지리적 의도 프록시를 활용하여 sMAPE 27.14% (가장 낮은 오차) 를 기록했습니다. 이는 지리적 정보가 범용 파운데이션 모델에 강력한 안정화 사전 지식 (Stabilizing Prior) 으로 작용함을 의미합니다.
  • DCRNN (그래프 기반): 의미 그래프와 CPC 신호를 결합하여 **sMAPE 30.42%**를 기록하며, 비그래프 기반 베이스라인을 능가했습니다.
• 시간 horizon 별 차이:
  • 1 주 (단기): STGNN 모델이 즉각적인 동역학을 가장 잘 포착했습니다.
  • 6 주 및 12 주 (중장기): 공변량 증강 TSFMs 이 우세했습니다. 경쟁 구도 변화가 중요한 중장기 구간에서 프록시 기반 접근법의 이점이 두드러집니다.

B. 경쟁 프론티어 분석 (Competitive Frontier Analysis)

• 고 CPC/고 변동성 구간: 예측 오차가 가장 큰 '경쟁 프론티어' (고가의 변동성 키워드) 에서 프록시 기반 모델의 개선 효과가 가장 컸습니다.
• 특이점: 모든 프록시를 무작위로 쌓아 올리는 (Feature Stacking) 방식은 오히려 성능을 저하시켰습니다. 선택적이고 이론에 기반한 프록시 조합 (예: 지리 + 의미적 이웃 CPC) 만이 최적의 성능을 냈습니다.

5. 주요 기여 및 의의 (Contributions & Significance)

1. 문제 재정의: CPC 예측을 단순한 시계열 예측이 아닌, 부분 관측 하의 경쟁 추정 문제로 접근했습니다.
2. 실용적 방법론: 텍스트 (의미), 행동 (CPC 궤적), 공간 (지리) 정보를 결합하여 관찰 불가능한 경쟁 상태를 근사하는 확장 가능한 프레임워크를 제시했습니다.
3. 비즈니스 임팩트:
   • 단순한 평균 오차 감소뿐만 아니라, 예산 리스크가 가장 큰 고가/고변동성 키워드에서의 예측 안정성을 높였습니다.
   • 중장기 예산 계획 및 입찰 전략 수정에 있어 경쟁 인식 (Competition-Aware) 모델링의 필수성을 입증했습니다.
4. 모델 통찰:
   • 지리적 정보는 파운데이션 모델의 안정성을 높이는 강력한 사전 지식입니다.
   • 의미적 그래프는 키워드 간 경쟁의 전파 (Spillover) 를 모델링하는 데 효과적입니다.
   • 선택적 증강이 무분별한 특징 추가보다 우월함을 보였습니다.

6. 결론

이 연구는 광고 플랫폼의 정보 비대칭성 하에서도, 키워드 텍스트, CPC 궤적, 지리적 의도 등의 관찰 가능한 신호를 체계적으로 활용하여 잠재적 경쟁 구조를 복원할 수 있음을 증명했습니다. 단순한 자기회귀적 추정을 넘어, 경쟁 구조를 반영한 프록시 구축이 유료 검색 광고의 CPC 예측 정확도와 운영적 견고성을 높이는 핵심 요소임을 시사합니다.