Competition-Aware CPC Forecasting with Near-Market Coverage

该研究利用谷歌广告拍卖日志，通过构建基于关键词语义、CPC 轨迹行为及地理意图的邻域关系图，有效近似了不可观测的潜在竞争环境，从而显著提升了付费搜索市场中点击成本（CPC）在中长期预测的稳定性与准确性。

要点

这篇论文讲述了一个关于**“如何在看不见的对手面前，猜对广告价格”**的故事。

想象一下，你是一家租车公司的老板，你想在搜索引擎（比如 Google）上打广告。当用户搜索“巴黎租车”时，你的广告会出现在搜索结果里。你不需要为每次展示付费，只有当有人点击你的广告时，你才需要付钱，这笔钱叫**“每次点击成本”（CPC）**。

核心难题：黑盒里的拍卖
这个价格不是固定的，而是像一场**“看不见的拍卖会”**。

• 你只能看到自己付了多少钱（比如今天点击一次花了 5 欧元）。
• 但你完全看不到竞争对手（比如赫兹、安飞士）出了多少钱，也看不到他们有多想抢这个客户，更不知道搜索引擎内部怎么算的。
• 这就好比你蒙着眼睛在拍卖会上举牌，只能听到落槌声，却看不见其他举牌的人。这让你很难预测下个月、下季度广告费会不会突然暴涨。

论文做了什么？——“侦探式”预测
作者们（来自葡萄牙和德国的学者）利用租车行业 2021 到 2023 年的海量数据（约 16.6 亿条记录），发明了一套**“侧向思维”的预测方法。既然看不到对手，我们就通过“蛛丝马迹”**来推测竞争环境。

他们把这种推测分成了三个“侦探线索”：

1. 语义线索（“读心术”）：

   • 比喻： 就像你发现有人搜“巴黎租车”和“巴黎度假车”的人，其实心里想要的是同一个东西。
   • 做法： 他们用 AI 分析关键词的“意思”。如果两个词意思很像（比如“机场租车”和“希思罗机场租车”），哪怕字不一样，它们也是竞争对手。AI 给这些词画了一张“关系网”，告诉模型：如果这个词涨价了，那个意思相近的词大概率也会跟着涨。

2. 行为线索（“步调一致”）：

   • 比喻： 就像看两个人走路。虽然他们穿的衣服不一样，但如果他们总是同时加速、同时减速，那他们很可能是在同一条路上跑，或者被同一个红绿灯控制。
   • 做法： 他们观察关键词的价格走势（曲线）。如果两个词的价格曲线总是“同涨同跌”，哪怕它们字面意思不同，也说明它们受同样的市场波动影响。这能帮模型发现那些“隐形”的竞争对手。

3. 地理线索（“地盘意识”）：

   • 比喻： 在纽约曼哈顿开出租车和在内华达沙漠开出租车，竞争环境完全不同。
   • 做法： 他们把关键词按地理位置（国家、城市、机场）分类。因为租车生意是高度本地化的，知道这个词是“巴黎”的还是“伦敦”的，就能极大地缩小预测范围，就像给模型装了一个“地理指南针”。

他们怎么测试？——“赛车手大比拼”
作者们把这套“侦探线索”喂给了各种预测模型，就像让不同的赛车手在同一个赛道上比赛：

• 老派车手： 传统的统计模型（只看自己过去的价格，像只看后视镜开车）。
• 现代车手： 最新的“时间序列基础模型”（像拥有超级算力的 AI 赛车手，能读懂海量数据）。
• 关系网车手： 图神经网络（像不仅看后视镜，还能通过无线电和队友实时沟通的赛车队）。

结果如何？——“中长跑更稳”

• 短期预测（1 周）： 各种模型表现都还行，关系网模型稍微赢一点。
• 中长期预测（6 周、12 周）： 这是关键！传统的“只看后视镜”的方法在这里彻底失效了，因为市场风向变了。
• 大赢家： 那些结合了“侦探线索”的模型表现最好。特别是**“地理线索”**，它像是一个超级稳定的锚，让预测在几个月后依然准确。
• 最值钱的地方： 这种方法在最贵、波动最大的关键词上效果最明显。这就好比在暴风雨中，普通的船会翻，但装了稳定器的船能稳稳航行。对于租车公司来说，这意味着在广告费最贵、风险最大的时候，能更精准地控制预算。

总结：这篇论文告诉我们什么？
在广告拍卖这个“黑盒”里，你不需要真的看到对手，也能猜出价格走向。
只要你学会**“听音辨位”**（通过关键词的意思、价格波动的节奏、以及地理位置），就能把那些看不见的竞争压力，变成看得见的预测数据。

一句话总结：
这就好比在迷雾中开车，虽然你看不到前面的车（竞争对手），但通过观察路边的树（语义）、地面的震动（行为）和路牌（地理），你依然能精准地预测出前方路况，从而避免急刹车或撞车，让预算花得更聪明。

技术摘要

论文技术总结：基于近市场覆盖的竞争感知 CPC 预测

1. 研究背景与问题定义 (Problem)

• 核心挑战：在付费搜索广告（Paid Search）中，每次点击成本（CPC）是由实时拍卖机制生成的，受竞争对手出价、平台质量评分及查询特定条件的影响。对于单一广告主而言，竞争状态是“部分可观测”的（Partially Observable）。广告主只能看到自身的 CPC、点击和花费，无法直接观测竞争对手的出价、预算约束或完整的拍卖状态。
• 现有局限：传统的自回归（Autoregressive）预测方法仅依赖历史 CPC 序列，忽略了竞争环境的动态变化。在中期和长期预测中，由于竞争格局的转移、局部需求变化及竞争对手的重新分配，单纯的时间序列惯性往往失效，导致预测不稳定且误差较大。
• 研究目标：在无法直接获取竞争数据的情况下，如何通过**可观测的代理信号（Observable Proxies）**来近似“潜在竞争（Latent Competition）”，从而提升多时间跨度（特别是中远期）的 CPC 预测精度和稳定性。

2. 数据与实验设置 (Data & Setup)

• 数据来源：基于 2021-2023 年欧洲租车行业的 Google Ads 拍卖日志。
• 数据规模：原始数据约 16.6 亿条记录。经过清洗和筛选，最终构建了一个包含 1,811 个关键词、跨越 127 周 的周度面板数据。
• 行业特性：租车行业具有高度本地化、季节性明显且竞争集中在少数主要品牌的特点，非常适合研究竞争驱动的 CPC 波动。
• 预测任务：预测未来 $h \in \{1, 6, 12\}$ 周的周度 CPC。
  • 1 周：短期竞价调整。
  • 6 周：中期战术规划。
  • 12 周：长期预算分配。

3. 方法论：竞争感知预测框架 (Methodology)

论文的核心贡献在于代理信号的构建与表征方式，而非提出全新的预测架构。作者提出了三种互补的竞争代理信号，并通过两条路径输入模型：

A. 竞争代理信号提取 (Competition Proxy Extraction)

1. 语义邻域 (Semantic Neighborhoods)：
   • 利用预训练的 Transformer 模型（all-MiniLM-L6-v2）将关键词文本编码为 384 维向量。
   • 通过余弦相似度构建语义关键词图，捕捉意图相似但词汇不同的关键词之间的竞争关系。
2. 行为邻域 (Behavioral Neighborhoods via DTW)：
   • 利用动态时间规整 (DTW) 算法对齐 CPC 轨迹。
   • 捕捉那些词汇不同但 CPC 波动模式同步（受共同需求冲击或拍卖重新分配影响）的关键词，构建行为上的竞争邻域。
3. 地理意图 (Geographic Intent)：
   • 从关键词文本中提取地理位置信息（大洲、国家、城市）。
   • 作为空间竞争代理，编码本地化需求和市场异质性（租车需求高度依赖地理位置）。

B. 两种表征路径 (Representation Routes)

1. 路径一：作为外生协变量 (Exogenous Covariates)
   • 将上述代理信号（如邻居的滞后 CPC、地理标签）作为特征输入到时间序列基础模型（TSFMs）中。
2. 路径二：作为关系先验 (Relational Priors)
   • 构建固定的语义邻接矩阵，输入到时空图神经网络 (STGNNs) 中，通过图消息传递机制显式建模关键词间的竞争溢出效应。

C. 评估模型族 (Model Universe)

• 基准模型：统计模型 (SARIMAX)、机器学习 (XGBoost, LightGBM)、深度学习 (LSTM, GRU)。
• 时间序列基础模型 (TSFMs)：Chronos-2, TimeGPT, Moirai（引入竞争协变量）。
• 时空图神经网络 (STGNNs)：DCRNN, GConvLSTM, GraphWaveNet（利用语义图结构）。

4. 关键结果 (Key Results)

A. 整体性能对比

• 竞争感知模型显著优于基准：在所有时间跨度上，引入竞争代理的模型均优于纯自回归或弱上下文基准模型。
• 时间跨度依赖性：
  • 1 周（短期）：STGNNs（图神经网络）表现最佳，能捕捉即时的竞争动态。
  • 6 周和 12 周（中远期）：协变量增强的 TSFMs（特别是 Chronos-2）表现最优。
• 最佳配置：在 6 周预测中，Chronos-2 + 地理意图协变量取得了最低的 sMAPE (27.14%)，优于所有其他配置。

B. 竞争前沿分析 (Competitive Frontier Analysis)

• 高价值、高波动区域：论文定义了“竞争前沿”（高 CPC 均值 + 高波动率）区域，这是预算风险最高的部分。
• 增益集中：竞争感知方法带来的误差降低主要集中在这些高价值、高波动关键词上。
• 特征选择的重要性：
  • 盲目堆叠特征有害：在 6 周和 12 周预测中，不加选择地堆叠所有代理信号反而导致性能下降（比最优选择差 3.3-5.2 个百分点）。
  • 针对性增强：在 6 周时，结合“地理 + 语义邻居 CPC"效果最好；在 12 周时，粗粒度的“大洲级地理”作为先验最为稳健。

C. 具体发现

1. 地理结构是强先验：粗粒度的地理编码（如大洲级别）比细粒度（城市级别）更能提供稳定的预测先验，避免信号碎片化。
2. 语义图的作用：语义邻域信息对于捕捉跨关键词的竞争溢出（Spillovers）至关重要，特别是在扩散型图模型中。

5. 主要贡献 (Contributions)

1. 问题重构：将付费搜索 CPC 预测重新定义为**“部分竞争可观测性”**问题，论证了通过可观测代理结构近似潜在竞争的有效性。
2. 工业级实证：在大规模数据（1.8k 关键词，1.66 亿日志）上，系统性地构建了语义、行为和地理三类竞争代理，并评估了从经典统计模型到现代基础模型（Foundation Models）及图神经网络的广泛模型族。
3. 业务洞察：证明了竞争感知预测的价值具有时间跨度和市场状态依赖性。它不仅能提高平均精度，更能显著提升在“高 CPC、高波动”高风险区域的预测鲁棒性，直接降低预算风险。

6. 意义与局限性 (Significance & Limitations)

• 实践意义：为广告主提供了一套可扩展的方法，利用关键词文本、CPC 轨迹和地理信息来“反推”竞争格局，从而在信息不对称的拍卖市场中做出更优的预算和竞价决策。
• 理论意义：展示了如何将领域知识（Domain Knowledge）转化为图结构和协变量，以增强通用时间序列基础模型在特定垂直领域的表现。
• 局限性：
  • 数据仅来自租车行业，竞争格局相对集中，泛化到其他分散行业需验证。
  • 语义图是静态的，无法捕捉随时间演变的关键词关系或新进入者的竞争动态。

总结：该论文表明，在拍卖驱动的广告市场中，通过精心设计的竞争代理信号（语义、行为、地理）结合时空图神经网络或基础模型，可以有效克服部分可观测性带来的预测难题，特别是在业务最关键的长期规划和高风险关键词预测上。