技术摘要：基于生成响应建模的约束自动出价

1. 问题陈述

在线广告平台面临一个复杂的约束优化问题：在严格遵守预算限制和效率目标（如每次获取成本 CPA 或广告支出回报率 ROAS）的同时，在长期的活动周期内最大化广告主价值（如转化次数或收入）。

论文中指出的核心挑战包括：

• 非平稳性与不确定性： 未来的流量规模和拍卖动态是不确定的，并随时间变化。
• 耦合约束： 预算和效率约束跨越整个周期，而出价决策却是逐次展示（或逐时刻）做出的。
• 现有方法的局限性：
  • 基于控制的节奏控制： 仅对偏差（如超支）做出反应，无法预判未来状况。
  • 强化学习 (RL) 与生成模型： 通常将约束折叠进奖励信号（如“回报到去”Return-to-Go），这掩盖了约束违规情况，并在分布偏移下导致性能脆弱。
  • 出价景观模型： 预测单次拍卖的获胜率，但将拍卖视为快照，缺乏直接强制执行周期级约束的机制。

作者认为，现有方法难以在预判未来状况与明确、透明的约束执行之间取得平衡。

2. 方法论：生成响应模型 (GRM)

论文提出了一种范式转变：系统不再学习最优动作（出价乘数），而是学习环境对给定动作的响应。

2.1 核心概念：响应预测

生成响应模型 (GRM) 是一个以历史为条件的序列模型。它不是预测当前时刻的单一出价乘数，而是基于决策前的历史 $H_t$ 预测周期聚合响应束。该束包含：

1. 未来流量规模 ($\hat{I}_{t:T}$)： 周期内剩余的出价机会总数。
2. 聚合成本曲线 ($\hat{\bar{C}}_{t:T}(\alpha)$)： 在剩余周期内，作为单一出价乘数 $\alpha$ 函数的预期单次机会成本。
3. 聚合价值曲线 ($\hat{\bar{V}}_{t:T}(\alpha)$)： 在剩余周期内，作为 $\alpha$ 函数的预期单次机会价值。

2.2 模型架构与训练

• 架构： GRM 利用因果 Transformer 编码器处理上下文特征历史 ($s_{1:t}$) 和已执行的乘数历史 ($\alpha_{1:t-1}$)。解码器输出一个低维参数向量，定义流量预测以及成本和价值曲线的参数。
• 曲线参数化： 成本和价值曲线采用对数 - sigmoid 族（基于正态分布累积分布函数 CDF）进行参数化。这一选择反映了经济现实：
  • 高乘数下的饱和（边际收益递减）。
  • 单调性（更高的乘数带来更高的支出/价值）。
  • 边界条件（$\alpha=0$ 时支出为零）。
• 训练（未来采样监督）： 由于离线数据仅包含记录的乘数结果（而非反事实结果），GRM 采用未来采样策略进行训练。对于锚定时刻 $t$，模型从记录数据中采样未来时刻 $k$，并将预测的聚合曲线拟合到这些未来时刻的实际结果上。损失函数为流量加权的回归，确保高流量时段对曲线拟合的贡献更大。

2.3 解析最小节奏控制器

一旦 GRM 预测出响应曲线，一个轻量级的解析控制器便确定当前时刻的出价乘数 $\alpha_t$。该控制器不进行训练，而是求解可行性：

1. 预算节奏控制 ($\alpha_B$)： 求解 $\alpha$，使得预测的总成本等于剩余预算 ($\hat{C}_{t:T}(\alpha) = B_t$)。
2. CPA 节奏控制 ($\alpha_C$)： 求解 $\alpha$，使得预测的总成本满足效率约束 ($\hat{C}_{t:T}(\alpha) - \tau \hat{V}_{t:T}(\alpha) = \Delta_t$)。
3. 执行： 最终乘数为保守的最小值：$\alpha_t = \min\{\alpha_B, \alpha_C\}$。

该过程在每个时刻重复进行（滚动周期），根据最新的预测更新状态并重新求解。

3. 主要贡献与理论结果

论文提供了三个主要的理论保证，将预测质量与约束满足联系起来：

1. 单 $\alpha$ 近似间隙（定理 5.2）： 作者证明，使用单一乘数处理整个周期的最优解与逐时刻最优解之间的差距，受限于效率离散度（每时刻单位成本边际价值的方差）。如果效率相对均匀，则单曲线近似接近最优。
2. 最小节奏控制的精确性（定理 5.3）： 在温和的单调性假设下，证明了最小节奏规则 ($\min\{\alpha_B, \alpha_C\}$) 是单乘数约束优化问题的精确解。
3. 约束违规界限（定理 5.4）： 论文证明，在滚动周期重规划下，约束违规与预测误差呈线性缩放。具体而言，总预算和 CPA 违规由涉及曲线预测误差 ($\epsilon_C, \epsilon_V$) 和流量预测误差 ($\epsilon_I$) 的项界定。这确立了一种“优雅降级”特性：更好的预测直接导致更安全的约束遵守。

4. 实验结果

实验使用 AuctionNet 模拟环境（来自 NeurIPS 2024 自动出价挑战赛）进行。

• 性能： GRM 取得了 33.88 的平均得分，优于最强的基线（EBaReT，一种生成式方法）7.8%。它也显著优于标准的离线强化学习方法（CQL, IQL）和行为克隆。
• 对分布偏移的鲁棒性：
  • 竞争激增： 当竞争对手预算增加 1.1 倍时，GRM 的性能仅下降 7.2%，而决策 Transformer (DT) 基线下降了 22.6%。
  • CPA 收紧： 当目标 CPA 收紧至 0.8 倍时，GRM 下降了 5.0%，而 DT 下降了 13.9%。
  • 作者将这种鲁棒性归因于 GRM 能够在每个时刻重新预测响应曲线，从而适应变化的竞争格局，而 DT 则依赖于静态的离线分布。
• 预测 - 性能相关性： 观察到模型验证损失与其测试得分之间存在强烈的负相关性 ($r = -0.78$)。这实证验证了定理 5.4，确认了预测质量的提升直接转化为更好的出价性能。
• 消融研究： 发现对数 -sigmoid 曲线族优于线性、分段线性和标准 sigmoid 参数化，因为它正确捕捉了出价景观中固有的饱和和边际收益递减特性。

5. 意义与主张

论文主张其意义在于将学习目标从动作转向响应。通过预测环境的聚合响应曲线而非最优动作本身，作者实现了：

• 显式约束处理： 约束通过对预测曲线进行解析求根来强制执行，使得约束违规透明化，并可追溯至具体的预测误差。这与强化学习方法形成对比，后者通常将约束隐藏在奖励塑形中。
• 偏移下的稳定性： 预测 (GRM) 与控制 (最小节奏) 的分离，使系统比依赖固定条件信号的全局生成模型更能有效地适应分布偏移。
• 理论根基： 该工作提供了关于预测误差如何传播到约束违规的形式化界限，提供了深度学习出价系统中常缺失的“优雅降级”理论保证。

作者将 GRM 定位为一种实用且具备理论基础的方案，弥合了预测建模与高 stakes、非平稳环境（如实时广告）中的约束优化之间的差距。