SEGB: Self-Evolved Generative Bidding with Local Autoregressive Diffusion

本文提出了 SEGB 框架，通过结合局部自回归扩散模型生成短期未来状态以增强规划能力，并利用价值引导策略在离线数据上实现自我进化，从而在无需外部干预的情况下显著提升了在线广告自动竞价的性能与商业价值。

要点

这篇论文介绍了一个名为 SEGB 的新技术，它是为了解决在线广告自动竞价（Auto-bidding）中的难题而设计的。

为了让你轻松理解，我们可以把“广告竞价”想象成一场在高速公路上进行的“极限赛车游戏”。

1. 背景：赛车手的困境

在广告世界里，广告主（比如卖鞋的品牌）想在用户刷手机时展示广告。但这就像赛车：

• 路况瞬息万变：下一秒可能突然堵车（流量变少），或者突然有对手超车（竞争对手出价更高）。
• 预算有限：你只有 100 块钱油费（预算），必须精打细算，跑完全程。
• 目标明确：你要在油费耗尽前，尽可能多拉乘客（获得转化/点击）。

以前的“自动竞价”系统就像是一个只会看后视镜的赛车手。它只能根据刚才发生了什么（过去的点击、花费）来调整速度。它不知道下一秒前面会不会有坑，也不知道油还能撑多久。这导致它要么开得太快把油烧光了，要么太保守错过了乘客。

2. SEGB 是什么？

SEGB 是一个拥有“上帝视角”和“自我进化”能力的超级赛车手。它的名字全称是“自进化生成式竞价”，听起来很复杂，其实由三个核心绝招组成：

第一招：水晶球（局部自回归扩散模型 LAD）

• 传统做法：以前的系统像盲人摸象，只能猜大概。
• SEGB 的做法：它手里有一个水晶球。这个水晶球不是瞎猜的，而是基于过去的历史数据，一步步、有逻辑地推演未来的路况。
  • 它不会一次性预测整条路（那样容易出错），而是像下棋一样，先预测“下一步”会发生什么（比如：下一秒预算还剩多少？），再预测“再下一步”。
  • 比喻：就像你开车时，不仅看后视镜，还能精准地预判“前方 50 米有个减速带，再前方 100 米有个急转弯”。这让赛车手能提前减速或加速，而不是等到撞上了才反应。

第二招：带导航的赛车手（带有“下一状态感知”的决策 Transformer）

• 传统做法：以前的赛车手只知道“我要跑完全程”这个大目标，但不知道具体每一步该怎么踩油门。
• SEGB 的做法：它把刚才那个水晶球看到的“下一步路况”，直接告诉赛车手。
  • 比喻：赛车手不仅知道终点在哪，还知道“前方 50 米有减速带”。于是，他不再盲目加速，而是主动在减速带前轻踩刹车。这种“未雨绸缪”的能力，让他能更聪明地分配每一滴油。

第三招：自我特训（离线策略进化 GRPO）

这是最厉害的一点。

• 传统做法：以前的系统就像背题库的学生，只能模仿以前优秀赛车手的操作。如果题库里没有“雨天超车”的题，它就不会开。
• SEGB 的做法：它在不跑真车（不需要在线测试，省钱又安全）的情况下，利用静态数据进行了自我特训。
  • 它像一个天才教练，拿着以前的比赛录像，在脑海里模拟了成千上万次：“如果当时我那样开，结果会不会更好？”
  • 通过这种自我进化，它发现了一些以前优秀赛车手都没想到的“骚操作”（更优的策略），并且把这些策略学到了骨子里。
  • 比喻：它不需要去赛道上撞墙来学习，而是在脑海里通过“模拟演练”就进化成了车神。

3. 结果如何？

这篇论文不仅是在电脑上跑分，还真的在京东（JD.com）的广告平台上进行了大规模实战测试。

• 成绩：SEGB 比现有的最先进系统都要强。
• 实战效果：在真实的广告大战中，它帮助广告主节省了成本，同时获得了更多的转化。具体来说，在“目标成本”这个关键指标上，它提升了 10.19%。
• 简单说：花同样的钱，以前能买到 100 个客户，现在能买到 110 个；或者买同样的客户，以前花 100 块，现在只花 90 块。

总结

SEGB 就是一个“会看未来、会主动规划、还能自我修炼”的超级竞价系统。

它不再被动地跟着市场跑，而是像一位经验丰富的老船长：

1. 看未来（LAD）：提前知道风暴在哪里。
2. 做规划（Next-State-Aware）：根据风暴调整航向。
3. 自我进化（GRPO）：在脑海里不断复盘，变得比任何老船长都强。

这项技术证明了，即使没有实时的试错机会，通过聪明的算法和“自我进化”，也能在复杂的商业环境中找到最优解。

技术摘要

1. 研究背景与问题定义 (Problem Statement)

背景：
在线广告竞价（Auto-bidding）是一个典型的长周期序列决策问题。广告主需要在满足预算（Budget）和关键绩效指标（KPI，如 CPA）约束的前提下，最大化总转化价值。传统的强化学习（RL）方法通常基于马尔可夫决策过程（MDP），但在动态竞价环境中，未来状态往往依赖于长历史序列，且离线训练的策略缺乏对短期动态的预见性。

核心挑战：
现有的生成式竞价方法存在以下局限性：

1. 缺乏短期预见性 (Lack of Near-term Foresight)： 现有离线策略通常仅基于历史数据或长期回报（Return-to-Go）进行反应式决策，无法预判短期状态变化（如预算即将耗尽），导致战术调整滞后。
2. 因果约束难以满足： 传统的扩散模型（Diffusion Models）通常全局生成轨迹，容易违反现实世界的因果约束（如预算单调递减）。
3. 离线探索受限 (Exploration Dilemma)： 离线强化学习（Offline RL）受限于静态数据集的覆盖范围，难以发现超越数据分布的更优策略，且通常依赖模拟器或在线交互进行微调，这在工业界高风险场景下不可行。

目标：
提出一种完全在离线数据上训练、无需模拟器或在线交互，即可实现策略自我进化（Self-Evolution）的竞价框架，以解决离线到在线的鸿沟。

---

2. 方法论：SEGB 框架 (Methodology)

SEGB（Self-Evolved Generative Bidding）是一个协同的三阶段离线框架，旨在实现高保真规划、前瞻性决策和离线策略进化。

阶段一：高保真状态规划 (High-Fidelity State Planning)

• 核心组件： 局部自回归扩散模型 (Local Autoregressive Diffusion, LAD)。
• 创新点： 传统扩散模型全局生成序列，易破坏时间因果性。LAD 采用自回归方式，基于历史上下文 $s_{<t}$ 逐个生成未来状态 $s_t$。
• 机制：
  • 将扩散过程局部化，每个状态的去噪过程都显式地依赖于历史状态嵌入 $z_t$。
  • 确保生成的轨迹严格遵循现实约束（如预算单调递减），提供高保真、因果一致的“未来沙盒”。
  • 输出：预测的下一时刻状态 $\hat{s}_{t+1}$。

阶段二：前瞻性动作生成 (Foresight-driven Action Generation)

• 核心组件： 感知下一状态的决策 Transformer (Next-State-Aware Decision Transformer, NSA-DT)。
• 创新点： 将标准的决策 Transformer（DT）从“反应式模仿者”升级为“前瞻性规划者”。
• 机制：
  • 双重信号引导： 策略不仅条件于长期目标（Return-to-Go, $R_t$）和历史轨迹，还显式条件于 LAD 预测的短期具体状态 $\hat{s}_{t+1}$。
  • 优势： 在奖励稀疏（转化率低）的场景下，$\hat{s}_{t+1}$ 提供了密集的、即时的战术目标（例如：预测到下一时刻预算将耗尽），使智能体能够提前调整出价，而非仅依赖稀疏的最终奖励。

阶段三：离线策略进化 (Offline Policy Evolution)

• 核心组件： 基于 GRPO 的离线策略优化。
• 创新点： 在完全离线环境下，利用静态数据发现超越原始数据集分布的更优策略，无需模拟器。
• 机制：
  1. 训练 Critic： 使用 Implicit Q-Learning (IQL) 训练一个鲁棒的 Q 函数（Critic）。IQL 通过期望回归（Expectile Regression）避免了对分布外（OOD）动作的显式评估，适合离线场景。
  2. 策略微调 (GRPO)： 利用训练好的 IQL Critic 作为价值引导，采用 Group Relative Policy Optimization (GRPO) 对策略进行微调。
     • GRPO 通过采样一组候选动作，利用 Critic 提供的优势估计（Advantage Estimates）来优化策略。
     • 引入 KL 散度惩罚，防止策略偏离参考策略过远，确保离线优化的稳定性。
  • 协同效应： IQL 提供稳定的离线价值估计，GRPO 提供稳定的策略梯度更新，两者结合实现了无需在线交互的策略进化。

---

3. 主要贡献 (Key Contributions)

1. 端到端的 SEGB 框架： 首次将局部自回归扩散（LAD）与未来状态感知的强化学习相结合，实现了高保真因果规划与主动决策的统一。
2. 纯离线策略进化机制： 提出了一种结合 IQL 和 GRPO 的后训练微调策略。该方法完全在离线数据上运行，无需模拟器或在线探索，即可突破原始数据集的限制，发现更优策略。
3. 工业级验证与显著收益： 在大规模在线 A/B 测试中验证了有效性，证明了离线学习策略在动态真实环境中的泛化能力。

---

4. 实验结果 (Results)

离线基准测试 (AuctionNet)

• 整体性能： SEGB 在 AuctionNet 和 AuctionNet-Sparse（稀疏奖励）数据集的所有预算设置下，均显著优于 SOTA 基线（如 IQL, CQL, DiffBid, DT, GAS）。
  • 在 AuctionNet (100% 预算) 上，SEGB 得分为 355.99，比次优基线 (GAS, 347.07) 提升 2.57%。
  • 在稀疏奖励场景 (AuctionNet-Sparse) 下，提升幅度更大，最高达 12.25%，证明了 LAD 提供的短期状态预测在奖励稀疏时的关键作用。
• 消融实验：
  • 移除 GRPO（仅 LAD+DT）：性能下降约 9.6 分，证明离线进化对突破数据限制至关重要。
  • 移除前瞻性状态（仅 DT）：性能下降约 10.5 分，证明显式的下一状态条件对战术决策至关重要。
  • 移除 LAD（使用全局扩散）：性能下降约 14.5 分，证明因果一致性规划的重要性。

在线 A/B 测试 (JD.com 广告平台)

• 部署规模： 在京东广告平台进行了多阶段大规模 A/B 测试（从 20% 流量扩展到 50% 流量）。
• 业务指标：
  • 目标成本 (Target Cost) 提升：+10.19%。
  • 转化率 (Conversion) 提升：+8.13%。
  • 投资回报率 (ROI) 提升：+3.26%。
• 延迟表现： 尽管包含 LAD 规划步骤，P99 延迟仍控制在 0.0375s 以内，满足平台 <100ms 的实时要求。GRPO 仅在训练阶段使用，在线推理无额外开销。
• 泛化能力： 在冷启动（Cold-Start）广告活动中，SEGB 相比基线实现了 +18.03% 的目标成本提升，证明了其强大的分布外（OOD）泛化能力。

---

5. 意义与总结 (Significance)

技术意义：
SEGB 解决了离线强化学习在复杂序列决策任务中的三大痛点：规划缺失（通过 LAD 解决）、反应式局限（通过 NSA-DT 解决）和探索受限（通过 IQL+GRPO 解决）。它证明了无需在线交互或模拟器，仅凭静态数据即可通过“自我进化”机制显著提升策略性能。

商业价值：
该研究成功将前沿的生成式 AI 和离线 RL 技术落地到大规模在线广告竞价系统中。+10.19% 的目标成本提升直接转化为巨大的商业价值，展示了该框架在动态、高并发、强约束的真实工业场景中的鲁棒性和可扩展性。

未来展望：
SEGB 为其他复杂的序列决策问题（如供应链优化、动态定价）提供了一个新的范式蓝图：即通过生成式规划（Planning） + 前瞻性感知（Foresight） + 离线进化（Evolution） 的协同架构，实现从静态数据到动态决策的跨越。