🤖 machine learning

AIGB-R1: Self-Evolving Generative Auto-Bidding via Hierarchical Planner-Executor Optimization

本文介绍了 AIGB-R1，这是一种层级化的自进化自动竞价框架，它利用具有规划者-执行者架构的大语言模型以及一种新颖的解耦组相对策略优化（D-GRPO）算法，通过经验驱动的闭环来增强策略推理、数值精度和自主优化能力，从而克服现有 AI 生成竞价方法的局限性。

原作者： Yuejia Dou, Hesong Wang, Xinyu Zhang, Tianyu Wang, Zhilin Zhang, Chuan Yu, Jian Xu, Bo Zheng, Qi Qi

发布于 2026-07-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Yuejia Dou, Hesong Wang, Xinyu Zhang, Tianyu Wang, Zhilin Zhang, Chuan Yu, Jian Xu, Bo Zheng, Qi Qi

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象这样一个世界：每当你滑动手机时，一场无声的高速拍卖正在发生。广告商们正在为争夺你的注意力而激战，向屏幕投掷数字货币以展示他们的广告。这是在线广告的狂野边疆，无数机会在眨眼之间闪过。为了赢得这些战斗，公司过去依赖人工手动调整出价，但这就像试图用一个由意面组成的网去捕捉一颗飞行的子弹——既太慢又太混乱。于是，他们转向了计算机。首先出现了“自动出价”（Auto-bidding），即通过算法自动调整价格以获取最佳交易；随后出现了“生成式人工智能”（Generative AI），它试图通过学习过去的拍卖来预测完美的举措。但问题在于：这些 AI 模型就像是只读过一本过时教科书的学生。当现实世界发生变化时，它们会感到困惑，并且经常在数学方面挣扎，有时会产生“幻觉”（编造）一些毫无意义的数字。

由此，新的明星登场了：大语言模型（LLMs）。你可能知道它们是那些可以写诗或解谜的聊天机器人。它们在理解上下文和规划未来方面极其聪明，但在进行快速、精确的数学计算方面却表现糟糕，而且对于实时拍卖来说反应太慢。科学家们提出的重大问题是：我们能否将一个聪明规划者的脑力与一个快速计算器的速度结合起来，从而赢得这些数字拍卖？这正是研究人员致力于解决的问题，旨在构建一种不仅仅是在猜测，而是真正通过“思考”来赢得胜利的 AI。

大脑与肌肉：AIGB-R1

研究人员提出了一种名为 AIGB-R1 的新系统。你可以把它想象成一个高风险的交易团队，其中的角色被完美地划分开来。过去，人们尝试使用一个巨大的 AI 来完成所有事情——思考、计算并行动。但作者认为这是一个坏主意，因为 AI 不擅长处理精确数字，且反应迟缓。相反，AIGB-R1 采用了一种层级化的方法，将工作分为两个截然不同的部分：规划者（Planner）和执行者（Executor）。

规划者是“大脑袋”。它是一个强大的大语言模型，扮演着资深将军或国际象棋特级大师的角色。在拍卖开始之前，这位将军就会审视广告主的预算、目标以及过往的表现。它不关心下一秒的微小细节；相反，它会制定一个宏观层面的策略。它可能会说：“今天，我们要采取激进策略，快速花钱，”或者“我们需要保持保守，节省资金。”它会将这一策略写成一段清晰、结构化的提示词（prompt）。

执行者是“肌肉”。这是一个轻量级、超快速的 AI 模型（具体来说是一个提示决策 Transformer），负责实际的出价工作。它接收将军的策略提示词，然后迅速聚焦于当下时刻。它观察当前拍卖的状态、剩余预算以及竞争对手，并瞬间计算出精确的出价金额。由于执行者是一个专门的数学模型，它不会产生数字幻觉，并且能在毫秒内做出反应。规划者提供“做什么”和“为什么”，而执行者处理“如何做”和“何时做”。

从经验中学习，而非仅仅从书中学习

该论文还介绍了一种让系统随时间变得更聪明的巧妙方法，他们称之为自我进化循环（self-evolving loop）。大多数 AI 系统都是基于陈旧、静态的数据进行训练的——就像是用十年前的教科书来准备考试。如果市场发生了变化，AI 就会感到困惑。然而，AIGB-R1 构建了一个名为 AuctionNetEnv 的模拟环境。想象一个电子游戏，AI 可以在其中与成千上万个其他机器人对战，一遍又一遍地尝试不同的策略。

这里非常酷的地方在于：系统并不仅仅是随机猜测。它保留了一个记录其最佳过往动作的记忆库。如果某种策略在昨天效果很好，规划者会记住它并在今天对其进行优化。如果某种策略失败了，它会从错误中吸取教训。这就是“自我进化”的部分：系统从自己积累的经验中学习，不断微调其方法，以趋近于完美的出价。

秘诀所在：D-GRPO

在这种设定下，最大的挑战之一是确定当团队获胜或失败时，谁该承担责任（或受罚）。是将军（规划者）给出了错误的指令，还是士兵（执行者）没能执行到位？为了解决这个问题，作者发明了一种新的数学技巧，称为解耦组相对策略优化（Decoupled Group Relative Policy Optimization，简称 D-GRPO）。

想象一位教练正在观看一场接力赛。如果团队输了，教练需要知道是第一位跑者太慢了，还是第二位跑者掉棒了。D-GRPO 就像一位超级聪明的教练，能够将规划者的表现与执行者的表现区分开来。它观察结果并判断：“策略是好的，但执行出了问题，”或者“执行很完美，但策略错了。”通过分离这两个信号，系统可以同时训练这两个部分而不会产生混淆，从而实现更稳定、更有效的学习过程。

研究发现

研究人员在来自阿里巴巴的大规模真实数据集上测试了 AIGB-R1，该数据集包含约 480,000 条竞价轨迹。他们将自己的系统与许多其他顶尖的 AI 方法进行了对比，包括基于强化学习和其他生成式模型的方法。

结果显而易见：AIGB-R1 赢了。 它始终优于其他所有方法，在标准场景和具有挑战性的“稀疏”拍卖场景中都取得了最高分。论文指出，仅仅使用大语言模型作为决策者是不够的，因为其存在数学局限性；但将其作为战略规划者，同时让专门的模型处理数字，则是一个改变游戏规则的举措。

研究还表明，系统的每一个部分都是必不可少的。当移除“自我进化”训练（即让 AI 从自身的模拟中学习）时，性能会下降。当移除规划者并仅让执行者进行猜测时，表现会变差。而当冻结规划者使其无法从新经验中学习时，系统的表现也不如能适应变化的时期。这证明了结合智能规划者、快速执行者以及一个从经验中学习的循环，才是解锁下一代自动出价的关键。

简而言之，AIGB-R1 表明，自动化广告的未来不在于构建一个巨大的、全知全能的机器人。而在于构建一个团队：一位规划路线的睿智战略家，以及一位驾驶车辆的灵巧司机，两者在行驶的每一英里中共同成长。

技术摘要：AIGB-R1

问题陈述

自动竞价对于在线广告至关重要，代理（Agent）必须在预算和每次转化成本（CPA）等约束条件下，自动调整出价以实现广告主目标（如转化）的最大化。虽然新兴的 AI 生成竞价（AIGB）范式利用生成式模型（如 Decision Transformer）从离线数据中学习，但这些方法面临三个主要局限性：

数据覆盖范围： 由于离线数据集的模式覆盖有限，性能在分布外（OOD）状态下会发生退化。
状态理解： 现有方法仅将策略建立在“待实现回报”（return-to-go）之上，而未能充分理解特定的任务状态或动作价值，从而阻碍了最优策略规划。
适应性： 训练中固定的偏好分布使得模型难以在不进行高昂重训的情况下，适应多样化的广告主偏好。

虽然大语言模型（LLM）提供了卓越的推理能力和世界知识来解决这些差距，但将其直接应用于自动竞价却受到以下因素的阻碍：

数值精度： LLM 在处理竞价参数所需的精确连续数值控制方面表现不佳，经常出现幻觉且精度不足。
延迟： 在线竞价要求毫秒级的响应速度，而大型 LLM 在决策质量与推理速度之间存在权衡。
信用分配（Credit Assignment）： 现有的分层尝试往往无法实现高层推理与底层执行的端到端优化，过度依赖于存在外推误差的离线价值函数。

方法论：AIGB-R1 框架

作者提出了 AIGB-R1，这是一个层次化的、自我进化的自动竞价框架，它将宏观层面的策略规划与细粒度的决策执行解耦。

1. 分层规划器-执行器架构

高层规划器（High-Level Planner）： 利用大型 LLM 根据广告主上下文和历史表现，针对一个竞价周期进行宏观策略（如风险偏好、预算平滑）的推理。它输出一个包含枚举策略标签和语义推理的结构化策略提示词（strategy prompt）。这种规划在竞价周期开始前异步进行。
底层执行器（Low-Level Executor）： 采用 提示词决策 Transformer（Prompt Decision Transformer, PDT），这是一种轻量级的因果 Transformer。执行器将规划器的策略提示词作为条件前缀，并根据观测到的数值序列（状态、动作、待实现回报）在每个时间步生成精确的竞价参数。这种设计既利用了 LLM 的推理能力，又使用了专门的模型来进行精确的数值控制和低延迟执行。

2. 两阶段训练流水线

离线预训练： 执行器在离线竞价轨迹上进行预训练。策略提示词由高级 LLM 进行标注。执行器学习一个随机策略（通过对数正态分布建模），旨在最大化在给定提示词和历史序列条件下的数据集似然度。
后训练对齐（自我进化循环）： 为了克服离线数据的局限性，该框架采用了交互式竞价模拟环境（AuctionNetEnv）进行在线策略展开（rollout）。
- 经验引导的展开： 对于每个任务，规划器生成 $M$ 个多样化的策略提示词。对于每个提示词，执行器在模拟器中执行 $K$ 次展开。
- 经验缓冲池： 缓冲池为每个任务维护一个“最佳策略锚点”和最近轨迹的滑动记忆窗口，使规划器能够基于积累的经验而非随机采样来优化策略。

3. 解耦组相对策略优化（D-GRPO）

为了实现规划器和执行器的端到端优化，作者提出了 D-GRPO。标准的组相对策略优化（GRPO）在此处并不适用，因为奖励信号耦合了两个模块的贡献。D-GRPO 通过**优势解耦（advantage decoupling）**解决了这一问题：

奖励矩阵（ $M$ $M$ 个策略 $\times$ $\times$ $K$ $K$ 次展开）被分解为两个正交部分：
- 组间组件（Inter-group component）： 某一策略的平均奖励与全局平均值的偏差。该信号用于更新规划器，反映策略选择的质量。
- 组内组件（Intra-group component）： 特定轨迹的奖励与其所属策略平均值的偏差。该信号用于更新执行器，反映在固定策略下的决策执行性能。
这种分解实现了稳定的端到端信用分配，避免了层级间的奖励误归因。

核心贡献

AIGB-R1 框架： 一种层次化架构，通过专用的 PDT 执行器，在充分利用 LLM 推理能力的同时，规避了数值精度和延迟方面的限制。
经验驱动的自我进化循环： 一种使自主策略探索和优化成为可能的机制，通过积累的展开经验实现进化，超越了盲目的随机采样。
D-GRPO 算法： 一种通过优势解耦实现层间信用分配的新型优化方法，实现了层次化系统稳定的端到端训练。
交互式模拟环境： 构建了 AuctionNetEnv，以促进可靠的在线策略展开并减轻离线外推误差。

实验结果

该框架在包含约 48 万条竞价轨迹的大规模公开数据集（AuctionNet 和 AuctionNet-Sparse）上进行了评估。

性能： AIGB-R1 显著优于最先进的基准模型，包括强化学习方法（USCB、CQL、IQL）、生成式模型（Decision Transformers、扩散模型）以及其他基于 LLM 的方法（LBM）。
- 在 AuctionNet 上，AIGB-R1 达到了 385 分，超过了次优基准（GAS 为 359）。
- 在 AuctionNet-Sparse 上，它达到了 39.0，优于次优模型（GAVE 为 37.2）。
泛化能力： 该模型在不同的预算设置（基准的 50% 到 150%）下表现出稳健的性能，始终优于先进的生成式基准模型。
消融实验：
- 去除规划器或后训练阶段会导致性能大幅下降，证实了这两个组件的必要性。
- 通过 D-GRPO 进行端到端优化（同时更新规划器和执行器）比冻结规划器能获得更优的结果，验证了联合训练的重要性。

意义

本文声称 AIGB-R1 为 LLM 赋能的自动竞价 提供了一种极具前景的解决方案，它有效地弥合了 LLM 的推理能力与实时竞价系统对精度/延迟要求的差距。通过引入自我进化循环和解耦优化算法，该框架解决了离线数据覆盖、数值精度和层次化决策中信用分配等关键瓶颈。实验结果表明，将策略规划与执行解耦，并结合经验驱动的自我改进，是构建更具适应性和最优性的自动化竞价系统的可行路径。