🤖 AI

HOBA: Hierarchical On-Policy Bidding Agents for Adaptive Online Advertising

该论文提出了 HOBA，这是一个将大语言模型用于自适应超参数调优、利用偏差修正的 SARSA 智能体进行动态专家模型选择、并结合多样化专家池进行出价执行的分层强化学习框架，通过显著的在线适应能力和在大规模部署中证实的业务价值，克服了离线训练出价系统的局限性。

原作者： Ji Wu, Yunshan Peng, Wentao Bai, Yunke Bai, Wenzheng Shu, Jinan Pang, Yanxiang Zeng, Xialong Liu

发布于 2026-07-29

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ji Wu, Yunshan Peng, Wentao Bai, Yunke Bai, Wenzheng Shu, Jinan Pang, Yanxiang Zeng, Xialong Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个巨大的、高速运转的拍卖场，每秒钟都有数百万人试图购买极其微小的注意力碎片。这就是在线广告的世界。广告商希望将广告展示给正确的人，同时又不想在短短一分钟内就花光所有的预算。为了实现这一目标，他们使用“竞价代理”（bidding agents）——即决定如何为广告位付费的计算机程序。你可以把这些代理想象成赛车手。有些车手非常谨慎，严格遵守规则手册（比如 PID 控制器）；而另一些车手则是研究过成千上万场比赛的“大师”，能够学习最佳动作（比如离线强化学习）。

问题在于，赛道是在不断变化的。天气在变，其他车手在变快，比赛规则也在演变。如果一名车手只遵循静态的规则手册，当赛道变得湿滑时，他可能会撞车。如果一名车手试图在以每小时 200 英里的速度冲刺时学习新动作，他可能会失控并迅速耗尽燃油（预算）。科学家们一直试图打造一位既安全又足够聪明、能在实时环境中进行适应的车手，但这是一种极难的平衡艺术。如果你让计算机过于自由地学习，它可能会犯下灾难性的错误；如果你不让它学习，它就会在市场变化时被远远甩在身后。

这就是论文《HOBA：用于自适应在线广告的分层在策略竞价代理》（HOBA: Hierarchical On-Policy Bidding Agents for Adaptive Online Advertising）所切入的领域。来自快手科技的研究人员提出了一种管理这些赛车手的新方法，叫做 HOBA。他们没有尝试教一个单一的驱动者如何完成所有事情，而是构建了一个由“维修技师、策略师和车手”组成的协同工作的三层团队。

在团队的最顶端是被称为“策略师”的角色，由大语言模型（LLM）驱动。想象一下，这是一个每小时观察一次大局的睿智教练。这位教练并不决定每一个弯道的精确速度，相反，他会观察天气、燃料水平和竞争情况，然后为团队写下一套新的指令。他可能会说：“今天，要更激进一点，”或者“保持低速稳健的支出。”这位教练通过一个“思考-行动-观察-反思”的循环来不断进化，从而变得越来越聪明。

在中间层是“战术管理者”，这是一个每两分钟检查一次的智能代理。它的任务是从一个预训练专家的“车库”中挑选出表现最好的“车手”。这个车库里有不同类型的车手：有一个擅长快速修正（PID），另一个擅长长期规划（MPC），还有一些是从海量数据集中学习到的专家（例如 IQL 或 Decision Transformer）。战术管理者并不是随机猜测，它使用一种特殊的“因果调整”工具，以确保自己不会被运气所蒙蔽。例如，如果一名车手仅仅因为天气完美而赢得了一场比赛，管理者知道不应该把这场胜利归功于车手的技术。它会挑选出在当前时刻真正最合适的车手。

在底层则是“车手”本身。他们是实际为每一次广告竞价进行出价的专家，而这些竞价每毫秒都会发生。他们遵循策略师设定的规则和战术管理者做出的选择。至关重要的一点是，这些车手在比赛过程中不会改变自己的“大脑”。他们是经过预先测试的安全工具。真正的“学习”只发生在中间层，即团队决定使用哪位车手。这保证了系统不会因为做出疯狂的、耗尽预算的错误而导致崩溃，同时也让系统能够快速适应不断变化的市场。

研究人员通过两种方式测试了这个系统。首先，他们在名为 AuctionNet 的模拟环境（类似于广告市场的视频游戏版本）中运行了它。在这些测试中，HOBA 始终优于现有的最佳方法，在困难且不可预测的场景中性能提升了高达 12%。其次，也是最重要的一点，他们在真实世界中进行了测试。他们在一个拥有数千个营销活动和数百万美元预算的真实广告平台上进行了大规模测试。

结果令人印象深刻。在真实世界的测试中，HOBA 比旧系统更频繁地帮助广告商达到了他们的成本目标（提升了 3.6%）。这意味着他们在不超支的情况下，为资金获得了更高的价值。该系统使总转化价值增加了 8.1%，并将投资回报率（ROI）提高了 3.3%。或许最重要的是，它在完成这一切的同时，并没有造成预算崩溃或混乱。该系统证明，通过将任务分解为战略教练、战术管理者和一支专业车手团队，你可以创造出一个既安全又具有极强适应性的广告系统。它提醒我们，有时赢得比赛最聪明的方法不是拥有一名超级车手，而是拥有一支完美协作的团队。

技术摘要：HOBA —— 用于自适应在线广告的分层在策竞价智能体

1. 问题陈述

在线广告竞价系统运行在非平稳的拍卖市场中，竞争对手策略、用户行为和平台动态都在不断演变。目前的行业实践依赖于离线训练的专家模型（例如 PID 控制器、模型预测控制 [MPC] 和离线强化学习策略），但面临两个关键局限性：

缺乏在线适应能力： 专家参数在部署后保持固定，导致无法在无需高昂重训成本的情况下响应市场变化。
手动超参数调优： 系统需要针对特定广告活动进行耗时耗力的调优，包括竞价边界、预算消耗速率和探索系数。

实现安全的在线学习具有挑战性。在策方法（如 PPO、A3C）存在导致预算迅速枯竭的灾难性探索风险；而离线方法在部署到与训练数据不同的环境时，会面临动作坍缩和分布偏移问题。此外，现有方法往往将战略规划与战术执行混为一谈，缺乏可解释性。

2. 方法论：HOBA 框架

作者提出了 HOBA（分层在策竞价智能体） 框架，该框架将竞价问题分解为三个在不同时间尺度上运行的分层层级。这种设计将在线学习限制在离散的专家选择而非连续的竞价优化上，从而在保持适应性的同时显著降低了探索风险。

2.1 高层：战略推理（小时周期）

智能体： 大语言模型（LLM）智能体。
功能： 通过 “思考-行动-观察-反思”（Think-Act-Observe-Reflect） 循环，从广告活动上下文中推断最优超参数 ( $\theta_t$ )。
机制：
- 思考（Think）： LLM 利用语义相似度从记忆库中检索相似的历史经验，并进行结构化推理，以识别性能偏差的根本原因。
- 行动（Act）： 生成包括竞价边界、响应模式（保守型/激进型）、控制目标（CPA、消耗速率）和探索奖励在内的超参数。
- 观察与反思（Observe & Reflect）： 在一个小时的执行窗口后，系统聚合观测结果，计算与预测的偏差，LLM 评估决策质量，并生成用于未来检索的结构化教训。
安全性： 输出被严格限制在预定义的安全范围内，并通过 JSON Schema 强制执行以确保输出有效。

2.2 中层：战术选择（2 分钟周期）

智能体： SARSA（状态-动作-奖励-状态-动作）智能体。
功能： 根据当前市场上下文，从预验证的专家池中动态选择表现最佳的专家模型。
因果调整： 为了解决历史数据中的混杂偏差（即专家在有利环境下被优先选择的情况），该智能体采用了 双重稳健估计量（Doubly Robust Estimator）。它结合了结果模型（XGBoost）和倾向评分模型（逻辑回归）来估计选择特定专家的因果效应，确保 Q-learning 过程不会继承伪相关性。
探索： 使用由高层 LLM 调节的探索奖励（Exploration Bonus）驱动的置信上限（UCB）探索。

2.3 低层：操作执行（单次拍卖）

组件： 一个包含离线训练模型的动态专家池，包括：
- PID： 用于快速误差纠正。
- MPC： 用于在未来时界内进行显式预算规划。
- 离线 RL 模型： 包括 CQL（保守 Q 学习）、IQL（隐式 Q 学习）和 DT（决策 Transformer），用于从日志数据中学习。
功能： 在高层设定的约束下执行单次拍卖竞价。
安全性机制： 竞价受到双重裁剪限制：首先是针对战略边界（来自 LLM）的裁剪，其次是针对波动限制（例如 $\pm 20\%$ 的前一次竞价）的裁剪。这保证了无论所选专家的行为如何，所有竞价都能满足预算和每次转化成本（CPA）的约束。
适应性： 专家池通过表现最优专家的微调变体进行动态扩展，并剔除表现不佳的专家，尽管核心的在线学习仍保留在选择层。

3. 核心贡献

分层多智能体框架： 首个将战略推理、专家选择和竞价执行在不同时间尺度（小时、分钟、单次拍卖）上解耦的框架，将每一层视为共享收入约束下的自主智能体。
安全在线适应： 引入了基于自然语言推理的 LLM 引导超参数优化，以及经过因果调整的在策专家选择。该方法通过将在线学习限制在离散的模型选择（5–10 个经过验证的模型）而非连续的竞价优化，实现了安全性。
因果去偏： 在中层智能体中引入了双重稳健因果调整，以消除历史数据中的选择偏差，确保在非平稳市场中实现鲁棒的专家选择。
实证验证： 通过大规模 A/B 测试证明了其实际应用价值。

4. 实验结果

该框架在 AuctionNet 基准测试以及某大型广告平台的规模化在线 A/B 测试中进行了评估。

4.1 离线基准（AuctionNet）

性能： HOBA 在标准设置和稀疏设置下均持续优于最先进的基准模型（包括 PID、MPC、BCQ、CQL、IQL、DT 和 HRL-Bid）。
提升幅度： 实现的评分提升范围从 +3.0%（标准设置，50% 预算）到 +12.1%（稀疏设置，100% 预算）不等。
消融实验：
- 移除基于 SARSA 的专家选择会导致最大的性能下降（-10.7%），证实了没有单一专家能统治所有市场状况。
- 移除高层 LLM 会导致性能下降 7.1%，凸显了自适应超参数推断的价值。
- 将 SARSA 替换为离线 DQN 会导致 6.4% 的损失并增加切换不稳定性，验证了在非平稳环境中在策学习的稳定性。
- 移除因果调整会导致 4.9% 的损失，证明了对历史数据进行去偏处理的必要性。

4.2 在线 A/B 测试

在超过 100,000 个广告活动中进行分阶段上线（5% $\to$ 20% $\to$ 100% 流量），HOBA 展示了：

目标成本达成： 提升 +3.6%（从 90.0% $\to$ 93.2%），表明更好地遵循了广告主的 CPA 目标。
转化价值： 增加 +8.1%（7 天内额外创造 150 万美元价值）。
投资回报率 (ROI)： 提升 +3.3%（从 2.15 $\to$ 2.22）。
预算完成度： 提升 +3.8%（从 94.2% $\to$ 97.8%），减少了预算未消耗浪费。
广告主满意度： 提升了 7.6%。
效率： 系统维持 P99 延迟为 38ms（远低于 100ms 的要求），并将运营成本较手动超参数调优降低了 96%。

5. 重要性与主张

本文声称 HOBA 成功解决了在线广告中的基本 安全性-适应性权衡 问题。通过将问题分解为层次化结构，该系统将在线学习限制在离散且安全的决策（选择专家）上，而非风险较高的连续优化（生成竞价）。

作者强调，这种设计实现了：

可解释性： 通过 LLM 的推理轨迹提供战略监督，并通过因果分析量化专家的贡献。
鲁棒性： 系统在不同的流量规模、用户人口统计特征和竞争格局下均能保持性能，包括在冷启动场景下，其 ROI 提升幅度比基准模型高出 48%。
可扩展性： 该框架已在每日处理数十亿次拍卖的生产环境中得到验证，证明了分层多智能体竞价是自适应在线广告的一种可行范式。

研究结论指出，尽管未来的研究方向包括针对罕见广告类型的元学习和多目标优化，但当前的框架已为现实世界的竞价挑战提供了一个鲁棒、可解释且高效的解决方案。