🤖 machine learning

DRIVE: Distributional and Retrieval-Augmented Bidding with Value Evaluation

该论文提出了 DRIVE，一个用于离线自动出价的统一 Transformer 框架，它通过结合分布建模、检索增强的历史案例以及价值评估，将候选动作生成与决策过程解耦，旨在克服传统参数化方法的局限性并提升预算约束下的性能。

原作者： Miduo Cui, Haochen Wang, Shangqin Mao, Xun Yang, Qianlong Xie, Xingxing Wang, Xuri Ge, Ying Zhou, Zhiwei Xu

发布于 2026-06-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Miduo Cui, Haochen Wang, Shangqin Mao, Xun Yang, Qianlong Xie, Xingxing Wang, Xuri Ge, Ying Zhou, Zhiwei Xu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一名职业赌徒，试图每天赢得一系列拍卖。你有一个严格的预算，需要实时决定对成千上万件物品出价多少。如果你出价太低，你会失去该物品；如果你出价太高，你会在一天结束前用光所有的钱。

这就是在线广告中**自动竞价（Auto-bidding）**的世界。公司使用计算机程序来进行这些分秒必争的决策。然而，教导这些计算机是非常冒险的。你不能只是让它们在现实世界中“通过实践来学习”，因为一次错误的猜测就可能让公司损失数千美元。因此，我们使用一本关于过去决策的“历史书”（离线数据）来教导它们。

本文介绍了一个名为 DRIVE 的新系统，旨在解决目前计算机从历史中学习时存在的两个主要问题。

两个大问题

1. “平均值”陷阱
想象一下你正在观察一张人群的照片。有些人穿着红衬衫，有些人穿着蓝衬衫。如果你要求一台标准的计算机描述人群中的“平均”人物，它可能会创造出一个穿着紫色衬衫的人。
在现实世界中，有时最好的策略是激进地出价（红衬衫），而有时则是保守地出价（蓝衬衫）。旧的计算机模型试图寻找“中间地带”，结果却得出了一个“紫色”的出价金额——对于保守的日子来说出价太高，对于激进的日子来说又出价太低。它们将所有优秀的策略坍缩成了一个平庸的、平均的策略。

2. “长尾”盲区
想象你是一位厨师，已经烹饪了 10,000 顿饭。其中 9,900 顿是简单的意面，而 100 顿是复杂的、高级的盛宴。如果你只关注最常见的菜肴，你就会忘记如何烹饪那些高级的菜肴。
在广告领域，大多数流量是常见的，但最有价值的机会往往发生在稀有的、“长尾”的情况下。旧的模型在这些稀有时刻会感到困惑，因为它们看到的例子不够多，从而导致做出不可靠的猜测。

DRIVE 的解决方案

作者构建了 DRIVE（基于分布和检索增强的价值评估竞价系统）来解决这些问题。把它想象成一个三步走的智能决策过程：

第一步：“多项选择”生成器（分布建模）
DRIVE 不再仅仅猜测一个平均出价，而是要求计算机同时想象出许多种可能的出价。这就像是要求一位厨师思考五种不同的烹饪牛排的方法（三分熟、五分熟、七分熟等），而不是仅仅猜测一个温度。这确保了系统能够保持所有不同的有效策略处于活跃状态，而不是将它们平均化为一个无用的“紫色衬衫”。

第二步：“小抄”（检索增强）
当计算机面临稀有或棘手的局面时，它不会仅仅靠猜测。它会打开一份“小抄”（一个高质量决策的数据库）。它会寻找在过去与当前情况极其相似的情境，并说道：“嘿，在这种特定情况下，我们以前成功出价过 50 美元！”这为计算机提供了一个具体的、现实世界的案例可以借鉴，防止它在数据稀缺时产生错误的幻觉。

第三步：“裁判”（价值评估）
现在，计算机拥有两份想法清单：一份是它自己生成的（第一步），另一份是它从“小抄”中找到的（第二步）。在采取行动之前，一位“裁判”（价值评论家）会检查每一个选项。它会问：“如果我选择这个出价，我会保持在预算内并获得最好的结果吗？”它会从整个列表中选出那一个最优的选择，忽略掉那些糟糕的选项。

结果

作者在名为 AuctionNet（模拟真实广告市场）的大规模真实世界数据集以及一些标准的机器人控制测试（D4RL）上测试了 DRIVE。

表现更好： DRIVE 持续比以往的方法创造了更多的收益（或“价值”）。
解决了陷阱： 它成功避免了“平均值”陷阱，能够根据时机选择正确的激进或保守策略。
处理稀有事件： 得益于“小抄”功能，它在数据稀薄的“稀疏”情况下表现得更出色。
速度： 尽管它做了更多的思考工作（生成选项、查看小抄并询问裁判），但它仍然足够快，足以满足实时竞价的需求（耗时不到 50 毫秒）。

核心结论

DRIVE 就像是将一名驾驶员从仅靠“自动驾驶”（在道路上取平均值）升级为一名专业的驾驶员，这位驾驶员：

会考虑多种驾驶路线（快速 vs 安全）。
会查看地图，了解其他优秀驾驶员在类似交通状况下的做法。
有一位副驾驶，在转动方向盘之前会反复核实最佳路线。

这造就了一位更安全、更聪明且能在比赛中获胜的驾驶员，尤其是在道路变得复杂或陌生时。

技术摘要：DRIVE（基于分布与检索增强的价值评估出价框架）

1. 问题陈述

本文针对将离线强化学习（Offline RL）和基于 Transformer 的序列建模（如 Decision Transformer）应用于现实世界自动出价系统时面临的关键局限性进行了研究。由于在广告竞价中进行在线探索具有极高的风险和成本，离线 RL 是必要的，但现有方法面临两个主要挑战：

“平均动作”陷阱（The "Average Action" Trap）： 标准的基于 Transformer 的方法通常采用单峰回归目标（例如均方误差 MSE）。在出价环境中，相似的市场状态往往对应多种截然不同但同样有效的策略（例如激进的高价出价与保守的低价出劲）。单峰建模会将这些多样化的行为坍缩为单一的次优平均动作，这既不够激进以赢得竞价，也不够保守以控制成本。
在稀疏/长尾数据中的不可靠性： 纯参数化模型缺乏保留高质量历史决策的显式机制。因此，尽管日志数据集中存在高质量决策，但在低密度区域或长尾流量条件下，这类模型生成的动作往往不可靠。

2. 方法论：DRIVE 框架

作者提出了 DRIVE（Distributional and Retrieval-Augmented Bidding with Value Evaluation），这是一个统一的基于 Transformer 的框架，它将候选动作生成与决策过程解耦。该框架集成了三个核心组件：

A. 分布式动作建模（GMM 头）

DRIVE 没有采用确定性回归头，而是使用 高斯混合模型（GMM） 来对动作空间进行建模。

机制： 策略预测一组 $M$ 个混合成分，每个成分由混合系数 ( $\alpha_m$ )、均值 ( $\mu_m$ ) 和方差 ( $\sigma^2_m$ ) 定义。
目标： 模型通过最大化历史动作的对数似然进行训练。这使得策略能够表示多峰密度，从而同时捕捉多样化的出价模式，而不是将其坍缩为单个点估计。
推理： 在推理阶段，模型从学习到的混合分布中随机采样一组候选动作 ( $A_{gen}$ )，从而保留多模态的出价模式。

B. 检索增强的候选生成

为了减轻参数化模型在稀疏数据机制下的不可靠性，DRIVE 引入了基于高质量历史轨迹的检索机制。

索引构建： 使用轻量级 Transformer 编码器生成的上下文状态嵌入，从离线数据集中构建检索索引 ( $I$ )。
检索策略： 在推理时，对当前状态进行编码，系统根据余弦相似度检索出 $K_{pool}$ 个最近邻。随后，这些候选者通过其存储的 Return-to-Go (RTG) 值进行过滤和排序，以选择前 $K$ 个高质量动作 ( $A_{ret}$ )。
作用： 这提供了显式的非参数化支持，将决策锚定在数据集中经过验证的高性能行为上。

C. 基于价值的动作评估

为了从生成的候选集和检索的候选集组合中稳健地选择最终出价，DRIVE 利用基于价值的评论家（Critic）进行决策。

评论家架构： 该框架采用了 隐式 Q 学习（IQL） 范式。它严格在离线数据集的支持范围内，通过分位数回归学习两个 Q 函数和一个状态价值函数 ( $V(s)$ )。
约束感知： 对于受限出价任务（例如每次转化成本 - CPA），奖励函数被设计为包含惩罚项。这确保了学习到的价值景观本质上反映了安全约束，引导智能体走向可行区域。
选择： 通过使用评论家评估所有候选动作 ( $A_{cand} = A_{gen} \cup A_{ret}$ ) 来选择最终动作 ( $a^*$ )：
$a^* = \arg \max_{a \in A_{cand}} \min_{i=1,2} Q_i(s, a)$

3. 核心贡献

统一框架： 提出了 DRIVE，它通过协同分布式 GMM 建模、检索增强上下文和基于价值的评估，解决了离线自动出价中的“平均动作”陷阱和数据稀疏问题。
在 AuctionNet 上的实证验证： 在具有随机动态特性和严格预算/CPA 约束的大规模工业基准测试 AuctionNet 上的广泛实验表明，DRIVE 始终优于最先进的基准方法（包括 CQL、IQL、BCQ、DT 和基于扩散的方法）。
泛化性： 研究表明该框架具有广泛的适用性，能够无缝集成到多种 Transformer 架构（DT、CDT、PDiT、BC）中，并在标准离线 RL 基准测试（D4RL Gym-MuJoCo 和 Maze2D）中持续提升性能。

4. 实验结果

AuctionNet 表现： DRIVE 在所有预算约束（50% 到 150%）下均取得了卓越的表现。值得注意的是，在纯生成式基准模型（如 DT 和 DiffBid）因数据稀疏而性能大幅下降的 AuctionNet-Sparse 数据集上，DRIVE 通过利用检索来锚定决策，保持了稳健的性能。
D4RL 基准测试： DRIVE 在 Gym 运动控制任务上获得了最高的平均归一化得分，并在 Maze2D 领域展现出显著优势（例如在 maze2d-medium 上达到 136.8 分，超越了所有竞争对手）。
消融实验：
- 去除 GMM 头（回归为确定性）或移除检索模块会导致性能大幅下降。
- 对比 GMM 与扩散（Diffusion）头发现，GMM 在实现相近或更好性能的同时，推理延迟显著降低（11ms vs 223ms），更适合实时出价场景。
- 对 Q 函数多模态性的分析显示，17.6% 的状态是多模态的，而标准 DT 策略在此类状态下的次优率高达 54.7%，证实了分布式建模的必要性。
效率： 虽然 DRIVE 会增加额外的内存消耗（主要用于 FAISS 检索索引），但其总推理延迟仍保持在 50ms 以下，满足了工业级实时出价系统的严格要求。

5. 意义与主张

本文声称 DRIVE 为在出价环境中部署离线 RL 提供了一个稳健的范式。通过将候选生成与决策过程解耦，它有效地缓解了“平均动作”陷阱，并确保了在稀疏和长尾数据机制下的可靠决策。作者强调，该方法不依赖于复杂的环境建模或在线探索，使其成为对安全性及预算约束要求极高的现实广告系统的实用解决方案。该框架在不同 Transformer 主干网络上的泛化能力表明，它为解决离线 RL 序列建模中的模式坍缩和采样不稳定问题提供了一个通用的解决方案。