🤖 AI

Agentic-DPO: From Imitation to Agentic Policy Optimization on Expert Trajectories

Agentic-DPO 是一种轻量级的离线策略优化方法，它将专家轨迹转化为以状态为条件的动作偏好，使 LLM 智能体能够学习超越简单模仿的最优决策，在不需要环境回放或奖励模型的情况下，实现与在线强化学习相媲美的性能。

原作者： Yixiong Chen, Alan Yuille

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Yixiong Chen, Alan Yuille

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人管家如何清理乱七八糟的房间。旧的方法叫做监督微调（Supervised Fine-Tuning, SFT），就像是给机器人看一段人类打扫卫生的视频，并对它说：“完全模仿你看到的一切。”机器人学习的是动作的序列：捡起袜子，把袜子放进脏衣篮，拿起簸箕。但问题在于，机器人并不知道为什么要做出这些动作。如果那只袜子其实是一件垃圾，机器人可能仍然会把它捡起来，因为它只是在模仿视频，而不是在思考自己可能犯下的错误。

这篇论文介绍了一种更轻量级的新方法，叫做 Agentic-DPO，旨在解决这个问题。它不再仅仅是模仿，而是将训练数据变成了一场“选择你自己的冒险”游戏，让机器人学会识别自己潜在的失误。

核心思想：“不要只模仿，要对比”

作者提出，与其将专家的路径视为一段需要死记硬背的单一文本，不如将每一个步骤都视为一个决策点。在任何时刻，机器人既可以做出专家的正确动作，也可以做出一个“看似合理的错误”。

Agentic-DPO 的工作原理如下：

设置： 向机器人展示专家历史记录中的特定时刻（即“状态”）。
测试： 询问机器人：“如果是你，现在会怎么做？”
比较： 如果机器人的建议与专家的动作不同，你就创建一个配对：“专家动作（好）” vs. “机器人的猜测（坏）”。
教导： 教导机器人比起它自己可能犯的错误，更倾向于选择专家的动作。

这是一个巨大的转变。论文指出，以往的方法要么只是单纯模仿（SFT），要么试图通过在真实环境中反复进行实际操作来学习（强化学习），而后者既缓慢又昂贵，且需要复杂的评分系统。Agentic-DPO 表明，你可以获得从错误中学习的好处，而无需真正去“玩游戏”，也不需要雇佣人类裁判来为每一个动作评分。

“魔术技巧”：保持规则清晰

教机器人时有一个棘手的问题：它们可能会被“如何书写”所迷惑，而不是被“含义是什么”所吸引。例如，要求机器人“调用工具”可能会写成 call_tool() 或 {"tool": "call"}。如果机器人只是学习偏好专家的文本格式，那么当格式改变时，它就会失败。

为了解决这个问题，作者引入了一种巧妙的技术，称为策略保持增强（Policy-Preserving Augmentation, PPA）。想象一下你在教学生解数学题。你向他们展示同一个问题，但分别用英语、西班牙语以及漫画书的形式来呈现，而其解题过程（数学逻辑）始终保持不变。PPA 对机器人也是如此：它用许多种不同的“方言”或格式重写专家的动作，同时保持核心决策完全一致。这迫使机器人去学习选择背后的逻辑，而不是特定的词汇。

数据说话

作者在三个“游乐场”中测试了这个想法，在这些场景中，机器人必须与工具、用户和网站进行交互：

StableToolBench： 一个测试工具使用的场所。
τ-bench (tau-bench)： 一个零售模拟环境，机器人需要与客户聊天。
Mind2Web： 一个机器人需要在真实网站上进行导航的任务。

结果表明，在不同规模的机器人模型上，Agentic-DPO 始终优于标准的“模仿”方法（SFT）：

在 τ-bench 零售任务中，一个 90 亿参数的模型从标准模仿的 21.7% 成功率跃升至使用 Agentic-DPO 后的 41.4%。
在 StableToolBench 上，一个较小的 20 亿参数模型从 57.1% 提升到了 90.9%。
在 Mind2Web 上，步骤的平均成功率从 45.6% 提升到了 64.4%。

有趣的是，论文指出，Agentic-DPO 的表现不亚于一种更昂贵的方法——GRPO（该方法需要机器人在学习过程中实际进行数千次游戏），但 Agentic-DPO 在训练步骤中从未与真实环境进行过交互。

这种方法无法做到的事情

了解这种方法没有解决什么问题也很重要。论文明确排除了这样一种观点，即该方法可以发现专家从未见过的新情况。因为它只能从专家现有的视频中所呈现的状态中学习，所以它无法进入专家从未进入过的房间进行探索。这表明这是一种权衡：你获得了一种更便宜、更快速的训练方法，在已知的决策点上表现出色，但你失去了发现那些需要“不按常理出牌”才能找到的新方案的能力。

总结

作者认为，通过将专家演示转化为一系列每一步都存在的“对与错”的选择，并利用“格式洗牌”技巧（PPA）让机器人专注于逻辑，我们可以比以前更廉价地训练出更聪明的智能体。这就像是将机器人从一个盲目模仿的鹦鹉升级为一个能够思考“为什么我会犯错”的学生，而且无需投入数百万美元的计算资源去运行无休止的模拟。

技术摘要：Agentic-DPO

1. 问题陈述

大型语言模型（LLM）智能体通常通过在专家轨迹上进行监督微调（SFT）来进行训练。虽然 SFT 简单且成本低廉，但它将多轮智能体行为视为普通的文本模仿。这种方法继承了行为克隆（behavior cloning）的局限性：模型学习的是模仿专家标记序列，但无法学习在面对特定状态下的合理错误时如何做出正确的决策。

现有的解决办法，如偏好学习或强化学习（RL），通常需要高成本的环境采样（rollouts）、奖励模型或全轨迹的学生探索。此外，将偏好学习盲目应用于智能体动作会产生问题，因为动作字符串将潜在的决策逻辑与特定模式（schema）的渲染（例如 JSON 与 ReAct 格式）混合在一起。如果缺乏控制，模型可能会针对渲染风格而非底层决策进行优化。

核心挑战在于如何将专家轨迹转化为以状态为条件的动作偏好（state-conditioned action preferences），从而教会智能体避免其自身可能犯下的错误，且无需在线强化学习或外部奖励模型的计算开销。

2. 方法论：Agentic-DPO

作者提出了 Agentic-DPO，一种轻量级的离线智能体策略优化方法。它通过将专家动作与当前学生策略在相同状态下生成的“合理的错误动作”进行对比，将专家轨迹转化为偏好监督。

核心机制

基于状态的偏好构建：
- 对于轨迹中的每个专家步骤 $(s_t, u^+_t)$ ，该方法将专家动作视为“首选”选择。
- 在同一状态 $s_t$ 下，从当前学生策略 ( $\pi_{\theta_{student}}$ ) 中采样一个单步动作。
- 对学生采样的动作进行解析，提取其潜在决策。如果该决策与专家动作等价（相同的工具/参数），则将其丢弃。如果它是一个不同的有效决策，则作为“被拒绝”的样本（负样本， $u^-_t$ ）。
- 这创建了一个偏好三元组 $(s_t, u^+_t, u^-_t)$ ，使模型学习偏好专家动作而非学生可能犯下的特定错误。
损失函数：
- 该方法使用 Direct Preference Optimization (DPO) 风格的损失函数，仅针对生成的动作标记进行优化。
- 为了处理不同工具或 GUI 交互之间变化的动作长度，使用了长度缩放的偏好系数 $\beta_{eff}$ ，以防止长动作仅仅因为标记数量多而主导梯度。

稳定性策略

为了确保稳定性并防止模型优化表层格式而非决策逻辑，Agentic-DPO 引入了两个关键组件：

SFT 锚点（SFT Anchor）：
- 训练始于 SFT 热身阶段，以确保学生理解有效的动作格式。
- 在 DPO 训练期间，使用来自 SFT 阶段的冻结参考策略 ( $\pi_{ref}$ )。
- 总损失结合了 DPO 对比项与 SFT 项（ $L_{train} = L_{ADPO} + \lambda L_{SFT}$ ）。这种锚定机制防止偏好损失过于激进地抑制专家动作的概率，并保持策略符合有效的语法。
策略保持增强（Policy-Preserving Augmentation, PPA）：
- PPA 在多种模式视图（schema views）下渲染相同的潜在轨迹（例如更改工具名称、在 ReAct 和 JSON 格式之间切换，或注入恢复上下文）。
- 通过在训练期间为同一个潜在偏好对采样不同的视图 $\phi$ ，该方法可以抵消与特定模式形式相关的梯度（ $H_\theta$ ），从而确保模型优化的是潜在决策间隔（latent decision margin, $G_\theta$ ）。

训练流程

训练以“刷新轮次（refresh rounds）”进行。在每一轮中，使用当前的学生策略为专家数据的子集采样新的负面动作。这使得负面样本能够随着学生的改进而演进，从而提供动态的“硬负样本（hard negative）”信号，而无需与环境交互。

3. 主要贡献

Agentic-DPO： 一种轻量级的离线策略优化方法，通过对比专家动作与单步学生负样本来构建基于状态的动作偏好，消除了对在线环境采样或奖励模型的需求。
策略保持增强（PPA）： 一种通过多种模式渲染潜在轨迹的技术，用以减少由模式主导的偏好梯度，从而稳定动作级的 DPO。
实证验证： 证明了 Agentic-DPO 能够提升智能体在多种基准测试（工具使用、长程用户交互和 Web-GUI 定位）及不同模型规模下的表现，其性能优于标准 SFT，并能以极低的成本匹配在线强化学习方法。

4. 实验结果

作者在三个基准测试上评估了 Agentic-DPO：StableToolBench（工具使用）、 $\tau$ -bench retail（长程用户交织交互）和 Mind2Web（Web-GUI 定位），使用了 Qwen3.5 模型（2B, 4B, 9B）和 Gemma3-4B。

性能提升： Agentic-DPO 在所有模型规模下均一致优于 SFT 和其他基线（PPA+SFT, DFT, ETO, GRPO）。
- 在 $\tau$ -bench retail 上，Agentic-DPO 将 9B 模型的准确率从 21.7% (SFT) 提升至 41.4%，达到了在线 GRPO（40.0%）的水平，但无需在线 RL 采样。
- 在 StableToolBench 上，它将 2B 模型的表现从 57.1% (SFT) 提升至 90.9%，超越了强力的基线模型。
- 在 Mind2Web 上，它在留出集（held-out splits）上实现了 64.4% 的平均步骤成功率。
效率： Agentic-DPO 比在线强化学习显著更便宜。在 $\tau$ -bench 上，其每步的墙钟时间（wall time）仅为 SFT 的 1.6 倍，而 GRPO 由于需要多轮轨迹采样，其成本高达 13.6 倍。
消融研究：
- 移除 SFT 热身 会导致性能崩溃至 0.0%（解析器拒绝）。
- 在训练期间移除 SFT 锚点 会导致方差增大且准确率降低。
- 移除 PPA 虽然能维持较高的规范（canonical）准确率，但会显著扩大规范表现与扰动（out-of-distribution）表现之间的差距，表明 PPA 对于鲁棒性至关重要。
扩展性： 研究表明，当采样负样本数量 ( $K$ ) 超过 2–4 个时，收益递减，这表明其主要益处在于找到一个合理的局部错误，而非逼近完整的采样分布。该方法也具有高度的数据效率，仅使用 25% 的专家数据即可表现出色。

5. 重要性与主张

本文声称，当直接利用专家轨迹的状态-动作结构时，专家轨迹可以支持低成本的智能体策略优化。通过将演示转化为状态级的动作偏好，Agentic-DPO 弥合了简单模仿（SFT）与昂贵的在线强化学习（RL）之间的鸿沟。

作者强调，Agentic-DPO 提供了一种“感知学生（student-aware）”的训练信号——即教会模型避免其自身可能犯下的错误——同时避免了 RL 的主要成本（重复的完整轨迹环境采样和奖励模型训练）。虽然它是一种受限于专家数据中存在状态的离线方法（不同于可以探索新状态的在线 RL），但结果表明，它是提高各种交互范式下智能体决策能力的极具效能且实用的方法。