💬 NLP

StepPO: Step-Aligned Policy Optimization for Agentic Reinforcement Learning

本文提出了 StepPO（步对齐策略优化），主张将大语言模型智能体的强化学习从传统的令牌级马尔可夫决策过程升级为步级（step-level）框架，通过以“步”而非“令牌”作为动作单元并实施步级信用分配，以更有效地解决多轮交互中的延迟奖励、稀疏奖励及长上下文等挑战，从而提升智能体的决策与工具使用能力。

原作者： Daoyu Wang, Qingchuan Li, Mingyue Cheng, Jie Ouyang, Shuo Yu, Qi Liu, Enhong Chen

发布于 2026-04-21

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Daoyu Wang, Qingchuan Li, Mingyue Cheng, Jie Ouyang, Shuo Yu, Qi Liu, Enhong Chen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文提出了一种让 AI 智能体（Agent）变得更聪明的新方法，叫做 StepPO。

为了让你轻松理解，我们可以把训练一个 AI 智能体（比如能帮你写代码、查资料、操作软件的“数字员工”）想象成训练一只训练有素的猎犬去执行复杂的任务。

1. 过去的做法：盯着“每一个字母”教狗（Token-Level）

以前的训练方法（比如传统的 PPO），就像是一个极度微观的教练。

场景：你让猎犬去“把桌上的苹果拿过来”。
旧方法：教练不关心狗是“跑过去”、“跳起来”还是“用嘴叼”，他只盯着狗嘴巴里发出的每一个音节（Token）。
- 狗发出“汪”（Token 1），教练给个分。
- 狗发出“呜”（Token 2），教练又给个分。
- 最后苹果拿到了，教练才给个总奖励。
问题：这种教法太细碎了！狗根本不知道“汪”和“呜”组合起来代表“跑过去”这个动作。它容易困惑：到底是哪个音节导致了拿到苹果？是“跑”这个动作，还是“跳”这个动作？
结果：在简单的任务（比如写一句话）里，这种教法还行。但在复杂的、需要多步交互的任务（比如“先查天气，再根据天气决定穿什么，最后买票”）中，这种盯着“音节”的教法会让狗晕头转向，学得很慢，甚至学歪。

2. 论文的核心观点：按“步骤”教狗（Step-Level）

这篇论文的作者说：别盯着音节看了，我们要按“步骤”来教！

新视角（StepPO）：把“跑过去、跳起来、叼住苹果”看作一个完整的动作单元（Step）。
怎么教：
- 第一步：狗看到指令，决定“跑过去”。它完成这一整套动作后，教练直接给反馈：“这一步做得好，因为离苹果更近了！”
- 第二步：狗决定“跳起来”。完成跳跃后，教练给反馈：“这一步很棒，高度刚好！”
- 第三步：狗决定“叼住”。完成叼住后，教练给大奖励：“任务完成！”
好处：狗现在明白了，“跑”、“跳”、“叼” 才是真正影响结果的关键决策。它不再纠结于嘴巴里发出的具体声音，而是专注于做对每一个关键动作。

3. 为什么这很重要？（三大转变）

论文认为，要让 AI 像真正的“智能体”一样工作，必须完成三个层面的转变：

A. 重新定义“动作” (MDP 的转变)

以前：动作 = 输出一个汉字/单词。
现在：动作 = 完成一次完整的交互（比如：调用一次搜索工具、写一段代码并运行、或者回复用户的一个完整问题）。
比喻：以前是教狗“动一下爪子”，现在是教狗“去把球捡回来”。

B. 重新分配“功劳” (信用分配的转变)

以前：奖励是平均分配给每一个字的，或者最后才给个总奖。这就像最后狗拿到了苹果，教练说：“刚才那 1000 个音节里，每个音节都加了 0.001 分。”狗根本不知道哪个音节重要。
现在：奖励直接给到步骤。如果“查天气”这一步查错了，后面的“买票”再努力也没用，那“查天气”这一步就要背锅（扣分）；如果“查天气”对了，那这一步就值得表扬。
比喻：就像踢足球，进球了，教练不会给每个传球的人平分奖金，而是给那个关键传球和射门的人重点奖励。

C. 重新设计“训练系统” (系统架构的转变)

以前：为了训练，要把狗说的话录下来，转成文字，再转回声音，中间容易出错（就像把一段话翻译来翻译去，意思变了）。
现在：系统直接记录“步骤”本身。就像直接记录“狗完成了捡球任务”，而不是记录“狗发出了 500 个音节”。这样既准确又高效，还能让不同的训练任务并行处理，互不干扰。

4. 实验结果：真的有用吗？

作者做了一个实验，让 AI 去回答一个需要多步推理的复杂问题（HotpotQA，类似“谁在 2020 年获得了诺贝尔奖，他的出生地是哪里？”这种需要查多次资料的问题）。

结果：使用StepPO（按步骤教） 的 AI，比传统 PPO（按音节教） 的 AI 学得更快，成绩更好，而且更稳定。
结论：在复杂的、长周期的任务中，“按步骤思考”比“按字思考”更符合智能体的本能。

总结

这篇论文就像给 AI 训练界开了一剂**“宏观思维”的良药**。

它告诉我们：别再让 AI 死记硬背每一个字了。要让 AI 学会像人一样思考——把大任务拆解成一个个关键的步骤，对每个步骤进行精准的评估和奖励。只有这样，AI 才能真正从“只会写句子的聊天机器人”，进化成“能解决复杂问题的全能智能体”。

一句话总结：
StepPO 就是让 AI 从“纠结于每一个字”升级为“专注于每一个关键动作”，从而变得更聪明、更靠谱。

这篇论文提出了 StepPO (Step-Aligned Policy Optimization)，一种针对智能体强化学习（Agentic RL）的**步级（Step-Level）**对齐优化框架。文章指出，传统的基于 Token 粒度的强化学习方法（如 PPO、RLHF）已无法有效应对多轮交互、长视野任务及工具调用的复杂智能体场景，因此主张将优化单元从 Token 提升至“交互步（Interaction Step）”。

以下是该论文的详细技术总结：

1. 核心问题 (Problem)

随着通用智能体（如 OpenClaw, Claude Code）的发展，大语言模型（LLM）需要更强的决策、规划和工具使用能力。然而，现有的 Agentic RL 方法存在**粒度不匹配（Granularity Mismatch）**的问题：

MDP 建模不匹配：传统方法将 LLM 的生成过程建模为 Token 级别的马尔可夫决策过程（MDP），但在多轮交互中，真正的决策单元是“一次完整的交互步”（包含思考、工具调用、观察反馈），而非单个 Token。
信用分配（Credit Assignment）不匹配：
- Token 级：奖励信号过于细碎和局部，难以捕捉长视野决策的贡献。
- 轨迹级（Trajectory-level）：如 GRPO 等方法，将奖励分配给整个轨迹，过于粗糙，无法区分中间步骤的好坏。
数据表示不一致：传统的文本消息存储或扁平 Token 流会导致“重分词漂移（Retokenization Drift）”，即推理时的 Token 序列与训练回放时的 Token 序列不一致，破坏训练稳定性。
系统瓶颈：长上下文、多轮交互和异步生成对训练系统的效率、数据管理和异步协调提出了新挑战。

2. 方法论 (Methodology)

StepPO 提出了一套从建模、数据表示、优化目标到系统设计的完整步级对齐范式：

A. 从 Token 级 MDP 到步级 MDP (Step-Level MDP)

定义转变：将 MDP 的状态 $s_t$ 定义为交互步开始时的观察（Observation），动作 $a_t$ 定义为该步生成的完整响应（包含推理、工具调用等序列），奖励 $r_t$ 为该步获得的反馈。
优势：动作 $a_t$ 内部仍由 Token 组成，但 MDP 的转移单元是“交互步”。这更符合智能体“观察 - 行动 - 环境反馈”的真实因果结构，清晰区分了策略（Policy）和环境（Environment）的边界。

B. 步级轨迹表示 (Structured Step-Level Representation)

解决漂移：摒弃纯文本消息或扁平 Token 流，采用结构化步级表示。
数据结构：每个交互步存储为独立单元 $(s_t, a_t, r_t)$ ，其中 $a_t$ 是原始 Token ID 序列。
优势：确保训练回放与推理时的 Token 序列严格一致（Token-space consistency），支持对特定步骤进行截断、摘要或重写，而不破坏其他步骤的 Token 完整性。

C. 步级信用分配 (Step-Level Credit Assignment)

优化目标：提出基于步级的 PPO 变体（StepPO）。
优势估计：使用步级广义优势估计（Step-level GAE）。优势函数 $A_t$ 衡量的是该交互步是否改善了轨迹的未来走向，而非单个 Token 是否接近奖励。
公式：
$\delta_t = r_t + \gamma V(s_{t+1}) - V(s_t)$
$A_t = \sum_{l=0}^{T-t-1} (\gamma\lambda)^l \delta_{t+l}$
策略比率 $w_t(\theta)$ 基于整个步动作 $a_t$ 的概率计算，而非单个 Token。这使得延迟奖励能更准确地归因到关键的中间决策步骤（如正确的工具调用或上下文管理）。

D. 训练系统设计 (Training Systems)

为了支持步级 RL，论文设计了配套的系统架构（参考 Agent-R1 和 Claw-R1）：

步级原生数据：数据池（DataPool）以步为单位存储 Prompt ID、Response ID、Reward 和元数据。
网关与异构支持：通过 Gateway 抽象，统一管理白盒/黑盒智能体及在线服务的异构数据流。
计算效率优化：利用步级结构识别共享前缀（Shared Prefix），进行前缀树合并，减少长上下文中的冗余计算。
异步训练：解耦 Rollout 引擎与训练引擎，支持异步数据收集与权重更新，解决长视野任务中不同步带来的延迟问题。

3. 关键贡献 (Key Contributions)

理论视角的转换：明确提出 Agentic RL 应从 Token 级 MDP 转向步级 MDP，将“交互步”确立为智能体行为的基本抽象单元。
算法创新：提出了 StepPO，实现了步级信用分配与步级 MDP 的对齐，解决了长视野任务中奖励稀疏和延迟的问题。
系统架构设计：阐述了实现步级 RL 所需的系统要素（步级数据表示、异步训练、前缀复用），并展示了从 Agent-R1（训练抽象）到 Claw-R1（数据管理）的演进路径。
实证验证：在 HotpotQA 多步推理任务上进行了实验，证明了 StepPO 优于传统的 Token 级 PPO。

4. 实验结果 (Results)

实验设置：在 HotpotQA 数据集上，使用 Qwen2.5-3B-Instruct 模型，对比 StepPO 与 Token-level PPO。两者共享相同的模型、数据和配置，仅优化算法不同。
性能表现：
- StepPO 在整个训练过程中始终优于 Token-level PPO。
- StepPO 达到了更高的峰值分数，并在训练中期和后期保持了更稳定的平台期。
- 曲线表明，对于需要多步证据收集和推理的任务，步级优化提供了更有效的学习信号。

5. 意义与影响 (Significance)

范式转移：StepPO 为 Agentic RL 社区提供了一个新的透镜，表明未来的智能体训练不应局限于 Token 生成，而应关注交互步的决策质量。
解决核心痛点：有效缓解了长视野任务中的奖励稀疏、信用分配模糊以及训练 - 推理不一致（Retokenization Drift）等关键问题。
工程落地指导：论文不仅提出了算法，还详细讨论了系统实现层面的挑战（如数据管理、异步调度），为构建大规模、生产级的智能体训练平台提供了蓝图。
未来方向：强调了从单一模型训练向支持异构智能体、复杂环境交互的规模化训练系统演进的重要性。

总结：StepPO 通过重新定义智能体学习的“原子单元”（从 Token 到 Step），在算法、数据表示和系统架构三个层面实现了全面对齐，为提升 LLM 在复杂多轮任务中的表现提供了切实可行的技术路径。