💬 NLP

Natural Language Actor-Critic: Scalable Off-Policy Learning in Language Space

本文介绍了自然语言行动者-评论家算法（Natural Language Actor-Critic, NLAC），这是一种可扩展的离策学习算法，它利用生成式大语言模型评论家提供自然语言反馈而非标量奖励，从而提高大语言模型智能体在复杂、长程任务中的训练稳定性和样本效率。

原作者： Joey Hong, Kang Liu, Zhan Ling, Jiecao Chen, Sergey Levine

发布于 2026-02-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Joey Hong, Kang Liu, Zhan Ling, Jiecao Chen, Sergey Levine

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个非常聪明但缺乏经验的机器人如何通过复杂的迷宫、解决谜题，或者与客户聊天。这个机器人是由大语言模型（LLM）驱动的——本质上是一个超级强大的文本生成器，它知道很多事实，但还没有学会如何在现实世界中“行动”。

这篇论文介绍了一种新的训练方法，叫做自然语言行动者-评论家（Natural Language Actor-Critic，简称 NLAC）。以下是它的工作原理，通过简单的类比来解释。

问题所在：“沉默的分数表”

传统上，当我们训练这些机器人时，我们会使用一种叫做**策略梯度（Policy Gradient）**的方法。想象一下机器人正在尝试解开一个谜题。它做了 20 步动作，最后你只给它一个总评：“通过”或“失败”。

问题在于： 如果机器人失败了，它并不知道这 20 步中的哪一步导致了失败。这就像是在写完一篇 20 页的论文后，只得到一个“不及格”的成绩，而没有任何红笔标注出具体的错误之处。机器人必须靠猜来确定哪里出了错，这既缓慢又低效，经常导致机器人感到困惑并最终放弃。

旧的解决方案：“标量评论家”

为了解决这个问题，研究人员尝试了**行动者-评论家（Actor-Critic）**方法。他们增加了一个“评论家”（即教练），在每一步动作后都会给出反馈，而不仅仅是在结束时。

问题在于： 传统的评论家给出的只是一个数字（一个 0 到 1 之间的分数）。
隐喻： 想象一位教练在喊：“做得好！”或者“做得差！”，并配上一个数字，比如“7.5”或“2.1”。
- 如果机器人犯了错，一个数字并不能告诉它为什么错了，或者如何修正。这就像老师说“你得了 60 分”，却没解释是因为你忘了进位。机器人只能靠猜来改进。

新的解决方案：NLAC（“爱说话的教练”）

作者提出了 NLAC，它用一个会说话、会推理的教练取代了那个只会处理数字的教练。

1. “语言评论家”（教练）

评论家不再给出数字，而是写下一段简短的文字来解释这一步动作。

工作原理： 在机器人做出一个动作后，评论家会说：“刚才那步还可以，但你选错了工具。你应该先检查天气，因为用户提到了下雨。如果你当时检查了天气，就能节省时间。”
神奇之处： 机器人可以阅读这段解释，理解其中的逻辑，并准确地学习如何改变自己的行为。这就像得到了老师详细的评语，而不仅仅是一个分数。

2. “语言贝尔曼回溯”（时间旅行者）

训练中最难的部分是预测未来。通常，要教好一个机器人，你必须看它玩完整个游戏 1,000 次，才能看到结果。这太慢了。

创新点： NLAC 评论家被训练成一个时间旅行者。它不需要看完整个游戏，而是观察下一步，然后利用想象力写出一个关于剩余部分游戏的简短总结。
隐喻： 想象你在下国际象棋。与其把整盘棋下完才知道这步棋好不好，你的教练会立即写下一个故事：“如果你走这一步，对手很可能会攻击你的皇后，导致你在 5 步之内落败。”
为什么重要： 这使得机器人只需通过一次步骤的经验就能学习。它让学习过程变得极其快速且高效。

3. “精炼策略”（编辑者）

一旦评论家写好了反馈，机器人并不仅仅是死记硬背，它会修改自己的作品。

工作原理： 机器人思考：“教练说我刚才那步不好，是因为我没检查天气。让我重新写一遍，先检查天气。”
结果： 机器人利用教练写下的建议进行“自我修正”，不断精炼自己的动作，直到达到完美。

为什么这意义重大

论文在三类任务上测试了该方法：

数学推理： 解决困难的数学问题。
对话游戏： 通过“二十个问题”来猜一个物体。
客户服务： 处理复杂的请求，如更改航班预订或退货。

结果显示：

速度： NLAC 学习得更快，比以往的方法需要更少的“尝试次数”就能掌握任务。
稳定性： 它不会像旧方法那样容易感到困惑或“崩溃”。
性能： 在复杂的多步骤任务（如客户服务场景）中，NLAC 的表现显著优于其他 AI 训练方法，甚至击败了一些仅通过提示词（prompting）进行操作的最先进的“前沿”模型。

总结

你可以将 NLAC 视为将机器人的训练从沉默的分数表（你只能看到最终得分）升级为一位私人导师，这位导师：

以故事的形式预测未来（因此机器人能从单步经验中学习）。
编写详细的反馈，解释动作的好坏原因。
引导机器人根据反馈重写其动作。

这种方法使得 AI 智能体能够比以往更高效、更稳定地学习复杂的长期任务。

技术摘要：自然语言行动者-评论家 (NLAC)

问题陈述

大型语言模型 (LLM) 智能体正越来越多地承担涉及工具使用、网页浏览和多轮对话的复杂、长程交互任务。虽然 LLM 在单轮任务中表现出色，但在处理动态规划和长序列中的信用分配（credit assignment）时却显得力不从心。传统的强化学习 (RL) 方法，如策略梯度（例如 PPO、GRPO），由于奖励稀疏以及难以将功劳分配给长轨迹中的特定动作，在这些场景下往往面临不稳定和样本效率低下的问题。

现有的行动者-评论家 (Actor-Critic) 方法试图通过学习一个评论家 (Critic) 来提供更密集的反馈，以缓解上述问题。然而，标准的标量值评论家并不适用于语言动作空间；它们将丰富的失败模式压缩成一个单一的数字，无法为语言策略如何改进其动作提供有效指导。此前尝试使用自然语言价值的方法（例如自然语言强化学习，NLRL）受限于其对在上下文（in-context）聚合在线采样轨迹的依赖。随着轨迹增长和环境动态变得复杂，这种方法的可扩展性受到限制，使其仅适用于像网格世界（gridworlds）这样简单的环境。

方法论：自然语言行动者-评论家 (NLAC)

本文提出了自然语言行动者-评论家 (NLAC)，这是一种新型算法，通过生成式 LLM 评论家在自然语言空间中产生价值，从而训练 LLM 策略。与以往的工作不同，NLAC 实现了通用的、可扩展的离线策略 (off-policy) 学习，而不依赖于对在线采样轨迹的在上下文聚合。

核心组件

该框架利用同一个底层 LLM，通过不同的提示词来实例化三个不同的功能组件：

语言后继模型 ( $M^\pi$ )：
不同于预测标量回报，评论家被训练用于预测未来轨迹的紧凑文本摘要。它充当一个后继函数（successor function），接收状态 $s_t$ 和动作 $a_t$ ，并生成关于未来轨迹 $(s, a)_{t+1:T}$ 及最终奖励的文本描述分布。该模型通过语言贝尔曼备份 ( $B_L$ ) 进行训练，该备份从单步转移中进行自助式（bootstrapping）。该备份将当前的下一步状态和动作与自助生成的未来描述相结合，通过“折扣”未来描述来强调即时结果。这使得通过时序差分学习进行离线策略训练成为可能，规避了对完整在线轨迹的需求。
语言评估器 ( $E$ )：
为了评估特定动作，评论家会聚合多个采样的未来描述（由后继模型生成），并产生一段文本评论。该评论会对动作的最优性进行评价，并基于预测的未来结果提供理由。这一步骤利用了 LLM 固有的在上下文进行文本推理的能力，而无需额外的训练。
精炼策略 ( $\pi_r$ )：
策略改进是通过自我精炼范式实现的。与其枚举所有可能的动作（这在庞大的 token 词表下是不可行的），基础策略首先生成一个初始动作。随后，精炼策略接收该动作以及来自评估器的文本评论，从而生成一个预期根据评论家判断更为优越的精炼动作 $a^r_t$ 。

训练算法

该算法以离线策略方式运行：

策略评估： 训练语言后继模型，使其预测的未来描述与由语言贝尔曼备份生成的目标分布之间的差异最小化。这通过对文本输出进行交叉熵损失（KL 散度）计算来实现。
策略改进： 基础策略通过从精炼策略进行蒸馏来进行更新。其目标是最大化精炼策略生成的精炼动作的对数似然，且该动作是以状态和评论家的评估为条件的。

核心贡献

语言空间中可扩展的离线策略学习： NLAC 是首个在自然语言空间中进行通用价值学习，且不依赖于对在线采样轨迹进行在上下文聚合的工作。通过使用语言贝尔曼备份训练语言后继模型，它实现了可扩展的离线策略学习。
可解释且具操作性的评论： 该方法用自然语言评论取代了标量值，这些评论能够解释为什么一个动作是次优的，并提出改进建议。这利用了 LLM 的推理能力，比标量信号能更有效地引导策略精炼。
理论收敛性： 作者提供了将学习到的语言表示与后继特征（successor features）联系起来的理论分析。他们证明了在满足温和的可实现性假设下，语言评论家可以通过单调映射恢复真实的标量 Q 函数，从而确保收敛至最优策略。
在长程任务上的经验优势： 论文展示了 NLAC 在需要多步交互的复杂任务上优于现有的微调基准（PPO、GRPO）和提示方法（ReAct）。

实验结果

作者在三个基准测试上评估了 NLAC：

数学推理 (MATH500-Hard)： 在单步任务中，NLAC 的表现与其他微调方法相当，有效地简化为带有生成式奖励模型的自我蒸馏。
策略对话 (二十问游戏)： 一种需要连贯规划的多轮游戏。NLAC 达到了 26.0% 的胜率，显著优于 PPO (17.2%)、GRPO (18.4%) 以及提示基准 (GPT-5 为 30.2%，但 NLAC 使用较小模型便超越了微调基准)。
工具使用与对话 ( $\tau$ -Bench)： 一个涉及 API 调用和严格政策指南的客户服务任务。NLAC 在零售场景中达到了 0.42 的胜率，在航空场景（训练期间未见）中达到了 0.22，优于所有其他微调基准。值得注意的是，与 PPO 相比，NLAC 需要更少的梯度步数即可收敛。

定性分析表明，NLAC 的自然语言评论成功识别了特定的失败模式（例如违反工具调用限制或使用线性搜索策略），并提供了标量奖励无法传达的可操作性修正建议。

意义与主张

论文声称，与现有的在线策略方法相比，NLAC 为 LLM 智能体提供了一个更可扩展且稳定的训练范式。通过将价值学习从标量空间转向自然语言空间，该方法更有效地解决了长程任务中的信用分配问题。作者认为，这种方法更好地利用了 LLM 固有的推理能力，使其能够理解并阐述策略更新背后的“原因”。

作者也承认了局限性，特别是对基础 LLM 生成合理未来以及通过提示进行动作精炼能力的依赖。他们指出，对于极其复杂的任务，未来的工作可能需要进行层次化分解以消除这种依赖。然而，目前的结果表明，NLAC 是训练对话和工具使用领域智能体的有力替代方案。