🤖 AI

LaGO: Latent Action Guidance for Online Reinforcement Learning

该论文提出了 LaGO，这是一个利用预训练大语言模型作为潜在动作先验来软性引导在线强化学习的框架，证明了与标准 PPO 相比，该框架在离散和连续控制基准测试上的成功率和奖励均有显著提升。

原作者： Kuan-Yen Liu, Ren-Jyun Huang, Ti-Rong Wu

发布于 2026-06-24

📖 1 分钟阅读☕ 轻松阅读

原作者： Kuan-Yen Liu, Ren-Jyun Huang, Ti-Rong Wu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在尝试教一个机器人如何通过复杂的迷宫，或者拿起一个特定的物体。你有两个主要工具：一个才华横溢但笨手笨脚的专家（大语言模型，简称 LLM）和一个固执但学习极快的新手（强化学习智能体）。

长期以来，研究人员一直试图让这位“笨手笨脚的专家”直接驾驶机器人。他们要求专家说出具体要按哪个按钮或向哪个方向移动。问题在于，专家擅长谈论和规划，但在给出精确、瞬时的指令方面表现很差。如果专家犯了一个微小的错误，机器人就会撞车，整个任务就会失败。

LaGO（潜空间动作指导，Latent Action Guidance） 是一个改变了这种动态关系的全新框架。LaGO 并没有让专家直接驾驶汽车，而是让专家坐在副驾驶位上，向驾驶员低声指引方向。

以下是它的工作原理，分为简单的步骤：

1. 设置：两个阶段

论文描述了一个让机器人进行有效学习的两步过程。

阶段 1：“学习环节”（离线阶段）
首先，系统选取了一个“笨手笨脚的专家”（预训练 AI，如 Llama），并向它展示大量人类成功完成任务的视频（专家演示）。它并不要求专家现在就开始驾驶。相反，它教会专家识别模式。这就像是给一位国际象棋大师看一千盘国际象棋比赛，并要求他们理解什么是“好棋”的感觉，而不是强迫他们立即下一场完美的棋局。专家学会了一种关于哪些动作通常有效的“直觉”或潜空间先验（latent prior）。
阶段 2：“驾驶课程”（在线阶段）
现在，真正的学习开始了。一个独立的、学习极快的机器人（RL 策略）开始与现实世界进行交互。它尝试各种动作，经历失败，获得奖励，并不断学习。
- 转折点： 在机器人学习的过程中，“笨手笨脚的专家”依然坐在那里。但它不再大声喊叫命令，而是温柔地轻推机器人。它会说：“嘿，根据我所看到的，你可能想往这个方向移动。”
- 机器人会听从这个轻推，但并不被强制服从。如果机器人尝试了一个新动作并获得了巨大的奖励，它就会忽略这个轻推并继续原来的路。如果机器人迷失了方向，这个轻推能帮助它找到更好的路径。

2. 类比：GPS 与副驾驶

把旧的方法（使用 LLM 作为直接控制器）想象成使用一个给出精确、僵化指令的 GPS 来开车，比如“在 3.42 英寸处左转”。如果 GPS 稍微偏了一点，你就会撞树。

LaGO 则像是拥有一个知识渊博的副驾驶。副驾驶不会抢夺方向盘，而是会对你说：“我觉得那边有个近路，”或者“那条路看起来很危险。”

如果副驾驶是对的，你就走近路，更快到达目的地。
如果副驾驶错了，你就忽略他们，继续按自己的方式开车。
结果是：你既获得了他们经验带来的好处，又没有因为他们夺取控制权而导致撞车的风险。

3. 结果：它奏效了吗？

研究人员在两个不同的“迷宫”中测试了它：

CLEVR-Robot： 一个机器人在网格上移动球体的游戏（离散步骤）。
Meta-World： 一个复杂的机器人手臂模拟环境，机器人手臂需要开门、按按钮和拿起物体（连续、平滑的运动）。

结果：
在这两种情况下，使用 LaGO 的机器人比单独学习的机器人学得更好。

在移动球体的游戏中，成功率从 15% 跳升至 27%。
在复杂的机器人手臂游戏中，成功率从 2.7% 飙升至 15.2%。

这是一个巨大的进步，因为这个“笨手笨脚的专家”并不完美。事实上，如果你直接让专家驾驶机器人，它会失败得很惨。但通过将专家作为软性引导，机器人学会了更频繁地取得成功。

4. 秘密武器：更聪明的专家

论文还发现，这个“笨手笨脚的专家”的质量至关重要。

当他们使用一个较小、较弱的 AI 作为引导时，机器人的学习效果并不理想。
当他们使用一个更大、更聪明 AI（Llama 2 7B 对比 TinyLlama）时，引导效果要好得多，机器人的学习速度也更快。

这表明，随着未来的 AI 模型变得越来越聪明，即使它们本身不是完美的驾驶员，它们也会自动成为更好的“副驾驶”。

总结

LaGO 是一种巧妙的方法，它利用大型 AI 模型的海量知识来帮助机器人学习，同时又不强迫这些模型去做控制机器人那样精确且困难的工作。它将一个“博学但笨拙”的 AI 变成了一个有用的向导，加速了学习进程，并帮助机器人更频繁地取得成功。

技术摘要：LaGO —— 用于在线强化学习的潜动作引导

问题陈述
尽管大语言模型（LLMs）在规划和序列决策方面展现出了巨大潜力，但现有方法通常依赖于将它们作为直接控制器、显式高层规划器或世界模型模拟器。这些方法要求 LLM 生成精确的动作、详细的计划或准确的未来轨迹。然而，这种要求在实践中往往过于严苛；LLM 的能力差异显著，即使是微小的预测误差也会随时间累积，导致在需要精确执行和长程推理的强化学习（RL）设置中表现不佳。因此，直接依赖 LLM 作为主要控制器仍然是不可靠的，特别是在观测和动作并非自然以语言或视觉形式呈现的向量化环境中。

方法论
为了应对这些挑战，作者提出了 LaGO（用于在线强化学习的潜动作引导），这是一个两阶段框架，它利用预训练的 LLM 作为“软”引导（通过潜动作先验），而非作为显式控制器。

第一阶段：离线先验学习
该框架首先从离线专家数据集（ $D$ ）中训练一个潜策略先验。使用预训练的 LLM 主干网络（ $F_\phi$ ），通过可学习的投影模块（ $E_s$ 和 $E_a$ ）将来自演示的非文本状态-动作序列转换为潜表示。这些嵌入与文本任务描述（ $x$ ）结合后，被输入到 LLM 中。随后，通过监督微调训练一个新添加的动作头（ $G_\theta$ ），以在给定轨迹前缀（ $\tau_t$ ）和任务描述的情况下预测下一个动作（ $a_{t+1}$ ）。其目标是最小化专家数据的负对数似然，从而创建一个捕捉粗略行为先验而非最优控制器的潜策略先验 $\pi_K(a_{t+1} | x, \tau_t)$ 。
第二阶段：带有潜引导的在线 RL
在第二阶段，训练好的潜先验 $\pi_K$ 被冻结，并用于引导在线 RL 策略 $\pi_\psi(a|s)$ （例如 PPO 或 SAC）。RL 智能体与环境交互以收集采样数据，但策略优化会向潜先验进行正则化。总训练损失定义为：
$L_{online} = L_{PG} + \beta L_{prior}$
其中 $L_{PG}$ 是标准的策略梯度目标， $\beta$ 控制先验的影响力。
- 对于离散动作空间，先验损失是先验预测动作的负对数似然。
- 对于连续动作空间，先验损失实现为先验分布与当前策略之间的交叉熵项，这在数学上等价于 KL 散度正则化（在固定先验的熵范围内）。

这种设计使得 RL 策略能够从 LLM 编码的结构化知识中获益，而无需 LLM 在交互过程中做出精确决策。

核心贡献

新颖框架： LaGO 引入了一种将预训练 LLM 知识作为在线 RL 潜行为先验的方法，放宽了将 LLM 作为直接控制器时对精确度的严格要求。
两阶段架构： 通过离线先验学习（通过对专家数据的监督微调）和在线策略优化（通过正则化）的分离，该系统即使在先验不足以作为独立智能体时，也能利用 LLM 的知识。
泛化性： 该框架旨在通过适配特定动作空间的先验正则化项，广泛适用于离散和连续控制领域。

实验结果
作者在两个基准测试上评估了 LaGO：CLEVR-Robot（离散控制）和 Meta-World（连续控制）。实验将 LaGO 与“Vanilla PPO”在四个任务类别（Real, Rephrase, Easy, Hard）下进行了对比。

性能提升： LaGO 在奖励和成功率方面均一致优于 Vanilla PPO。
- 在 CLEVR-Robot 上，平均成功率从 15.1% 提高到 27.2%。
- 在 Meta-World 上，平均成功率从 2.7% 提高到 15.2%。
泛化能力： 在包括“Easy”和“Hard”在内的未见任务类别中均观察到了改进，表明该先验提供的是泛化引导而非单纯的记忆。
LLM 质量的影响： 一项对比 Llama-2-7B 先验与 TinyLlama-1.1B 先验在 Meta-World 上表现的消融研究表明，更强的预训练模型能产生更有效的潜先验。使用 Llama-2-7B 的 LaGO 始终取得了最高性能，而 TinyLlama 先验有时甚至表现不如 Vanilla PPO，这凸显了基础模型质量的重要性。

意义与主张
论文声称 LaGO 提供了一个将预训练 LLM 知识集成到强化学习中的简单且实用的框架。其主要意义在于证明了即使 LLM 的准确性不足以作为直接控制器，它们仍能通过作为软性的、潜空间的引导来改善在线决策和规划。通过将 LLM 视为软性的、潜空间的引导源而非显式规划器，该框架减轻了误差累积的风险，同时利用了预训练过程中获得的丰富归纳偏置和世界知识。

作者总结道，预训练 LLM 中编码的知识和泛化能力可以作为规划和 RL 的强有力先验。他们进一步指出，随着基础模型的进步，这种引导的有效性将自然提升，为在无需在交互期间生成精确动作的情况下，利用 LLM 处理复杂决策任务提供了一条可扩展的路径。

1. 设置：两个阶段

2. 类比：GPS 与 副驾驶

3. 结果：它奏效了吗？

4. 秘密武器：更聪明的专家

总结

技术摘要：LaGO —— 用于在线强化学习的潜动作引导

类似论文

2. 类比：GPS 与副驾驶