🤖 AI

When in Doubt, Plan It Out: Committed Small Language Model Deliberation for Reactive Reinforcement Learning

本文介绍了 PACT，这是一种混合架构，通过异步集成一个用于生成和验证安全行动计划的深思熟虑型小语言模型，增强了反应式强化学习策略，从而在无需重新训练策略的情况下，在挑战性环境中超越了基准方法。

原作者： Nathan Gavenski, Juarez Monteiro, Francisco Galuppo, Adriano Veloso, Odinaldo Rodrigues

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Nathan Gavenski, Juarez Monteiro, Francisco Galuppo, Adriano Veloso, Odinaldo Rodrigues

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你正在开车。大多数时候，你都在使用“自动驾驶”。看到停止标志，你就踩刹车；看到绿灯，你就前进。这很快捷、自动化，且几乎不需要思考。在人工智能的世界里，这被称为强化学习（Reinforcement Learning, RL）。当你行驶在熟悉的道路上时，它表现出色；但如果你突然发现自己身处一个完全陌生的城市，面对奇怪的交通规则，你的自动驾驶可能会因为从未见过这种情况而发生碰撞。

另一方面，想象一位坐在副驾驶座上的、非常睿智且思考缓慢的导航员。这位导航员读过世界上每一张地图，能够为复杂的旅程规划路线。然而，这位导航员说话很慢，需要很长时间来思考，有时还会分心。在论文中，这就是小语言模型（Small Language Model, SLM）。

这篇论文介绍了一个名为 PACT（计划、对齐、承诺、思考）的新系统，它将这两类驾驶员结合成一个完美的团队。以下是它的工作原理，使用了简单的类比：

问题所在：“熟悉道路”陷阱

标准的 AI 智能体就像自动驾驶员。它们擅长应对经过练习的事物。但如果遇到新情况（比如湿滑的路面或巨大的迷宫），它们会惊慌失措并犯错。它们缺乏“预判”的能力。

解决方案：PACT 团队

PACT 创建了一个拥有两个截然不同角色的混合团队：

快速驾驶员（RL 策略）： 这是自动驾驶仪。它处理 90% 的驾驶工作。它反应迅速、高效，并且熟悉当地规则。
缓慢导航员（SLM）： 这是规划者。它不直接驾驶汽车。相反，它退后观察，只有当快速驾驶员感到困惑时才会开口说话。

PACT 如何运作：“怀疑”触发机制

该系统有一个简单的规则：“如有疑问，就进行规划。”

触发器： 快速驾驶员不断检查自身的信心。如果它看到熟悉的事物，它就继续驾驶。但如果它感到“不确定”（比如看到一片湿滑区域或一个从未见过的巨大迷宫），它就会踩下刹车并说：“我不确定下一步该怎么做。”
规划阶段： 当快速驾驶员停下来时，缓慢导航员就会醒来。它不仅仅是说“左转”，而是会创建一个完整的路线图（一个计划），涵盖接下来的几步。
安全检查（模拟）： 在使用导航员的计划之前，系统会运行一次“心理模拟”。它会问：如果我们遵循这个计划，会撞车吗？是否安全？它真的能带我们到达目标吗？ 如果计划有风险，导航员会重新尝试，直到找到一条安全的路径。
承诺： 一旦计划得到验证，快速驾驶员就会**承诺（执行）**该计划。系统会在一段时间内忽略自动驾驶，而是严格按照导航员的路线图逐步执行。即使路面有些颠簸（随机性），团队也会坚持执行计划，而不是每秒钟都因惊慌而改变方向。
对齐： 如果车辆稍微偏离了航线（例如路面太滑导致车辆打滑），导航员会迅速调整路线，让车辆回到原定路径，而不是从头开始。

结果：为什么它能胜出

研究人员在三个不同的“驾驶场景”（称为 FrozenLake 环境）中测试了这个团队：

平坦之路（6x6 地图）： 快速驾驶员表现不错，但 PACT 团队表现得更出色。
湿滑之路（带有冰面的 6x6 地图）： 这是其他团队失败的地方。快速驾驶员打滑并撞车了。其他每次都要向导航员寻求建议的 AI 系统则会感到混乱并迷失方向。但 PACT 因为承诺执行一个经过验证的计划，所以保持了稳定。它只是轻微打滑并恢复了过来。
巨大迷宫（8x8 地图）： 这是一个漫长且复杂的旅程。快速驾驶员迷路了；而单独的导航员又太慢，且在原地徘徊。但 PACT 将两者结合：导航员绘制了一条清晰的路径，而快速驾驶员完美地执行了它。PACT 取得了满分成绩，零失误，而其他所有系统都在苦苦挣扎。

核心启示

论文指出，你并不需要一台超级计算机（庞大的 AI 模型）来解决难题。你只需要正确的团队协作。

不要每转弯都询问导航员： 那太慢且容易造成混乱。
不要让驾驶员在黑暗中盲目猜测： 那会导致碰撞。
应该这样做： 让驾驶员处理简单的事情。当情况变得诡异时，停下来，让导航员绘制一张安全的、经过验证的地图，然后坚持执行这张地图，直到任务完成。

简而言之，PACT 证明了一个聪明的小型规划者与一个快速的反应型驾驶员协同工作，比其中任何一方试图独自完成任务都要强大得多。

技术摘要：计划、对齐、承诺、思考 (PACT)

问题陈述

使用标准无模型策略（model-free policies）训练的强化学习（RL）智能体在熟悉的环境中表现出色，但在部署到陌生条件或新颖场景时性能会显著下降。这种局限性源于其纯粹的反应式本质：它们仅将状态映射到动作，缺乏显式的审议或前瞻。虽然大语言模型（LM）提供了适用于高层规划的可迁移知识和常识推理能力，但在该领域面临两个关键障碍：

可靠性： 即便是前沿的大语言模型，在独立进行多步规划和状态追踪方面也难以保持一致性。
效率： 大型模型计算成本高昂，难以满足低延迟、实时决策的需求。

现有的混合方法通常将大语言模型视为步级顾问（在每个不确定的步骤中查询模型），或者需要人工设计规划模型（如 BDI 系统），这无法在无需昂贵重训的情况下，弥合反应式执行与长程规划之间的鸿沟。

方法论：PACT 架构

作者提出了 计划、对齐、承诺、思考 (PACT)，这是一种将快速、反应式的 RL 策略与缓慢、审议式的小语言模型（SLM）规划器相结合的混合架构。借鉴卡尼曼（Kahneman）的双过程理论和信念-欲望-意图（BDI）系统，PACT 将决策过程分为两个组件：

快速组件（反应式 RL）： 一个预训练策略（例如 PPO）负责在熟悉条件下进行决策。它持续运行，除非被触发切换。
慢速组件（审议式 SLM）： 一个异步的 SLM（具体为 2B 参数模型）仅在 RL 策略的**认知不确定性（epistemic uncertainty）**超过预设阈值 ( $\tau$ ) 时被调用。

PACT 的过程由三个不同的模块组成：

计划生成（Plan Generation）： 当出现高不确定性时，SLM 会根据任务描述和当前观测值生成一个候选动作序列 ( $\rho$ )，长度最多为 $n$ 步。该生成过程依赖于一个手工构建或学习到的转移函数，用于在提示词（prompt）中模拟未来状态。
计划验证（Plan Verification）： 对候选计划进行模拟，以确保其安全性（无约束违反）、可行性（在动作空间内）以及完整性（达到目标）。如果发生违规，则提示 SLM 重新生成一个安全的计划。
智能体对齐（Agent Alignment）： 该模块旨在弥合用于规划的理想化模拟与智能体实际当前状态之间的差距。如果由于随机转移导致智能体偏离了计划，SLM 会被提示生成一段短轨迹，以引导智能体回到计划中最近的可达路标点。

执行策略： 一旦计划经过验证并完成对齐，系统便会**承诺（commit）**执行该计划。此时，反应式 RL 策略会被绕过，智能体直接执行计划中的动作，直到计划完成、达到目标或发生失败。这种承诺机制使 PACT 区别于步级顾问方法，后者缺乏统一的轨迹来从偏差中恢复。

核心贡献

混合架构： 一种将反应式 RL 与审议式 SLM 规划相结合的新颖框架，无需重新训练 RL 策略。
承诺机制： 不同于步级顾问，PACT 致力于执行经过验证的结构化轨迹，通过重新对齐到计划而非在每一步都重新查询模型，从而实现对随机偏差的恢复。
利用小模型的效率： 证明了当小型语言模型（SLM）被封装在验证和承诺循环中时，即使是 2B 参数的模型也能在复杂且不确定的环境中表现优于大型模型或独立的 RL 策略。
不确定性触发规划： 系统仅在 RL 策略存在认知不确定性时才调用审议过程，优化了速度与规划深度之间的权衡。

实验结果

作者在 FrozenLake 环境中针对三个难度递增的配置评估了 PACT：

6×6（确定性）： PACT 实现了 0.98 ± 0.14 的奖励，优于 PPO (0.93)、独立 SLM (0.47) 以及其他 LM-RL 基准模型（SAYCAN: 0.88, ASK: 0.89）。
6×6（随机/湿滑）： PACT 保持了高性能 (0.93 ± 0.26)，展现出对随机性的鲁棒性。相比之下，PPO 降至 0.64，SAYCAN 降至 0.53，ASK 降至 0.63。由于随机偏差，PACT 在每个回合平均需要 2.85 次重新规划，但仍保持了极高的成功率。
8×8（长程任务）： PACT 取得了完美的 1.00 ± 0.00 奖励且零方差。PPO 降至 0.79，SAYCAN 降至 0.62，ASK 降至 0.74。独立 SLM 表现较差 (0.42) 且方差较高，表明在没有验证的情况下会出现无目的的徘徊。

主要发现：

LM 使用频率与性能的关系： PACT 的性能并不取决于 LM 查询的频率，而取决于生成的计划的结构与承诺。例如，在随机设置下，SAYCAN 的查询频率与 PACT 相似（59.7%），但由于缺乏计划承诺，其获得的奖励显著较低（0.53）。
可扩展性： PACT 的 LM 使用率随任务难度增加而增加（确定性环境下为 27.9%，随机环境下为 58.4%，长程环境下为 81.2%），表明系统会根据环境需求动态分配审议资源。

意义与主张

论文声称，审议式规划与反应式执行结合的力量比两者单独存在时更为强大。具体而言，PACT 证明了：

承诺至关重要： 能够承诺执行经过验证的计划并进行重新对齐，而不是将大语言模型视为逐步式顾问，这提供了其他方法所缺乏的应对随机性和长程任务的鲁棒性。
验证降低了规模要求： 通过将 SLM 封装在基于模拟的验证循环中，该系统不需要海量的参数量即可实现可靠的规划；一个 2B 参数的模型便已足够。
无需重训： 该架构允许集成预训练智能体与大语言模型，而无需进行昂贵的重训或对 RL 策略进行微调。

局限性：
作者承认，目前的 PACT 依赖于手工构建或学习到的转移函数来进行计划模拟，这限制了其在无法获取此类动力学特性的环境中的适用性。此外，评估仅限于直接目标任务，对于需要复杂子目标分解的任务（例如“钥匙与门”环境）的性能表现，仍有待未来的实证验证。