🤖 AI

Training the Orchestrator: A Supervised Approach to End-to-End PDDL Planning with LLM Agents

本文介绍了 HALO，一种混合型智能体学习编排器，它利用经验证器认证的细化轨迹来训练一个用于端到端 PDDL 规划的小型、高性价比策略，在实现与前沿大语言模型相当的成功率的同时，将编排成本降低了一个数量级以上。

原作者： Rajesh Mangannavar, Zachary Coalson, Pranay Dugar, Prasad Tadepalli

发布于 2026-06-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Rajesh Mangannavar, Zachary Coalson, Pranay Dugar, Prasad Tadepalli

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是该论文的解释，使用了简单的语言和日常类比。

核心问题： “翻译官”瓶颈

想象一下，你想组装一件复杂的家具。你有一个粗略的草图和一份用普通英语编写的想法清单（自然语言）。然而，真正负责制造家具的机器（经典规划器）只理解一种非常严格、机械化的代码，叫做 PDDL。

如果你要求普通的 AI（大语言模型或 LLM）来编写这段代码，它经常会出错。它可能会凭空捏造不存在的零件，或者忘记列出螺丝，或者写出机器无法读取的指令。

为了解决这个问题，研究人员创建了一个“维修团队”。他们有一个经理（编排器/Orchestrator），负责观察破碎的代码，并雇佣一个专家（智能体/Agents）团队来修复特定的错误。一位专家负责修复语法，另一位负责逻辑，还有一位检查零件是否匹配。

难点在于： 在旧系统中，经理是一个极其昂贵的高端 AI（比如 GPT-5 或 Gemini）。每当团队需要修复一个错误时，你都必须支付高额费用给经理，请他思考问题并挑选下一个专家。如果一个项目需要 10 个步骤来修复，你就得付 10 次经理的费用。这使得整个过程对于小型实验室或本地计算机来说成本过高。

解决方案：HALO（实习生经理）

该论文的作者 Rajesh Mangannavar 及其团队提出了疑问：“我们真的需要在每一步都使用超级昂贵的经理吗？我们能否训练一个便宜的本地实习生来胜任这项工作？”

他们创建了 HALO（混合智能体学习编排器/Hybrid Agent-Learned Orchestrator）。其工作原理包含三个关键技巧：

1. 从“获胜剧本”中学习

通常情况下，训练 AI 是很难的，因为你不知道每一步的“正确答案”是什么。但在该系统中，有一个裁判（验证器/Verifier）来检查最终的家具。

如果最终方案可行，裁判会说：“做得好！”
团队发现：每当裁判说“做得好”时，他们所使用的经理与专家的序列就是一套获胜策略。

他们提取了数千份这样的“获胜剧本”，去掉了昂贵经理的声音，仅保留了记录，即：“当代码看起来像 X 时，获胜团队选择了专家 Y。”他们利用这些数据来训练一个小型、廉价的 AI（HALO），使其模仿这些获胜的决策。

2. “规则手册”捷径

HALO 不仅仅是一个大脑，它还是一个带着“小抄”的大脑。作者意识到，有些决策非常显而易见，甚至不需要人类去思考。

例子： 如果代码为空，规则是“调用紧急处理智能体”。
例子： 如果代码有拼写错误，规则是“调用语法智能体”。
例子： 如果计划完美，规则是“停止”。

HALO 会首先检查这些简单的规则。如果规则适用，它会立即行动，而无需动用它的“大脑”（AI 模型）。只有当问题真正复杂时，HALO 才会使用其训练好的 AI 来做出决策。

3. 更大的工具箱

团队还扩大了专家团队。他们在原有的 13 位专家基础上增加了 8 位，使总数达到 21 位。其中一些新专家是“确定性”的，这意味着它们是运行瞬间且成本为零的简单计算机脚本，而不是昂贵的 AI 模型。这让 HALO 拥有了更多快速解决问题的工具。

结果：更快、更便宜，且同样出色

团队在 11 种不同类型的规划问题（如物流、机器人移动和调度）上测试了 HALO 与昂贵的高端 AI 经理的表现。

成功率： HALO 与昂贵的 AI 表现一样出色，有时甚至更好。它解决问题的成功率与高端 AI 持平。
速度： 由于 HALO 对简单问题使用简单规则，对难题使用小型本地模型，因此它做决策的速度更快。
成本： 这是最大的胜利。
- 旧方法（使用 GPT-5）每个任务大约花费 0.18 美元。
- HALO 每个任务大约只需 0.004 美元。
- 这大约便宜了 45 倍。 这就像是从为每一餐都聘请一位名厨，转变为聘请一位使用食谱处理简单菜肴的高水平本地厨师。

核心结论

这篇论文证明了，你并不需要一个“超智能”的 AI 来管理一个维修智能体团队。如果你有一个严格的裁判（验证器）能告诉你计划是否成功，你就可以训练一个小型、廉价的 AI 来从这些成功案例中学习。

这使得复杂的规划系统可以在实验室的一台电脑上（甚至是一台笔记本电脑上）运行，而无需在每次做出决策时都支付昂贵的云端 API 费用。它将一项奢侈的服务变成了一个任何人都能在本地运行的工具。

技术摘要：HALO —— 一种基于监督学习的端到端 PDDL 规划 LLM Agent 方法

1. 问题陈述

自动化规划需要将自然语言目标转化为形式化的规划领域定义语言（PDDL）规范，以便经典求解器进行处理。虽然大型语言模型（LLMs）为自然语言与形式化表示之间提供了桥梁，但当它们被孤立使用时并不可靠，经常会出现谓词幻觉、约束编码错误或生成无效规划的问题。

近期的智能体框架（例如 La Malfa 等人 [2026]）通过在由验证器检查的细化循环中编排一组专门的修复智能体来解决这一问题。在这些系统中，“前沿”（Frontier）LLM（如 GPT-5, Gemini-3）充当编排器（Orchestrator），负责检查当前状态（PDDL、求解器日志、验证器错误）并在每一步选择合适的修复智能体。虽然这种方法很有效，但它也产生了一个显著的瓶颈：编排器本身在每一个细化步骤中都需要调用一次昂贵的前沿 LLM API。这种依赖性限制了其部署场景，使其仅适用于具备持续 API 访问能力的场景，而在实验室规模、边缘计算或物理隔离的环境中则显得成本过高。

本文解决的核心挑战是：能否用一个可在本地运行的小型模型替换前沿 LLM 编排器，且不牺牲规划成功率？

2. 方法论：HALO

作者提出了 HALO（混合智能体学习编排器，Hybrid Agent-Learned Orchestrator），该系统通过一个与硬编码规则层配对的 QLoRA 微调策略，取代了原本由提示驱动的前沿编排器。

2.1 训练信号：由验证器引导的轨迹

本文的一个关键洞察是，外部验证器（编译器和验证器）已经提供了一个强大的监督信号。在智能体框架中，一个细化轨迹是一系列（状态，智能体）决策的序列。如果该轨迹以一个有效的规划结束（由验证器认证），那么该轨迹中的每一个决策在意义上都是“正确”的，因为它们都对成功的最终结果做出了贡献。

数据收集： 作者在 11 个 PDDL 领域上，使用一个强大的提示教师模型（GPT-5-mini）运行训练问题。
过滤： 轨迹通过外部验证器进行严格过滤。只有那些以有效规划结束的轨迹才会被保留。
监督： 训练集由从这些经过验证的轨迹中提取的（状态，智能体）对组成。策略通过监督式微调（SFT）进行训练，旨在根据状态预测教师模型所选择的智能体 ID。

2.2 扩展的动作空间

该框架将智能体池从原有的 13 个扩展到了 21 个智能体，分类如下：

基准智能体 (13个)： 来自先前工作的 LLM 提示修复程序（例如：语法修复器、幻觉消除器）。
确定性规划修复智能体 (5个)： 非 LLM 类型的程序（例如：变量交换、动作重排序、冗余消除），运行时间以毫秒计，且零 LLM 成本。
感知 PDDL 的 LLM 智能体 (3个)： 针对建模错误（例如：类型层级修复、谓词泛化）的专门智能体。

2.3 混合推理策略

在推理阶段，HALO 运行一个两层策略 ( $\pi_{hybrid}$ ):

第一层（硬编码规则）： 三个平凡可判定的情况由规则直接处理，无需调用模型：
- 冷启动（空 PDDL） $\rightarrow$ 选择 AgentEmergency。
- 检测到语法错误 $\rightarrow$ 选择 AgentSyntaxPDDL。
- 到达有效规划 $\rightarrow$ 选择 NoOpAgent（终止）。
第二层（学习策略）： 如果没有任何规则适用，则由一个小型、经 QLoRA 微调的 LLM（如 Llama-3-8B）预测下一个智能体 ID。该模型经过微调，能够输出对应于智能体 ID（0–20）的单个 Token。

2.4 训练细节

架构： 在基础模型（如 Llama-3-8B, Qwen-2.5-7B, Gemma-2-9B）上进行 QLoRA 微调（4-bit 量化，LoRA rank 为 16）。
损失函数： 对智能体 ID 进行单 Token 交叉熵计算，其中提示 Token 被掩码处理。
数据量： 大约 12,000–15,000 个（状态，智能体）对，这些数据源自约 2,000 条高质量、经验证器接受的轨迹。

3. 核心贡献

HALO（混合智能体学习编排器）： 一个经过训练的编排器，通过本地化、小型模型的推理取代了前沿 LLM 的 API 调用。它能匹配甚至超越 GPT-5-mini 和 Gemini-3-Flash 基准线的性能，同时将编排成本降低了一个数量级以上。
验证器引导的轨迹监督： 作者将编排器训练表述为在由编译器/验证器认证的轨迹上的模仿学习。验证器作为数据接受过滤器而非损失函数，提供了一个强大且无噪声的监督信号，并能泛化至不同领域。
带有混合策略的扩展动作空间： 引入了 21 个智能体（包括确定性修复程序）以及一个混合策略，将平凡决策卸载给硬编码规则。这使得学习策略能够专注于处理真正具有歧义的决策，从而提高了效率并减轻了训练负担。

4. 实验结果

该系统在涵盖 PlanBench、Google Natural Plan 和 Classical Planning 基准测试的 11 个 PDDL 领域中进行了评估。

成功率：
- HALO 在所有家族中均能匹配或超过 GPT-5-mini 提示基准线（例如：在 PlanBench 上 +3.3%，在 Natural Plan 上 +37.3%）。
- 在 PlanBench 和 Natural Plan 上，HALO 与更强的 Gemini-3-Flash 基准线差距在 3 个百分点以内，并在 Classical planning 上实现了超越（95.8% vs 93.0%）。
效率与成本：
- LLM 调用次数： 由于混合规则层在无需模型调用的情况下解决了约 35% 的决策，HALO 相比基准线减少了 40–50% 的单回合 LLM 调用次数。
- 成本： HALO 的编排成本从 GPT-5-mini 的每任务 ~ $0.18–$ 0.22 以及 Gemini-3-Flash 的每任务 ~ $0.06–$ 0.08，降至 每任务 $0.004。这意味着相对于 GPT-5-mini 降低了 45 倍，相对于 Gemini-3-Flash 降低了 15 倍。
泛化能力： 该模型在留出领域（held-out domains）表现出仅约 5–8 个百分点的性能下降，表明其学习到的信号捕捉的是领域通用的编排模式，而非仅仅记忆特定的捷径。

5. 重要性与主张

本文声称，围绕形式化验证器构建的智能体框架具有一种结构性的简化特性：编排器不需要是一个通用的前沿 LLM。相反，它可以是一个小型、可本地部署且可训练的模型，只要验证器能提供每条轨迹的接受信号即可。

这一发现对部署具有重要意义：

解耦 API： 它消除了对昂贵的前沿 LLM API 持续访问的依赖。
易用性： 它使端到端的自然语言规划在实验室规模、边缘计算或物理隔离等无法或不便使用 API 的场景下变得可行。
成本效益： 它证明了通过利用验证循环中自带的“免费”监督信号，可以实现极高性价比的高质量规划（成本约为原来的 1/45）。

作者也指出了局限性，包括对教师行为的依赖（受限于经过验证器过滤的轨迹），以及无法处理 21 个智能体范围之外的 PDDL 扩展（如数值流/numeric fluents）。然而，他们认为这种监督方法提供了一个强有力的基准，未来的工作可能会探索通过“基于可验证奖励的强化学习”（RLVR）来突破“教师天花板”。