💬 NLP

Self-Guided Plan Extraction for Instruction-Following Tasks with Goal-Conditional Reinforcement Learning

本文提出了名为 SuperIgor 的框架，通过目标条件强化学习与语言模型的迭代协同训练，使模型能够自主生成并优化高层规划，从而在无需人工标注子任务的情况下显著提升了指令遵循的严格性与泛化能力。

原作者： Zoya Volovikova, Nikita Sorokin, Dmitriy Lukashevskiy, Aleksandr Panov, Alexey Skrynnik

发布于 2026-04-23

📖 1 分钟阅读☕ 轻松阅读

原作者： Zoya Volovikova, Nikita Sorokin, Dmitriy Lukashevskiy, Aleksandr Panov, Alexey Skrynnik

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 SuperIgor 的新系统，它的目标是教人工智能（AI）如何听懂人类的自然语言指令，并在复杂的游戏或虚拟世界中完成任务。

为了让你更容易理解，我们可以把 AI 想象成一个刚入职的“新手探险家”，而人类给它的指令就是**“寻宝地图”**。

1. 以前的难题：只有地图，没有向导

在 SuperIgor 出现之前，教 AI 做任务主要有两种方法，但都有大毛病：

方法一（模仿学习）： 让 AI 看人类专家玩游戏的录像。
- 比喻： 就像让新手看大师的录像带。虽然学得快，但太贵了！你需要雇佣成千上万的专家去录制完美的操作，这就像为了教一个人做饭，得先请一万位大厨试做一遍，成本太高，根本没法大规模推广。
方法二（强化学习）： 让 AI 自己瞎试，做对了给糖吃（奖励），做错了挨打（惩罚）。
- 比喻： 就像把新手扔进迷宫，告诉他“找到宝藏”，但不告诉他怎么走。迷宫太大，奖励又很少（只有找到宝藏那一刻才有糖），新手可能在迷宫里转几百万年都找不到北，根本学不会。

2. SuperIgor 的绝招：师徒搭档，自我进化

SuperIgor 想出了一个聪明的办法：让“大语言模型（LLM）”当军师，让"AI 代理（RL Agent）”当执行者，两人组成一个**“师徒搭档”，通过“自我学习”**来共同进步。

核心角色：

军师（大语言模型）： 它读过很多书，知道很多常识。它的任务是把人类模糊的指令（比如“造个熔炉”）拆解成具体的步骤清单（先砍树、再挖石头、最后合成）。
徒弟（AI 代理）： 它负责在游戏里实际操作。它很笨，只能看到眼前的画面，但它在努力执行军师给的步骤。

他们是怎么互动的？（自我学习的循环）

这个过程就像是一个**“不断试错并改进的创业团队”**：

第一步：军师出主意（生成计划）
军师根据指令，列出一堆可能的“寻宝步骤清单”。一开始，军师可能也会犯错，比如清单里漏了步骤，或者顺序不对。
- 比喻： 军师说：“我们要去山顶，先爬山，再坐缆车。”
第二步：徒弟去执行（强化学习）
徒弟拿着这份清单去游戏里跑。因为游戏很难，徒弟经常失败。
- 比喻： 徒弟发现没有缆车，或者爬山太累走不动，最后没完成任务。
第三步：反馈与“排课表”（技能课程学习）
这是 SuperIgor 最聪明的地方。它发现如果一下子让徒弟做太难的“造熔炉”，徒弟会崩溃。
所以，它设计了一个**“技能课程表”**：
- 先让徒弟只练最简单的“砍树”（单一步骤）。
- 等徒弟砍树练熟了（成功率达标），再教它“砍树 + 挖石头”。
- 最后才教它“砍树 + 挖石头 + 造熔炉”。
- 比喻： 就像教小孩走路，先练站立，再练走一步，最后才跑。这样徒弟不会觉得太难而放弃。
第四步：军师自我反省（DPO 微调）
徒弟执行完任务后，会告诉军师：“你给的清单里，第 3 步根本行不通，我失败了。”
军师听到反馈后，会自我反省，调整自己的策略。下次再遇到类似指令，它就能写出更靠谱、更符合游戏规则的清单了。
- 比喻： 军师发现徒弟总是因为“没带火把”而失败，下次出清单时，它会自动加上“先做火把”这一步。

3. 为什么这个方法很厉害？

不需要人工标注： 以前需要人类专家去写每一步怎么做，现在军师和徒弟自己就能通过“试错”把清单写对。省去了巨额的人工成本。
举一反三（泛化能力强）：
- 如果人类说“造个石头镐”，徒弟学会了。
- 如果人类换个说法说“用石头做个挖掘工具”，或者突然说“造个铁镐”（以前没练过），SuperIgor 的徒弟也能很快适应。
- 比喻： 就像你学会了“做红烧肉”，哪怕别人让你“做红烧排骨”，你也能很快明白原理，而不是完全不会。
适应复杂环境： 它在像《我的世界》这样充满随机性、画面复杂的环境里表现很好，而不是只在简单的方格纸上玩。

4. 总结

SuperIgor 就像是一个**“会自我进化的创业公司”**：

军师（LLM） 负责写商业计划书（任务拆解）。
员工（RL Agent） 负责去市场跑业务（执行任务）。
老板（算法） 负责根据市场反馈，既教员工怎么一步步成长（课程表），又逼着军师把计划书改得更靠谱（自我修正）。

最终，这个系统不需要人类手把手教，就能学会听懂各种复杂的指令，并在充满挑战的虚拟世界里把任务完成得漂漂亮亮。这标志着 AI 从“死记硬背”向“真正理解并灵活执行”迈出了一大步。

SuperIgor：基于目标条件强化学习的自引导指令遵循计划提取框架技术总结

1. 研究背景与问题定义

核心问题：
在指令遵循（Instruction Following）任务中，现有的基于强化学习（RL）的方法通常面临两大挑战：

稀疏奖励与长视野规划：在动态、部分可观测的环境中，仅依靠最终任务完成的稀疏奖励信号，智能体难以将自然语言指令与长期的行为序列对齐（即“信用分配”问题）。
对预定义子任务的依赖：传统方法通常依赖预定义的有限子目标集合或专家演示数据。这限制了其在开放世界、无预定义技能库环境中的扩展性和泛化能力。

研究目标：
提出一种无需人工标注数据集、无需预定义低层技能的方法，使智能体能够自主生成、优化高层计划，并在稀疏奖励条件下有效学习指令遵循策略。

2. 方法论：SuperIgor 框架

SuperIgor 是一个结合了大型语言模型（LLM）规划能力与强化学习（RL）执行能力的协同训练框架。其核心思想是通过迭代共训练（Iterative Co-training）机制，让 LLM 生成的计划与 RL 智能体的执行反馈形成闭环。

2.1 核心组件与流程

框架包含四个主要阶段，构成一个多周期的迭代循环：

计划生成（Plan Generation）：
- 零样本初始化：利用 LLM（如 Qwen2.5-14B）从指令中提取子任务，构建统一的“子任务库”（Subtask Bank）。
- 本体构建（Ontology Construction）：LLM 推断子任务间的依赖关系（前置条件），构建有向无环图（DAG）形式的本体图，确保计划的逻辑一致性。
- 计划扩展：基于本体图，将抽象指令扩展为多个具体的、包含依赖关系的详细计划序列。
策略学习（Policy Learning）：
- 技能课程学习（Skill Curriculum Learning）：为了解决稀疏奖励问题，引入动态课程机制。
  - 初始阶段：仅训练智能体执行单步子任务（密集奖励）。
  - 进阶阶段：当某子任务的成功率超过阈值（ $\tau=0.7$ ）被标记为“掌握”后，将其纳入训练集，逐步增加计划复杂度（最多包含一个未掌握的新子任务）。
- 算法：使用 PPO（Proximal Policy Optimization）算法，智能体接收当前计划步骤的嵌入作为条件，执行动作并等待最终任务完成的奖励。
计划验证（Plan Validation）：
- 通过多次随机种子执行，统计每个候选计划的成功率（Success Rate, SR），作为计划质量的评估指标。
LLM 微调（LLM Fine-Tuning）：
- DPO 优化：利用直接偏好优化（Direct Preference Optimization, DPO）对 LLM 进行微调。
- 偏好构建：将 RL 智能体执行成功率高的计划作为“优选（Preferred）”，成功率低的作为“非优选（Dispreferred）”。
- 目标：使 LLM 学会根据智能体的实际执行能力来重新排序和生成计划，而非仅仅依赖语言流畅性。

2.2 关键创新点

自引导计划提取：无需人工标注子任务，完全由 LLM 从指令中自主提取并构建依赖关系。
协同进化：LLM 根据 RL 反馈优化计划生成，RL 根据优化后的计划提升执行能力，两者相互促进。
动态课程机制：专门针对稀疏奖励设计的技能掌握阈值机制，有效引导智能体从简单技能向复杂组合任务过渡。

3. 实验设置与结果

3.1 实验环境

基准：CrafText（FOCUS 数据集），一个多模态、动态、部分可观测的开放世界环境（类似简化版 Minecraft）。
任务类型：
- Atomic：单一不可分割目标（如“制作熔炉”）。
- Combo：多个原子目标的组合序列（如“制作熔炉并收集木材”）。
- 泛化测试：Paraphrases（同义改写）、New Objects（未见过的目标组合）。

3.2 主要结果

指令遵循的有效性：
- 在 Atomic 任务上，SuperIgor 的成功率（0.34-0.44）显著优于仅基于指令的 RL 基线（0.10-0.19），接近专家计划（Oracle, 0.56-0.65）。
- 在 Combo 任务上，SuperIgor 达到 0.21，远超基线（0.08）。
泛化能力：
- 未见目标组合（New Objects）：SuperIgor 表现出比 Oracle 更强的泛化稳定性。Oracle 在未见组合上性能大幅下降（从 0.43 降至 0.22），而 SuperIgor 下降较缓（从 0.21 降至 0.12-0.17）。这是因为 SuperIgor 在训练中学习到了多种替代计划，增加了多样性。
- 语言鲁棒性：在 Paraphrases 测试中，SuperIgor 保持了稳定的性能，证明其能理解不同表述的同一指令。
消融实验结论：
- 课程学习的重要性：没有课程学习的智能体即使有完美计划也无法有效学习（仅掌握 5 个子任务 vs 有课程学习的 14 个）。
- 计划质量与本体结构：课程学习仅在配合基于本体的结构化计划时才有效。
- DPO 的作用：DPO 微调显著提升了第二轮循环的性能，证明让 LLM 学习 RL 的偏好信号能有效优化计划分布。
- LLM 选择：并非参数越大的模型越好，Qwen 系列模型在生成结构化计划方面表现优于部分更大参数量的模型。

4. 主要贡献

新的自监督训练范式：提出了一种无需人工标注数据集的指令遵循训练方法，通过 LLM 与 RL 智能体的交互自动生成和精炼高层计划。
稀疏奖励下的课程学习策略：设计了一种特殊的技能课程（Skill Curriculum），使 RL 智能体能够在稀疏奖励条件下，通过逐步掌握子任务来学习复杂指令。
SOTA 性能与泛化性：在 CrafText 基准测试中，SuperIgor 在分布外（OOD）任务上达到了最先进的性能，证明了该框架在动态、部分可观测环境中的鲁棒性和灵活性。

5. 意义与局限性

意义：

降低数据成本：摆脱了对昂贵专家演示数据的依赖，为开放世界智能体的训练提供了可扩展的解决方案。
解决长视野规划：通过“计划 - 执行”的解耦和迭代优化，有效缓解了自然语言指令在长序列任务中的对齐难题。
通用性：框架设计不依赖特定环境，理论上可推广至其他多模态指令遵循任务。

局限性：

初始计划质量依赖：方法高度依赖 LLM 生成的初始计划结构（本体图）。如果 LLM 生成的依赖关系存在循环或错误，可能会影响训练。
可解释性挑战：当训练停滞时，难以区分是策略优化问题还是计划生成空间的问题（如缺失前置条件）。
计算成本：虽然比纯专家数据收集便宜，但多轮迭代训练（LLM 微调 + RL 训练）仍需要显著的计算资源（约 152 GPU 小时）。

总结：
SuperIgor 通过构建一个“语言模型规划 - 强化学习执行 - 反馈优化”的自进化闭环，成功解决了开放世界中指令遵循任务的稀疏奖励和长视野规划难题，为构建更通用、自适应的具身智能体提供了重要的技术路径。