技术摘要：面向稀疏结构化强化学习的诊断驱动优化

1. 问题陈述

在奖励稀疏的环境中，强化学习（RL）仍是一个根本性挑战，因为智能体往往无法在可行的训练预算内遇到终端奖励信号。虽然奖励塑形（Ng 等人，1999）通过中间反馈提供了一种解决方案，但设计有效的塑形函数通常需要大量的领域知识和手动调整。

最近的方法利用大语言模型（LLM）来生成奖励函数（例如 Eureka、Text2Reward）。然而，这些系统通常将奖励生成视为纯粹的性能驱动搜索或优化问题，很少深入探究 LLM 生成的奖励为何会失败。作者认为，对于稀疏且结构化的任务，LLM 奖励设计更应被框架化为一个调试问题，而非一次性生成问题。核心问题在于，一次性 LLM 生成会以可重复、可识别的方式失败，而这些失败可以通过轻量级诊断进行检测和修复。

2. 方法论

2.1 概述

所提出的流程包含三个主要组件：

1. 奖励生成：LLM 根据自然语言环境描述和结构化接口（包括 event_text、agent_pos 和 carrying 等 info 字段）生成一个 Python 奖励函数（reward_fn）。
2. RL 训练：PPO 智能体使用塑形后的奖励进行训练。
3. 迭代优化：在短暂的“探测”训练运行后（例如 MiniGrid 为 500 个回合），自动化诊断工具评估奖励函数是否存在特定的失败模式。这些诊断结果连同训练指标一起反馈给 LLM，以生成修订后的函数。该循环最多运行 3 次迭代。

2.2 失败分类

通过对生成的奖励函数进行审计，作者识别出两种主导的失败模式和一种较少见的情况：

• 奖励泛滥（Reward Flooding）：智能体积累了高额的塑形奖励却未完成任务（例如每步获得 +0.02），导致平均奖励高但成功率低。
• 语义/API 误解：LLM 误用了环境语义或 API（例如虚构无效的 info 字段或错误映射动作索引）。
• 微弱/可忽略的塑形：奖励幅度太小，无法提供足够的梯度信号（观察频率较低）。

2.3 自动化诊断

系统计算三项诊断指标以触发优化：

• 奖励黑客（Reward Hacking）：若 mean_reward > 0.5 且 success_rate < 0.2 则触发。
• 塑形薄弱（Shaping Weakness）：若 success_rate < 0.1 且 mean_reward < 0.1 则触发。
• 学习停滞（Learning Plateau）：若成功率在超过 1,000 个回合后停滞则触发（在默认的 500 回合探测中处于非激活状态）。

这些诊断结果被格式化为自然语言警告（例如“检测到奖励黑客”），并与之前的代码和指标一同包含在 LLM 的优化提示中。

2.4 范围与约束

• 训练算法：所有实验均使用 PPO。
• 环境：主要在离散 MiniGrid 任务（稀疏奖励）上进行评估；在 MuJoCo 连续控制（到达和移动）任务上进行边界压力测试。
• 接口：需要精心策划的语义接口（结构化的 info 字典）。该方法不声称能在没有此类接口的情况下处理原始像素输入或任意机器人任务。

3. 主要贡献

1. 结构化奖励接口的失败分类：本文建立了一种分类体系，其中“奖励泛滥”和“语义/API 误解”是主导的失败模式。一个 LLM 自动标记器在识别这些主导模式方面，相对于作者标注达到了 94% 的精确度。
2. 诊断驱动的迭代优化：一种利用训练诊断来指导针对性奖励函数修订的协议。该方法仅通过每次运行 1–4 次 LLM 调用，在性能上显著优于一次性生成和非诊断性的重新提示。
3. 基于方差的优化效用证据：通过方差分解，作者表明在稀疏结构化任务（如 DoorKey-8×8）中，LLM 生成的方差主导了 RL 训练的方差（96% 的方差归因于 LLM 奖励函数）。这解释了为何在这些设置中优化奖励函数能获得高回报，而在 RL 方差较高的连续控制中，优化带来的收益有限。
4. 边界压力测试：本文明确刻画了该方法失效的边界。基于成功率的诊断在密集奖励的移动任务（如 Hopper、HalfCheetah）上会产生假阳性，系统性地破坏反馈循环。一种“回报趋势”的适配消除了这一特定失败机制，但并未在密集连续控制中产生稳健的性能提升。

4. 主要结果

4.1 稀疏结构化任务（MiniGrid）

在一次性生成不可靠的任务中，迭代优化方法相比基线表现出显著改进：

• DoorKey-8×8：成功率从 2.3%（无塑形）提升至 97.6%（迭代优化），而一次性生成仅为 58.3%。
• KeyCorridor：成功率从 31.2%（一次性生成）提升至 86.7%（迭代优化）。
• LavaGap：从 64.3%（一次性生成）提升至 88.8%（迭代优化）。

控制实验与机制验证：

• 仅指标重新提示：移除诊断标签和分类词汇会导致性能大幅下降（例如 DoorKey-8×8 从 97.6% 降至 68.6%），证明富含分类的反馈至关重要，而不仅仅是重试行为本身。
• 静态词汇控制：保留静态失败模式词汇但移除动态触发标签，恢复了许多差距（例如 KeyCorridor 为 70.7%，而仅指标为 11.5%），表明分类提示本身是一个主要机制。
• 预算控制：即使当无塑形和一次性生成基线获得与迭代方法相同的总训练回合数时，增益依然存在，证实改进源于奖励质量而非额外的训练时间。
• 选择与优化：“三选一”选择基线（生成 3 个函数并挑选最佳者）虽优于一次性生成，但通常表现不如迭代优化方法，特别是在 KeyCorridor 任务上。

4.2 连续控制（MuJoCo）

• 到达任务：迭代优化显示出适度增益（例如 FetchReach-v4 从 6.5% 提升至 12.8%），但所有条件仍远未完成任务。
• 移动任务：该框架失效。基于成功率的诊断触发了虚假的“奖励黑客”警告，因为移动任务缺乏二元成功信号（成功率始终为 0）。虽然“回报趋势”适配消除了这一特定失败，但并未在基线之上产生稳健的性能提升。

4.3 接口消融

移除 event_text 字段（仅依赖 carrying 和 agent_pos 等结构化状态）产生了混合结果：在 DoorKey-8×8 上影响中性，但在 KeyCorridor 上实际上提升了性能，这表明丰富的事件描述有时会引入误导性信号。

5. 意义与主张

本文主张，针对稀疏结构化任务的 LLM 奖励设计本质上是一个调试问题。其意义在于将范式从“寻找完美的奖励函数”转变为“诊断和修复系统性失败”。

• 效率：该方法以远少于基于种群的进化搜索（如 Eureka）的 LLM 调用次数实现了高性能，使其成为协议层面的效率提升。
• 可解释性：通过分类失败（泛滥、API 错误），该方法提供了关于 LLM 在 RL 中为何失败的可行见解，而不是将其视为黑盒生成器。
• 限定有效性：作者明确限制了其主张。该方法在具有可靠语义接口的稀疏结构化任务且使用 PPO 训练时最为有效。它并非原始像素奖励设计、任意机器人任务或无特定诊断适配的密集奖励连续控制的通用解决方案。

本文结论认为，虽然诊断驱动的优化在特定领域显著优于一次性生成，但该方法的效力受限于诊断信号与任务评估标准之间的一致性。当这种一致性被破坏时（如在密集奖励的移动任务中），反馈循环会变得适得其反。