技术摘要：HIPIF（分层规划与信息折叠）

问题陈述

虽然大语言模型（LLM）在单步或短时程任务中展现出了强大的自主智能体能力，但在多轮长时程智能体任务中的表现会显著下降。现有方法面临两个主要局限性：

1. 长上下文干扰： 随着交互的进行，观测-动作历史不断累积。这种冗余信息的堆积削弱了智能体追踪全局任务状态的能力，导致推理退化和决策失败。
2. 现有解决方案的不足：
   • 基于提示（Prompt-based）和行为克隆（Behavior Cloning）的方法依赖于手工设计的提示词或专家轨迹，缺乏环境反馈，限制了适应性。
   • 强化学习（RL）方法（例如：信用分配、分层强化学习）通常依赖辅助模型进行任务分解或过程奖励标注，增加了流水线的复杂性。至关重要的是，它们很少训练模型去主动组织和折叠不断增长的上下文，未能从根本上解决由长上下文干扰引起的的状态追踪失败问题。

方法论：HIPIF

作者提出了分层规划与信息折叠（Hierarchical Planning and Information Folding, HIPIF），这是一个端到端训练框架，旨在围绕显式子目标（subgoals）组织长时程执行，并折叠已完成的子目标历史。该方法由三个核心部分组成：

1. 分层规划与信息折叠的端到端训练

HIPIF 不再将策略建立在完整的累积轨迹（$\tau_t$）之上，而是重构上下文。智能体会将任务分解为显式的子目标（$g_k$）。

• 上下文折叠（Context Folding）： 一旦某个子目标被判定为完成，其执行历史会被“折叠”成一个紧凑的记录（例如：$[g_k, o_{end}^k]$），并追加到已完成子目标的全局历史（$H_{<k}$）中。
• 紧凑的工作上下文： 在当前子目标 $g_k$ 内的任何决策步骤 $j$ 处，策略基于压缩后的上下文进行条件化：$C_{k,j} = [c; H_{<k}; g_k; T_{k,j}]$，其中 $T_{k,j}$ 是当前子目标的详细局部历史。
• 优化： 智能体使用**群体相对策略优化（GRPO）**进行训练，将以子目标为中心的决策视为一种通过环境反馈进行优化的可学习策略行为。

2. 分层反思（Hierarchical Reflection）

为了稳定提出子目标、判断转换和执行动作这一复杂过程，HIPIF 在 Rollout 中引入了分层反思机制：

• 完成判定： 在每次动作后，模型生成一个反思（$\eta_{k,t}$），以评估当前子目标是否已完成（$z_{k,t}=1$）或未完成（$z_{k,t}=0$）。
• 分支逻辑：
  • 如果已完成：模型通过反思已折叠的先前子目标历史，来提出下一个子目标（$g_{k+1}$）。
  • 如果未完成：模型通过反思当前子目标及其直接执行历史，以确定下一个有效的动作，避免无效尝试。
• 该机制作为一个控制环路，用于处理子目标的终止、转换和执行，而无需外部评论家（Critic）。

3. 面向子目标的过程奖励（Subgoal-Oriented Process Rewards）

为了解决长时程任务中的稀疏奖励问题，HIPIF 引入了细粒度的、基于规则的过程奖励，用于惩罚特定步骤中的错误：

• 子目标内容奖励 ($r_{gr}$)： 惩罚引用了当前环境上下文中不存在的对象或位置的子目标。
• 子目标终止奖励 ($r_{term}$)： 惩罚那些终端观测显示执行失败（例如：“什么也没发生”）的子目标，即使整体轨迹最终成功。
• 子目标执行奖励 ($r_{exec}$)： 惩罚在同一子目标内重复出现的“动作-观测”对（检测循环），并强制执行有效的结构化输出格式。
• 训练信号： 这些局部惩罚与最终的任务奖励相结合，以计算步级回报（step-level returns），并在一组轨迹内进行归一化，从而得出用于 GRPO 的优势函数（advantages）。

核心贡献

1. HIPIF 框架： 一种全新的方法，训练 LLM 智能体通过显式子目标组织长时程执行并折叠已完成的历史，直接解决了长上下文干扰问题。
2. 稳定机制： 引入了分层反思和面向子目标的过程奖励，用于引导子目标生成、转换判定和执行修正，无需依赖昂贵的辅助模型或专家轨迹。
3. 实证验证： 通过广泛实验证明，HIPIF 在有效性和效率方面均优于现有基线模型。

实验结果

作者在三个公开的智能体基准测试集 ALFWorld、VirtualHome 和 ScienceWorld 上评估了 HIPIF，使用了 Qwen2.5-3B 和 Qwen2.5-7B 基座模型。

• 性能表现： HIPIF 在所有基准测试中均达到了最先进（SOTA）的结果。
  • 在 ALFWorld 上，HIPIF 在 PICK 任务上达到了 100.0% 的成功率，在复杂的 PICK2 任务上达到了 96.1%，显著优于强力的基线模型 GiGPO (93.8%) 和 STEP-HRL (92.9%)。
  • 在 VirtualHome 和 ScienceWorld 上，HIPIF 一致取得了最高的成功率（例如，在 ALFWorld 子任务上为 96.6%）。
• 效率表现：
  • Token 使用量： 与基线相比，HIPIF 展示了卓越的 Token 效率，其每个轨迹所需的交互步骤更少，且输入的 Token 总数显著降低。其“折叠”机制防止了冗余上下文 Token 的累积。
  • 流水线效率： 不同于需要专家轨迹（如 GLIDER, STEP-HRL）或辅助评论家模型（如 HiPER）的方法，HIPIF 无需这些依赖，具有轻量化和可扩展性的特点。
• 消融实验：
  • 移除子目标结构会导致性能出现最显著的下降，证实了上下文折叠是基础性的。
  • 移除分层反思会降低性能，凸显了其在稳定子目标转换中的作用。
  • 移除过程奖励会导致性能明显下降，表明细粒度反馈对于可靠执行的必要性。

重要性与主张

本文声称，分层规划与信息折叠为提高智能体决策的有效性和效率提供了一个极具前景的方向。通过显式训练智能体分解任务并压缩已完成的进度，HIPIF 从根本上缓解了由长上下文干扰引起的推理退化。

作者强调，其方法在不依赖特定任务的专家轨迹或额外的辅助模型的情况下实现了卓越的性能，解决了现有分层强化学习方法中的关键扩展性瓶颈。结果表明，对于长时程任务而言，通过子目标来学习组织决策过程，比单纯增加模型规模或依赖高级提示词更为关键。