技术摘要：面向 LLM 智能体的基于事实增强的前瞻规划

问题陈述

大语言模型（LLM）在构建用于序列决策的自主智能体方面展现出了显著潜力。然而，LLM 智能体在交互式、部分可观测的长程环境中往往难以进行有效的规划。现有的局限性源于搜索缺乏引导，或者智能体过度依赖信息不足的近期历史。现有的方法（例如使用大量的 few-shot 示例或检索整个过去轨迹的方法）往往会导致提示词过长，无法高效地提炼关键信息。此外，基于模型的方法通常需要学习独立的预测模型，或者在每一次前瞻步骤中都与环境进行交互，而不是深度利用 LLM 固有的模拟能力。核心挑战在于如何使 LLM 能够通过“上下文学习”（in-context learning）从新经验中学习，从而在不进行微调的情况下提高准确性和最优性。

方法论：LWM-Planner

作者提出了 LWM-Planner，一个通过从经验中提取“原子事实”（atomic facts）来增强 LLM 智能体规划的框架。该系统完全通过上下文学习运行，在不同回合（episode）之间更新其知识库，而不修改 LLM 的权重。

1. 原子事实提取与管理

在每个回合结束时，智能体会分析其轨迹（观测、动作、奖励和结果），以提取任务关键型原子事实。

• 提取： LLM 识别出极简的新事实（例如，“(3,0) 处有洞”、“物体 X 在容器 Y 中”），这些事实如果能更早被知晓，将会提升状态价值或奖励预测。
• 验证： 候选事实需经过预测一致性过滤器（predictive-consistency filter）。智能体会重演刚刚结束的回合，同时将一个模拟器（以温度 0 运行）以候选事实为条件进行推理。只有当该事实能够降低留出步（held-out next-step）的预测误差（奖励、终止或下一观测）时，该事实才会被保留。
• 压缩： 一个可选步骤是使用 LLM 去除冗余和过于具体的信息，确保事实集保持极简并符合上下文窗口限制。
• 记忆： 这些事实存储在一个全局记忆队列（global memory deque）中，该队列在每个回合开始时进行快照，以确保规划过程中的一致性。

2. 事实增强的前瞻规划

智能体采用递归的、深度受限的前瞻搜索来选择动作。这一过程由当前观测、近期交互历史以及精选的原子事实共同支撑。规划循环利用了三个 LLM 驱动的组件：

• 动作提议者（Action Proposer）： 在给定当前状态和事实的情况下，建议合理的下一步动作 ($a_i$)。
• 潜在世界模型（Latent World Model）： 模拟动作的结果，预测下一个（潜在的）观测 ($o'$)、即时奖励 ($r'$) 和终止状态。该模拟以原子事实为条件，以提高保真度。
• 状态价值估计器（State-Value Estimator）： 预测状态的长期效用 ($\hat{V}(o')$)，特别是在搜索树的叶节点处。

动作的 Q 值计算如下：
$$Q(o_t, a_i) = r' - \lambda_{step} + \gamma \hat{V}(o')$$
其中 $\lambda_{step}$ 是步长惩罚，$\gamma$ 是折扣因子。系统会选择具有最高 Q 值的动作进行执行。

理论动机

论文通过基于事实的状态抽象（fact-based state abstraction）来阐述该方法，借鉴了强化学习中的概念（例如近似双模拟/approximate bisimulation）。

• 抽象 ($\epsilon_{sim}$)： 事实作为状态空间的压缩表示，旨在减少状态别义（state aliasing，即不同的状态看起来却相同，但具有不同的价值）。
• 模拟保真度 ($\delta_{model}$)： 以特定事实为条件来约束 LLM 世界模型，旨在降低单步预测误差。
• 规划次优性 ($\epsilon_{plan}$)： 通过减少别义和模拟误差，该框架在理论上缩小了最优策略与智能体所学策略之间的差距。作者澄清，这些是动机性的界限，而非针对特定 LWM-Planner 实现的正式保证。

核心贡献

1. 算法层面： 提供了一种简单的机制，使 LLM 智能体能在每个回合后提炼出一组微小的、任务特定的原子事实，并利用这些事实来约束动作提议、单步模拟和价值估计，从而在深度受限的前瞻搜索中进行规划。
2. 理论框架： 将设计与基于事实的状态抽象联系起来，提出事实可以减少状态别义，且以事实为条件的模拟可以降低预测误差，从而改善规划。
3. 实证层面： 在文本环境（TextFrozenLake, CrafterMini）和 ALFWorld 套件上进行了广泛评估，证明了其相对于强基准模型的改进。

实验结果

作者将 LWM-Planner 与包括 ReAct、Reflexion、Tree-of-Thought (ToT) 和 Retrieval-Augmented Planning (RAP) 在内的多个基准模型进行了对比评估。

• 性能： LWM-Planner 在所有环境（TextFrozenLake、CrafterMini 和 ALFWorld 变体）中均一致实现了最高的累积回报。
• 与仅搜索方法的对比： 仅使用搜索的基准模型（ToT, RAP）在相同的测试时预算下表现较差，这表明如果没有学习到的符号抽象，单纯的原始搜索效果并不理想。
• 消融实验： 消融研究（ReAct + FEC）表明，仅靠事实学习本身就能带来显著收益，但将其与落地的前瞻搜索（grounded lookahead）结合使用时，效果最为强劲。
• 可扩展性： 随着状态-动作空间增大（例如更大的 FrozenLake 板块），像 ReAct 和 Reflexion 这样的基准模型性能显著下降，而 LWM-Planner 保持了性能，显示出其在线学习极简事实表示以解决复杂环境的能力。

重要性与主张

论文声称，对于部分可观测、多步环境中的 LLM 智能体，紧凑的、源于经验的事实可以使其测试时前瞻规划变得更加可靠。

• 上下文学习： 该方法使智能体能够通过交互进行学习并改进策略，而无需任何参数更新或微调。
• 落地搜索： 结果表明，额外的测试时搜索只有在由紧凑的、学习到的事实进行约束时才最为有效，而非以一种无引导的方式应用。
• Dyna 式集成： 这项工作代表了将在线事实学习与 LLM 驱动的模拟相结合的一步，将 LLM 同时视为潜在世界模型和价值函数，有效地在结构化、符号化的方式下弥合了经验与规划之间的鸿沟。

作者对正式保证保持谦逊，指出理论界限仅作为设计动机，且预测一致性过滤器是一个启发式的、事后的检查，而非因果性测试。未来的工作方向包括探索更复杂的特征提取（例如因果发现）和动态搜索深度的调整。