技术摘要：记忆何时有助于工具使用 LLM 代理的多轨迹推理？

1. 问题陈述

多轨迹推理（生成多条推理路径并从中选择）已被证明比单轨迹方法能提高工具使用大型语言模型（LLM）代理的准确性。进一步改进的一个有前景的途径是跨轨迹记忆，即将失败或部分尝试中的信息转移到后续尝试中，以避免重复错误或重用已发现的环境知识。

然而，现有的跨轨迹记忆研究缺乏系统性比较。当前方法（例如 Reflexion 风格的轨迹反思、LATS 风格的树搜索反思、Re-TRAC 的结构化状态）在不同的推理策略（Best-of-N、束搜索、MCTS）和不同任务上运行。这种异质性使得报告的性能提升究竟源于特定的记忆抽象（例如原始观察值与策略摘要与原子事实），还是源于推理方法本身，尚不明确。此外，许多先前的工作依赖于搜索过程中的内联二元验证器（例如精确匹配、单元测试），这并不能反映实际工具使用代理的部署模式，因为在实际部署中验证通常是离线的。

2. 方法论

2.1 统一框架

作者提出了一个统一框架，沿两个正交轴对记忆进行分解：

1. 转移范围：
   • 跨兄弟（Within-expansion）： 在同一个扩展步骤中，使每个候选动作依赖于先前采样的兄弟节点的结果。这需要交错扩展，仅适用于束搜索和 MCTS。
   • 跨轨迹（Within-search）： 在同一搜索的完整、顺序尝试（迭代）之间转移知识。这适用于所有推理方法，包括 Best-of-N。
2. 抽象级别：
   • 原始（Raw）： 注入逐字逐句的动作 - 观察对，不进行摘要。
   • 反思（Reflection）： 生成失败轨迹的自然语言、策略级摘要（例如"C 编译失败；尝试 Python"）。
   • 原子事实提取（Atomic Fact Extraction）： 从观察中提取离散的、可重用的事实陈述（例如“配置文件位于 /etc/app/config.yaml"）。

2.2 实验设计

该研究评估了从该框架衍生出的四种具体记忆方法：

• 无记忆（基线）： 标准多轨迹推理，无上下文增强。
• 原始兄弟（Raw Sibling）（新颖）： 跨兄弟范围配合原始抽象。
• 反思（Reflection）： 跨轨迹范围配合反思抽象（源自 Reflexion/LATS 的改编）。
• LiTS-Fact（新颖）： 跨轨迹范围配合原子事实提取（源自 mem0 的改编）。

这些方法在三种推理策略下进行评估：

• Best-of-N： 顺序生成 $N$ 条轨迹。
• 束搜索（Beam Search）： 在每一步保持前 $B$ 个候选项。
• MCTS（蒙特卡洛树搜索）： 基于 UCT 的选择、扩展、模拟和反向传播。

评估涵盖四个工具使用基准：

• WikiSQL & WikiTQ： 查询关系数据库的 SQL 代理（可序列化环境）。
• KGQA： 通过 SPARQL 遍历 Freebase 的知识图谱代理（可序列化）。
• Terminal-Bench 2.0： 执行 shell 命令的 CLI 代理（不可序列化；状态无法分叉，因此可行的策略仅限于 Best-of-N）。

关键约束： 实验在无验证器设置下进行。任务验证器仅在评估时应用，而不在搜索循环中应用。这符合实际代理的部署模式，并消除了先前的工作中可能人为提升性能的内联二元信号（例如单元测试）的混淆因素。

3. 主要贡献

1. 统一分类法： 一个用于工具使用树搜索记忆的正式“范围 × 抽象”框架，推导出现有方法以及一种新的“原始兄弟”方法作为具体实例。
2. 系统性实证研究： 在无验证器、忠实于部署的设置下，进行受控实验矩阵（4 种记忆方法 × 3 种推理策略 × 4 个基准）。
3. 识别混淆因素： 该研究确定推理方法是一个关键的混淆因素。同一种记忆方法在同一示例的不同推理策略下会产生统计上截然不同的结果。

4. 主要结果与发现

分析得出了关于记忆何时有助于多轨迹推理的三个主要发现：

F1：记忆的准确性效应取决于搜索方法

记忆并不能普遍提高准确性；其有效性高度依赖于推理策略。

• 反思（Reflection）： 仅在MCTS下达到统计显著性，而在 Best-of-N 下未达到。
  • 机制： MCTS 利用每步奖励模型（PRM）在由反思建议的不良扩展到达终止状态之前将其过滤掉。在 Best-of-N（pass@N）中，不良的反思会运行至完成，通常导致抵消收益的回归。
• 原始兄弟（Raw Sibling）： 仅有助于多样性匮乏的束搜索。
  • 机制： 在采用标准采样的束搜索中，兄弟候选项往往收敛到相同的动作或道歉（多样性崩溃）。原始兄弟的交错扩展使每个候选项依赖于先前兄弟的结果，从而强制多样性。这种效应在 MCTS 中消失，因为 UCT 驱动的重新扩展已经提供了足够的动作变化。

F2：记忆抽象在困难任务上的收敛

在较难的基准（KGQA）下，使用 MCTS 时，反思和原始兄弟产生了统计上无法区分的准确性结果（两者均为 34.8%），尽管它们操作于不同的抽象（策略级与原始数据）和范围（跨轨迹与跨兄弟）。

• 启示： 在策略远离解决方案的困难任务上，任何非独立同分布（non-i.i.d.）的上下文都足以实现恢复，使得具体的抽象选择变得不那么关键。这表明先前文献中的单抽象评估可能将收益归因于错误的原因。

F3：事实提取以准确性换取效率

LiTS-Fact（原子事实提取）在所有评估单元中均对准确性无影响（无统计显著的增益或损失）。然而，它显著提高了效率：

• 在具有可重用环境结构的任务（WikiSQL、WikiTQ、KGQA）上，它将轨迹长度缩短了19–26%。
• 机制： 提取的事实（例如数据库模式、关系类型）允许后续尝试跳过冗余的发现步骤（例如 sql_db_list_tables）。
• 局限性： 这种效率提升无法转移到不可序列化环境（Terminal-Bench）中，因为每个任务实例都有独特的环境，导致缓存的事实无法重用。
• 交互作用： 结合反思和事实提取是有害的。反思生成的显式逐步计划会覆盖事实记忆提供的隐式捷径，导致代理重新执行发现步骤，从而降低准确性和效率。

5. 意义与主张

该论文声称，先前关于跨轨迹记忆有效性的文献在不同研究之间不可直接比较，因为每项研究都在不同的推理方法下进行评估，而该方法充当了混淆因素。通过控制这一变量，作者证明：

• 反思并非万能解决方案；它需要 MCTS 的剪枝能力才能生效。
• 跨兄弟注入是解决束搜索中特定多样性失败的方法，而非通用增强手段。
• 事实提取主要是结构化环境中的效率工具，而非准确性提升器。

作者得出结论，关于记忆有效性的主张必须结合推理策略和任务属性（可序列化性、是否存在可重用结构）进行背景化。该研究提供了一个受控矩阵来厘清这些因素，表明未来的工作必须明确考虑记忆抽象与搜索算法之间的相互作用，而不是将它们视为独立变量。

局限性： 该研究在每个基准中仅评估了一个策略模型（SQL 使用 Haiku 3.5，KGQA 使用 Sonnet 4.6），且未调查跨任务记忆（不同问题之间的知识转移）。样本量足以检测 $\gtrsim 6$ 个百分点的效应，但可能会遗漏更小的效应。