When Does Context Compaction Pay in Long-Horizon Agents?

想象一个能够工作数小时、通过阅读文件、运行代码并检查自身进度来解决复杂问题的数字助手。为了实现这一点，助手必须记住目前为止所做的一切，保留其行动及其结果的运行日志。这个日志被称为它的“上下文”。随着工作的持续，这个日志变得越来越长，最终变得如此庞大，以至于会减慢助手的速度并消耗大量的处理成本。为了管理这个问题，软件工程师开发了一种被称为“上下文压缩”的小技巧。系统不再向前传递整个历史记录，而是要求助手写一段关于发生了什么的简短摘要，丢弃旧的细节，并仅使用该摘要继续工作。这有点像一位旅行者，在走了百里之后，给未来的自己写了一张明信片来描述旅程，然后烧掉了详细的日记以节省背包空间。希望是，这个摘要足以让旅行者保持在正轨上，同时节省时间和资源。

一项由研究员 Yuyao Wang 进行的新研究调查了这种策略是否确实适用于长期任务。研究人员在九个困难的多步骤问题上测试了这个想法，使用了两种不同的先进语言模型。他们设置了一个受控实验，在特定时刻保存智能体的状态，然后让它们继续直到终点。在一种方法中，智能体保留了完整的历史记录，作为基准；在另一种方法中，当历史记录过长时，智能体会切换到使用摘要。研究人员不仅测量了最终成本，还测量了这种策略的变化如何影响智能体的行为、所采取的步骤数量以及等待摘要生成的时间。

结果揭示了一个令人惊讶的转折。虽然数学逻辑表明，切换到摘要应该能省钱，但现实情况往往恰恰相反。对于测试的其中一个模型，使用摘要的智能体最终比保留完整历史记录的智能体花费了更多的钱。原因不在于摘要不好，而在于编写摘要的行为改变了智能体的行为，从而产生了额外的工作。当智能体收到摘要而不是完整历史记录时，它经常感到有必要重新阅读文件或检查已经看过的信息，这导致了一系列连锁反应式的额外请求。这些被称为“只读”操作的额外步骤迅速累积起来。在许多情况下，通过缩短历史记录所节省的资金完全被这些不必要的额外检查所抵消。事实上，对于测试的主要模型，在 21 个不同的状态中，有 20 个状态在继续完成任务时都增加了成本。

研究还观察了智能体在切换后需要工作多久，以确定该策略是否能产生回报。研究人员发现，只有在写完摘要后还有大量工作要做时，上下文压缩才能成为财务上的胜利。如果任务接近尾声，编写摘要和智能体调整自身所需的额外步骤所产生的成本，并不值得那点节省下来的费用。然而，对于路途遥远的任务，该策略可以奏效，但仅限于特定条件。技术价格至关重要：对于其中一个模型，只有当从计算机内存中读取信息的成本极高（远高于目前大多数供应商的收费）时，该策略才能省钱。对于测试的另一个模型，该策略更为有效，即使在当前价格下也能省钱，但这主要是因为该模型在收到摘要后的行为变化没那么剧烈。

除了成本之外，研究人员还考察了智能体的工作速度。他们在单个计算机芯片上模拟了这个过程，以观察缩短历史记录是否会使系统变快。他们发现，虽然较短的历史记录确实加快了单个步骤的处理速度，但生成摘要以及智能体执行额外步骤所花费的时间，往往使整个过程变得更慢。在某些场景下，即使智能体从未排队等待，使用摘要的智能体完成相同任务所需的时间也几乎是使用完整历史记录的两倍。这是因为处理长历史记录所节省的时间，被生成摘要和智能体执行额外工作所耗费的时间抵消了。

这项研究得出结论：上下文压缩并不是解决长期任务的简单方案。它是一个取决于所用特定模型、技术成本以及剩余工作量的权衡过程。研究人员发现，仅仅缩短历史记录往往会困扰智能体，导致它重复已经做过的工作。为了使这一策略奏效，系统需要经过精心设计，以保留最近的步骤，并确保智能体不会产生需要反复核实自身历史记录的需求。在满足这些条件之前，尽管保留完整历史记录成本较高，但对于应对长期复杂问题的智能体来说，它通常仍然是更可靠、有时甚至更经济的路径。