技术摘要：BudgetMem

问题陈述

大型语言模型（LLM）智能体日益依赖记忆，以超越单次上下文窗口进行长程交互和知识密集型推理。然而，现有系统主要采用离线、查询无关的记忆构建方式。在这些范式中，过往上下文以固定方式被预处理、压缩或索引，而未针对特定的下游查询进行条件化。这种“一次构建，始终使用”的方法往往效率低下，因为它无论查询的具体需求如何都会消耗计算资源，并可能丢弃对特定查询至关重要的信息。

虽然运行时记忆利用（按需提取）提供了一种灵活的替代方案，但它引入了显著的开销和延迟。当前的工业级 LLM 系统日益提供明确的、分层的计算控制（例如“思考”模式或推理级别），以在质量与成本之间取得平衡，但智能体记忆系统缺乏在运行时提取过程中进行明确、可控的性能–成本权衡的系统性框架。核心挑战在于：

1. 预算分配：定义运行时环境中的适当预算单位，因为将记忆视为具有固定计算的单体流水线，会使权衡变得粗糙且难以控制。
2. 预算实现：确定如何系统化地实现预算控制，而不是依赖临时的成本削减或简单的计算升级。

方法论：BudgetMem

作者提出了BudgetMem，这是一个运行时智能体记忆框架，旨在实现明确的、感知查询的性能–成本控制。该框架将记忆处理构建为多阶段模块化流水线，其中计算可在模块级别进行控制。

1. 模块化流水线架构

BudgetMem 将记忆提取（$f_{mem}$）实现为一系列模块的序列。在其以对话为中心的评估中，流水线遵循：
$$M_{fil} \rightarrow \{M_{ent}, M_{tmp}, M_{top}\} \rightarrow M_{sum}$$

• 过滤模块（$M_{fil}$）：优化检索到的原始数据块。
• 并行提取模块：提取互补的上下文：
  • $M_{ent}$：以实体为中心的事实。
  • $M_{tmp}$：时间线索。
  • $M_{top}$：主题摘要。
• 摘要模块（$M_{sum}$）：将中间上下文聚合成最终提取的记忆（$m$）。

至关重要的是，该框架不假设特定的模块集合，但要求每个模块暴露一个通用的预算层级接口。

2. 预算层级与实现策略

每个模块暴露三个预算层级：LOW（低）、MID（中）和HIGH（高）。这些层级对应递增的计算预算，通常也对应提升的提取质量。本文研究了三种互补策略来实现这些层级：

• 实现分层（Implementation Tiering）：改变模块的实现方式。
  • LOW：轻量级启发式方法（规则、正则表达式、spaCy）。
  • MID：紧凑的预训练模型（例如基于 BERT 的模型）。
  • HIGH：基于 LLM 的处理。
• 推理分层（Reasoning Tiering）：在保持模型骨干固定的同时改变推理行为。
  • LOW：直接生成。
  • MID：思维链（CoT）风格。
  • HIGH：多步或反思式推理。
• 容量分层（Capacity Tiering）：改变模块内使用的模型容量（规模）。
  • LOW：小模型（例如 30 亿参数）。
  • MID：中等模型（例如 80 亿–320 亿参数）。
  • HIGH：大模型（例如 700 亿参数以上）。

3. 基于强化学习的感知查询路由

为了动态导航这些分层选择，BudgetMem 采用了一个通过强化学习（RL）训练的共享轻量级路由器。

• 策略（$\pi_\theta$）：在每次模块调用步骤 $k$，路由器观察状态 $s_k$（包含查询、当前模块输入和模块描述符），并选择一个动作 $a_k \in \{LOW, MID, HIGH\}$。
• 目标：路由器被优化以在任务性能与记忆提取成本之间进行权衡。奖励函数定义为：
  $$r = r_{task} + \lambda \cdot \alpha \cdot r_{cost}$$
  其中 $r_{task}$ 是任务性能奖励（F1 或 LLM 裁判），$r_{cost}$ 是归一化的成本奖励，$\lambda$ 控制权衡偏好，$\alpha$ 是基于方差的对齐因子以稳定训练。
• 训练：路由器使用近端策略优化（PPO）进行训练。成本基于令牌使用量和 API 定价进行建模，并通过滑动窗口进行归一化，以确保与任务奖励具有可比性。

主要贡献

1. 框架引入：作者介绍了 BudgetMem，这是一个模块化运行时智能体记忆框架，通过预算分层模块实现按需记忆提取的明确性能–成本控制。
2. 路由机制：他们提出了预算层级路由，其中通过 RL 训练的共享轻量级路由器在提取过程中动态选择预算层级。这在统一框架内通过三种互补策略（实现、推理和容量）进行了实例化。
3. 实证分析：通过在 LoCoMo、LongMemEval 和 HotpotQA 上的实验，本文证明了 BudgetMem 在优先追求性能的设定中表现强劲，并在更严格的预算下建立了清晰、可控的性能–成本权衡曲线。该分析解构了不同分层策略的优势，提供了关于在不同预算制度下哪些机制能产生最佳回报的见解。

实验结果

作者使用 LLaMA-3.3-70B 和 Qwen3-Next-80B 骨干网络，将 BudgetMem 与强基线（例如 ReadAgent、MemoryBank、LightMem）进行了评估。

• 优先性能（高预算）：在优先追求性能的设定中（$\lambda=0$），BudgetMem 变体始终优于基线。例如，在 LLaMA 的 LongMemEval 上，BudgetMem-CAP 取得了 60.50 的裁判分数，显著超越了最佳基线 LightMem（48.51）。
• 性能–成本权衡：通过改变成本权重 $\lambda$，BudgetMem 描绘了包围基线的平滑前沿曲线。
  • 实现分层和容量分层：覆盖更宽的成本范围。实现分层在中等预算下提供快速收益，而容量分层在高预算制度下将前沿向外扩展。
  • 推理分层：表现出显著的成本集中性。它在有限的成本带宽内充当细粒度的质量旋钮，在相似成本下提供改进，但与其他策略相比，在极端低/高预算情况下的灵活性较低。
• 成本效率：即使在优先追求性能的制度下，BudgetMem 也保持了成本效率，因为它仅按需处理与查询相关的原始数据块，避免了离线处理整个历史记录的开销。

意义与主张

本文主张，BudgetMem 通过从“一次性启发式”或“计算密集型升级”转向性能–成本控制的系统性视角，解决了智能体记忆系统中的一个关键缺口。

• 可控性：它提供了一种实用的机制，用于实现明确、可控的权衡，与行业分层计算选项（例如“思考”模式）的趋势相一致。
• 统一比较：通过使用统一的测试平台，这项工作阐明了不同的分层策略（实现、推理、容量）在何时能带来最有利的权衡，为在不同预算约束下的部署提供了指导。
• 运行时焦点：与以往专注于离线构建的工作不同，BudgetMem 专注于运行时提取，确保计算仅在必要时且与查询需求成比例地消耗。

作者总结道，BudgetMem 提高了智能体记忆在现实世界预算约束下的可用性和可控性，使记忆计算变得明确可管理，同时不牺牲长程推理的质量。