🤖 machine learning

Remember, Don't Re-read: Stateful ReAct Agents for Token-Efficient Autonomous Experimentation

本文介绍了一种使用 LangGraph 的有状态 ReAct 智能体架构，该架构通过持久化状态机制取代了低效的、无状态的自动研究模式，在超参数调优和代码优化任务中实现了高达 90% 的显著 Token 减少，同时保持了相当的性能。

原作者： Faramarz Jabbarvaziri

发布于 2026-06-16

📖 1 分钟阅读☕ 轻松阅读

原作者： Faramarz Jabbarvaziri

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下你是一位正在寻找完美蛋糕配方的科学家。每当你烤出一炉蛋糕，你都会品尝它，记录下发生了什么，然后决定下一炉要做哪些改变。

旧方法（无状态智能体）：“失忆厨师”
在论文中描述的传统方法中，这位 AI 厨师有着糟糕的记忆力。每当它烤制新的一炉蛋糕时，它不仅仅是看上一炉蛋糕，而是会翻出一本巨大的笔记本，里面记录了它有史以来烤过的每一炉蛋糕，从第一炉直到现在。

它必须逐字逐句地重新阅读整本笔记本，仅仅为了记住自己之前做了什么。

问题所在： 如果你烤了 10 个蛋糕，笔记本很小。但如果你烤了 100 个蛋糕，笔记本就会变得巨大。厨师大部分的时间和精力都花在了阅读旧笔记上，而不是思考新的一炉蛋糕。论文称之为 O(n²) 问题：随着实验数量的增加，工作量呈指数级增长。这就像每次需要新的一页时，都要从第一页开始读完整本书才能找到特定页面一样。

新方法（有状态智能体）：“井井有条的图书管理员”
作者利用一个名为 LangGraph 的工具构建了一个更聪明的系统。与其说是一个患有失忆症的厨师，不如说是一个拥有私人图书管理员的 AI。

图书管理员记录历史： 图书管理员（即“状态/State”）保存着每一炉蛋糕的完整历史、每一次微调以及观察到的每一个结果。AI 不需要随身携带这本沉重的书。
总结便签： 当 AI 需要决定下一步该做什么时，图书管理员并不会把整个图书馆都交给它。相反，图书管理员会写一张简短的、只有三句话的便签：“你已经尝试了 25 批次。表现最好的一次速度快了 1.9 倍。这是你最近做的 5 次尝试。别忘了避免你在第 7 批次中犯的错误。”
结果： AI 只阅读这张简短的便签。无论 AI 烤了 10 个还是 1,000 个蛋糕，便签的长度始终保持不变。所需的工作量保持恒定 (O(1))。

他们测试了什么
研究人员在两个特定任务上将这个“图书管理员”系统与“失忆厨师”进行了对比测试：

调节收音机（超参数调优）： 他们试图为机器学习模型找到完美的设置。
- 结果： 图书管理员系统使用**减少了 90% 的词汇量（Token）**就达到了同样的结果。这就像厨师不再阅读整本历史书，而是只看了一张速记表。
修复运行缓慢的计算机程序（代码优化）： 他们试图通过重写一段运行缓慢的代码来让它运行得更快。
- 结果： 尽管这里的“笔记”较长（因为必须包含实际的代码），但图书管理员仍然比“失忆厨师”节省了一半的词汇量。失忆厨师不断地重读整个代码变更的历史，而图书管理员只展示当前最好的版本和最近几次的尝试。

核心结论
这篇论文并不是关于如何让 AI 在寻找最佳蛋糕或代码方面变得更“聪明”。两种方法找到的解决方案质量相似。

突破点在于效率。

旧方法： 随着实验次数的增加，成本（计算机时间和金钱）会爆炸式增长，因为 AI 每次都必须重新阅读所有内容。
新方法： 成本保持平稳。你可以进行数百次实验，而不用担心 AI 会被其自身的历史记录所拖累。

简而言之：
论文表明，通过给 AI 一个持久的“记忆库”（状态/State）和一种总结该记忆的方式（ReAct 智能体），你可以阻止它浪费能量去重读自己的日记。它允许 AI 进行长期、复杂的实验，而不会被其自身历史规模的庞大所压垮。

技术摘要：用于高效能自主实验的有状态 ReAct 智能体

问题陈述

“自动研究”（autoresearch）模式通过让大语言模型（LLM）迭代修改代码以优化目标指标，从而实现自主实验。虽然这种方式行之有效，但标准的实现是无状态的：在每一次迭代中，智能体必须通过重新阅读研究指令文件（例如 program.md）中积累的完整结果和代码修改历史，来重建整个实验上下文。

这种设计存在结构性低效：

Token 成本： 提示词（prompt）大小随迭代次数 $n$ 线性增长 ( $O(n)$ )，导致总 Token 成本为 $O(n^2)$ 。
冗余性： 智能体在每一步都在重复传输其在之前步骤中已经处理过的信息。
可扩展性： 随着实验的累积，提示词会接近上下文窗口限制，从而需要进行截断或摘要，这可能会导致关键实验细节的丢失。

本文指出，由于 LLM 无法在交互之间维持瞬态状态（Huang 等人 [10]），外部状态管理是打破这种二次方成本曲线的架构必然选择。

方法论

作者利用 LangGraph 将自动研究模式重新构想为一种有状态的 ReAct 智能体。该智能体不再使用包含完整历史的单体提示词，而是通过工具调用与 ML 系统进行交互，同时将实验历史、推理轨迹和收敛指标持久化在类型化的持久化状态图中。

架构

该智能体作为一个状态图运行，包含三个主要节点：

REASON（推理）： 使用当前的上下文状态调用 LLM（Claude Haiku 4.5）。模型生成推理轨迹和工具调用。
TOOLS（工具）： 以确定性的方式执行工具调用（例如，运行实验、查询结果）并返回观测结果。
CHECK（检查）： 在无需 LLM 参与的情况下评估收敛标准（目标指标阈值、迭代预算或 LLM 的结论）。

条件边负责路由流程：如果 LLM 生成了工具调用，控制权移交给 TOOLS；否则，进入 CHECK。如果未收敛，则循环返回到 REASON。

状态管理

核心创新在于跨迭代持久化的 AgentState（一个类型化字典）。它包括：

messages：最后 20 条消息的滑动窗口，用以限制输入成本。
experiment_history：所有过去的实验结果列表。
current_best：目前为止发现的最佳结果。
train_py_content：当前的代码状态。

至关重要的是，智能体使用一个辅助类（ExperimentState 或 CodeState）在每一步生成紧凑的摘要。该摘要包括：

当前迭代计数和最佳聚合指标。
最近的 5 次实验（或近期结果）。
策略笔记和失败的尝试。

这确保了无论运行了多少次实验，LLM 每次接收到的输入 Token 都是 $O(1)$ 级别的。完整的历史记录保留在状态中，但除非通过工具显式查询，否则不会包含在提示词内。

工具集

智能体通过特定的工具与 ML 系统交互：

超参数调优： get_experiment_history 和 run_experiment。
代码优化： get_current_train_py、modify_train_py（带有保持评估逻辑的护栏机制）、submit_training_job 以及 query_results。

核心贡献

架构重构： 利用 LangGraph 将无状态的自动研究模式转化为有状态的 ReAct 智能体，实现了智能体的短期记忆与提示词上下文的解耦。
Token 高效性： 证明了从 $O(n^2)$ （无状态）到 $O(n)$ （有状态）的总 Token 成本的结构性降低，且单次迭代成本为 $O(1)$ 。
实现蓝图： 为希望实现有状态智能体的从业者提供了一个详细且可复现的架构（包括状态模式、图逻辑和工具定义）。

实验结果

作者在两个基准任务上使用 3 个随机种子对有状态智能体与无状态基准进行了评估。

任务 1：超参数调优（小规模观测）

设置： 15 次迭代，优化 UCI Covertype 数据集上的 XGBoost。观测数据较小（约 200 个 Token：JSON 配置 + 指标）。
结果：
- Token 减少量： 有状态智能体消耗的 Token 减少了 90%（2,492 vs. 24,465），实现了 9.8 倍的缩减。
- 性能： 两种智能体都取得了相当的 F1 分数（0.779 vs. 0.764），差异归因于种子方差而非架构优越性。
- 成本曲线： 无状态输入的成本从每次迭代约 700 个 Token 线性增长到约 1,900 个；而有状态成本始终稳定在约 100 个 Token。

任务 2：代码性能优化（大规模观测）

设置： 40 次迭代，优化一个 Python 数据处理函数。观测数据较大（约 1,500–3,000 个 Token：完整源代码 + 基准测试）。
结果：
- Token 减少量： 有状态智能体消耗了 52% 更少的 Token（627K vs. 1,275K），实现了 2.0 倍的缩减。
- 性能： 两种智能体都实现了相当的加速比（较基准提升约 1.9 倍）。
- 成本曲线： 虽然有状态智能体在每一步仍需发送“当前最佳代码”的固定成本（约 1,500 个 Token），但其总成本趋于平缓。相比之下，无状态成本持续线性攀升，到第 40 次迭代时累计超过了 80,000 个 Token 的历史记录。

对比分析

Token 减少比例与观测规模相对于状态摘要的大小成反比。

小规模观测： 固定大小的摘要远小于累积的历史记录，从而产生了极高的缩减率（9.8 倍）。
大规模观测： 有状态智能体仍需传输当前的程序产物，这限制了缩减比例（2.0 倍）。然而，论文指出，随着迭代次数增加（例如达到 100 或 200 次）， $O(n^2)$ 与 $O(n)$ 的分歧将导致缩减比例显著扩大（预计可达 4 倍至 7 倍）。

意义与主张

本文声称其主要贡献在于结构效率，而非优化质量的提升。有状态智能体在大幅降低 Token 消耗的同时，实现了与无状态基准相当的优化质量。

可扩展性： $O(1)$ 的单次迭代成本使得任意长的实验序列成为可能，而不会面临提示词截断或决策能力丧失的问题。
经济影响： 虽然对于短时间运行而言节省的成本有限，但对于大规模研究（每天数百次实验）而言，这种节省是实质性的，因为无状态执行的二次方成本将成为主要的瓶颈。
未来展望： 作者认为，随着实验周期的延长，无状态执行的二次方 Token 成本将成为主要约束，使得有状态架构成为可持续自主实验的必要选择。

作者对优化质量的表述保持谦逊，明确指出观察到的指标差异属于噪声范围，不应被解释为有状态方法的质量优势。其重点严格聚焦于架构转变带来的效率增益。