🤖 AI

Workspace Optimization: How to Train Your Agent

本文介绍了“工作空间优化”，这是一种通过进化智能体的结构化外部基底而非其权重来实现的训练范式，并通过 DreamTeam 多智能体系统证明了其有效性，该系统在 ARC-AGI-3 基准测试中取得了 38.4% 的新最先进分数，同时使用了更少的动作。

原作者： Elad Sarafian, Gal Kaplun, Ron Banner, Daniel Soudry, Boris Ginsburg

发布于 2026-05-12

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Elad Sarafian, Gal Kaplun, Ron Banner, Daniel Soudry, Boris Ginsburg

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用通俗语言和创意类比对论文《工作空间优化：如何训练你的智能体》的解释。

核心难题：“冻结的大脑”

想象你把一个人扔进一款全新的电子游戏。他没有说明书，没有地图，也不知道按钮是做什么的。

关键限制： 这个人拥有一颗“冻结的大脑”。你无法通过重新连接神经元来教他新东西（这是标准 AI 训练的方式）。他无法通过修改内部代码来学习。
挑战： 他仍然需要赢得游戏。他必须仅通过游玩来弄清楚规则、目标和策略。

大多数 AI 智能体试图通过改变内部权重来“学习”（就像学生背诵教科书）。但如果 AI 被锁定在 API 之后（比如聊天机器人），或者我们无法接触其代码，我们就无法改变它的大脑。那么，它该如何学习呢？

解决方案：“工作台”（工作空间优化）

作者认为，与其改变智能体的大脑，不如改变它的工作台。

把智能体想象成一位技能固定的木匠（即大脑）。

标准训练： 你试图重新连接木匠的手，让他以不同的方式握锤子。（在此情境下这是不可能的）。
工作空间优化： 你给木匠提供一个工作台，他可以在上面写笔记、画草图、制作原型，并为未来的自己留下便利贴。

智能体并没有改变“它是谁”；它改变的是“它写下的内容”。它阅读笔记，尝试一步操作，观察结果，然后编辑笔记以反映新的现实。

运作机制：“梦之队”

为了测试这一点，研究人员构建了一个名为DREAMTEAM的多智能体系统。想象一支施工队正在执行单一项目，每个人有特定的工作和特定的笔记本：

观察者（眼睛）： 观察游戏屏幕，并以结构化格式写下所见（例如：“在坐标 5,5 处有一个红色方块”）。
模拟器（大脑的预测引擎）： 根据观察者的笔记预测接下来会发生什么。“如果我向左移动，红色方块也会向左移动。”
探索者（测试员）：
- 归纳探索者： 试图寻找可复用的策略（例如：“总是避开红色方块”）。
- 演绎探索者： 运行特定实验以学习未知规则（例如：“让我们触碰蓝色瓷砖，看看会发生什么”）。
批评者（质量控制）： 检查每个人的工作。“等等，模拟器预测方块会移动，但它没有。是谁写了那条错误的规则？”
团队领导（老板）： 根据所有笔记和预测决定最终行动。

学习循环：“提交、行动、比较、修复”

这是团队逐步进行的循环：

提交： 团队领导根据当前笔记做出行动。
行动： 行动在游戏中发生。
比较： 团队查看结果。模拟器的预测与现实相符吗？
- 如果相符： 很好！笔记得到确认。
- 如果不符： 这是一个反例。预测是错误的。
修复： 批评者识别谁写了错误的笔记。
- 如果是观察者误认了物体，观察者就编辑他们的笔记。
- 如果是模拟器预测了错误的物理规律，模拟器就重写其规则。
回归测试（安全网）： 在新笔记被接受之前，团队会对过去的行动进行快速检查。“如果我们现在修改这条规则，会破坏我们 10 步之前使用的逻辑吗？”如果破坏了旧逻辑，团队就知道需要更加谨慎。

类比：侦探的案件档案

想象一位侦探在解决一个谜案，而犯罪规则每天都在变化。

侦探（AI 模型）： 拥有固定的人格和知识库。他不能突然变成另一个人。
案件档案（工作空间）： 一个装满白板、便利贴和图表的文件夹。
过程：
- 侦探提出一个理论：“是管家干的。”
- 他们进行测试。失败了。
- 他们没有改变人格，而是走向案件档案。他们划掉“管家”，写上“园丁，但仅限周二”。
- 他们检查档案，确保这个新理论不会与他们昨天写下的不在场证明相矛盾。
- 档案现在变得更聪明了，尽管侦探还是同一个人。

结果

研究人员在ARC-AGI-3上测试了这种方法，这是一个关于抽象推理游戏的极具挑战性的基准测试，其中规则是隐藏的。

得分： 与之前的最佳方法相比，他们的“工作台”方法将得分从36% 提高到了 38.4%。
效率： 他们不仅获得了更高的分数；而且使用了少 31% 的行动步数。这意味着智能体不那么“笨拙”，也没有浪费时间随机猜测。它通过更好地组织笔记，学习得更快。

为什么这很重要

这篇论文证明，你不需要重新训练一个巨大的 AI 模型，就能让它特定情境下变得更聪明。你只需要给它一个更好的结构化工作空间，用于存储其学习成果、测试其理论，并实时修正其错误。

通过将笔记和代码视为被训练的对象，而不是大脑，它将“冻结”的 AI 转变为了动态的学习者。

技术摘要：工作空间优化

问题陈述

基于前沿语言模型（LLM）构建的现代智能体常面临一个关键限制：它们无法在单个任务 episode 期间调整内部权重。微调对于在线、单 episode 的适应而言过于缓慢，且在许多部署场景（例如基于 API 的模型或隐私敏感的轨迹）中，无法访问权重。因此，模型保持固定，但智能体仍必须学会解决复杂的多轮任务，其中目标和规则隐藏在环境之中。

该论文指出了标准智能体学习范式中的一个缺口。传统的强化学习（RL）依赖于基于损失信号更新策略或价值函数（权重空间）。然而，当权重被冻结时，“可训练状态”便未定义。作者认为，智能体的工作空间（即其读取、写入和测试的结构化外部基底）应成为适应的对象。这对于ARC-AGI-3等基准测试尤为相关，在这些测试中，智能体必须在严格的动作预算内，通过交互发现游戏机制、目标和动态，且无法使用离线数据或回退步骤。

方法论：工作空间优化

该论文提出了工作空间优化，这是一个框架，其中冻结模型的智能体通过编辑可变的结构化工作空间而非其参数来进行适应。这种方法镜像了权重空间训练的计算结构，但替换了关键组件：

工件（Artifacts） 替换参数。
证据（Evidence） 替换训练数据。
反例（Counterexamples） 替换损失函数。
文本反馈 替换梯度。

可训练状态

智能体被建模为元组 $(M, H)$ ，其中 $M$ 是冻结的语言模型， $H$ 是提供工具和沙盒的 harness。第 $t$ 步的工作空间 $W_t$ 由以下部分组成：

程序（ $P_t$ ）： 可重用的可执行工件（例如，观察解析器、动态模拟器、策略）。
日志（ $L_t$ ）： 摘要、假设、被放弃的候选项和未解决的问题。
轨迹数据（ $D_t$ ）： 观察、动作、奖励和反例的只追加数据集。

学习循环按如下方式运行：

动作与预测： 智能体读取 $W_t$ 和 $D_t$ 以选择动作 $a_t$ 。它承诺一个预测（例如，“向左移动将导致状态 $z_{t+1}$ "）。
评估： 收到下一个观察 $o_{t+1}$ 后，harness 将预测与现实进行比较。
反馈与路由： 如果预测失败，错误不是一个标量损失，而是一个反例，被路由到导致失败的具体工件（接口）。这通过解决“编辑哪个工件”而非“更新多少权重”的问题，解决了信用分配问题。
修复与回归： 负责的角色编辑其工件（例如，修补 Python 函数）。关键在于，harness 维护一个过去转换的回归集（ $R_t$ ）。新补丁在通过之前，会在此集合上重放，以确保它不会破坏之前已解决的案例。

DREAMTEAM 架构

作者在DREAMTEAM中实例化了该框架，这是一个用于 ARC-AGI-3 的多智能体 harness。该系统将智能体分解为六个角色，每个角色在工作空间中拥有一个特定的“表面”（类型化槽位）：

观察者（Observer）： 将原始观察解析为结构化状态（ $z_t$ ），并拥有渲染逻辑。
模拟器（Simulator）： 跟踪隐藏状态（ $h_t$ ），并拥有动态模型（预测下一个状态）。
归纳探索者（IE）： 维护一个可重用策略和子目标的库。
演绎探索者（TE）： 当世界模型尚不成熟时，提出信息寻求探针。
批评者（Critic）： 审计工件，将失败路由给其所有者，并标记回归。
团队领导（TL）： 仲裁提案并承诺最终动作。

该系统采用先承诺后回溯预测的循环。模拟器承诺一个动态程序；如果下一个观察与预测相矛盾，模拟器则修补代码。批评者通过回归集确保补丁与先前的证据一致。在游戏早期，系统倾向于探测（TE）以减少不确定性；随着世界模型稳定，控制权转移到基于模型的规划（IE/TL）。

主要贡献

工作空间优化框架： 形式化了通过编辑类型化工件的结构化工作空间来适应冻结模型智能体的方法。这将信用分配重新定义为寻址决策（编辑哪个工件），而非梯度更新。
DREAMTEAM： 该框架的多智能体实现，采用受 DreamerV3 启发的架构，其中角色分别拥有观察、动态、策略、探测、批评和仲裁功能。
高效的先进性能： 在 25 个游戏的 ARC-AGI-3 公开集上，DREAMTEAM 实现了38.4% 的 RHAE（相对人类动作效率），超过了之前协议匹配的基线 36%。值得注意的是，它在每局游戏中使用的环境动作减少了 31%（444 次对比 643 次），展现了卓越的规划效率。

结果

性能： 在两次独立运行的平均中，DREAMTEAM 在 ARC-AGI-3 公开集上达到了 38.4% 的 RHAE，而 Symbolica 的 Agentica SDK 基线为 36.08%。
效率： 该系统解决关卡所需的动作显著更少。在成功解决的关卡中，DREAMTEAM 平均每局 54.1 个动作，而基线为 100.1 个。
动作预算： 在 24 小时运行的前约 5 小时内，该系统领先于匹配预算的人类参考，尽管人类最终凭借更强的跨关卡迁移能力（当前系统在每次转换时都会重建）而后来居上。

意义与主张

该论文声称，工作空间优化开启了一个与数十年的权重空间学习并行的研究议程，专门针对模型固定的场景。通过将工作空间视为可训练对象，系统使适应变得明确且可执行：每个预测都是一项书面承诺，每个矛盾都成为类型化的修复，每个修复都经过先前证据的验证。

作者强调，他们的结果受限于时间和成本预算，而非系统智能的极限。他们指出，该方法旨在用于模型固定且必须通过工作空间进行学习交互场景。该论文并未声称解决了所有 ARC-AGI-3 挑战或在无需进一步研究的情况下泛化到所有交互领域，但它为“测试时适应”建立了一条可行路径，无需权重更新或离线训练数据。

该工作与之前的测试时适应方法（如案例库或自重写代码）的区别在于，它使用类型化、命名的工件进行失败路由，从而避开了开放式的失败归因问题，并通过强制执行回归检查以确保与历史证据的一致性。