技术摘要：EnvHarness：为智能体学习唤醒静态世界

1. 问题陈述

随着大语言模型（LLM）作为自主智能体被部署，其学习范式正从静态文本数据转向交互式环境。然而，当前的环境主要呈现出手工构建且静态的特征。它们存在两个关键局限性：

1. 僵化性： 无论智能体的能力如何或存在哪些特定弱点，环境的行为始终保持一致，无法提供针对性的学习信号以促进改进。
2. 过时性： 一旦智能体掌握了现有任务，环境便不再提供进一步的价值，从而导致学习进度停滞。

尽管最近的研究尝试通过自动化环境生成来解决这一问题，但这些方法面临着显著障碍：

• 领域特定性： 生成流水线通常是为特定领域（如网页导航与代码编写）硬编码的，缺乏迁移性。
• 验证成本： 生成的环境及其验证器往往不可靠，需要昂贵的过度生成和繁重的过滤过程来确保正确性。
• 静态本质： 即便是生成的环境也往往保持静态，缺乏根据智能体不断进化的技能集进行动态调整的能力。

核心挑战在于：如何创建一种机制，既能针对特定的智能体弱点定制环境，又不会带来从头构建环境的工程负担，同时又不损害人类构建的验证器的完整性。

2. 方法论

2.1. EnvHarness 范式

作者提出了 EnvHarness，这是一个可编程层，用于封装静态的现有环境，在不修改底层逻辑或模拟器后端的情况下重塑其行为。通过类比“智能体挂件”（为冻结的 LLM 添加工具/记忆），EnvHarness 为冻结的环境添加了模块化的插件组件。

它严格通过标准接口（reset, step, obs）运行，在确保领域无关性的同时，保留了原始环境值得信赖的验证器。该框架定义了一个环境变换 $w$，使得 $E' = w(E)$，其中 $E'$ 是定制后的环境。

EnvHarness 通过三个特定的插件组件进行实例化：

1. 阶段 (Stage)： 修改初始状态 ($s_0$)。它对 reset() 返回的状态应用一系列动作以引入障碍（例如隐藏物体）或预先完成子目标，从而有效地改变任务的起始难度或时界（horizon）。
2. 契约 (Contract)： 重写交互接口。它对动作空间 ($A$)、观测空间 ($O$) 和转移动力学 ($T$) 应用变换映射。这可以强制执行动作前提条件、掩盖观测以测试部分可观测性，或阻断特定捷径，以迫使智能体学习预期的技能。
3. 链 (Chain)： 通过组合多个环境来扩展环境。它通过组合逻辑 $g$ 将基础环境 $E$ 与附加环境 $E_{ext}$ 连接起来，创建一个复合回合。这允许测试在扩展时界下的目标持久性。

这些组件是非交换的，并且可以堆叠以形成复杂的定制环境（例如，$E' = w_{chain}(w_{contract}(w_{stage}(E)))$）。

2.2. EnvRigger：自动化定制

为了实现针对特定目标策略 $\pi$ 的 EnvHarness 自动化配置，作者引入了 EnvRigger。该系统将策略视为黑盒，并通过四个阶段的循环进行操作：

1. 观察 (Observe)： 在基础任务上运行策略 $\pi$ 以收集执行轨迹，分析失败案例（以识别弱点）和成功案例（以定义能力边界）。
2. 诊断 (Diagnose)： 分析轨迹以确定失败的根本原因（如重复循环、解析错误）或过于容易的原因。它输出一个文本诊断，确定定制方向（搭建脚手架 vs. 增加难度）。
3. 编写 (Write)： 根据诊断信息合成候选的 EnvHarness 组件（阶段、契约、链）。例如，如果智能体依赖于脆弱的捷径，EnvRigger 会编写一个用于阻断该动作的“契约”。
4. 验证 (Validate)： 使用候选组件封装当前环境并进行新的演练。它评估新环境是否在保持可解性的同时，有效地培养了缺失的能力。如果候选方案失败，则进行修正；如果成功，则将其接受进入 EnvHarness。

该循环确保了每一个定制的环境都是专门针对已诊断出的策略缺陷而设计的。

3. 核心贡献

1. EnvHarness 框架： 一个可编程层，通过三个插件组件（阶段、契约、链）将静态环境转化为可控环境，且无需更改底层环境代码或验证器。
2. EnvRigger： 一个自主系统，能够从执行轨迹中诊断策略弱点，并迭代地合成与验证 EnvHarness 组件，以针对这些特定缺陷。
3. 实证验证： 在四个领域的五个基准测试（具身智能、Web、软件工程、办公自动化）中进行了演示，结果表明 EnvHarness 的表现优于原始静态环境和领域特定的生成流水线。

4. 实验结果

作者在 ALFWorld、WebArena、SWE-bench Verified、OfficeQA 和 SpreadsheetBench 上评估了 EnvHarness，使用了两种学习范式：基于技能的学习 (SL) 和强化学习 (RL)。

• 性能提升：

  • 在基于技能的学习中，在 EnvHarness 环境下训练的智能体在留存测试任务（例如在 ALFWorld 上）中的表现比在原始环境中训练的智能体高出高达 9.0 个百分点。
  • 在 SWE-bench Verified 上，EnvHarness 比原始环境基准提高了 2.70 个百分点，比领域特定的 SWE-smith 生成器高出 2.46 个百分点。
  • 在强化学习（使用 Qwen3-8B 和 GRPO 在 ALFWorld 和 WebShop 上）中，EnvHarness 环境产生了显著更强的策略，在特定指标（如 ALFWorld 上的成功率）上比在静态环境下训练提升了高达 6.5 个百分点。

• 效率：

  • EnvHarness 在 SWE-bench Verified 上的平均执行步数减少了 9.8%（从 53.6 步降至 49.6 步），而未经修改的环境所习得的技能实际上增加了步数。
  • 链 (Chain) 组件特别展示了解决长时界任务的高效能力，在与其他技能结合时，将平均步数从 53.58 降至 41.96。

• 扩展性与泛化性：

  • 扩展性： 随着环境数量的增加（最多达到 300 个），EnvHarness 的性能持续攀升（在 SWE-bench 上达到约 54.8% 的解决率），而原始环境和生成环境则趋于平缓（分别为约 52.1% 和 50.4%）。
  • 泛化性： 该框架在不同的 LLM 底座（Gemini 3.1, Qwen3.6, Gemini 3.5, Claude Sonnet 4.6）之间实现了泛化，无论基础模型的强度如何，始终比基准线高出 2.7 到 3.7 个绝对百分点。

5. 重要性与主张

本文声称 EnvHarness 将环境构建从一个创作问题（从头构建新世界）重新定义为一个封装问题（修改现有环境）。

• 针对性学习： 通过将环境定制建立在特定策略弱点的基础上，EnvHarness 提供了比静态或盲目生成的环境更优的优化信号。
• 安全性与信任： 由于底层的环境逻辑和人类构建的验证器保持不变，系统确保了所有的学习信号都植根于有效的、经过验证的任务中。
• 可扩展性： 领域无关的接口允许单一实现即可将智能体学习扩展到多样化领域（编码、机器人、办公工作），无需领域特定的生成流水线。
• 协同进化： EnvRigger 循环实现了智能体与其环境之间的持续、针对性的协同进化，释放了静态环境无法支持的复合性能增益。

作者总结道，这种方法为智能体学习提供了可扩展的环境供应路径，解决了当前基准测试的僵化问题，同时保持了人类验证任务的可靠性。