🤖 AI

SETA: Scaling Environments for Terminal Agents

该论文介绍了 SETA，这是一个用于生成可验证终端环境的可扩展框架，它产生了同类规模最大的开源数据集（SETA-Env），使像 Qwen3-8B 这样经过强化学习训练的模型能够在终端智能体基准测试中达到最先进的性能。

原作者： Qijia Shen, Zhiqi Huang, Vamsidhar Kamanuru, Aznaur Aliev, Jay Rainton, Ahmed Awelkair, Zhichen Zeng, Jiajun Li, Shi Dong, Yueming Yuan, Boyuan Ma, Qizheng Zhang, Jiwei Fu, Yuzhen Mao, Wendong Fan, Pi

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Qijia Shen, Zhiqi Huang, Vamsidhar Kamanuru, Aznaur Aliev, Jay Rainton, Ahmed Awelkair, Zhichen Zeng, Jiajun Li, Shi Dong, Yueming Yuan, Boyuan Ma, Qizheng Zhang, Jiwei Fu, Yuzhen Mao, Wendong Fan, Ping Nie, Philip Torr, Bernard Ghanem, Changran Hu, Jonathan Lingjie Li, Urmish Thakker, Guohao Li

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个超级聪明的机器人如何使用电脑的命令行（那个只能通过输入像 ls 或 cd 这样的命令来操作的纯文本界面）。这有点像在教一位巫师施展咒语，但只能通过向一个非常刻板、非常严厉的精灵低声耳语来进行。这个精灵（电脑）会完全按照你的指令行事，但如果你漏掉了一个微小的细节，咒语就会失效，房间就会陷入黑暗。

长期以来，教导这些“终端智能体”（terminal agents）一直是一场噩梦。为什么呢？因为你不能要求人类写下他们曾经输入过的每一个可能的命令。而且，如果你让机器人自己编造练习题，它往往会创造出一些无法解决的谜题，或者根本学不到任何有用的东西。这就像是试图通过阅读一本从未摸过自行车的人写的书来学习骑自行车一样。

于是有了 SETA（用于终端智能体的规模化环境）。你可以把 SETA 想象成一个自动更新的魔法“训练馆”。它不再只是给这些机器人巫师提供一份静态的任务清单，而是构建了一个完整的世界，让它们可以在其中进行实时练习、失败并学习。

两步走的魔术技巧

研究人员利用两个巧妙的流水线构建了 SETA，它们像主厨和副厨一样协同工作：

“主厨”（SETA-Synth）： 这个部分负责从互联网上抓取真实的“食谱”。它会寻找人类解决问题的真实场所，比如 Stack Overflow（人们在那里询问“我该如何修复这段破碎的代码？”）或 Kaggle（数据科学家分享他们的笔记本的地方）。它将这些现实生活中的难题转化为一个标准化的“训练环境”。这就像是将一个混乱的、现实世界的厨房灾难，变成一个干净、安全的练习厨房，并设定一个明确的目标：“修好炉灶，这样汤就不会烧焦了。”
- 关键检查： 系统不会盲目信任机器人厨师。它会运行一个“no-op”测试（不做任何操作并检查厨房是否依然安全）和一个“预言家”（oracle）测试（检查完美方案是否有效）。如果机器人的解决方案失败了，一个特殊的“轨迹判定员”（Trajectory Judge）就会介入。这个判定员就像一名严格的裁判，观察机器人为何失败。如果机器人是因为谜题本身有问题（设计缺陷）而失败，那么这个谜题会被扔进垃圾桶；如果机器人只是因为需要更多练习而失败，那么谜题会被保留下来。
“副厨”（SETA-Evol）： 这是自适应的部分。想象一下你在训练一个机器人。如果谜题太简单，机器人会感到无聊且学不到东西；如果谜题太难，它就会放弃。SETA-Evol 会观察机器人的表现。
- 如果机器人轻松应对任务（100% 解决问题），系统会通过增加步骤或棘手的边缘情况来让它变得更难。
- 如果机器人陷入困境并不断失败，系统会通过减少步骤或给予提示来让它变得更容易。
- 如果机器人表现尚可但需要多样性，系统会更换上下文。也许它刚才是在修复一台 Linux 服务器；现在，它是在修复一台 Windows 服务器，但背后的逻辑是一样的。这能让机器人保持敏锐度和适应力。

结果：一个真正学会思考的机器人

团队对这个系统进行了测试。他们采用了一个名为 Qwen3-8B 的模型（一个拥有 80 亿个“神经元”的机器人大脑），并使用这个全新的训练馆对其进行训练。

得分： 在训练之前，该机器人在一个名为 Terminal-Bench 2.0 的标准测试中，只能解决大约 3.6% 的高难度终端挑战。经过 SETA 训练后，它的成功率跃升至 12%。这意味着实现了 3.3 倍 的提升！
对比： 这个结果是目前为止，在同等规模（80 亿参数）的机器人使用强化学习（通过试错学习）方面所能报告的最佳成绩。它甚至接近了一些规模更大的闭源模型。
迁移能力： 他们还在另一个更强大的机器人 DeepSeek-V4-Flash 上进行了测试。尽管这个机器人本身已经相当出色，但 SETA 的训练仍然给了它助力，将其成功率从 40% 提升到了 43%。这表明这种训练不仅仅是针对某一个特定机器人的小技巧，而是一种真正的提升终端技能的方法。

SETA 不是什么

了解这篇论文没有声称什么也很重要。作者非常谨慎，并没有说他们“解决了”终端智能体的问题。

他们没有说这适用于每一个机器人。他们只测试了几个特定的模型（Qwen 和 DeepSeek）。
他们没有说这适用于所有计算机界面。这专门针对基于文本的命令行，而不是点击屏幕上的图标或使用鼠标的图形用户界面（GUI）。
他们没有声称数据是完美的。他们明确提到必须过滤掉“损坏的”谜题，并且该系统依赖于机器人验证自身工作的能力。

核心启示

这篇论文表明，如果你想教一个机器人成为电脑巫师，你不能只给它一本教科书。你必须为它建立一个训练馆，随着它变得越来越强，练习也会变得越来越难，并且每一项练习都要经过检查，以确保它是确实可以被解决的。

通过将现实世界的难题与一个不断调整难度的系统相结合，SETA 创建了一个包含超过 4,500 个经过验证的训练环境的数据库。它并不是让机器人一夜之间变得完美的魔杖，但它是一个强大的新工具，表明我们可以以一种真正有效的方式来扩展机器人的学习规模。机器人不仅仅是在死记硬背答案；它学会了如何在电脑终端那混乱且不可预测的现实中进行思考。

技术摘要：SETA：为终端智能体扩展环境

问题陈述

大语言模型（LLMs）正越来越多地作为智能体被部署，用于与包括 Web 和图形用户界面（GUI）在内的多种界面进行交互。在这些界面中，终端命令行提供了一个基于文本的通用接口，涵盖了系统操作、数据科学和机器学习任务。然而，为终端智能体扩展训练规模仍然是一个显著的瓶颈。与依赖于 GitHub Pull Request 等自然监督信号的软件工程智能体不同，终端任务缺乏具身化的监督信号。此外，现有方法难以同时合成多样化的任务指令、可执行环境以及可靠的验证逻辑。至关重要的是，当前的方法往往缺乏自适应难度控制，导致数据分布偏向于合成来源本身，而非处于模型特定能力的“有效强化学习区”（productive RL zone）——即任务既具有挑战性又对特定模型而言是可学习的区域。

方法论

作者提出了 SETA（Scaling Environments for Terminal Agents），这是一个旨在为强化学习（RL）生成可验证终端环境的可扩展框架。该框架通过两个共享统一验证机制的连续流水线运行：

1. SETA-Synth：源自适应合成

该流水线将多样化、经人工验证的来源转换为标准化的、可验证的终端环境。

来源： 它聚合了来自社区问答平台（Stack Overflow、Unix & Linux StackExchange）、数据科学笔记本（Kaggle）和精选命令数据集（NL2Bash）的数据。
架构： 它采用了一种使用 Idea Agent 将原始来源示例转换为统一中间草案规范的源自适应架构。该智能体使用特定于来源的适配器来处理格式差异，同时保持统一的任务设计框架。
实例化： 随后，一个 Datapoint Agent 将这些草案实例化为完整的环境，生成 Dockerfile、地面真值（ground-truth）解决方案脚本（solve.sh）、测试套件（test_state.py, test.sh）以及任务指令。
验证： 该流水线强制执行类似于 SWE-bench 的验证协议：
- 无操作测试（No-op Test）： 确保在没有智能体干预的情况下环境会失败。
- Oracle 测试： 确认地面真值解决方案通过所有测试。
- 执行后验证（Post-Rollout Verification）： 一个独立的 轨迹评判智能体（Trajectory Judge Agent） 会审计失败率达 100% 的任务，以区分真正的难度与系统性的设计缺陷（例如测试中未说明的约定），从而剔除后者以防止数据集污染。

2. SETA-Evol：自适应进化

该流水线通过根据训练模型的表现，自适应地重塑难度和类别分布来扩展数据集。

策略选择： 根据模型在特定任务上的通过率 ( $r$ $r$ )，SETA-Evol 选择进化算子：
- 难度增加 ( $d_1$ )： 对于简单任务 ( $r > 0.5$ )，它通过添加约束、边缘情况或多步依赖关系，将任务推向生产力前沿。
- 上下文偏移 ( $b_1$ )： 对于中等难度任务 ( $r \in (0, 0.5]$ )，它在保持难度的同时改变领域或工具集（例如，将 sklearn 替换为 caret，或将 systemd 替换为 init.d），以增加多样性。
- 难度降低 ( $d_1$ )： 对于困难任务 ( $r \approx 0$ )，它通过移除步骤或边缘情况来简化任务，使其变得可学习。
迭代过程： 进化的任务会经过与合成任务相同的严格验证流程，确保高质量数据的持续扩展。

核心贡献

SETA-Synth 流水线： 一种新颖的合成方法，通过使用针对特定来源的适配器，并将生成的环境锚定在多样化且经人工验证的来源中，结合执行后轨迹评判智能体来捕捉被 Oracle 验证遗漏的缺陷。
SETA-Evol 框架： 一个难度自适应进化系统，能够将任务难度校准到训练模型的容量前沿，将分布转向有效的强化学习区，并扩大上下文多样性。
SETA-Env 数据集： 发布了 SETA-Env，这是迄今为止最大的开源可验证终端强化学习数据集，包含 4,567 个环境，涵盖 14 个类别（如系统管理、机器学习、数据处理）。
最先进的结果： 证明了使用强化学习训练的模型在终端基准测试中取得了显著的性能提升。

实验结果

作者通过使用组相对策略优化（GRPO）在 SETA-Env 上训练 Qwen3-8B 和 DeepSeek-V4-Flash 来评估该框架。

Terminal-Bench 2.0 表现：
- Qwen3-8B： 经过 RL 训练的模型在 Terminal-Bench 2.0 上实现了 12% 的 pass@1，相比基座模型（3.6%）提升了 3.3 倍。这代表了 8B 规模 RL 训练模型的最佳报告结果，接近 120B 规模的 GPT-OSS-120B 的性能。
- DeepSeek-V4-Flash： 在 SETA-Env 上训练将 pass@1 从 40% 提高到 43%，将 pass@5 从 54% 提高到 58%，证明了训练信号可以在不同模型家族之间迁移。
泛化能力： 模型在相邻的编码基准测试中也显示出增益，包括 CompileBench (6.7% $\to$ 40%) 和 CRUST-Bench (15% $\to$ 24%)，表明终端能力可以泛化到迭代编译和代码转换任务。
行为转变： 分析显示，经过 RL 训练的模型在执行命令之前会表现出结构化的推理和规划，能够适应具体的执行错误（例如 Docker 中缺失 sudo），而不是盲目反应。

重要性与主张

论文声称 SETA 为生成训练环境和学习信号提供了一个实用且可扩展的流水线。通过集成可执行验证、自适应难度控制和多样化的来源锚定，SETA-Env 解决了终端智能体高质量训练数据匮乏的关键问题。

作者强调，他们的结果证明了可扩展的环境合成结合强大的验证，可以有效地支持交互式设置下智能系统的强化学习训练。他们将 SETA-Env 定位为推进终端智能体学习研究的有价值资源，并指出该数据集尚未被强大的专有模型所饱和，从而保留了其对未来研究的效用。

局限性： 作者承认，目前的验证仅限于两个模型家族（Qwen 和 DeepSeek）及其特定规模。他们还指出，环境目前仅限于基于终端的交互，将 GUI 和多模态扩展作为未来的研究方向。此外，他们强调了潜在的误用风险（未经授权的系统访问），并说明通过从公开、非敏感的来源提取任务并强调沙盒化、可验证的环境来缓解这一问题。