🤖 AI

Learning CLI Agents with Structured Action Credit under Selective Observation

本文通过引入 $\sigma$ -Reveal 推理时机制、动作优势分配（ $\mathrm{A}^3$ ）强化学习方法以及用于可验证评估的 ShellOps 数据集套件，解决了学习命令行界面（CLI）智能体过程中面临的选择性观察和稀疏奖励信用分配的挑战。

原作者： Haoyang Su, Ying Wen

发布于 2026-05-11

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Haoyang Su, Ying Wen

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在雇佣一位非常聪明但视力稍差的助手来管理一座庞大而混乱的图书馆。这位助手可以阅读书籍、移动书架并撰写新笔记，但在任何给定时刻，他只能看到图书馆的一小部分。此外，你只在最后才告诉他是否解开了整个谜题，而不会在他第一步选对了书或第二步写对了笔记时给予反馈。

这正是该论文所面临的挑战：教导CLI 代理（与计算机命令行交互的计算机程序）在复杂的文件系统中工作，在这些系统中，它们无法看到所有内容，且仅在最终获得“做得好”或“失败”的信号。

作者提出了一种训练这些代理的新方法，主要依靠两个核心技巧：σ-Reveal和A3。

两大核心问题

“蒙眼”问题（选择性观察）：
图书馆（计算机的文件系统）拥有成千上万个文件。由于内存（令牌预算）有限，代理无法一次性读取所有文件。如果你向它展示整个图书馆，它会不堪重负；如果你什么都不展示，它就只能靠猜测。
- 论文的解决方案（σ-Reveal）： 这就像一位聪明的图书管理员，他根据代理的具体问题，在代理开始工作之前，只提取并展示相关的书籍和文件夹。图书管理员不会把整个图书馆堆在桌上，而是说：“这是你解决此问题实际需要的 5 个文件，忽略其余部分。”这有助于代理专注于正确的证据，而不会迷失方向。
“黑盒”奖励问题（信用分配）：
代理需要采取许多步骤（回合）来完成任务。在结束时，你只说“成功！”或“失败”。但究竟是哪个具体步骤起了决定性作用？是代理在第 2 步找到了正确的文件，还是在第 4 步输入了错误的命令？
- 论文的解决方案（A3）： 这是一种向代理行为分配信用的新方法。A3 不再仅仅给出“整体做得好”的评价，而是将分数分解为三个层次：
  - 回合得分（Episode Score）： 这次尝试是否比同一任务的其他尝试更有效？
  - 回合得分（Turn Score）： 这个特定命令是否与其他成功尝试中的命令相似？（论文使用一种特殊的“指纹”称为AST（抽象语法树）来比较命令的结构，就像比较句子的骨架而不仅仅是单词一样）。
  - 树得分（Tree Score）： 这一特定行动路径是否比其他代理采取的类似路径带来了更好的结果？
- 类比： 想象一位教练在观看足球队比赛。教练不只是说“我们赢了”，而是说：“第 10 分钟的传球很棒（回合得分），那个动作与上周进球的动作完全一致（结构得分），而且选择进攻左侧而非右侧是正确的策略（树得分）。”这有助于代理确切地知道应该重复什么。

新游乐场：ShellOps

为了测试这一点，作者建立了一个名为ShellOps的新训练环境。

你可以将其视为计算机代理的健身房。
它包含 1600 多个任务，范围从简单的“找到这个文件”到复杂的“编辑这 20 个文件并给我一个摘要”。
它被设计为可验证的：计算机可以自动检查代理是否真正做了正确的事情（例如，文件是否确实被正确编辑了？），而不仅仅是猜测答案听起来是否合理。

尝试后的结果如何？

作者使用一个 140 亿参数的模型（中等规模但强大的大脑），将他们的新技术（A3 + σ-Reveal）与其他顶级 AI 代理进行了测试。

结果： 他们的方法显著优于其他方法。
- 在最困难的任务（“混合”任务，既需要查找信息又需要编辑文件）上，他们的代理正确率约为24.6%，而次优方法仅为11.3%。
- 训练过程也更便宜、更快速。其他一些方法需要第二个“裁判”AI 来评估每一步，这既慢又昂贵。他们的方法利用代码本身的结构进行数学评分，从而保持了低成本。

核心结论

该论文声称，通过为代理提供所需文件的聚焦视图（σ-Reveal）以及对哪些具体行为是有效的详细成绩单（A3），我们可以教会它们更好地导航和修复计算机文件系统。

他们并未声称这适用于医疗诊断、自动驾驶汽车或创意写作。他们专门专注于命令行任务：查找日志、编辑代码、汇总电子表格中的数据以及修复数据库条目。在这个特定的领域，他们这种新的“聪明图书管理员”和“详细教练”方法使代理变得更加聪明和可靠。

技术摘要：在选择性观察下利用结构化动作信用学习 CLI 智能体

问题陈述

命令行界面（CLI）智能体代表了一种实用的智能体 - 计算机交互范式，它们通过 shell 命令直接在文件系统环境中运行，而非依赖预定义的工具 API。然而，训练这些智能体面临两个相互耦合的瓶颈：

选择性观察：智能体必须从部分观察中，在大型、高维的代码库和文件系统内识别与任务相关的证据。初始视图通常仅涵盖环境的一个有限投影，使得选择正确的文件或目录以执行操作变得困难。
稀疏动作信用：在多轮交互中，终端奖励往往稀疏且延迟，仅在回合结束时出现。将信用分配给塑造长轨迹的特定动作极具挑战性，特别是在状态空间庞大且几乎每个观察都唯一的情况下，这削弱了现有强化学习（RL）方法所依赖的、基于重复状态进行归一化的假设。

当前的方法，如轨迹级别的监督微调，往往导致对接口模式的记忆，而非真正的任务理解。相反，现有的 RL 方法（例如 Group Relative Policy Optimization 变体）由于缺乏重复状态，且难以将稀疏的终端奖励映射到特定的 shell 命令结构，因此在 CLI 设置中面临信用分配的困难。

方法论

本文提出了一种统一框架，通过两种主要机制解决观察和信用分配问题： $\sigma$ -Reveal 和 动作优势分配（A3）。

1. $\sigma$ -Reveal：选择性观察

为解决部分观察瓶颈，作者引入了 $\sigma$ -Reveal，这是一种在推理时构建基于 token 预算的初始工作区视图的机制。

机制：在第一个动作之前， $\sigma$ -Reveal 从初始文件树（ $FS_0$ ）中选择一个子树闭合的文件集合，该集合在 token 预算 $B$ 下最大化相关性得分 $\hat{\mu}(x | o_0)$ 。
相关性评分：该得分结合了三个信号：
1. 名称匹配：文件名是否与任务指令中的 token 匹配。
2. 深度先验：基于文件在目录树中深度的几何衰减。
3. 扩展名先验：文件扩展名与推断的任务类型相关的 likelihood。
结果：这确保了智能体获得一个上下文丰富但 token 高效的工作区视图，同时保留所选文件的目录上下文。

2. 动作优势分配（A3）

为解决稀疏信用分配问题，A3 是一种原生智能体 RL 方法，它通过融合三个互补信号来构建每轮的优势，无需辅助价值模型或状态锚定。

基于 AST 的动作相似性：该方法通过比较 shell 命令的抽象语法树（AST）签名来量化动作意图。利用 Tree-sitter 处理 Bash，动作被转换为结构签名（动词、字面量、控制结构），独立于具体的文件路径或字面值。动作之间的距离通过在这些签名上计算归一化的 Levenshtein 距离得出。
三通道优势融合：
1. 回合骨干（ $A^{ep}$ ）：将某次 rollout 的回报与同一提示下兄弟 rollout 回报的中位数进行对比，并通过中位数绝对偏差（MAD）进行归一化。这提供了任务成功的全局信号。
2. 轮次级动作子链残差（ $A^{intent}$ ）：基于近期动作子链的结构相似性（使用 AST 距离），在特定轮次对轨迹进行聚类。它计算结构相似动作的回报的留一法（LOO）均值，并根据与该均值的偏差分配信用。这隔离了特定命令结构的价值。
3. 树优势（ $A^{tree}$ ）：将交互历史基于过去的动作签名抽象为“桶”。它计算采取特定抽象动作分支与从同一抽象状态采取平均分支之间的价值差异。该信号通过组大小进行门控，以防止小簇中的噪声。
融合：这三个信号经过归一化、加权，并通过有界激活函数（tanh）处理，生成用于策略梯度更新的最终优势 $A_i$ 。

3. ShellOps 数据集

为了评估该设置，作者构建了 ShellOps 和 ShellOps-Pro，这是覆盖仓库环境中 CLI 任务的可验证数据集套件。

范围：任务包括查找（提取值）、聚合（从分散证据中得出标量答案）、编辑（可验证的文件重写）和混合（结合 stdout 和文件编辑）。
规模：ShellOps 包含 1,624 个任务；ShellOps-Pro 增加了 150 个更难、分布外（out-of-distribution）的任务，具有更大的工作区（每个任务中位数为 25 个文件，而标准集为 3 个）和多样的文件扩展名。

关键结果

实验使用 Qwen3-14B 策略模型在多个基准测试（AgentBench, DataBench, EHRCon, TableBench 和 ShellOps）上进行。

性能：结合 $\sigma$ -Reveal 的 A3 在 Qwen3-14B 方法中取得了最强的结果。在 ShellOps 混合任务（需要同时进行文件编辑和 stdout 输出）上，A3 达到了 24.6% 的精确匹配分数，显著优于最强的基线（11.3%）。
采样效率：在 Pass@k 方面，结合 $\sigma$ -Reveal 的 A3 在 ShellOps 上达到了 55.7%（Pass@5），而最佳非 A3 基线为 28.6%。
长视野迁移：在具有扩展视野（长达 10 步）的 ShellOps-Pro 上，A3 在 Qwen3-14B 智能体中保持了最佳性能，在特定设置下达到了与更大规模的前沿模型（例如 Qwen3-235B）相当的性能水平，尽管与 Kimi-K2.6 等模型仍存在差距。
稳定性：训练诊断显示，A3 保持了稳定的代理 KL 散度和策略熵，避免了 HGPO 和 RetroAgent 等基线中观察到的"KL 尖峰”和熵崩溃。
效率：A3 的优势计算成本与标准的组相对训练相当，而不同于依赖 LLM 裁判的方法（如 GiGPO, HGPO），后者会产生显著更高的计算开销。

意义与主张

本文主张 工作区证据选择 和 命令结构 是 CLI 智能体学习的有效基础。

结构化信用：通过利用 CLI 动作的原生结构化属性（AST 签名）而非表面文本，A3 提供了一种可扩展且计算高效的信用分配方法，不依赖重复状态或外部裁判。
观察管理： $\sigma$ -Reveal 证明了选择性、基于 token 预算的上下文注入可以有效缓解大型文件系统中的部分观察问题，而无需进行穷举搜索。
实用范式：这项工作为 CLI 智能体建立了一个可验证的循环，其中奖励源自可执行结果（文件状态和终端输出），从而超越了孤立的输入 - 输出对，实现了真正的多轮交互优化。

作者指出了局限性，包括依赖 shell 结构作为意图的代理（可能会遗漏路径或文件内容中的语义差异），以及当前范围仅限于 shell 驱动的文件系统交互，需要进一步验证以适用于 GUI 或网络设置。