💬 NLP

StructAgent: Harness Long-horizon Digital Agents with Unified Causal Structure

StructAgent 引入了一种以状态为中心的框架，该框架利用统一的因果结构来管理长程数字智能体任务，通过实现可验证、基于证据的进度追踪与恢复，显著提升了在不同 LLM/VLM 基座及环境下的成功率和泛化能力。

原作者： Wenyi Wu, Sibo Zhu, Kun Zhou, Aayush Salvi, Zixuan Song, Biwei Huang

发布于 2026-07-14

📖 1 分钟阅读☕ 轻松阅读

原作者： Wenyi Wu, Sibo Zhu, Kun Zhou, Aayush Salvi, Zixuan Song, Biwei Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教一个超级聪明的机器人完成一项漫长且复杂的家务，比如“在我的最新邮件中找到那张照片，保存它，并将其设置为你的桌面壁纸”。如果你只是告诉机器人“去做吧”，然后让它在工作时自言自语，事情很快就会变得一团糟。机器人可能会忘记自己刚刚做了什么，会对失败的尝试感到困惑，或者在任务其实还处于中间阶段时就以为已经完成了。这就像是在蒙着眼睛走迷宫，而且只能记住上一步的操作。

这就是 StructAgent 这篇论文试图解决的问题。作者认为，与其让机器人通过一个庞大、混乱的自身过去行为堆（他们称之为“原始交互历史”）来摸索，我们更需要给它一个结构化、有组织的笔记本，来记录它究竟处于什么位置。

核心理念：一本“说真话”的笔记本

该论文提出了一种运行数字智能体的新方法，称为 StructAgent。把它想象成给机器人一本特殊的、由三部分组成的笔记本，它必须在进入下一步之前更新这本笔记本。这本笔记本不仅仅是日记；它是一个经过验证的、关于现实的严格记录。

待办事项： 当前需求的列表（例如，“我需要找到邮件附件”）。
已知信息： 目前收集到的有用事实（例如，“文件路径是 /home/user/pics”）。
工作证明： 证实某一步骤确实已完成的证据（例如，“我检查了文件夹，图片文件确实在那里”）。

其魔力不仅在于笔记本本身，还在于使用它的规则。在大多数机器人系统中，如果机器人说“我做完了”，它就算做完了。但在 StructAgent 中，机器人不能仅仅声称胜利。它必须将它的工作交给一个验证器（Verifier）（一个严格的裁判）。验证器会检查证据。只有当验证器说：“是的，我看到了那个文件，并且它符合规则”时，笔记本才会得到更新。如果验证器说：“不，那不是正确的文件”，笔记本将保持不变，机器人必须重试或修正错误。

他们反对的是什么

论文明确反对这样一种观点，即智能体应该仅仅基于它们的“感觉”或一份冗长、非结构化的所有既往行为清单来继续行动。他们展示了当任务变得漫长且复杂时，这种“原始历史”的方法会让机器人迷失方向。机器人会被失败的尝试和半途而废的工作所淹没，导致无法判断自己是在取得进展，还是仅仅在原地打转。StructAgent 说：“停止猜测。停止依赖混乱的记忆。使用经过验证的、结构化的状态。”

结果：它真的有效吗？

作者不仅提出了这个想法，还在真实的计算机任务上进行了测试。他们在名为 OSWorld-Verified 的基准测试上进行了实验，该测试测试智能体如何使用真实的桌面应用程序（如电子邮件、电子表格和照片编辑器）。

以下是他们发现的结果，包含了研究中的确切数字：

当他们使用较小的 AI 模型 Qwen3.5-9B 时，成功率从 27.0%（未使用 StructAgent）跃升至 46.9%（使用 StructAgent）。这是一个巨大的进步！
使用稍大的模型 Qwen3.5-27B 时，成功率从 31.6% 提升到了 62.2%。
当他们使用最强大的开源模型 MiniMax-M3 时，StructAgent 帮助它达到了 78.9% 的成功率。这是他们在该特定测试中发现的任何开源方法的最高分。

他们还尝试将这个系统应用在一个完全不同的世界中：电子游戏《我的世界》（Minecraft）。在这里，不再是检查桌面文件，而是由“验证器”检查玩家的物品栏。即使在这样一个完全不同的环境中，该系统依然有效，证明了“经过验证的笔记本”这一理念具有很强的灵活性。

“坑”与局限性

论文谨慎地指出，这并不是解决一切问题的万灵药。

它还不完美： 即使有了 StructAgent，有些任务仍然会失败。当他们分析失败原因时发现，大约 33% 是因为机器人（“执行者/Actor”）操作失误，30% 是因为规划器产生了困惑，另有 30% 是因为验证器遗漏了某些内容。
它取决于任务： 该系统在有清晰、可检查证据的任务中表现最好（例如，计算机中存在某个文件）。在高度依赖视觉细节的任务中（例如，“让文字看起来更漂亮”），由于没有简单的文件可以检查，它会显得有些吃力。
它是一个框架，而非单一模型： 论文表明，这种结构有助于许多不同的 AI 模型。他们并不是构建了一个新的“超级大脑”，而是为任何大脑提供了一种更好的组织工作的方式。

总结

论文表明，要让 AI 智能体在处理长期、复杂的工作时变得可靠，我们需要停止将它们视为自由流动的聊天机器人，而要开始将它们视为拥有严格、经过验证的清单的细心项目经理。通过强制要求智能体在前进之前证明其进度，StructAgent 使这些数字助手变得更加可靠、透明，并能够处理现实世界中漫长且杂乱的任务。这是向着“不仅是在尝试做事，而且确实知道自己已经做完事”的智能体迈出的重要一步。

技术摘要：StructAgent

问题陈述

大型语言模型（LLMs）和视觉语言模型（VLMs）的最新进展使得数字智能体能够执行计算机使用任务。然而，现实世界的任务通常是**长程（long-horizon）**的，涉及具有演进上下文的复杂工作流。随着智能体执行这些任务，它们会积累包含事实信息、中间编辑、失败尝试以及部分完成执行的原始交互历史。

识别出的核心挑战在于，现有的智能体通常是在这种原始且非结构化的历史记录上进行操作。随着上下文的增长，关键信息会被掩埋，当前任务的状态也会变得模糊。这种缺乏结构化的现状导致智能体难以：

维持对任务进度的清晰因果理解。
及时检测异常状态或中间错误。
进行准确的规划与执行。
在不重放整个历史记录的情况下从失败中恢复。

因此，可靠的长程执行受到了限制，因为智能体难以区分有效的进度与噪声，或者难以区分真实的完成情况与仅靠自我报告但未经验证的完成声明。

方法论：StructAgent

为了应对这些挑战，作者提出了 StructAgent，这是一个以状态为中心的框架，它通过围绕任务进度的统一因果表示来显式地构建智能体的状态和工作流。该框架由两个互补的部分组成：

1. 统一智能体状态

不同于从原始轨迹中推断进度，StructAgent 维护一个紧凑、类型化且可审计的状态 $s_t$ ，作为所有模块的共享接口。该状态定义为：
$s_t = (s_t^{req}, s_t^{val}, s_t^{ver})$

$s_t^{req}$ （需求）： 存储当前子目标的各项要求，规定了必须实现的目标以及验证器应当检查的内容。
$s_t^{val}$ （有用数值）： 存储在执行过程中发现的持久且有用的数值（例如：文件路径、URL、选定的实体）。
$s_t^{ver}$ （已验证证据）： 存储验证器在探测过程中收集的证据，用于审计和复用。

面向因果的状态转移： 状态转移受到严格控制。需求的地位（ $\sigma_{i,t}$ ）只能基于验证器支持的决策，变更为 VERIFIED（已验证）或 INVALIDATED（已失效）。这确保了进度更新是基于可验证的证据，而非智能体的自我报告。

2. 结构化工作流

该框架运行在一个固定的执行循环之上：规划器（Planner） $\rightarrow$ 执行器（Actor） $\rightarrow$ 验证器（Verifier） $\rightarrow$ 状态更新（State Update）。

规划器： 读取当前状态以选择下一个子目标（ $g_t$ ）。它无需从原始历史记录中重建进度。
执行器： 尝试在环境中执行子目标，产生一个动作轨迹（ $\tau_t$ ）。
验证器： 通过结构化且具有智能体特征的探测（例如：检查文件、Shell 输出、应用程序状态），检查尝试执行的子目标是否产生了有效进度。它输出一个决策（ $d_t$ ）来验证、使失效或保持状态不变。
记忆（Memory）： 提供基于状态条件的支撑，根据可复用的经验建议子目标或动作模式。

实现的关键能力

进度检查点： 状态历史记录作为一个自包含、人类可读的快照，允许智能体在无需重放完整交互历史的情况下恢复执行。
针对性失败恢复： 当进度停滞时，系统利用已验证的证据（例如：缺乏证据、需求冲突）进行诊断，并选择特定的干预措施（重新规划、重试或人工接管），而非进行通用的重试。
工具支持的执行： 重复出现的模式被总结为可复用的程序。执行器可以调用这些工具，但只有经过验证的结果才会被提交到状态中。

核心贡献

统一状态： 引入了一种紧凑、类型化且可审计的状态表示，为规划、执行和验证提供了关于任务进度的统一视图。
结构化工作流： 设计了一个规划-执行-验证的循环，其中只有经过验证器支持的决策才能提交、保留或使进度失效。
广泛的实证验证： 证明了该框架提升了多种 LLM 和 VLM 基座在长程计算机使用任务中的表现，并在不同领域（桌面、网页和 Minecraft）展现出泛化能力。

实验结果

OSWorld-Verified（桌面端）

该框架在 OSWorld-Verified（一个长程计算机使用的基准测试）上进行了评估。StructAgent 在各种基座模型上均一致提升了性能：

Qwen3.5-9B： 将成功率从 27.0%（单模型）提升至 46.9%。
Qwen3.5-27B： 将成功率从 31.6% 提升至 62.2%。
MiniMax-M3： 达到了 78.9% 的新开源 SOTA 水平，超过了单模型的 75.2%。
领域表现： 增益在“办公”类任务（电子表格、文档）中最为显著，因为这些任务拥有持久的中间状态和基于文件的检查机制。跨应用任务仍然具有挑战性，但在更强的基座模型下仍有提升。

泛化能力

网页端 (Mind2Web)： StructAgent 泛化到了 Web 环境，实现了 47.3% (Qwen3.5-9B) 和 52.3% (Qwen3.5-27B) 的表现，超越了复现的基线模型。在可以通过 URL 和页面状态追踪进度的信息检索类任务中，增益最为明显。
Minecraft： 通过将桌面端的证据源替换为基于物品栏的验证，该框架在 Minecraft 中得到了实例化。它实现了 76% 的任务加权平均成功率（相比之下，Optimus-1 为 59%），证明了这种状态更新机制是与领域无关的。

分析

验证质量： 与仅基于视觉的验证相比，结构化验证将召回率从 0.67 提升到了 0.81，这主要是通过找回了那些在最终截图中不可见的真实完成情况（例如：文件的存在性、命令输出）。
失败模式： 对失败轨迹的分析显示，错误分布在规划器 (30%)、验证器 (30%) 和执行器 (33%) 之间，这表明长程可靠性需要系统级的改进，而不仅仅是扩展执行器的规模。

意义与主张

论文认为，抽象的目的是创建一个可以做到“绝对精确”的语义层（引用 Edsger W. Dijkstra）。StructAgent 通过从在嘈燥历史记录上的连续生成转向显式的因果结构，实现了这一点。

作者主张：

透明度与控制： 通过强制执行由验证器支持的状态转移，智能体的进度变得透明、可审计且可控。
鲁棒性： 该框架实现了针对性的失败恢复和基于证据的任务完成，减少了对脆弱的自我报告式“DONE”声明的依赖。
通用性： 这种以状态为中心的范式并不受限于特定的模型规模或桌面环境；通过调整证据来源并保持相同的结构化工作流，它可以有效地泛化到 Web 浏览器和游戏环境（Minecraft）。

这项工作将自身定位为一种针对长程可靠性的系统级解决方案，表明构建任务进度本身的结构，与改进底层的语言模型同样重要。