🤖 AI

OpenComputer: Verifiable Software Worlds for Computer-Use Agents

本文介绍了 OpenComputer，这是一个以验证器为基础的框架，通过整合特定应用的状态验证器、自演进验证层、任务生成流程以及评估工具包，为计算机使用智能体构建可验证的软件世界，从而揭示尽管当前前沿及开源智能体已取得部分进展，但其鲁棒性仍存在显著差距。

原作者： Jinbiao Wei, Qianran Ma, Yilun Zhao, Xiao Zhou, Kangqi Ni, Guo Gan, Arman Cohan

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Jinbiao Wei, Qianran Ma, Yilun Zhao, Xiao Zhou, Kangqi Ni, Guo Gan, Arman Cohan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在教一个机器人完成你的日常琐事，比如整理数字文件、编辑照片或发送电子邮件。你希望机器人做到完美，但你如何知道它是否真正正确地完成了任务？

这正是《OpenComputer》论文所解决的问题。作者为使用计算机的 AI 智能体构建了一个全新的“训练健身房”，但有一个非常具体的转折：他们不仅查看机器人的工作成果，更以严格、目不转睛的目光检查机器人的“作业”。

以下是 OpenComputer 的工作原理，通过简单的类比进行解释：

1. 问题：“假装做到直到真正做到”的陷阱

过去，在计算机上测试 AI 就像只通过看封面来给学生的论文打分。如果封面看起来很漂亮，老师（一个 AI 裁判）可能会给个 A。但学生可能实际上留白了正文，或者填满了胡言乱语。

在数字世界中，AI 可能会截取一张看起来已完成的文档的截图，但如果内部文件实际上是空的，或者设置不正确，"AI 裁判”可能会忽略这个错误，因为它只看到了图片，而没有看到数据。

2. 解决方案：“数字检查员”

OpenComputer 通过构建一个可验证的软件世界来改变游戏规则。它不再仅仅观察屏幕，而是在 AI 使用的每个应用程序内部安装了一支专门的“检查员”团队（称为验证器）。

检查员的工作： 想象一位图书管理员，他们不仅仅看书的封面。他们会打开书，检查页码，核实作者姓名，并确保文本与图书馆的数据库相匹配。
工作原理： 对于每个应用程序（如网页浏览器、照片编辑器或电子表格），OpenComputer 都会构建一个自定义脚本，能够直接与应用程序的“大脑”对话。它会提出问题，例如：“文件真的保存了吗？”“用户真的点击了那个按钮吗？”“文本是否在正确的单元格中？”

3. 四步构建流程

该论文描述了一条用于构建这些完美测试场景的四步流水线：

步骤 1：构建检查员。 他们为每个应用程序创建一把“钥匙”，使系统能够窥探软件隐藏的状态（文件、设置、历史记录），而不仅仅是根据屏幕进行猜测。
步骤 2：自我改进循环。 他们用“强大”的 AI 来测试这些检查员。如果检查员说“干得好”，但 AI 实际上搞砸了，系统就会捕捉到错误。随后，它会修复检查员的代码，使其下次变得更聪明。这就像教练观察球员练习，然后调整训练设备以提高准确性。
步骤 3：创建任务。 一旦检查员变得可靠，系统就会生成 1,000 个逼真的任务（例如“整理这 50 个文件”或“编辑这张照片”）。由于检查员已经准备就绪，每个任务都有清晰、机器可验证的“通过”或“失败”标准。
步骤 4：期末考试。 他们在一个新的、干净的数字房间里运行 AI 智能体。智能体尝试解决这些任务，而检查员则根据实际数据（而不仅仅是图片）立即对它们进行评分。

4. 他们的发现

当他们在这一新健身房中测试最先进的 AI 模型（如 GPT-5.4 和 Claude）时，发现了一些令人惊讶的事情：

“差点”问题： 即使是最聪明的 AI 也难以完美地完成整个任务。它们通常能完成 80% 的工作，但在微小的最终细节上失败（例如将文件保存在错误的文件夹中）。
“虚假”成功： 旧的评判方式（使用 AI 查看截图）过于宽容。它给那些看起来成功了但实际未通过数据检查的智能体打了高分。新的“硬编码验证器”要严格得多，并且更符合人类的判断。
开源模型的差距： 一些在其他测试中表现出色的开源模型在这里突然表现得很差。这表明它们擅长为简单测试“猜测”正确答案，但无法应对真实、混乱的计算机软件复杂性。

5. 核心启示

OpenComputer 不仅仅是一份任务清单；它是一个新的真理标准。

可以将其想象为从“荣誉制度”考试（AI 声称：“我做到了！”）转变为“监考考试”，其中机器人监考员根据答案键检查每一个答案。该论文得出结论，虽然 AI 在查看屏幕方面变得越来越擅长，但在能够可靠地执行复杂的现实世界计算机工作而不犯下微妙但关键的错误之前，它还有很长的路要走。

简而言之： OpenComputer 构建了一个数字游乐场，其中的规则由代码而非猜测来核查，揭示了当今的 AI 智能体仍在努力学习如何成为真正可靠的数字劳动者。

技术摘要：OpenComputer

问题陈述

计算机使用智能体（computer-use agents）的扩展目前受到两个关键挑战的瓶颈制约：构建真实、可复现的桌面环境成本高昂，以及在复杂软件状态下验证任务成功难度极大。传统任务创建需要手动设计用户目标和环境初始化（例如填充文件、配置设置），这一过程既繁琐又缺乏标准化。此外，评估往往依赖“大语言模型作为裁判”（LLM-as-judge）或对屏幕截图进行视觉检查，这种方法无法检测底层应用状态、文件元数据或持久性副作用中那些视觉上不明显但细微的错误。现有的基准测试大多由人工策划，规模有限，且往往缺乏可信的、可机器检查的奖励信号。

方法论：OpenComputer 框架

OpenComputer 是一个以验证器为根基的框架，旨在为计算机使用智能体合成可验证的软件世界。它将验证视为环境构建和任务构建的组织原则，而非下游的评估步骤。该框架由四个紧密耦合的组件构成：

1. 应用特定状态验证器

OpenComputer 构建了一个验证栈，其中每个受支持的应用程序都配有一个在沙盒内运行的合成 Python 验证器模块。

检查通道：验证器利用最可靠的应用程序特定检查通道，例如浏览器调试协议（CDP）、D-Bus、基于 SQLite 的配置文件数据库、辅助功能 API（AT-SPI）以及直接文件解析（例如针对 Inkscape、VS Code 或 Blender）。
端点构建：系统生成带有 JSON 输出的 CLI 子命令，以暴露结构化的状态表面（内容、偏好设置、历史记录、元数据）。
测试协议：验证器需经过严格的“调试 - 修复 - 重试”循环，并配合单元测试和集成测试，以确保它们能可靠地检查实际软件状态，而非依赖启发式匹配。

2. 自进化验证层

为了解决验证器中的残余错误（例如脆弱的模式假设或覆盖不全），OpenComputer 实施了一个自进化循环：

校准：由一个强大的智能体在沙盒中执行一组少量从简单到中等难度的任务。
分歧诊断：一个大语言模型评估器和程序化验证器独立地对最终状态产生裁决。识别出归因于验证器错误（而非智能体失败）的分歧。
优化：基于此反馈，对验证器代码、端点或文档进行优化。此过程迭代进行，直到验证器与参考裁决一致或预算耗尽。

3. 任务生成流水线

任务通过一个感知验证器的流程进行合成：

提议：系统提出真实的用户目标，且不基于现有验证器进行条件设定，以确保多样性。
过滤：根据复杂度和数据可生成性过滤提议，优先选择多步骤工作流。
落地：任务在验证栈中落地。如果某种状态可检查但缺乏端点，则生成新的端点。
合成：系统通过生成所需的文件、配置和配置文件来具体化任务，输出任务实例 $\tau = (x, e, c)$ ，其中 $x$ 是指令， $e$ 是环境初始化， $c$ 是可机器检查的成功标准。

4. 评估工具

该工具在全新的桌面沙盒中运行智能体，记录完整的截图 - 动作轨迹。成功是通过在最终软件状态下执行任务的检查命令来计算的。奖励是通过的检查比例（ $R = N_{pass}/N_{total}$ ），允许部分得分，同时保持精确的、可机器检查的成功条件。

主要贡献

OpenComputer 框架：一个以验证器为根基的系统，用于自动生成真实的软件世界、任务描述和验证器，无需人工构建。
可靠性验证：实证证据表明，硬编码的验证器比“大语言模型作为裁判”的评估更紧密地符合人类裁决，特别是在细粒度的应用状态方面。
大规模基准测试：发布包含 33 个桌面应用程序和 1,000 个最终任务的集合，涵盖浏览器、办公工具、创意软件、开发环境和通讯应用。

实验结果

作者在 OpenComputer 基准测试上评估了前沿和开源智能体：

前沿性能：GPT-5.4 取得了最高性能，完整任务成功率为 68.3%，平均奖励为 88.4%。其次是 Claude-Sonnet-4.6（64.4%）和 Kimi-K2.6（58.8%）。尽管取得了较高的部分进展，但可靠的端到端完成仍然困难。
开源差距：与在现有基准测试（如 OSWorld）上报告的分数相比，开源模型表现出显著的性能下降。例如，GUI-OWL-1.5-8B 的分数从 OSWorld 的 52.3% 下降到 OpenComputer 上的 5.7%。
效率：GPT-5.4 效率最高，平均每个任务 19.0 步，部分原因是其能够组合操作并避免在输出中进行冗长的推理轨迹。
验证一致性：在 120 个任务的比较中，硬编码验证器与人类裁决的匹配率为 94.1%，而大语言模型裁判为 79.2%。验证器在检测终端日志、折叠面板以及截图所遗漏的精确文件元数据中的错误方面尤为出色。
自进化影响：自进化验证层在校准任务中修复了 89.4% 的检查器端错误，将人类与检查器的一致性从 85.2% 提升至 94.1%。

意义与主张

本文主张，OpenComputer 通过将真实的软件世界与可机器检查的反馈相结合，为扩展计算机使用研究提供了基础架构。作者认为：

验证至关重要：智能体的可扩展合成必须与可靠的检查相结合，而不是依赖像大语言模型裁判或截图这样薄弱的代理评估。
当前局限性：即使是前沿智能体在真实的桌面工作流中也难以完成端到端任务，暴露了稳健计算机自动化方面的差距。
未来效用：该框架不仅支持评估，还通过提供可审计的、有根基的奖励来支持训练流水线（例如 SFT、RL）。它作为研究复杂软件环境中智能体可靠性和故障模式的受控起点。

作者承认，对于需要视觉或几何判断的任务（例如 Draw.io 中的空间布局），这些任务无法完全简化为程序化检查；此类任务被排除在主基准测试之外以保持可复现性，但已发布以供未来的混合验证研究使用。