🤖 AI

InfantAgent-Next: A Multimodal Generalist Agent for Automated Computer Interaction

本文介绍了 InfantAgent-Next，这是一种高度模块化的多模态通用智能体，它融合了基于工具的能力与纯视觉能力，以支持协作式、分步式的计算机交互，并在 OSWorld、GAIA 和 SWE-Bench 等多个基准测试中实现了最先进的性能。

原作者： Bin Lei, Weitai Kang, Zijian Zhang, Winson Chen, Xi Xie, Shan Zuo, Mimi Xie, Ali Payani, Mingyi Hong, Yan Yan, Caiwen Ding

发布于 2026-05-04

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Bin Lei, Weitai Kang, Zijian Zhang, Winson Chen, Xi Xie, Shan Zuo, Mimi Xie, Ali Payani, Mingyi Hong, Yan Yan, Caiwen Ding

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你有一位非常聪明但略显笨拙的私人助理，名叫 InfantAgent-Next。

在计算机自动化领域，当今的大多数助理要么像只精通一事的专业人士，要么像试图包揽一切却常感困惑的通才。

有些助理像图书管理员：他们擅长使用特定的工具列表（如“搜索网络”或“打开文件”），但如果你让他们点击一个从未见过的屏幕上的按钮，他们就会僵住，因为他们没有针对该特定按钮的工具。
其他助理则像艺术家：他们能看着屏幕并“看见”上面的内容，但难以进行复杂的数学运算或编写代码，因为他们试图仅凭双眼完成所有工作，而没有计算器或文本编辑器。

InfantAgent-Next 则不同。它不像雇佣单个人，而像是雇佣了一支瑞士军刀团队。

它是如何工作的：“大脑与双手”团队

InfantAgent-Next 并非让一个巨大的大脑试图包揽一切，而是将每项任务分解为小步骤，并将每个步骤发送给最适合该步骤的专家。

管理者（规划者）：当你提出“将此网页保存到书签”的请求时，一个高层“管理者”模型会读取你的请求。它不会尝试自己点击鼠标，而是说：“好的，我们需要打开浏览器，找到书签按钮，然后点击它。”
专家：随后，管理者会召唤合适的专家来执行任务：
- 眼睛（视觉定位）：如果任务是“点击红色按钮”，一个专门的视觉模型会查看屏幕，找到该红色按钮的确切像素坐标，并告诉系统点击何处。这就像一位目光锐利的观察员在引导一位蒙眼的弓箭手。
- 计算器（代码执行）：如果任务是“分析这个 Excel 文件”，管理者会将文件交给一位编码专家，由他编写脚本来即时完成数学运算，而不是试图通过查看屏幕来逐行计数。
- 耳朵（音频分析）：如果你上传一段录音并询问“提到了第几页？”，一个专门的音频模型会聆听该文件并提取答案。
记忆：系统保存一本共享的笔记本。每当一位专家完成一个步骤，他们就会将其记录下来。下一位专家会拿起笔记本，阅读已发生的内容，并继续推进故事。这确保了团队不会偏离目标。

这为何重要（“魔法”技巧）

该论文强调了该系统解决的两个主要问题：

“点击”问题：许多 AI 代理不擅长点击屏幕上的正确位置。它们可能会向左偏离 5 个像素而错过按钮。InfantAgent-Next 使用了一种**“放大”*技术。如果它需要点击一个按钮，它不会仅仅猜测。它会截取屏幕图片，找到大致区域，裁剪该区域使其变大，再次找到按钮，再次裁剪，然后才*进行点击。这就像用放大镜在干草堆里找针，确保点击精准无误。
“编辑”问题：在编辑文本文件时，AI 经常搞错行号（例如，本应是第 6 行，却说是“更改第 5 行”）。InfantAgent-Next 拥有一个**“双重检查”**系统。它提出更改，然后查看实际文本以验证：“第 5 行实际上是否如我所想的那样？”如果不是，它会在进行编辑前调整计划，从而避免混乱的错误。

它能做什么（证明）

研究人员在三种类型的挑战中，将这支“专家团队”与其他顶级 AI 代理进行了测试：

现实世界桌面任务（OSWorld）：他们要求代理执行诸如“下载文件”、“编辑文档”和“浏览网站”等操作。InfantAgent-Next 以**7.27%**的优势击败了著名的"Claude Computer Use"代理。它在无需人工协助的情况下，更擅长实际完成任务。
代码与漏洞修复（SWE-Bench）：他们要求代理修复真实软件项目中的损坏代码。其表现与许多昂贵的闭源商业代理相当，甚至更优。
通用知识与逻辑（GAIA）：他们提出了需要搜索网络、阅读文件和推理的复杂问题。InfantAgent-Next 在所有开源代理中排名第二，证明其能够处理棘手的、多步骤的逻辑问题。

结论

InfantAgent-Next 并非一个试图包罗万象的单一大型 AI 模型。它是一位模块化指挥家，确切知道何时召唤“眼睛”、“耳朵”、“编码员”或“鼠标点击者”。通过让每位专家发挥其所长，整个系统变得更加聪明、准确，并能够处理我们每天在电脑上面临的杂乱无章的现实世界任务。

研究人员已将该“专家团队”的代码公开，供任何人使用和研究，希望有助于在未来构建更出色的计算机助理。

以下是论文《InfantAgent-Next：用于自动化计算机交互的多模态通用智能体》的详细技术总结。

1. 问题陈述

当前用于计算机交互的自动化 AI 智能体在通用性与准确性之间面临根本性的权衡：

基于工具的智能体：（例如 OpenHands、AutoGPT）依赖预定义的工具（代码、搜索）来提高特定任务的准确性。然而，它们需要为每个新场景手动集成工具，导致其脆弱且适用范围有限。当遇到其工具集未涵盖的软件时，它们往往会失败。
纯视觉智能体：（例如 UI-TARS、Aguvis）使用视觉 - 语言模型（vLLMs）直接控制图形用户界面（GUI），无需工具。虽然它们具有高度的通用性，但在高分辨率推理方面存在困难，经常错误定位 UI 元素（点击错误的坐标），或在文件编辑和代码操纵等精确任务上失败，而这些任务本可以通过简单的工具调用来完成。
差距：现有解决方案要么缺乏处理多样化、非结构化任务的灵活性，要么缺乏可靠执行复杂、重度工具操作的精度。因此，需要一种混合范式，将基于工具执行的精确性与纯视觉控制的适应性统一起来。

2. 方法论：InfantAgent-Next 架构

InfantAgent-Next 引入了一种高度模块化、多模态的通用智能体，它在统一的对话上下文中集成了基于工具和纯视觉的方法。它不依赖单一的单体模型，而是根据子任务的优势将其路由到专用模型。

核心架构

该系统在一个迭代循环中运行，包含三个不同的角色，每个角色可能由不同的模型驱动：

规划器：分析用户请求和当前状态，生成高层任务计划。
工具选择器：从精选库中动态选择最合适的工具集（例如文件编辑、网页浏览、计算机使用）。
执行器：调用所选工具并从环境中收集反馈。

关键技术组件：

模块化工作流与记忆：智能体维护统一的对话历史，但使用特殊标签（<thought>、<task>、<toolkit>、<execute_bash> 等）解析响应。这允许系统专门为当前子任务（规划与执行）重建上下文，防止上下文窗口膨胀和生成无关内容。
动态工具集：系统将工具分为七个工具集（文件读取、搜索、编辑、网页浏览、计算机使用、代码执行、高级工具）。它为每个步骤动态选择相关工具的子集，以降低推理成本并减少大语言模型（LLM）的认知负荷。
多模态集成：智能体支持文本、图像、音频和视频。它可以将音频分析路由到专用音频模型，将视觉定位路由到视觉模型，将逻辑推理路由到高级 LLM。

新颖改进

本文引入了特定算法，以解决最先进（SOTA）智能体中已知的故障点：

用于鼠标点击的迭代区域裁剪（算法 1）：为解决模型误识别坐标的“视觉定位”问题：
1. 智能体截取全屏截图。
2. 视觉定位模型预测一个候选坐标。
3. 系统在该坐标周围裁剪一个更小的区域。
4. 此过程重复 $n$ 次（迭代缩小搜索区域）。
5. 最终精化的坐标用于点击。这显著减少了无关像素的干扰。
鲁棒的文件编辑（算法 2）：以处理基于行号的文件编辑中的错误：
1. 智能体生成包含起始/结束行和预期内容的计划。
2. 它验证实际文件内容是否与预期边界匹配。
3. 如果出现不匹配（例如差一错误），则切换到回退策略：它将预期内容字符串模糊化，并在文件中搜索最佳匹配范围，在应用更改之前动态更新编辑请求。

3. 主要贡献

InfantAgent-Next 框架：一个开源的多模态通用智能体，桥接了基于工具和纯视觉的范式，支持文本、图像、音频和视频输入。
详细的模块化：一种新颖的架构，解耦了规划、工具选择和执行，允许不同的模型（推理、视觉定位、音频分析）在统一上下文中无缝协作。
增强的执行机制：引入了用于高精度 GUI 交互的迭代区域裁剪，以及用于可靠文件编辑的模糊匹配回退，解决了当前智能体的两种主要故障模式。
开源工具集：发布了一套优化的智能体工具和隔离的执行环境（基于虚拟机），以支持未来的研究。

4. 实验结果

该智能体在涵盖视觉、逻辑和通用任务的三个主要基准上进行了评估：

OSWorld（视觉推理）：
- 指标：369 个开放式桌面任务的准确性。
- 结果：InfantAgent-Next 实现了 35.3% 的准确率（50 步），比 Claude-Computer-Use (26.0%) 高出 7.27%，并超越了 Agent-S2 等其他开源框架。它展示了将自然语言指令定位到 GUI 元素方面的卓越能力。
SWE-Bench（逻辑推理与代码）：
- 指标：解决真实的 GitHub 问题。
- 结果：在 SWE-Bench-Verified（50 个案例）子集上，它实现了 66% 的准确率，优于多个闭源智能体（例如 Amazon Q Developer Agent 为 54%）。在 SWE-Bench-Lite 上，它实现了 31.67%，在开源智能体中排名靠前。
GAIA（通用任务性能）：
- 指标：三个难度级别的开放式问题。
- 结果：InfantAgent-Next 在开源智能体中排名第二（平均 56.97%），仅次于 OWL，并在 Level 2（中等）难度问题上实现了最先进（SOTA）的性能。
消融研究：
- 迭代区域裁剪机制显示在第 3 次迭代时收敛至准确性，其中 2 次迭代在性能和成本之间提供了最佳权衡。
- 文件编辑逻辑在 SWE-Bench 任务上实现了 90.4% 的总成功率，成功修复了 84.3% 的失败尝试（例如修复差一行错误）。

5. 意义

InfantAgent-Next 代表了通用计算机智能体的重要进步。通过摒弃“单一模型包办一切”或“刚性工具链”的方法，它证明了模块化、多模型架构既能通过专用定位和编辑逻辑实现执行的高精度，又能通过动态工具选择和多模态理解实现广泛的适应性。

这项工作证明了：

混合化是关键：结合 LLM 的推理能力与专用视觉和工具模块的精度，优于单体模型。
迭代优化有效：简单的算法改进（如迭代裁剪）可以极大地解决困扰视觉智能体的“幻觉坐标”问题。
可扩展性：该框架足够稳健，能够处理涉及代码、网页浏览和文件操纵的复杂多步骤工作流，使其成为现实世界自动化任务的可行候选者。

代码、模型和评估脚本的开源为社区进一步发展多模态智能体系统奠定了坚实基础。