🤖 AI

MMSkills: Towards Multimodal Skills for General Visual Agents

本文介绍了 MMSkills，这是一个旨在解决基于文本的技能表示局限性的框架，它通过形式化并实现可复用的多模态程序性知识——将文本程序与状态条件化的视觉证据相结合——来增强通用视觉智能体的运行时决策能力。

原作者： Kangning Zhang, Shuai Shao, Qingyao Li, Jianghao Lin, Lingyue Fu, Shijian Wang, Wenxiang Jiao, Yuan Lu, Weiwen Liu, Weinan Zhang, Yong Yu

发布于 2026-05-14

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Kangning Zhang, Shuai Shao, Qingyao Li, Jianghao Lin, Lingyue Fu, Shijian Wang, Wenxiang Jiao, Yuan Lu, Weiwen Liu, Weinan Zhang, Yong Yu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

以下是用简单语言和日常类比对论文《MMSkills: Towards Multimodal Skills for General Visual Agents》（MMSkills：迈向通用视觉智能体的多模态技能）的解释。

核心理念：教机器人像人类一样“看”

想象一下，你正在教机器人使用电脑。

旧方法（仅文本技能）： 你给机器人一份书面食谱：“点击‘文件’菜单，然后‘新建’，再‘工作表’。”
- 问题： 如果机器人处于错误的屏幕，或者弹出窗口遮挡了菜单，机器人仍会盲目地遵循文本指令。它会点击“文件”，尽管菜单根本不在那里，结果卡住并失败。它知道要做什么，但不知道何时做，也不知道完成时看起来是什么样。
新方法（MMSkills）： 你给机器人一份“智能指南”。这份指南不仅包含文本，还包含每一步屏幕应有的样子的照片，以及用于验证机器人是否走在正确轨道上的检查清单。

这篇论文介绍了MMSkills，这是一个将此类“智能指南”转化为可重用工具的系统，供 AI 智能体（使用电脑或玩游戏的机器人）使用。

他们解决的三大主要问题

作者指出了让这些“智能指南”生效所面临的三大障碍：

包裹里装什么？
- 类比： 如果你教人烤蛋糕，光有文字食谱是不够的。你需要一张面糊的照片（以此判断何时准备好）、一张烤箱的照片（以此判断是否已热），以及一份检查清单（确保你没有忘记放鸡蛋）。
- 解决方案： 一个 MMSkill 包裹包含三样东西：
  - 文本： 分步说明。
  - 状态卡（State Cards）： 一套“交通灯”系统。它告诉智能体：“只有当你看到蓝色按钮时才继续”，或者“停止！如果你看到红色错误信息，不要点击”。
  - 视觉证据： 照片（关键帧），精确展示关键时刻屏幕应有的样子（例如“之前”和“之后”的对比图）。
我们从哪里获取这些指南？
- 类比： 你不想为每一块蛋糕都雇佣一个人来写新食谱。你希望观察人们烤蛋糕，找出通用步骤，然后自己写出一份通用食谱。
- 解决方案： 他们构建了一个自动化的“生成器”。它观看成千上万个公开的人类使用电脑的视频（轨迹），将相似的任务分组，并自动生成这些“智能指南”。它不仅仅是复制视频，而是提取其中的逻辑和视觉线索。
机器人如何在不混淆的情况下使用它们？
- 类比： 想象一下在开车时试图阅读一本厚厚的、有 50 页的相册。这既分心又危险。机器人可能会过于专注于旧照片，以至于在现实世界中“撞车”。
- 解决方案： 他们发明了**“分支加载”（Branch Loading）**。
  - 不是把整本相册塞进机器人的主大脑，而是让机器人打开一个临时的侧边窗口（分支）。
  - 在这个侧边窗口中，它快速查看仅当前做出决策所需的特定照片。
  - 然后它关闭侧边窗口，并告诉主机器人：“好的，我检查了照片。你走在正确的轨道上。现在，点击按钮。”
  - 这让主机器人专注于实时屏幕，而不是旧的参考照片。

它在现实生活中如何运作（“图表”示例）

这篇论文使用了一个具体示例来展示为何这种方法更优：在电子表格中创建图表。

场景： 任务是“在第 2 个工作表上创建图表”。
仅文本智能体： 读取“创建图表”。它看到一个图表正在被创建。它点击“完成”。
- 结果： 它在第 1 个工作表（错误的工作表）上创建了图表，因为文本没有告诉它去检查哪个工作表是激活的。得分：0。
MMSkills 智能体：
1. 它加载“创建图表”技能。
2. 状态卡显示：“检查：激活的工作表名称是否为‘第 2 个工作表’？”
3. 视觉证据显示了一张正确工作表标签的照片。
4. 机器人看到它当前在第 1 个工作表上。“分支”提示：“等等！你在错误的工作表上。请先切换到第 2 个工作表。”
5. 机器人切换过去，创建图表，并验证标题是否与照片匹配。
- 结果： 在正确的工作表上完美创建了图表。得分：1。

结果展示了什么

研究人员在两类任务上测试了该方法：

桌面任务： 如使用 Excel、Chrome 或 Word（OSWorld, macOSWorld）。
游戏任务： 如玩《我的世界》（Minecraft）或《超级马里奥兄弟》（Super Mario Bros.）。

研究发现：

更高的成功率： 使用 MMSkills 的机器人比没有技能或仅有文本技能的机器人解决了更多任务。
帮助了较小的机器人： 即使是更小、算力较弱的 AI 模型，在获得这些视觉指南后，任务表现也大幅提升。
更少的错误： 机器人减少了重复性错误（例如点击同一个按钮 10 次），并更快地完成了任务。
不仅限于电脑： 该系统在电子游戏中同样表现良好，证明了无论是管理文件还是跨越障碍，“感知状态”都至关重要。

总结

MMSkills 是一种教 AI 智能体不仅做什么，而且如何识别自己是否做对的方法。通过将文本指令与“交通灯”检查清单和特定照片相结合，并利用“侧边窗口”方法来查看它们，该系统帮助机器人避免迷路、困惑或卡在错误的屏幕上。它将一个盲目服从命令的机器人，转变为一个真正理解其所处视觉世界的机器人。

技术摘要：MMSkills：迈向通用视觉智能体的多模态技能

1. 问题陈述

现有的智能体技能框架主要将可重用的行为编码为文本提示、可执行代码或学习到的例程。虽然这种方法对于在语言抽象环境中运行的智能体行之有效，但对于视觉智能体（例如 GUI 或游戏智能体）而言却远远不够，因为它们的决策严重依赖视觉证据。对于这些智能体而言，程序性知识本质上是多模态的：成功的重用不仅取决于执行什么操作，还取决于识别相关的视觉状态、解读进展或失败的证据，并根据视觉线索决定下一步行动。

当前的纯文本技能往往对于视觉任务而言既冗长又定义不足，而原始演示则篇幅冗长、特定于实例且难以适应。这一差距带来了三个具体挑战：

表示：如何构建一个多模态技能包，将程序、视觉状态和验证线索绑定为一个连贯、可重用的单元。
生成：如何从公共的、非评估的交互轨迹中推导出此类技能包，而无需依赖手写示例或原始回放。
利用：如何在推理时咨询多模态技能证据，同时避免用过多的图像上下文淹没智能体，或导致智能体过度锚定参考截图而非真实环境。

2. 方法论

作者提出了MMSkills，这是一个包含三个核心组件的框架：多模态技能包、技能生成器和分支加载技能智能体。

2.1 多模态技能包

MMSkill 被定义为一个状态条件的程序包 $M = (D, P, S, K)$ ：

$D$ （描述符）：对技能的紧凑描述。
$P$ （程序）：可重用的动作模式文本描述。
$S$ （状态卡）：一组作为决策节点的运行时状态卡 $S_j$ $S_{j}$ 。每张卡片指定：
- 何时使用和何时不使用的条件。
- 需检查的可见线索。
- 用于确认进展或完成的验证线索。
- 可用视图（例如，全帧、聚焦裁剪、前后视图）。
$K$ （关键帧）：与状态卡对齐的多视图图像包，包括用于上下文的完整帧、用于特定线索的聚焦裁剪，以及用于过渡的可选前后视图。

这种结构将技能从静态指令转变为动态的、状态感知的指南，其中视觉证据帮助智能体决定是遵循、跳过还是验证程序。

2.2 技能生成流程

该框架引入了一个自动化的轨迹到技能生成器，将公共的、非评估的轨迹转换为 MMSkills。该过程包含五个阶段：

嵌入与聚类：将广泛领域分组为语义聚焦的簇。
簇级规划：基于大语言模型（LLM）的智能体提出具有工作流边界和完成条件的原子技能。
合并：去重并将计划泛化为合并后的技能规范。
文本优先起草：在不读取图像的情况下生成描述符、程序和状态卡。
图像落地与审计：读取选定的关键帧以定位聚焦区域，构建多视图包，并使用元技能（可重用脚本和质量门禁）审计最终包。

2.3 分支加载智能体

为了解决上下文过载和视觉锚定问题，作者提出了分支加载。系统不在主智能体的上下文中注入整个技能包（文本 + 多张图像），而是在临时分支中分两个阶段运行：

阶段 1（门控视图选择）：分支分析实时观察结果和技能的文本/状态卡，以确定是否需要视觉证据。如果需要，它仅选择相关的状态卡和特定的视图类型（例如，聚焦裁剪与全帧）。
阶段 2（规划器引导）：分支将选定的证据与实时状态对齐，并返回一个紧凑的结构化引导元组 $G_t$ （包含适用性、子目标、计划、约束和验证检查）给主智能体。
主智能体利用这种提炼后的引导，基于实时截图做出接地决策，防止其被参考图像分散注意力。

3. 主要贡献

多模态技能包：首次将通用视觉智能体的可重用技能表述为多模态程序性知识，整合了文本程序、运行时状态卡和多视图关键帧。
智能体生成器：一个自动化流程，通过工作流分组、程序归纳、视觉落地和元技能引导的审计，将公共交互轨迹转化为多模态技能包。
分支加载：一种运行时机制，在临时分支中隔离技能与环境的落地，在返回结构化决策支持给主智能体之前先选择和对齐证据。
实证验证：证明了在多样化的 GUI 和基于游戏的基准测试（OSWorld, macOSWorld, VAB-Minecraft, Super Mario Bros）以及多个模型家族中取得了显著的性能提升。

4. 实验结果

作者在OSWorld、macOSWorld、VAB-Minecraft和Super Mario Bros上评估了 MMSkills，使用了前沿模型（如 Gemini 3.1 Pro, Qwen3-VL-235B）和较小模型（如 Qwen3-VL-8B）。

性能提升：MMSkills consistently 提高了相对于“无技能”和“纯文本技能”基线的成功率。例如，在 OSWorld 上，MMSkills 将 Qwen3-VL-235B 的成功率从 21.34% 提升至 39.17%，将 Qwen3-VL-8B 从 10.78% 提升至 25.40%。
消融研究：
- 组件：状态卡和多视图视觉证据均被证明至关重要；移除任一项都会导致性能下降。
- 加载机制：分支加载优于直接加载（将完整技能插入上下文）。直接加载通常因上下文污染和视觉锚定而损害性能，而分支加载即使对于纯文本技能也能提供清晰的增益。
交互动态：
- 调用：MMSkills 的调用频率高于纯文本技能，表明状态卡使得相关性更容易被检测。
- 效率：MMSkills 减少了平均交互步数（例如，OSWorld 上的 Qwen3-VL-235B 减少了 5.35 步），表明任务解决路径更短。
- 行为转变：使用 MMSkills 的智能体表现出更少的重复动作，并从探索性的试错转向基于接地、状态感知的执行。例如，“点击”动作的比例下降，而“键盘”和“完成”动作的比例增加，表明完成意识更好。

5. 意义与主张

该论文主张外部多模态程序性知识补充了模型内部先验。通过将动作程序与其应用所需的视觉证据和状态依赖决策显式绑定，MMSkills 使视觉智能体能够：

根据视觉状态识别程序何时适用。
利用视觉线索区分进展、失败和完成。
避免纯文本技能（定义不足）和原始演示（缺乏适应性）的陷阱。

作者强调，这种方法对于较弱的视觉智能体尤为有价值，因为显式的视觉程序性知识可以弥补内部先验的不足。这项工作表明，对于通用视觉智能体，“技能”单元必须从文本/代码演变为状态条件的多模态包，通过视觉落地来指导决策。

局限性：作者承认对源轨迹覆盖率的依赖、技能生成或视觉落地中可能存在的错误，以及分支加载机制引入的额外推理成本。他们指出，将此扩展到安全关键环境需要更强的验证和在线修复机制。