技术摘要：RESOURCE2SKILL

问题陈述

大语言模型（LLM）智能体正日益承担起操作复杂软件以生成高质量产物（如幻灯片、3D 场景、音频项目）的任务。在这些领域，成功的关键不再仅仅依赖于孤立的事实知识，而更多地取决于可复用的程序性知识——即定义如何分解目标、选择工具模式、检查中间状态以及从失败中恢复的技能。

现有的技能库存在三个主要局限性：

1. 创建偏差： 它们主要由专家手工编写或从智能体交互轨迹中挖掘，导致大量人类专业知识未能得到充分利用。
2. 模态差距： 人类在学习创意软件任务时，通常通过多模态资源（教程视频、屏幕录制、代码仓库）进行学习，这些资源包含了文本无法完全捕捉的时间序列、视觉效果和隐性设计决策。
3. 推理低效： 直接将原始多模态数据（如完整视频）注入智能体的上下文既昂贵又冗余，而将其压缩为纯文本摘要则会丢失执行所需的动态和视觉信号。

核心挑战在于如何自动将这些多模态的人类创作资源，提炼成一种结构化的、可执行且可检索的格式，以便智能体在推理时能够有效使用。

方法论

RESOURCE2SKILL 是一个旨在将多模态资源提炼为分层 Skill Wiki（技能维基） 并利用其进行智能体执行的框架。该系统通过一个包含构建、组织、选择和执行的统一流水线运行。

1. 分层多模态技能维基

系统将技能组织为一个结构化元组 $s = (p, x_{text}, x_{visual}, x_{code}, m)$：

• $p$ (路径/Path)： 特定领域分类法中的位置（例如，按几何、光照、材质组织的 Blender 技能）。
• $x_{text}$ (文本/Text)： 解释机制、适用性、输入和预期效果的结构化文本。
• $x_{visual}$ (视觉/Visual)： 包括缩略图、截图、渲染预览或图表在内的视觉示例。
• $x_{code}$ (代码/Code)： 可执行或可适配的代码片段（或仅作为参考的模式）。
• $m$ (元数据/Metadata)： 过滤标签、溯源信息和验证状态。

这种设计确保了文本提供概念基础，代码提供执行模式，而视觉信息则保留了文本本身难以充分描述的布局、风格和运动信息。

2. 资源到技能的构建 (Resource-to-Skill Construction)

构建算子 $(f_\theta, A_D)$ 将原始资源转化为维基条目：

• 输入： 包括教程视频、源代码仓库、文章和参考产物在内的多模态资源。
• 提炼： 具备视觉能力的语言模型 ($f_\theta$) 提取特定模态的证据（关键帧、代码区域、散文段落）并生成结构化的技能负载。
• 验证： 领域特定谓词 ($A_D$) 执行五项确定性检查：完整性、可追溯的溯源性、去重、模态一致性以及结构可执行性（针对代码字段）。
• 离线/在线统一： 同一个算子既用于构建大规模离线库，也用于在离线池覆盖不足时在线获取新技能，从而确保库是可增量扩展的。

3. 选择与组合 (METABROWSE)

为了高效检索技能，系统采用了两阶段选择过程：

1. 词法评分： BM25 评分器通过搜索条目的名称、标签、适用性，以及至关重要的分类路径 ($p$) 来缩小候选集。这利用了层次结构来倾向于选择在主题相关的子树中的技能，而不是将库视为扁平列表。
2. LLM 选择： 语言模型阅读候选条目的结构化证据（文本、视觉、代码），并选择一个子集进行组合。模型可以根据情况选择不选择任何技能，以防止强制组合。

4. 执行

选定的技能通过模型上下文协议 (MCP) 接口进行应用。如果存在代码，则直接针对领域后端执行。仅供参考的技能则引导智能体根据视觉和文本证据编写自己的代码。

核心贡献

1. 资源到技能的学习： 本文提出了从多模态人类资源中提炼可复用执行技能的问题，并指出教程视频是程序性和感知性知识的重要且尚未被充分利用的来源。
2. 分层多模态技能库： 提出了一种基于 Wiki 的组织方式，每个技能都整合了文本、代码和视觉信息，使智能体能够比单纯的扁平文本检索更有效地检索和组合跨领域的技能。
3. 统一的离线/在线流水线： 该框架使用单一的构建算子来构建大规模离线库并进行受控的在线缺口填充，使技能库具有可维护性和可扩展性。
4. 广泛的实证评估： 系统在七个实际创作领域进行了评估：PPT、Web、Excel、Blender、Reaper、CAD 和 UE5。

实验结果

评估涵盖了七个领域和四个智能体后端（GPT-5.5, GPT-5.4, GPT-5.4 Mini, GPT-5.4 Nano），将 W SKILLS（使用 RESOURCE2SKILL）与 W/O SKILLS（无技能基准）以及两种现成的智能体框架（CLAUDECODE-H, CODEX-H）进行了对比。

• 性能提升： RESOURCE2SKILL 比无技能智能体平均提升了 11.9 个百分点。在 28 个主要的“模型–领域”聚合单元中，它在 26 个单元中都优于强大的智能体框架基准。
• 领域差异： 在具有密集约定和复杂视觉/时间要求的领域中，提升最为显著（例如，UE5 提升了 30 到 40 个百分点；Blender 和 Excel 也表现出显著改进）。在 Reaper 中提升最小，因为无技能先验在该领域已相对胜任。
• 消融实验：
  • 多模态格式： 移除视觉或代码字段会显著降低性能，证实了仅靠文本无法充分描述执行过程。
  • 来源多样性： 视频被确定为不可替代的来源；移除视频后，平均得分从 68.9% 下降到 59.4%。
  • 组织形式： 层次化 Wiki 界面比扁平文本检索高出 2.5–8.2 个百分点，尤其是在需要结构化上下文的领域。
  • 选择策略： “先层次后 LM”的选择策略（METABROWSE）优于纯词法（BM25）或稠密（Embedding）检索基准。
  • 在线获取： 在线获取是有效的缺口填充手段，在处理离线池中缺失的新任务时，得分提升了 +21.6 pp，同时对标准任务几乎不引入噪声。

重要性与主张

论文声称，RESOURCE2SKILL 证明了从多模态人类资源中提炼技能，能为软件智能体提供可复用的程序性知识，其表现显著优于无技能智能体和强大的智能体框架。

作者强调的关键结论包括：

• 视频至关重要： 教程视频提供了文本无法取代的时间和视觉信号，使其成为高质量技能提炼（尤其在创意领域）的核心。
• 结构至关重要： 技能的层次化组织优于扁平检索，因为它编码了领域结构并缩小了搜索空间。
• 可扩展性： 该系统不是一个固定的提示词集合，而是一个不断增长、可维护的程序性记忆，可以在识别出能力缺口时进行在线扩展。
• 泛化性： 该方法在多种软件创作任务中得到了验证，表明了在复杂的、工具丰富的环境中增强智能体能力的通用路径。

作者对于泛化性保持了审慎态度，指出该系统依赖于程序化工具接口的存在以及公开的程序性内容流，并且虽然评判者与人类的一致性尚可，但并非完美。这项工作侧重于提炼和检索框架的有效性，而非声称其对所有智能体任务具有普适性。