🤖 machine learning

FederatedSkill: Federated Learning for Agentic Skill Evolution

FederatedSkill 是一个保护隐私的框架，它通过聚合语义技能补丁而非原始轨迹来实现协作式智能体演进，从而实现个性化的技能库更新，与孤立的自我提升基准相比，显著提高了任务成功率并降低了计算成本。

原作者： Jingbo Yang, Guanyu Yao, Yang Zhang, Ramana Rao Kompella, Gaowen Liu, Shiyu Chang

发布于 2026-06-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Jingbo Yang, Guanyu Yao, Yang Zhang, Ramana Rao Kompella, Gaowen Liu, Shiyu Chang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你拥有一个智能机器人助手（即“AI Agent”），它能帮你处理各种任务，比如浏览网页、分析数据或自动化你的工作。为了在这些工作中表现出色，机器人需要一个技能库（Skill Library）——这是一个装满了如何使用工具、解决问题以及将动作串联起来的指令的数字工具箱。

问题所在：“孤独的学习者”与“隐私泄露”

目前，这些机器人的学习方式有两种，但两者都存在重大缺陷：

孤独的学习者： 如果机器人只向自己的用户学习，它就会陷入困境。它只能看到世界的极小一部分。如果它在处理新任务时失败了，它可能没有合适的“配方”来修复问题，因为它从未见过这种特定的问题。这就像一位厨师只为一个特定的人做饭；他们永远学不会如何应对其他人点的那些奇奇怪其的食材。
隐私泄露： 为了解决“孤独”问题，机器人可以将它们的经验分享到一个中央服务器，让每个人都能向他人学习。但这非常危险。为了分享经验，它们必须向服务器发送它们的原始日记（截图、私人邮件、机密电子表格）。这就像是要求一位厨师把整个厨房的视频发过去，其中甚至包含了顾客的信用卡号和家传秘方，仅仅是为了分享一个新的烹饪技巧。没有人愿意这样做。

解决方案：FederatedSkill

论文介绍了一种名为 FederatedSkill 的新方法，让这些机器人助手可以在不分享私密日记的情况下共同学习。你可以把它想象成一个安全的、协作式的配方交换系统。

以下是它的运作方式，我们使用一个简单的类比：

1. 是“补丁”而非“日记”

机器人不是发送整个厨房的原始视频（私密数据），而是观察自己刚刚做了什么，弄清楚哪里出了错或哪里做得对，然后写下一条微小的、结构化的笔记，称为**“技能补丁”（Skill Patch）**。

类比： 想象你是一名厨师。你不是发送你一整天的视频，你只是向中央厨房发了一张便条说：“我在‘汤的配方’中增加了一个新步骤，以防止烧焦，”或者“我删除了‘辣酱’这一步，因为太辣了。”
神奇之处： 这条笔记（补丁）包含的是教训，而不是私密细节。它不会说谁喝了这碗汤，也不会说他们的过敏源是什么。它只说明了如何修复这碗汤。

2. “聪明经理”（服务器）

在服务器端，有一个特殊的“进化代理”（Evolution Agent，即智能经理）。它的职责不仅仅是将每个人的笔记复制粘贴到一个巨大的书本里。那样做会是一场灾难，因为不同的机器人有不同的“大脑”和不同的工具。

类比： 想象一位大师级厨师正在管理一支厨师团队，他们使用的烤箱各不相同（有的用燃气，有的用电），且技能水平也不同。
- 如果一名使用燃气烤箱的厨师提出了一个新的煎牛排的方法，经理知道这个方法对使用电烤箱的厨师可能并不适用。
- 经理会查看这些笔记，判断哪个机器人擅长做什么，并定制化这些更新。
- 对于燃气烤箱的厨师，他可能会说：“使用这个新的煎肉技巧。”对于电烤箱的厨师，他可能会说：“忽略那个，但这里有一个适合你烤箱的不同技巧。”

3. 结果：个性化成长

因为经理会量身定制更新内容，所以每个机器人都能获得一个个性化的技能库，符合其特定的需求和能力。

无隐私损失： 原始数据（顾客的信用卡、家传秘方）永远不会离开机器人的本地厨房。传输的只有抽象的“教训”。
性能提升： 论文在 20 种不同类型的任务（如财务分析或网页导航）上测试了该系统。研究发现，使用该系统的机器人比单独学习的机器人，在任务成功率上提升了 44%。
更高效： 因为机器人学得更好，且不会在重复犯错上浪费时间，它们完成任务时节省了 37% 的计算资源（即更省钱）。

总结

FederatedSkill 就像是一个全球性的烹饪俱乐部，厨师们分享的是心得与技巧（技能补丁），而不是他们的私人客户名单（原始数据）。一位聪明的经理会提取这些心得，并将其适配到每位厨师特定的厨房中，确保每个人都在进步的同时，绝不会泄露自己的秘密。

论文证明了这种方法行之有效：它让 AI 智能体变得更聪明、更快速、更具隐私性，使它们能够在不承担数据泄露风险的情况下，协作式地进化其技能。

技术摘要：FederatedSkill

问题陈述

现代大语言模型（LLM）智能体日益依赖于技能库（skill libraries）——即可重用的程序性记忆集合——来处理复杂的、多步骤的任务。虽然智能体可以通过基于本地执行轨迹演进其技能库来实现自我提升，但单用户数据流面临着数据瓶颈问题：它们缺乏构建应对长尾或挑战性任务所需的高多样性。

现有的协作方法试图通过向中央服务器共享用户的原始执行轨迹来克服这一问题。然而，这种范式面临两个关键障碍：

隐私风险： 原始轨迹通常包含敏感信息（例如：私密网页内容、机密电子表格数据），用户无法安全地传输这些信息，即使是向受信任的服务器。
客户端异构性： 一个统一的全局技能库很少能对所有用户都是最优的。技能的有效性取决于特定的模型家族、智能体框架（harness）以及客户端的任务分布。朴素的聚合会导致产生一个“一刀切”的库，从而无法服务于异构用户。

本文解决的核心问题是：用户能否在保护隐私的同时，协同演进技能，并获得量身定制的技能库？

方法论：FederatedSkill

作者提出了 FederatedSkill，这是一个用于协作式智能体演进的隐私保护框架，它以客户端-服务器循环的方式运行。它从联邦学习中汲取灵感，但将通信单元从模型权重改为了语义技能差异（semantic skill diffs）。

1. 客户端：本地执行与补丁蒸馏

客户端不上传原始轨迹，而是进行本地自我反思与蒸馏：

本地执行： 客户端智能体使用其当前的技能库 ( $L_i$ ) 和骨干模型 ( $\rho_i$ ) 执行任务，生成轨迹批次 ( $B_i$ )。
补丁蒸馏： 本地补丁器（共享客户端的骨干模型）分析轨迹和当前库，生成一个技能补丁 ( $\delta_i$ $δ_{i}$ )。
- 结构： 补丁是一个包含对库文件（如 SKILL.md）进行 ADD（添加）、EDIT（编辑）或 DELETE（删除）操作的结构化元组。
- 通过构造实现隐私保护： 补丁器被明确提示要剔除特定于任务的值、ID 和原始交互日志。它仅输出高层级的、可重用的程序性知识（剧本/playbooks）和结构化路径。原始轨迹和敏感数据严格保留在本地。
- 输出： 客户端仅上传补丁 $\delta_i$ ，该补丁记录了技能库的语义变化。

2. 服务端：个性化演进智能体

服务器托管一个演进智能体 ( $M$ )，该智能体在部分可观测的情况下运行（它仅能看到补丁和客户端配置文件，而非原始数据）。它将聚合过程视为一个部分可观测马尔可夫决策过程（POMDP）。

能力建模： 该智能体维护一个能力矩阵和两级记忆：
- 共享记忆： 追踪哪些任务工作流已被解决、被吸收、被破坏或缺失。
- 私有记忆： 记录每个客户端的模型特定失效模式和能力边界。
个性化规划： 该智能体并不将补丁合并为一个全局平均值，而是为每个客户端生成一个个性化演进计划。它决定采纳哪些同行技能，如何对其进行重构以匹配目标客户端的模型/框架，以及拒绝哪些技能。
执行： 智能体应用这些指令来更新每个客户端的库 ( $L_i^{t+1}$ )，确保生成的库是为该客户端特定的“能力边界”量身定制的。

核心贡献

隐私保护协议： 本文引入了一种机制，使智能体交换语义技能补丁而非原始轨迹。这消除了共享轨迹方法中固有的敏感用户数据（PII、机密业务逻辑）泄露问题。
个性化联邦演进： 不同于传统的联邦学习（聚合参数）或先前的协作技能研究（创建单一全局库），FederatedSkill 在语义技能层面实现了个性化。它动态建模客户端异构性，为每个客户端产生独特的、优化的库。
框架实现： 该系统实现为一个客户端-服务器循环，其中服务器充当“合并智能体”，负责策划和适配技能，处理不同模型骨干（如 Qwen, GLM, Kimi）和智能体框架（如 Claude Code, Qwen Coder）的复杂性。

实验结果

该框架在 SkillFlow 基准测试上进行了评估，涵盖 20 个不同的任务族，涉及包含不同 LLM 骨干和智能体框架的异构设置。

性能提升： FederatedSkill 显著优于自我演进基线（即智能体在隔离状态下进行演进）。
- 实现高达 44.4% 的任务成功率提升。
- 在同构和高度异构设置（不同模型和框架）下均表现出稳健的增益。
成本效率： 通过避免库膨胀（自我演进中出现的技能不受控制的增长），FederatedSkill 降低了计算成本。
- 实现高达 37.5% 的单任务解决成本降低。
- 在不同模型中降低了 7% 至 24% 的单次尝试 API 成本。
个性化的必要性： 与“全局（Global）”基线（单一共享库）进行的消融研究表明，个性化演进比非个性化方法平均带来了 12.2% 的性能提升，证实了单一全局库对于异构客户端并非最优。
隐私验证： 经验性隐私审计确认，输出的技能补丁仅泄露了 5.08% 的敏感实体（相比之下，朴素摘要的泄露率为 52%），而广播回客户端的个性化更新泄露量极微，仅为 0.09%。

意义与主张

论文声称，FederatedSkill 确立了技能库作为智能体自我提升的高效联邦单元。其意义在于解决了协作学习与隐私之间的权衡：

它使智能体能够在不损害数据隐私的前提下，从多样化的用户群体中学习经验。
它超越了当前协作框架的“全局平均”局限性，承认不同的智能体具有不同的能力，并需要量身定制的解决方案。
它证明了语义层级的抽象（补丁）足以实现高性能的迁移，避免了与原始数据或参数级联邦学习相关的巨大带宽和隐私成本。

作者指出了一些局限性，包括对受信任服务器环境的假设（缺乏针对恶意/中毒补丁的防御措施），以及由于计算资源限制目前仅能支持有限数量的并发客户端。然而，他们认为该框架为构建可扩展、隐私保护的协作式智能体生态系统提供了基础性的进展。