💻 computer science

Incentivizing Multi-Tenant Split Federated Learning for Foundation Models at the Network Edge

本文提出了 PRINCE，一种新颖的价格激励机制，它通过结合抗偏差聚合、收敛引导的贡献评估以及基于 Stackelberg 平衡的策略优化，协调多个拆分联邦学习租户下的自利设备，从而在网络边缘高效地微调多样化的基础模型。

原作者： Songyuan Li, Jia Hu, Geyong Min, Haojun Huang

发布于 2026-01-15

📖 1 分钟阅读☕ 轻松阅读

原作者： Songyuan Li, Jia Hu, Geyong Min, Haojun Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个世界，那里存在着巨大的、超级智能的 AI 大脑（被称为基础模型），就像一位知道如何烹饪世界上每一道菜肴的超级智能大厨。但这位大厨过于庞大且昂贵，无法容纳在单个厨房中（你的手机或智能手表）。为了教这位大厨学习一项特定的新食谱（比如“如何制作完美的披萨”或“如何理解土耳其口音”），你需要对其进行训练。

通常，训练这些巨头需要普通人并不拥有的海量计算机资源。此外，你也不希望将你的私人照片或语音笔记发送到中央服务器来进行训练；你希望将这些数据保留在自己的设备上。

问题所在：“助手”之间的拉锯战
本文介绍了一种名为拆分联邦学习 (Split Federated Learning, SFL) 的系统。可以将其看作是一项团队协作：

**你（本地设备）**负责简单的初步准备工作（如切菜）。
**边缘服务器（附近的强大计算机）**负责繁重的体力活（如烹饪复杂的酱汁）。
你永远不会将你的原始食材（私密数据）发送给服务器；你只发送切好的蔬菜（中间结果）。

然而，这里有一个难点。在现实世界中，并不只有一位大厨需要帮助。存在着多个租户（不同的公司或应用），它们都在试图使用同一批本地设备池（你的手机、你的手表、你的智能音箱）同时训练各自特定的 AI 模型。

租户 A 想要训练一个能识别食物图像的 AI。
租户 B 想要训练一个能分析文本情感的 AI。
租户 C 想要训练一个能转录语音的 AI。

所有这些租户都在争夺你设备的注意力。但你的设备是“自私”的（以一种聪明的方式）：它不想免费工作。它有电池，且电力有限。如果租户 A 提供 1 美元而租户 B 提供 5 美元，你的设备自然会选择租户 B。

本文指出，现有方法在这方面表现不佳。它们要么忽略了租户之间的竞争，要么未能向正确的设备支付足够的报酬以获得最佳结果。这导致了两个问题：

偏差： 如果只有少数特定设备在做所有的工作，AI 模型就会产生偏差（就像一位只学会了从某一特定地区食谱中学习烹饪的大厨）。
低效： 由于错误的设备在工作，或者参与工作的设备不够多，导致 AI 学习时间过长。

解决方案：PRINE（价格激励机制）
作者提出了一种名为 PRINCE（价格激励机制）的新系统。以下是它的工作原理，使用了一个简单的类比：

1. 拍卖行（游戏规则）
想象一个市场，多个房东（租户）正试图将他们的公寓出租给一群租客（设备）。

房东希望拥有最好的租客，以保持建筑的整洁和满意度。
租客希望获得最高的租金，但不想做太多工作。
PRINCE 扮演着聪明拍卖师的角色。它精确计算每个房东应该向每个租客支付多少钱，以达到完美的平衡。它确保没有房东被遗漏，并确保租客有动力努力工作。

2. “公平”规则（抗偏差聚合）
过去，如果一个设备仅参与了 50% 的时间，它的贡献往往会被忽略或计算错误，从而搞乱最终的 AI 模型。

PRINCE 的妙招： 它使用了一个特殊的数学公式（就像一个“公平过滤器”），它会说：“即使你只出现了半次，我们也会视同你全程都在场一样计算你的贡献，但我们会调整数学计算，使最终结果不会产生偏差。”这确保了即使设备很忙或只是偶尔加入，AI 也能正确学习。

3. “贡献”评分
在训练开始之前，PRINCE 就会预测特定设备会有多少帮助。它不会等到结束才去看谁表现得好；它会根据设备的性能和数据质量预先进行估算。这有助于房东（租户）决定支付多少钱以获得最好的助手。

结果：速度与公平
作者使用 100 个模拟设备测试了四种不同类型的 AI 任务（识别食物图像、分析文本、转录语音和回答问题）。

速度： PRINCE 使 AI 训练速度比现有的最佳方法快了 3 倍。这就像是从一条缓慢蜿蜒的乡村小路驶入了高速公路。
准确性： 在其他方法失败或耗时过久的地方，它始终能达到目标（例如图像识别中的 90% 准确率）。
平衡： 它确保了所有四个不同的“房东”都获得了“租客”的公平份额，因此不会出现某个 AI 模型被落下而另一个 AI 模型获得全部帮助的情况。

总结
本文解决了“厨师太多，厨房太乱”的问题。它创建了一个智能支付系统，让多个 AI 项目能够公平地竞争个人设备的帮助。通过向正确的设备支付合理的金额，并使用特殊的数学技巧来保持学习过程的无偏差，它使得在网络边缘（你的本地设备）训练巨型 AI 模型变得更快、更公平且更高效。

技术摘要：激励网络边缘端基础模型的多租户拆分联邦学习

问题陈述
诸如 GPT-4、BERT 和 LLaMA 等基础模型（FMs）需要在特定领域数据上进行广泛的微调，以在下游任务中实现高性能。然而，本地设备（如智能手机、智能手表）通常缺乏处理全参数基础模型微调的计算资源，而隐私问题又限制了数据离开设备。拆分联邦学习（Split Federated Learning, SFL）通过将部分计算卸载到边缘服务器来解决这一问题，从而实现设备与边缘的协同微调。

虽然现有的 SFL 研究侧重于单租户场景，但实际的边缘网络越来越多地承载多个 SFL 租户，这些租户竞相争夺相同的本地设备池，以支持多样化的下游任务（例如图像分类、情感分析、语音转文本）。这种多租户环境引入了三个关键挑战：

独立的设备参与： 自利的本地设备根据激励措施选择任务，这可能导致数据偏差，即特定任务被一部分设备所主导。
设备贡献评估： 在训练过程完成之前，很难预测设备的参与程度如何影响最终的基础模型性能，这阻碍了有效激励策略的设计。
租户间竞争： 多个租户竞相争夺高质量设备，因此需要一种机制来平衡参与度并确保所有租户之间的公平性能。

目前的激励机制主要针对单租户联邦学习（FL）或标准 SFL 设计，缺乏协调竞争性多租户基础模型微调任务中自利设备的定制化策略。

方法论
作者提出了 PRINICE（价格激励机制），这是一个旨在引导多个 SFL 租户提供战略性价格激励，以征集高质量设备参与的新型框架。该方法基于三个核心组件：

抗偏差的全局 SFL 聚合：
为了解决独立的设备参与问题，本文引入了一种无偏的全局模型聚合方案。不同于假设全员参与的标准 FedAvg，该方案通过参与概率的倒数（ $1/q_{i,j}$ ）对参与设备的模型更新进行重新加权。这确保了即使在设备以概率性方式加入任务时，全局基础模型仍能保持对全设备参与场景的无偏性。
用于贡献评估的 SFL 收敛界：
为了解决在未完成训练前评估设备贡献的挑战，作者推导出了一个严谨的 SFL 收敛界。该界限从解析上将预期的全局基础模型损失与设备参与水平（ $q_{i,j}$ ）、本地数据异构性和梯度量级联系起来。该理论界限作为预期全局损失的代理，允许 SFL 租户在执行前估计不同定价策略对基础模型性能的影响。
Stackelberg 与拥塞博弈建模：
SFL 租户与本地设备之间的交互被建模为多领导者-多跟随者 Stackelberg 博弈：

领导者（SFL 租户）： 确定最优定价策略（ $P_i$ ），以在支付预算内最小化其预期的全局基础模型损失。
跟随者（本地设备）： 通过为各种任务选择参与水平（ $q_{i,j}$ ）做出响应，以最大化其效用（支付额减去计算成本）。
租户间竞争： 租户之间对共享设备的竞争被建模为拥塞博弈。租户迭代地调整其定价策略以改善其全局损失，向拥塞博弈中的纳什均衡（NE）收敛，该均衡对应于整个系统的 Stackelberg 平衡（SE）。

本文提出了一种去中心化算法来实现该博弈，其中租户和设备迭代更新策略，直到达到 SE。

核心贡献

首次探索面向基础模型的多租户 SFL： 本文首次探索了专门为跨多样化数据模态（文本、图像、音频）的基础模型微调而定制的有效多租户 SFL 激励机制。
抗偏差设计： 引入了一种全局聚合方案，消除了由独立、概率性设备参与引起的模型偏差。
理论收敛界： 推导出的严谨 SFL 收敛界为租户提供了一个解析工具，使其能够在没有最终模型性能先验知识的情况下评估设备贡献并设计定价策略。
PRINCE 机制： 开发了一种基于 Stackelberg 和拥塞博弈理论的去中心化价格激励算法，该算法实现了向最优平衡的有限时间收敛，平衡了租户间竞争与设备激励。

实验结果
作者通过在 100 个本地设备上模拟四个代表性 SFL 租户（用于图像分类的 ViT、用于情感分析的 BERT、用于语音转文本的 Whisper 以及用于问答的 LLaMA）对 PRINCE 进行了评估。

性能加速： 与最先进的方法（FedPEFT、FAIR 和 MSDA）相比，PRINCE 将基础模型微调速度提升了高达 3.07 倍。
目标准确率： PRINCE 始终能达到所有下游任务的性能目标。相比之下，基准方法如 FAIR 和 MSDA 未能在合理的截止时间内达到特定任务（如问答和语音转文本）的目标准确率。
与 FL 的对比： 与经典 FL（FedPEFT）相比，PRIN%E 平均实现目标准确率的速度快了 31.36%，突显了 SFL 中设备-边缘协同在处理资源受限的基础模型工作负载时的效率。
鲁棒性： 该机制在不同租户间保持了平衡优化，并且无论系统规模如何，均表现出有限时间收敛性（平均 42 次迭代）。

意义
本文声称 PRINCE 为 SFL 在边缘网络中广泛采用以进行基础模型微调奠定了坚实基础。通过解决多租户环境的特定复杂性——特别是独立的设备行为、贡献评估和租户间竞争——所提出的机制确保了在保护数据隐私的同时，能够高效且公平地执行多样化的下游任务。这项工作弥合了理论激励设计与在网络边缘部署大规模、隐私保护型人工智能的实际需求之间的差距。

类似论文