🤖 machine learning

FLEX-MoE: Federated Mixture-of-Experts with Load-balanced Expert Assignment for Edge Computing

本文提出了一种名为 FLEX-MoE 的联邦学习框架，该框架专为资源受限的边缘网络设计，通过利用客户端 - 专家适配度评分协同优化专家分配与负载均衡，以克服混合专家模型中客户端容量有限及数据非独立同分布所带来的挑战。

原作者： Boyang Zhang, Xiaobing Chen, Songyang Zhang, Shuai Zhang, Xiangwei Zhou, Jian Zhang, Mingxuan Sun

发布于 2026-05-19

📖 1 分钟阅读☕ 轻松阅读

原作者： Boyang Zhang, Xiaobing Chen, Songyang Zhang, Shuai Zhang, Xiangwei Zhou, Jian Zhang, Mingxuan Sun

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一个庞大且超级聪明的专家团队正试图共同解决一个复杂的谜题。在人工智能领域，这个团队被称为混合专家（Mixture-of-Experts, MoE）模型。该模型并非由一个巨大的大脑承担所有工作，而是由许多更小、更专业的“专家”组成（例如数学天才、语言大师和模式识别专家）。当新的数据输入时，系统会决定哪个特定的专家最适合处理它。

现在，想象一下尝试让这个团队不在一个大型办公室工作，而是在全球数千个分散的设备上运行——比如智能手机、无人机和智能传感器。这就是联邦学习。这些设备协同工作以训练模型，却无需共享任何私有数据。

问题：“大得装不下”与“饥饿的人群”
该论文指出了在边缘设备（如手机或无人机）上运行此系统时面临的两大难题：

背包问题：这些设备的内存和电池有限。它们无法在背包里携带整个专家团队。如果有 100 位专家，一部手机可能只能容纳 5 位。
餐厅拥堵：在标准设置中，所有人都会自然涌向“最佳”专家。如果每个人手机上的数据都不同（通常情况如此），某些专家会因工作量过大而不堪重负，而其他专家则闲置。这种“负载不平衡”会导致整个团队表现不佳，就像一家餐厅里，一名服务员被订单淹没，而另外三名服务员却无所事事地站着。

解决方案：FLEX-MoE
作者提出了一种名为FLEX-MoE（具有负载均衡专家分配的联邦混合专家模型）的新框架。你可以将其想象为一位聪明且公平的经理，负责协调团队。

以下是其工作原理，使用一个简单的类比：

1. “适配度评分”（简历核查）

服务器（经理）不再只是猜测设备应使用哪些专家，而是保留一份记分卡。

每当一个设备（客户端）与特定专家一起训练时，它会汇报：“这位专家在我的特定数据上表现如何？”
经理计算出一个**“客户端 - 专家适配度评分”**。这就像是一个兼容性评级。它告诉经理：“专家 A 非常适合客户端 X 的数据，但专家 B 更适合客户端 Y。”

2. “公平座位”算法（优化）

这是神奇的部分。过去，系统采用“贪婪”方法：“给每个客户端他们最喜欢的顶级 5 位专家。”这导致了“餐厅拥堵”问题，即热门专家不堪重负。

FLEX-MoE 使用数学优化（类似于复杂的座位图表生成器）同时解决两个问题：

个性化：确保每个客户端都能获得他们真正擅长合作的专家。
负载均衡：确保没有任何一位专家过载，而其他专家被忽视。

经理纵观全局并说：“客户端 X，你通常喜欢专家 A，但专家 A 已经忙不过来了。让我们给你专家 B 吧，你也挺擅长与他合作，这样专家 A 就能喘口气了。”

3. 结果：一个平衡的团队

论文的实验表明，这种方法比旧方法效果更好：

更高的准确率：由于专家们没有不堪重负，整个模型能更有效地学习。
完美的平衡：“负载”被均匀分散。论文通过“变异系数”（CV）来衡量这一点，FLEX-MoE 将这一数值保持在极低水平（接近零），意味着每位专家获得的工作量大致相同。
应对混乱：当数据在不同设备上非常混乱且不同时（非独立同分布，non-IID），该系统表现最为出色。在这些混乱场景中，贪婪方法会失效，但 FLEX-MoE 能保持团队井然有序且高效。

一言以蔽之
FLEX-MoE 就像是一个智能交通控制器，管理着一支送货卡车车队（设备）和一个存放不同包裹的仓库（专家）。它不是让每辆卡车去抢最热门的包裹（这会导致交通堵塞），而是根据每辆卡车的特长分配包裹，并确保仓库不会因太多卡车同时到达而不堪重负。结果是更快、更顺畅、更高效的配送系统。

技术摘要：FLEX-MoE

问题陈述

本文探讨了在资源受限的无线和物联网边缘网络中，将混合专家（MoE）模型部署于联邦学习（FL）框架内所面临的挑战。虽然 MoE 通过条件计算提供了可扩展性，而联邦学习确保了隐私和去中心化训练，但二者在边缘环境中的结合面临两个关键瓶颈：

资源限制：边缘客户端（如无人机、智能手机、物联网节点）的内存和处理能力有限，无法存储或同步传统分布式 MoE 方法所需的全部专家集合。
专家负载不平衡：在非独立同分布（non-IID）数据的联邦学习设置中，客户端会自然形成对与其本地数据模式相匹配的特定专家的偏好。现有方法（如贪婪的 top- $k$ 选择）优先考虑本地个性化，却忽视了全局负载分布。这导致严重的专家利用偏斜：少数“热门”专家被过度使用，而其他专家则未被充分利用，从而损害了整体模型的泛化能力和性能。

核心挑战在于设计一个框架，在严格的客户端容量限制下，联合优化专家分配（将客户端与合适的专家匹配）和负载平衡（确保所有专家得到充分训练）。

方法论：FLEX-MoE

作者提出了FLEX-MoE（带负载平衡专家分配的联邦 MoE），这是一个由服务器协调的框架，动态地将专家子集分配给客户端。每个通信轮次的工作流程分为四个阶段：

1. 客户端 - 专家适配度评分

为了量化特定专家对客户端本地数据的适用性，服务器维护一个客户端 - 专家适配度评分矩阵 $Q$ 。该评分基于本地训练轮次的反馈进行更新，具体包括：

准确率驱动：使用该专家实现的本地分类准确率。
损失驱动：使用本地损失的指数函数（ $\exp(-\alpha_L \ell)$ ）。
评分采用指数移动平均（EMA）进行更新，以平滑随时间产生的波动。

2. 负载平衡的专家分配算法

与简单地将 top- $k$ 个专家分配给每个客户端的贪婪方法不同，FLEX-MoE 将分配问题表述为一个约束优化问题（源自广义分配问题）。

目标：最大化总累积的客户端 - 专家适配度评分（ $\sum Q(c,e) \cdot X_{c,e}$ ）。
约束：
- 客户端容量：每个客户端 $c$ 被分配恰好 $k_c$ 个专家。
- 负载界限：分配给每个专家 $e$ 的总数据负载必须落在动态计算的上限（ $\Gamma$ ）和下限（ $L$ ）之间。
动态界限：服务器根据系统总容量计算目标负载 $\tau$ ，并根据历史负载偏差（使用指数平滑）调整界限，以纠正上一轮次的失衡。
求解：服务器求解该线性规划问题，以确定最优的二元分配矩阵 $X_{c,e}$ 。

3. 训练与聚合

本地训练：客户端下载其被分配的专家参数和一个共享的特征提取器。它们利用个性化的门控网络进行本地训练，将输入路由至其被分配的专家。
反馈：客户端将参数更新和反馈指标（使用次数、准确率、损失）上传至服务器。
服务器聚合：共享特征提取器通过 FedAvg 进行聚合。专家参数通过基于使用量的加权平均进行更新，确保在更多数据上训练的专家对全局更新贡献更大。

主要贡献

本文明确提出了以下贡献：

新颖的问题表述：这是首项明确解决资源受限下联邦 MoE 中专家分配与负载平衡联合问题的研究。
适配度评分机制：引入了一种量化的客户端 - 专家适配度评分，结合训练反馈以实现定制化的专家选择，从而提升个性化效果和训练效率。
基于优化的分配：设计了一种负载平衡分配算法，联合优化专业化和系统级负载平衡，明确防止了贪婪方法中出现的专家训练不均问题。
实证验证：证明了实施负载平衡对性能至关重要，特别是在严重偏斜的数据分布下，该方法在准确率和负载平衡指标上均优于现有策略。

实验结果

该框架在三个数据集（CIFAR-10、EMNIST、GTSRB）上进行了评估，涵盖了 IID 和非 IID（狄利克雷分布和类别划分）分布。

准确率：FLEX-MoE 在大多数配置下始终实现了最高或接近最高的测试准确率。虽然贪婪方法在特定场景下（例如使用损失驱动指标的 GTSRB）偶尔能达到相当的准确率，但 FLEX-MoE 表现出更强的鲁棒性，特别是在非 IID 设置中。
负载平衡：与基线方法相比，FLEX-MoE 在专家利用率的变异系数（CV）上显著更低。贪婪方法通常导致 CV 值超过 0.2（表明严重失衡），而 FLEX-MoE 将 CV 值维持在 0.003–0.005 附近，表明专家训练近乎均匀。
严重数据偏斜：在高度偏斜的场景中（例如 2 类划分或狄利克雷 $\alpha=0.1$ ），贪婪方法因负载不平衡而遭受显著的准确率下降。FLEX-MoE 通过防止专家饥饿，保持了高准确率（例如在 2 类 CIFAR-10 上，FLEX-MoE 为 61.00%，而贪婪方法为 51.28%）。
开销：服务器端优化的计算开销适中，与贪婪基线相比，总训练时间仅增加了约 6%，被认为适用于联邦训练。

意义与主张

本文将 FLEX-MoE 定位为AI 原生无线通信和边缘计算的必要演进。作者认为：

负载平衡并非可选项：在联邦 MoE 中，忽视负载不平衡会导致模型质量下降，特别是在数据异构性较高时。
全局优化优于局部贪婪：虽然本地个性化很重要，但统一的 MoE 模型需要所有专家得到充分参与以确保泛化能力。
可扩展性：通过允许客户端仅存储专家子集，FLEX-MoE 使得在资源受限的边缘设备上部署大规模 MoE 模型成为可能，这是下一代无线网络的前提条件。

该研究得出结论：在异构、资源受限的环境中有效部署联邦 MoE，关键在于联合优化专家分配与负载平衡。