🤖 machine learning

DeepFusion: Accelerating MoE Training via Federated Knowledge Distillation from Heterogeneous Edge Devices

DeepFusion 提出了一种基于联邦知识蒸馏的可扩展混合专家（MoE）训练框架，通过让异构边缘设备独立训练本地大模型并利用新颖的视图对齐注意力（VAA）模块解决架构差异导致的视图不匹配问题，从而在保护隐私的同时显著降低了通信成本并提升了模型性能。

原作者： Songyuan Li, Jia Hu, Ahmed M. Abdelmoniem, Geyong Min, Haojun Huang, Jiwei Huang

发布于 2026-02-17

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Songyuan Li, Jia Hu, Ahmed M. Abdelmoniem, Geyong Min, Haojun Huang, Jiwei Huang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一个名为 DEEPFUSION 的创新系统，它的核心目标是解决一个巨大的矛盾：我们需要超级聪明的 AI（大模型）来帮我们处理各种任务，但训练这些 AI 需要海量的数据，而我们的手机、智能手表等边缘设备虽然数据丰富，却既没能力运行大模型，又不想泄露隐私。

为了让你更容易理解，我们可以把整个故事想象成**“组建一个超级智囊团”**的过程。

1. 背景：为什么我们需要“智囊团”？

现在的 AI（比如 Qwen-MoE 或 DeepSeek-MoE）就像是一个**“超级智囊团”**。

传统 AI：像一个全才，什么都会一点，但样样通样样松。
MoE（混合专家）AI：像一个由几十位**“顶级专家”**组成的团队。遇到医疗问题，它调用“医学专家”；遇到金融问题，它调用“金融专家”。这种架构让 AI 变得极其强大。

问题在于：要训练好这个“智囊团”，需要海量的、多样化的数据。但现在的公开数据快用光了，而且很多珍贵数据（如你的病历、银行账单）都在大家的手机里，因为隐私原因不能直接上传到云端。

2. 旧方法的困境：让“小学生”去考“博士”

以前的联邦学习（Federated Learning）试图解决这个问题，但方法很笨拙：

旧方法：它要求每个手机（边缘设备）都下载并运行一个“缩小版”的智囊团模型。
比喻：这就像让一个只有 5 岁的小学生（资源有限的手机）去背诵并理解博士论文（庞大的 MoE 模型）。
- 小学生背不动（手机内存不够）。
- 就算背下来了，因为架构不同，小学生的理解方式和博士完全不同，没法直接融合。
- 结果：要么手机卡死，要么大家只能勉强参与，效果很差。

3. DEEPFUSION 的解决方案：各显神通，最后“融合”

DEEPFUSION 提出了一套全新的“组队”策略，分为三步走：

第一步：让每个人做最擅长的事（本地训练）

做法：不再强迫手机去运行那个笨重的“缩小版智囊团”。相反，让每个手机根据自己的硬件（是 iPhone 还是老旧安卓）和手头的资料（是看病的还是看股票的），自己训练一个最适合自己的“小老师”。
比喻：
- 医生手机上的 AI 专心学习医学知识，练成一位“社区医生”。
- 股民手机上的 AI 专心学习股市分析，练成一位“理财顾问”。
- 它们不需要懂对方的专业，只需要在自己擅长的领域做到极致。
- 好处：手机不累，隐私数据不出门，但每个人都成了某个领域的专家。

第二步：解决“鸡同鸭讲”的问题（核心创新 VAA 模块）

挑战：现在服务器手里有一堆“小老师”（医生、理财师），想把这些知识教给中央的“超级智囊团”（学生）。但问题是，小老师是“小学生架构”，智囊团是“博士架构”，它们思维方式（预测视角）完全不同。直接教，学生听不懂。
创新方案（VAA 模块）：作者设计了一个神奇的**“翻译官”**，叫 View-Aligned Attention（视角对齐注意力）。
比喻：
- 想象“医生”在讲病情，用的是“症状描述法”；而“博士学生”习惯用“病理机制法”。
- VAA 模块就像一位高明的翻译官。它不直接翻译字面意思，而是把“医生”的整个思考过程（从症状到结论的中间步骤）提取出来，重新包装成“博士学生”能听懂的逻辑结构。
- 它强行让学生的思考视角去模仿老师的思考视角，从而实现了跨架构的知识传递。

第三步：组建超级智囊团（模型融合）

做法：服务器把经过“翻译”后的知识，分别注入到智囊团对应的专家模块中。
- 把“医生”的知识注入到智囊团的医学专家模块。
- 把“理财师”的知识注入到金融专家模块。
结果：最终形成了一个知识渊博、反应迅速且保护隐私的超级 AI。它既拥有医学专家的精准，又有金融专家的敏锐，而且这些知识都来自真实的用户数据，却从未离开过用户的手机。

4. 为什么这个方法很牛？（实验结果）

省钱省力：相比旧方法，通信成本降低了 71%（因为不需要频繁传输巨大的模型，只需要传一次训练好的小模型）。
更聪明：在复杂的任务（如写金融分析报告）上，它的表现比旧方法提升了 5.28%，甚至接近在云端集中训练的效果。
包容性强：不管你的手机是高端旗舰还是老旧设备，只要它能跑动一个小模型，就能为这个超级智囊团做贡献。

总结

DEEPFUSION 就像是一个**“去中心化的知识熔炉”。它不再强迫每个人去搬动沉重的石头（大模型），而是让每个人在自己家里把石头打磨成精美的工艺品（本地小模型），然后通过一个神奇的“视角翻译器”（VAA），把这些工艺品完美地组装成一座宏伟的知识殿堂（全球 MoE 模型）**。

这不仅解决了 AI 训练数据短缺的危机，还完美保护了每个人的隐私，让边缘设备也能成为构建超级 AI 的重要力量。

DEEPFUSION 技术摘要

1. 研究背景与问题定义

背景：
混合专家模型（MoE）架构的大型语言模型（LLM），如 Qwen-MoE 和 DeepSeek-MoE，通过稀疏激活机制显著扩展了模型参数量并提升了性能。然而，这类模型需要海量且多样化的训练数据来确保所有专家子网络都能接触到广泛的样本。随着公共高质量文本数据的枯竭，利用边缘设备上的私有数据进行训练成为关键。

核心挑战：
传统的联邦学习（FL）方法（如 FedAvg）要求所有边缘设备运行全局模型的本地副本，这对于资源受限的设备（如低配嵌入式设备、旧款手机）是不切实际的，因为全局 MoE 模型体积过大。
现有的联邦 MoE 训练尝试（如 FedJETS）虽然部署了剪枝后的本地专家模型，但仍保留了复杂的 MoE 骨干架构和门控机制，导致许多低资源设备无法运行。此外，现有方法通常假设所有设备运行同构的模型，忽略了边缘设备的异构性。

具体问题：

资源限制与异构性： 如何在硬件能力差异巨大的边缘设备（从智能手机到嵌入式设备）上实现 MoE 训练？
通信开销： 如何在保证隐私的前提下，减少联邦学习中的通信成本？
跨架构知识蒸馏的“视角不匹配”（View-Mismatch）： 边缘设备上的本地 LLM（教师模型）通常架构紧凑，而全局 MoE 模型（学生模型）架构庞大且复杂。两者在潜在空间（Latent Space）和预测视角（Predictive Perspective）上存在显著差异，导致传统的直接 Logits 对齐或特征对齐方法失效。

2. 方法论：DEEPFUSION 框架

DEEPFUSION 是首个基于联邦知识蒸馏的可扩展联邦 MoE 训练框架，旨在利用异构边缘设备上的私有数据构建知识丰富的全局 MoE 模型。

2.1 系统架构与流程

系统包含 $N$ 个异构边缘设备和一个中央服务器，主要流程分为三个阶段：

本地知识聚类（Local Knowledge Clustering）：
- 单轮联邦学习（One-shot FL）： 每个边缘设备根据自身资源和需求，独立配置并训练一个轻量级的本地 LLM（Teacher）。训练完成后，仅上传一次模型参数到服务器，极大降低了通信成本。
- 知识聚类： 服务器利用设备上传的本地数据特征嵌入（Feature Embeddings，用于保护隐私）计算模型间的相似度，将 $N$ 个本地 LLM 聚类为 $K$ 个本地知识域（对应 MoE 的 $K$ 个专家）。
- 代理模型生成： 在每个知识域内，通过平均权重生成一个“本地知识代理模型”（Local-knowledge Proxy Model），作为该领域知识的代表。
跨架构知识蒸馏（Cross-architecture Knowledge Distillation）：
- 这是解决“视角不匹配”的核心。服务器将 $K$ 个代理模型（教师）蒸馏到 $K$ 个 MoE 的基础模型（Student，即 MoE 的骨干部分）。
- View-Aligned Attention (VAA) 模块： 针对教师（紧凑架构）和学生（标准/大架构）在特征学习路径上的差异，设计了 VAA 模块。
  - 机制： 学生模型通过多注意力机制，整合自身在 $J$ 个不同表示阶段（Representation Stages）的特征。
  - 作用： 使学生的预测视角（Predictive Perspective）与教师的视角对齐，从而能够有效地从教师那里学习隐藏的特征表示，而不仅仅是最终输出。
- 损失函数： 结合交叉熵损失（ $L_{CE}$ ）、特征匹配损失（ $L_{FM}$ ，基于 VAA 对齐后的特征）和 KL 散度损失（ $L_{KL}$ ，基于 Logits）。
全局 MoE 模型微调（Global MoE Model Tuning）：
- 模型合并： 将蒸馏后的 $K$ $K$ 个基础模型合并为最终的全局 MoE 模型。
  - 专家层（FFN）： 直接继承对应基础模型的参数（冻结），保留各领域的专业知识。
  - 共享层（Embedding, Self-attention, Output）： 对所有基础模型的对应层参数进行平均，以聚合全局知识。
- 微调： 仅对共享层和门控层（Gating Layer）进行微调，专家层保持冻结。这大大降低了计算开销。

3. 主要贡献

首个异构联邦 MoE 训练框架： 首次提出利用资源受限的异构边缘设备（无需运行 MoE 模型）通过联邦知识蒸馏来训练工业级 MoE 模型，解决了数据隐私和模型规模之间的矛盾。
提出 View-Aligned Attention (VAA) 模块： 解决了传统联邦知识蒸馏中因架构异构导致的“视角不匹配”问题。通过多阶段特征整合，使不同架构的模型能够进行有效的跨架构知识迁移。
通信与计算效率优化：
- 采用“单轮”联邦学习设计，仅在训练完成后上传一次模型。
- 允许设备使用任意轻量级 LLM，无需部署复杂的 MoE 剪枝模型，显著降低了边缘设备的内存占用和计算门槛。

4. 实验结果

实验基于两个工业级 MoE 模型（Qwen-MoE 和 DeepSeek-MoE）和真实世界数据集（医疗多选问答、金融开放域问答）进行。

性能表现：
- DEEPFUSION 的性能非常接近集中式训练（DeepSpeed 基准），在开放域问答任务中，Token Perplexity（困惑度）比基线方法（如 FedJETS, FedKMT）提升了最高 5.28%。
- 在医疗多选问答任务中，Token Accuracy 也达到了最优或次优水平。
通信成本：
- 相比 FedJETS 等基线方法，DEEPFUSION 将通信成本降低了高达 71%。这是因为设备无需下载/上传庞大的 MoE 模型，且只需单轮通信。
资源适应性：
- 在边缘设备内存占用方面，DEEPFUSION 比 FedJETS 节省了 3.3 倍至 9.3 倍 的内存，使得低配设备（如 NVIDIA Jetson Nano）也能参与训练。
消融实验：
- 证明了 VAA 模块在处理开放域问答（需要复杂推理）时的关键作用，特征驱动的知识蒸馏比单纯的 Logits 蒸馏更有效。
- 证明了利用异构设备（不同架构的 LLM）比同构设备能带来更丰富的知识视角，提升模型泛化能力。

5. 意义与价值

解决数据短缺危机： 为 LLM 训练提供了利用海量私有边缘数据的新范式，缓解了公共文本数据枯竭的危机。
推动边缘 AI 发展： 使得资源受限的 IoT 设备能够参与到大模型训练中，不仅保护了数据隐私，还让边缘设备能贡献独特的领域知识（如特定医疗或金融场景）。
技术突破： 提出的 VAA 模块为异构模型间的知识蒸馏提供了新的理论和方法论支持，解决了架构差异导致的知识迁移难题。
实际应用潜力： 该框架特别适用于医疗、金融等对数据隐私敏感且需要领域专家知识的场景，具有极高的落地价值。

总结： DEEPFUSION 通过创新的联邦知识蒸馏机制和 VAA 模块，成功打破了边缘设备资源限制和模型架构异构性的壁垒，实现了高效、隐私保护且高性能的联邦 MoE 训练，为下一代大模型的训练范式提供了重要参考。