🤖 AI

MoE Router-Guided Clustering for Heterogeneous Federated Instruction Tuning

该论文提出了 ClientMorpher，这是一个路由感知型联邦学习框架，它利用混合专家（Mixture-of-Experts）激活特征对客户端或专家进行聚类，以进行个性化指令微调，从而在保持通信效率的同时，有效缓解异构数据设置下的负迁移问题。

原作者： Ankita Sharma, Bahar Farahani, Sanaz Rahimi Moosavi, Amir Rrahmani, Farshad Firouzi, Krishnendu Chakrabarty

发布于 2026-08-18

📖 1 分钟阅读☕ 轻松阅读

CC0 1.0

原作者： Ankita Sharma, Bahar Farahani, Sanaz Rahimi Moosavi, Amir Rrahmani, Farshad Firouzi, Krishnendu Chakrabarty

原始论文根据 CC0 1.0（http://creativecommons.org/publicdomain/zero/1.0/）发布到公有领域。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

在快速发展的人工智能领域，大型语言模型已成为能够理解和生成人类语言的强大工具。这些系统通常在海量数据上进行训练，以学习如何遵循指令，从总结新闻文章到回答复杂问题。然而，一个显著的障碍仍然存在：许多最有价值的数据被锁在私有组织或个人设备中，受到严格隐私法的保护，无法在中心位置共享。为了解决这个问题，研究人员使用了一种称为联邦学习的方法，它允许许多不同的计算机协同工作，以改进一个共享模型，而无需交换它们所持有的私有数据。最近，一种被称为“混合专家模型”（mixture of experts）的特定模型架构因其在这些任务中的应用而受到关注。这类系统并非在执行每项任务时都使用模型的全部组件，而是仅激活一小部分专门的组件来处理每条信息，从而使其具备高效性和可扩展性。挑战在于，当这些群体处理的数据类型截然不同时，如何教导这些模型去适应不同群体的独特需求。

一个研究团队开发了一种名为 ClientMorpher 的新方法来解决这一问题，旨在帮助这些专门化模型在处理多样化、去中心化的数据时实现更好的学习。在标准设置中，所有参与的计算机都会向中央服务器发送更新，服务器只是简单地将它们取平均值，以创建一个单一的全局模型。虽然当大家都在执行相似任务时这种方法效果良好，但当参与者具有高度专业化时，它往往会失效。例如，如果一组计算机正在学习总结医疗报告，而另一组正在学习提取法律事实，强制它们共享一个单一的平均模型会导致系统产生混乱，从而导致所有人的性能下降。这种现象被称为“负迁移”（negative transfer），其发生原因是指令和数据模式过于不同，无法融合为一个统一的解决方案。研究人员意识到，这些混合专家模型在为给定任务决定使用哪些部分的方式中，隐藏着关于数据本质的线索。

ClientMorpher 的核心洞察在于，路由机制（即为每个单词选择激活哪些专门组件的内部决策者）充当了其处理数据的独特签名。如果两个不同的计算机群体正在处理相似类型的指令，它们的模型往往会以相似的模式激活相同的专门组件。研究人员建议利用这些激活模式在任何实际学习开始之前就组织好协作。系统不再盲目地对所有人的更新进行平均，而是首先观察每个客户端最频繁使用哪些专门组件。基于这些观察，客户端被划分为不同的组。具有相似路由签名的客户端会被归为一组共同分享知识，而具有不同签名的客户端则会被分开。这确保了学习总结的计算机是在与其他的总结者协作，而学习提取事实的计算机是在与类似的提取器合作，从而避免了因混合不兼容任务而产生的混乱。

为了测试这个想法，研究人员使用了一个由四个不同类别组成的指令遵循示例数据集进行了模拟，这些类别分别是：文本分类、闭域问答、信息提取和摘要生成。他们创建了数据在参与者之间分布不均的情景，模拟了现实世界中某些组织可能专注于某一领域，而另一些组织则拥有混合型业务的情况。他们将这种新方法与两种常见方法进行了对比：一是完全在本地数据上进行训练而不进行任何协作，二是无论差异如何都对所有参与者的更新进行平均的标准方法。结果显示，这种路由感知的方法始终优于标准方法。通过根据内部路由行为对客户端进行分组，该系统在分类和摘要等任务中的准确度高于传统的平均技术，同时使用了相同数量的通信带宽。

研究探讨了形成这些组的两类具体方式。第一种方法直接观察客户端本身的模式，根据它们最常使用的专门组件进行分组。第二种方法采取了略微不同的角度，首先根据这些组件在整个网络中的使用情况对专门组件进行分组，然后根据客户端所依赖的组件簇来分配客户端组。两种方法都被证明是有效的，但它们在数据分布不均的情况下表现出的优势略有不同。当数据极其倾斜（即客户端仅专注于一项任务）时，直接对客户端进行分组的效果非常好。当数据变得更加平衡时，先对专门组件进行分组的方法则提供了更稳定的结果。这表明，从客户端的角度和从组件的角度同时观察问题，可以为如何有效地进行协作提供更完整的图景。

最终，这项研究表明，这些先进模型的内部机制可以被用作更好协作的指南。通过关注在过程中自然产生的路由签名，系统可以识别哪些参与者应该合作，哪些不应该合作。这种方法允许一种更个性化且更有效的学习形式，使模型能够在不牺牲数据隐私的前提下，适应不同群体的特定需求。研究结果表明，在未来，联邦学习系统可以通过利用这些内部信号来进行自我组织，从而变得更加高效，确保知识仅在真正有用且相关的地方进行分享。

技术摘要：ClientMorpher —— 用于异构联邦指令微调的 MoE 路由引导聚类

1. 问题陈述

联邦指令微调使大语言模型（LLMs）能够在不进行中心化处理的情况下，适应去中心化且具有隐私敏感性的数据。虽然混合专家（Mixture-of-Experts, MoE）架构因其稀疏激活特性（减少了计算和通信开销）在联邦学习中极具吸引力，但现有的联邦 MoE 方法在面对异构客户端分布时面临重大挑战。

目前的方法（如标准的联邦平均算法 FedAvg）不加区别地将所有客户端的更新聚合到单个全局模型中。这种方法假设数据分布是均匀的，而这在实际情况中很少见。当客户端拥有专门的数据（例如，区分摘要与分类的不同领域）时，不加区别的聚合会导致负迁移（negative transfer），从而降低个性化水平和整体模型质量。此外，现有的个性化联邦学习方法在很大程度上忽略了 MoE 模型的**路由行为（routing behavior）**作为识别客户端相似性的结构化信号的作用。

2. 方法论：ClientMorpher

作者提出了 ClientMorpher，一个基于路由感知的个性化联邦指令微调框架。其核心洞察在于：预训练 MoE 模型中的路由器可以作为客户端数据分布的紧凑特征签名。具有相似指令分布的客户端会激活相似的专家；因此，路由行为可以在进行模型聚合之前，引导有效的协作分组。

该框架分为两个主要阶段运行：

阶段 0：共享客户端专家使用情况分析

在训练开始之前，服务器利用一个冻结的预训练 MoE 主干网络。每个客户端 $i$ 通过冻结的路由器处理一小批本地数据（ $B$ 个 batch）而不更新参数。

指标： 系统统计每个客户端 $i$ 对每个专家 $e$ 的选择频率（ $c_{i,e}$ ）。
画像： 这些计数被归一化以创建每个客户端的专家使用情况剖面向量 $u_i \in [0, 1]^E$ 。
矩阵： 这些向量构成一个客户端-专家使用矩阵 $U \in [0, 1]^{N \times E}$ 。

阶段 1：聚类策略

ClientMorpher 研究了两种互补的策略，利用矩阵 $U$ 来形成协作组：

ClientMorpher-C（以客户端为中心）：
- 直接根据专家的激活剖面（ $u_i$ ）对客户端进行聚类。
- 使用 K-Means 对客户端剖面进行聚类，将客户端分配到簇 $C_k$ 中。
- 具有相似路由频率的客户端被归为一组。
ClientMorpher-E（以专家为中心）：
- 首先根据跨客户端的使用特征（ $U$ 的列）对专家进行聚类。
- 专家根据它们被哪些客户端使用的情形被分组到 $K$ 个簇中。
- 然后，客户端被分配到接收其本地路由剖面中最大“质量”的专家簇中。
- 该方法在推导客户端组之前，先发现了跨客户端共享的专家组。

阶段 2：基于簇的个性化联邦学习

一旦形成簇，框架将在每个簇内执行联邦优化：

服务器为每个簇 $k$ 维护一个独立的适配状态 $\theta_a^{(k)}$ 。
属于簇 $C_k$ 的客户端接收特定于该簇的参数，在本地数据上执行本地训练（例如 LoRA 微调），并将更新传回。
聚合（FedAvg）仅在簇内发生，而不是全局发生。
这在保持 MoE 稀疏微调的通信效率的同时，防止了不同质客户端之间的负迁移。

3. 核心贡献

本文做出了以下具体贡献：

框架提议： 引入了 ClientMorpher，这是一个利用来自预训练 MoE 模型的路由签名来组织客户端协作，从而在聚合前进行引导的框架。
双重聚类策略： 开发了两种互补的方法：
- ClientMorpher-C： 使用专家激活剖面直接对客户端进行聚类。
- ClientMorpher-E： 基于跨客户端使用特征对专家进行聚类，并由此推导出客户端组。
实证验证： 在 Databricks Dolly-15K 数据集下，针对病态分布（每个客户端仅有一个任务）和基于狄利克雷分布（存在不同偏斜）的异构划分进行了全面研究。该研究将所提方法与本地训练、MoE-FedAvg 及其他基准方法进行了对比。

4. 实验结果

实验使用包含四个任务（分类 CLS、闭域问答 QA、信息抽取 IE 和摘要 SUM）的 Dolly-15K 数据集进行。

病态划分（高异构性）：
- ClientMorpher-E 获得了最高的平均 ROUGE-L 分数（0.4986），优于本地训练（0.4824）和 MoE-FedAvg（0.4927）。
- 它在分类、问答和摘要任务中表现优异，而 ClientMorpher-C 在信息抽取任务中表现出色。
- 所有联邦方法交换了完全相同的 LoRA 参数（占模型的 0.0878%），证实了收益源于更好的协作，而非增加的通信。
狄利克雷划分（可变异构性）：
- 在高度异构的条件下（ $\alpha=0.1$ ），两种 ClientMorpher 变体均优于本地训练，并达到或超过了 MoE-FedAvg。
- 当分布变得更加平衡时（ $\alpha=1.0$ ），两种变体之间的性能差距缩小。
- ClientMorpher-E 通常获得了最高的总体平均值（0.4936）以及在分类和 IE 方面更强的表现，而 ClientMorpher-C 在摘要任务上保持略优。

5. 重要性与主张

本文声称 ClientMorpher 为稀疏 MoE LLM 的个性化联邦指令微调提供了一种有效且可扩展的方法。其重要性在于：

利用路由作为信号： 它是第一个明确利用 MoE 路由行为作为结构化信号来识别客户端相似性并引导协作的方法，而不是仅仅将路由视为优化过程中实现个性化的机制。
互补视角： 研究表明，以客户端为中心的聚类和以专家为中心的聚类捕捉了不同形式的任务相似性。客户端中心聚类在极端异构情况下特别有效，而专家中心聚类在分布偏差较小时更具鲁棒性。
高效性： 该框架在不增加通信成本的情况下，实现了比传统联邦平均或本地训练更高的个性化性能，保持了稀疏 MoE 架构的效率优势。