🤖 machine learning

Federated Foundation Models Fine-Tuning with Heterogeneous Compressed Clients

本文提出了 FedSLM，一种新颖的联邦学习框架，该框架通过基于 SVD 的压缩自包含模型和两阶段聚合协议，使资源受限的客户端能够在显著降低内存需求的同时微调基础模型，并实现卓越的性能与表征保真度。

原作者： Shengkun Zhu, Jinshan Zeng, Zhihua Allen-Zhao, Mayi Xu, Quanqing Xu, Wei Ren, Qiang Yang, Yang Liu

发布于 2026-08-03

📖 1 分钟阅读☕ 轻松阅读

原作者： Shengkun Zhu, Jinshan Zeng, Zhihua Allen-Zhao, Mayi Xu, Quanqing Xu, Wei Ren, Qiang Yang, Yang Liu

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下这样一个世界：房间里最聪明的计算机体积庞大，以至于无法装进任何人的口袋。这些被称为“基础模型”（Foundation Models）的庞然大物，是经过海量数据训练的巨型人工智能大脑，能够理解语言、图像以及周围的世界。它们功能极其强大，但也是内存的“饕餮”，需要运行巨大的、昂贵的服务器。与此同时，那些真正掌握着最有价值、最机密信息的人——比如持有患者记录的医生或拥有金融数据的银行——往往只使用普通的计算机，甚至无法加载这些巨大的大脑。这造成了一种令人沮塞的僵局：专家拥有数据但缺乏脑力，而脑力却被困在无法看到数据的服务器上。

为了解决这个问题，科学家们使用了一种名为“联邦学习”（Federated Learning）的技术。这就像是一群学生试图共同解开一个拼图，但从未向老师展示他们自己的拼图碎片。他们不是将私密数据发送到中央位置，而是只发送他们的“想法”或“调整”给老师，由老师将这些信息结合起来，从而打造出一个更聪明的集体大脑。然而，当这个“老师”是一个拥有数十亿参数的巨型模型时，即使只是发送这些调整也成了一场物流噩梦，因为客户端的计算机太弱，甚至无法承载该巨型模型的哪怕一小部分。挑战在于，如何让这些性能较弱的计算机从巨型模型中学习，同时又不至于损坏自身的硬件，也不丢失巨型模型所蕴含的智慧精髓。

于是，研究人员提出了一种名为 FedSLM 的新方法，它扮演着聪明翻译官和顶级大厨的角色。他们解决的核心问题是“资源不对称”：拥有优质数据的机构（如医院、银行）往往无法运行完整的 AI 模型，因为这需要过多的内存。现有的解决方案试图通过缩小模型规模来解决问题（但这有时会破坏其智能性），或者仅训练极小的一部分（但这仍然需要加载完整的模型，从而浪费内存）。FedSLM 采取了一种完全不同的、更具结构性的方法。

研究人员的主要发现是，你可以利用一种称为**奇异值分解（SVD）**的数学技巧，将巨大的 AI 模型分解为更小的、自包含的部分。想象一下，这个巨型模型是一幅宏大且复杂的织锦。与其尝试把整幅织锦复制到一个小织布机上，FedSLM 将织锦切割成其本质的丝线（低秩子空间），并为每个客户端提供一个仅包含这些丝线的小巧、易于操作的织布机。随后，客户端只需在他们的织布机上编织一个轻量级的“适配器”（即一小块新的丝线补丁），即可针对其特定数据进行学习。因为所有的客户端都是在源自同一幅织锦的织布机上进行编织，所以他们的图案能够完美契合。

当客户端完成补丁的编织后，服务器会收集这些补丁。但巧妙之处在于：服务器并不仅仅是将这些小补丁粘合在一起。它首先根据每组客户端的模型重建出全尺寸的版本，然后将它们融合为一个连贯的全局模型。最后，为了确保最终结果不只是小补丁的模糊副本，服务器采用了“由弱到强”的教学方法。它将组合而成的小模型视为“弱教师”，并利用一种特殊的置信度损失技术，教导“强学生”（全规模的服务器模型）如何学习新知识，而不去模仿弱教师的错误或“压缩伪影”。

论文明确反对了这样一种观点，即认为你必须要么在每个客户端上加载完整模型（这对许多人来说是不可能的），要么仅依赖于发送文本输出（这会丢失太多细微差别）。他们证明了该方法在保持模型结构完整性的同时，能让客户端以大约50% 的 GPU 显存需求进行操作。在自然语言和视觉语言任务的实验中，FedSLM 的表现始终优于现有的联邦学习方法，即使是在数据杂乱且分布不均的情况下也是如此。研究人员测量出，使用其压缩模型的客户端可以在减半的内存成本下运行，同时仍能获得强大的性能，通常能恢复甚至超过原始未压缩模型在特定任务上的准确率。

这些结果的信心来自于在 ARC、HellaSwag 和医疗数据集等基准测试上的广泛测试，在这些测试中，该方法展现出了优于其他联邦学习方法的明显改进。作者指出，这种方法成功地弥合了隐私保护、硬件限制与追求强大专业化 AI 之间的鸿沟，证明了你并不需要超级计算机也能为“超级大脑”做出贡献。

技术摘要：FedSLM —— 面向异构压缩客户端的联邦基础模型微调

1. 问题陈述

基础模型（Foundation Models, FMs）的联邦学习（Federated Learning, FL）面临着根本性的资源不对称悖论。拥有最宝贵领域特定数据（如医院、金融机构）的机构，往往缺乏托管或微调数十亿参数模型所需的 GPU 显存预算。现有的异构联邦学习方法试图弥合这一差距，但无法同时满足以下三个关键要求：

部署可行性： 客户端模型必须足够紧凑，以适配资源受限的设备。
结构对齐： 异构的客户端更新必须能够融合进一个连贯的全局模型中，而不产生架构上的不兼容。
保真度： 服务端必须能够吸收联邦领域知识，而不继承压缩伪影，或遭受“模仿谬误”（即强模型因模仿噪声较大的弱监督者而导致性能退化）的影响。

当前的方法在这些属性之间进行权衡：参数高效微调（PEFT）如 LoRA 虽然减少了可训练参数，但仍需加载完整的基座模型；架构提取（如 HeteroFL）会破坏 Transformer 中的预训练注意力模式；而以数据为中心的方法则难以处理词表不匹配和隐藏表示丢失的问题。

2. 方法论：FedSLM

作者提出了 FedSLM，这是一个以参数为中心的框架，将问题视为三个变量的耦合优化：客户端适配器、服务端重建的全局权重以及最终的强服务端模型。该框架分为四个阶段运行：

A. 基于 SVD 的模型推导（步骤 1）

服务端并非采用随机初始化，而是利用**奇异值分解（SVD）**从预训练的基础模型（FM）中推导出一系列结构兼容的压缩模型。

过程： 对于选定的层，将权重矩阵 $W$ 分解为不同压缩率（ $r_i$ ）下的低秩因子 $U$ 和 $V$ 。
结构： 属于第 $i$ 组的客户端 $C_i$ 接收固定的低秩基 $\{U_i, V_i\}$ 和一个可训练的适配器 $\Sigma_{i,c} \in \mathbb{R}^{r_i \times r_i}$ 。有效层表示为 $W \approx U_i \Sigma_{i,c} V_i$ 。
核心属性： 由于所有变体都是通过嵌套 SVD 截断从相同的服务端权重派生出来的，它们共享一个嵌套低秩流形结构，从而确保了尽管秩不同，但在聚合时仍具有结构兼容性。

B. 异构联邦聚合（步骤 2 & 3）

FedSLM 采用两阶段聚合协议来处理秩的异构性：

阶段 1：组内适配器聚合： 同一压缩组（具有相同秩 $r_i$ ）内的客户端通过本地 SGD 优化其本地适配器 $\Sigma_{i,c}$ 。服务端在组内使用标准的 FedAvg 进行聚合。
阶段 2：跨组模型融合： 服务端在公共环境空间 $\mathbb{R}^{m \times n}$ 中重建每个组的全秩权重矩阵（ $W_i = U_i \Sigma_i V_i$ ）。随后，这些重建的模型通过加权平均进行融合，以生成全局弱模型 $W_g$ 。此步骤利用了所有组共享同一个预训练锚点的特性，从而允许在全秩空间中进行融合。

C. 弱到强的知识提取（步骤 4）

为了将知识从压缩聚合的模型（ $W_g$ ）转移到全规模服务端模型（ $W_s$ ）而不引入压缩伪影，作者引入了**弱到强精炼（Weak-to-Strong refinement）**步骤。

机制： 服务端利用无标签的服务端数据集 $D_{server}$ 对 $W_s$ 进行精炼。
损失函数： 使用辅助置信度损失（Auxiliary Confidence Loss）：
$\mathcal{L}_{conf} = (1-\alpha) \ell_{CE}(f_w, f_s) + \alpha \ell_{CE}(\hat{f}_s, f_s)$
其中 $f_w$ 是弱监督者， $f_s$ 是强学生， $\hat{f}_s$ 是带有梯度停止机制的强模型自预测。
$\alpha$ 的作用： 该项平衡了“模仿弱模型”与“遵循强模型自身置信预测”之间的关系。自锚定项（ $\alpha$ ）通过防止强模型回归到弱监督者的系统性误差中，从而缓解了“模仿谬误”。

3. 核心贡献

理论保证

论文提供了三个互补的理论分析：

收敛速率： 确立了阶段 1 适配器级聚合的 $O(T^{-1/2})$ 收敛速率，并考虑了客户端漂移以及 SVD 因子引入的谱失真。
子空间对齐： 推导了跨组聚合误差的界限，证明了嵌套 SVD 子空间确保了几何兼容性。该误差由子空间残差的数据加权平均值来界定。
伪影缓解： 表征了辅助置信度损失如何减轻压缩噪声。研究表明，通过调节混合系数 $\alpha$ ，可以实现偏差-方差权衡，从而最小化强模型学习压缩伪影的风险。

实验结果

实验在 LLaMA-2-7B/13B（语言）和 LLaVA-NeXT-7B（视觉-语言）上进行，涵盖了自然语言理解和医学基准测试，并在 IID 和非 IID 分布下进行了测试。

性能： FedSLM 始终优于现有的基准方法（包括 FedAvg+LoRA、HetLoRA 和 FedMKT）。在 LLaMA-2-7B 上，它实现了 71.0% 的平均准确率（IID）和 68.2%（非 IID），显著超越了表现最好的基准模型。
客户端效率： 压缩后的客户端模型运行显存仅约为全量模型的 50%（例如，LLaMA-2-7B 约为 6.8 GB 对比 13.5 GB），同时实现了更高的推理吞吐量。
恢复能力： 联邦适配器训练使压缩模型能够在多个基准测试中恢复并超过未压缩预训练模型的零样本（zero-shot）准确率。

4. 重要性与主张

论文声称 FedSLM 通过使资源受限的客户端能够有效地参与，且不牺牲全局模型质量，解决了基础模型联邦学习中的核心矛盾。

统一框架： 它是第一个同时实现模型压缩用于部署、结构对齐用于聚合以及通过服务端精炼进行伪影缓解的统一框架。
实际可行性： 通过将客户端显存需求降低至约 50% 且保持甚至提升性能，FedSLM 使那些硬件受限的机构能够对数十亿参数模型进行联邦微调。
理论完备性： 该工作提供了关于收敛性和误差界限的严格保证，超越了以往针对异构联邦学习的启发式方法。

作者强调，该方法不需要客户端托管全量模型，也不依赖于有损的 Logit 层通信，而是专注于通过联邦过程提取并放大领域特定的知识。