🤖 machine learning

FedProxy: Federated Fine-Tuning of LLMs via Proxy SLMs and Heterogeneity-Aware Fusion

本文提出了 FedProxy 框架，通过引入由服务器压缩生成的统一代理小语言模型（Proxy SLM）替代传统轻量适配器，并采用三阶段架构有效解决了联邦微调大语言模型中面临的知识产权保护、隐私安全与异构数据性能损失这一“三难困境”，在保障安全的同时实现了接近集中式训练的高性能。

原作者： Tao Fan, Guoqiang Ma, Yuanfeng Song, Lixin Fan, Kai Chen, Qiang Yang

发布于 2026-04-22

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Tao Fan, Guoqiang Ma, Yuanfeng Song, Lixin Fan, Kai Chen, Qiang Yang

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 FedProxy 的新方法，旨在解决一个大难题：如何在不泄露公司机密（大模型 IP）和用户隐私（个人数据）的前提下，让一群分散的“小助手”（客户端）共同训练一个超级强大的“大老板”（大语言模型），并且还要保证训练后的效果足够好。

为了让你轻松理解，我们可以把这个过程想象成**“一家跨国连锁餐厅的中央厨房升级计划”**。

1. 背景：面临的“不可能三角”

想象你是一家拥有顶级秘方（大模型 IP）的连锁餐厅老板。你想让分布在世界各地的分店（客户端）利用当地独特的食材（本地数据）来改进你的招牌菜，但面临三个死结：

不能把总部的核心秘方（大模型）直接发给分店，否则秘方就泄露了。
分店不能把当地客人的口味数据（隐私）传回总部，否则侵犯隐私。
各分店口味差异巨大（数据异构），如果强行把大家的建议混在一起，可能会做出一锅“四不像”的怪汤，导致招牌菜难吃（性能下降）。

以前的方法（如 Offsite-Tuning）就像让分店只带一个**“小记事本”（轻量级适配器）**回来记录建议。但这本记事本太简陋了，记不住复杂的烹饪技巧，导致最终改进效果很差，离“中央厨房直接训练”的效果差了一大截。

2. FedProxy 的解决方案：三个阶段的“魔法”

FedProxy 提出了一套全新的流程，把“小记事本”升级成了“全能小厨师”，分三步走：

第一步：压缩与分发（打造“全能小厨师”）

传统做法：只发一个空白的记事本给分店。
FedProxy 做法：总部把那个巨大的、复杂的“主厨”（大模型 LLM）进行压缩，提炼出一个**“全能小厨师”（Proxy SLM）**。
- 这个“小厨师”虽然个头小（只有大模型的一部分参数），但他继承了主厨的核心烹饪直觉和骨架。
- 总部把这个“小厨师”发给所有分店。因为他是基于公开数据压缩的，所以没有泄露任何商业机密，而且体积小，分店的小电脑也能跑得动。

第二步：协同训练与“去冲突”（分店练级）

挑战：每个分店的“小厨师”拿着当地的食材（数据）去练级。有的分店喜欢辣，有的喜欢甜。如果直接把他们的练级成果（参数更新）简单平均，就像把辣椒和糖混在一起，味道会打架（参数干扰）。
FedProxy 的妙招：
- 冲突预警：总部会先分析大家的练级方向。如果发现某两个分店的建议完全相反（比如一个说加盐，一个说加糖），系统会标记这些“冲突点”。
- 智能训练：分店在训练时，系统会告诉小厨师：“在大家意见一致的地方，你要努力对齐；在大家意见冲突的地方，你可以保留自己的特色，不要盲目跟风。”
- 智能合并：总部在回收大家的成果时，不会简单平均。它会像**“精明的选品经理”**一样，把那些冲突的、重复的“噪音”过滤掉，只保留最有价值的“精华”，把大家的智慧融合成一个更强大的“全球小厨师”。

第三步：无缝融合（知识回流）

传统做法：训练完后，还得把分店学到的东西重新教给主厨，或者让主厨重新学一遍，耗时耗力。
FedProxy 做法：“即插即用”。
- 因为“小厨师”本来就是从“主厨”身上切下来的一部分（架构是子集），所以总部直接把训练好的“小厨师”的核心技能模块，像换零件一样，直接插回到原来的“主厨”身上。
- 不需要重新训练，也不需要额外的推理时间，主厨瞬间就学会了所有分店的新技能，而且原来的核心能力也没丢。

3. 为什么它这么厉害？（实验结果）

论文通过大量实验证明：

比旧方法强：以前的“小记事本”方法（Offsite-Tuning）效果只能达到集中训练的 60%-70%，而 FedProxy 能达到 90% 以上。
解决了隐私和 IP 问题：分店只接触“小厨师”，没接触“主厨”；总部没接触分店的“食材”。
成本可控：虽然分店的计算量稍微大了一点点（因为要训练“小厨师”而不是“记事本”），但换来的是巨大的性能提升，非常划算。

总结

FedProxy 就像是一个聪明的“知识搬运工”。它不再让分店只带一张纸条回来，而是派了一个懂行的小徒弟去分店学艺。学成之后，直接把小徒弟的肌肉记忆移植回大师傅身上。这样既保护了大师傅的独门秘籍，又尊重了分店的隐私，还让大师傅真正学会了各地的烹饪精髓，做出了更美味的菜肴。

这就解决了大模型时代“既要、又要、还要”的难题，为未来安全、高效地利用全球数据训练 AI 树立了一个新标杆。

FedProxy 技术总结：基于代理小语言模型与异构感知融合的联邦大模型微调

1. 研究背景与问题定义

背景：
大型语言模型（LLM）在自然语言处理领域取得了巨大成功，但在利用联邦学习（Federated Learning, FL）对私有数据进行微调时，面临一个**“三难困境”（Trilemma）**：

知识产权保护（IP Protection）： 服务器端的专有 LLM 模型不能直接暴露给客户端。
客户端隐私（Client Privacy）： 客户端的本地数据不能上传至服务器。
异构数据性能（Performance on Heterogeneity）： 客户端数据分布不均（非独立同分布，Non-IID）会导致模型性能下降。

现有方法的局限性：
现有的解决方案如 Offsite-Tuning (OT) 及其变体（如 FedOT, FedBiOT），通过让客户端仅训练轻量级的适配器（Adapter）并冻结服务器 LLM 主干来保护 IP。然而，论文分析指出，这些方法存在根本性的性能瓶颈：

轻量级适配器的表征能力有限，无法充分捕捉 LLM 的复杂知识。
在异构数据场景下，简单的参数聚合（如 FedAvg）会导致严重的参数干扰（Parameter Interference），导致性能远逊于集中式微调（Centralized Fine-Tuning）。

核心问题：
如何设计一个联邦微调框架，既能保护 LLM 的知识产权和客户端隐私，又能克服异构数据带来的性能损失，达到接近集中式微调的效果？

2. 方法论：FedProxy 框架

FedProxy 提出了一种代理驱动（Surrogate-Driven）的优化范式，通过引入一个从专有 LLM 蒸馏而来的统一、强大的代理小语言模型（Proxy SLM），替代了传统的弱适配器。该框架包含三个核心阶段：

阶段一：服务器引导的压缩（Server-Guided Compression）

目标： 将庞大的专有 LLM ( $f_\theta$ ) 压缩为一个资源友好且高保真的 Proxy SLM ( $f_\phi$ )，作为所有客户端的共享基础。
技术细节：
- 使用公开数据集（如 Alpaca）进行压缩，避免泄露私有数据。
- 采用结构化剪枝（Structured Pruning），基于**块影响力（Block Influence, BI）**指标评估 Transformer 块的重要性。
- 保留高 BI 分数的块，移除冗余块，生成一个参数量远小于原模型（ $|\phi| \ll |\theta|$ ）但保留核心推理能力的 Proxy SLM。
- 优势： 既保护了 LLM 的完整架构 IP，又使得客户端可以在本地进行高效训练。

阶段二：抗干扰的联邦聚合（Robust Optimization via Interference-Mitigating Aggregation）

目标： 解决客户端数据异构导致的参数冲突和负迁移问题。
核心策略： 提出了 H-TIES（异构感知 TIES 合并）和 PCR（参数级冲突感知客户端正则化）。
1. 服务器端分析： 计算每个客户端的任务向量（Task Vector），评估客户端间的相似度，生成异构系数（衡量偏离程度）和聚合权重。同时计算参数级冲突分数（Parameter-Level Conflict Score），识别不同客户端在特定参数维度上的更新方向冲突。
2. 客户端侧正则化 (PCR)： 客户端在本地训练时，利用服务器下发的冲突分数，对高冲突参数的更新施加动态正则化惩罚，鼓励客户端在共识参数上对齐，在冲突参数上保留个性化。
3. 服务器端合并 (H-TIES)：
  - 自适应稀疏化： 根据异构系数调整客户端更新的稀疏度（高异构客户端更新更稀疏）。
  - 预聚合缩放： 根据共识权重放大高一致性客户端的贡献。
  - 冲突解决： 借鉴 TIES-Merging 思想，根据参数更新的符号（正/负）和幅度，仅保留主导方向的更新，消除相互抵消的干扰。

阶段三：免训练的“即插即用”知识融合（Training-Free "Plug-in" Fusion）

目标： 将联邦训练后聚合得到的 Proxy SLM 知识无缝融合回原始 LLM。
技术细节：
- 利用架构映射关系（Proxy SLM 是 LLM 的子网络），直接将更新后的 Proxy SLM 参数覆盖回原始 LLM 对应的层。
- 优势： 无需重新训练庞大的 LLM，无需额外的推理延迟，实现了知识的低成本转移。

3. 主要贡献

提出了 FedProxy 框架： 一个解决 IP 保护、数据隐私和模型性能三难困境的完整联邦微调方案。它用强大的 Proxy SLM 替代了弱适配器，并设计了三阶段流水线。
设计了 H-TIES 和 PCR 策略：
- H-TIES： 一种异构感知的聚合策略，通过分析参数级干扰，动态调整稀疏度和权重，有效缓解异构任务间的参数冲突。
- PCR： 一种客户端侧的正则化机制，利用冲突分数指导本地训练，提前抑制干扰。
实现了显著的性能提升： 实验证明，FedProxy 在异构和同构场景下均显著优于现有的 OT 类方法（如 FedOT, FedBiOT），并达到了接近集中式微调（CentSFT）的性能水平（在 QA 任务上达到 CentSFT 的 90% 以上）。

4. 实验结果

实验设置：
- 基座模型： LLaMA2-7B 和 Mistral-7B。
- 数据集： 问答任务（OBQA, ARC, CQA）和通用语言理解任务（GLUE 基准）。
- 对比基线： ZeroShot, CentSFT（上限）, OT, FedOT, FedBiOT。
关键发现：
- 同构任务： 在 50% 压缩率下，FedProxy 在 QA 任务上比 FedOT 高出 11.7%，在 GLUE 任务上高出 22.1%。
- 异构任务（更具挑战性）： FedProxy 的优势更加明显。在 50% 压缩率下，QA 任务比 FedOT 高出 12.6%，GLUE 任务高出 20.1%。
- 性能逼近集中式： FedProxy 在异构设置下达到了集中式微调 91.3% (QA) 和 89.6% (GLUE) 的性能。
- 消融实验： 移除了 PCR 或 H-TIES 任一组件，性能均显著下降，证明了两者协同工作的必要性。
- 成本分析： 虽然 FedProxy 的迭代通信和计算成本略高于 FedOT（因为训练的是更大的 Proxy SLM 而非小适配器），但其带来的性能收益远超成本，且初始通信成本与 FedOT 相当。

5. 研究意义与结论

意义：

打破性能瓶颈： 证明了在联邦学习中，使用压缩后的 Proxy SLM 作为训练载体，比仅训练轻量级适配器更能保留 LLM 的复杂推理能力。
解决异构难题： 提出的 H-TIES 和 PCR 机制为联邦学习中的参数干扰问题提供了新的解决方案，特别适用于数据分布高度不均的场景。
实用性强： “即插即用”的融合机制使得该方法易于部署，无需昂贵的重训练过程，为工业界在保护隐私和 IP 的前提下利用私有数据微调大模型提供了可行的新范式。

局限性：

压缩率过高（如 70%）会导致性能显著下降，需要在压缩率和性能间权衡。
当前的冲突分析算法复杂度为 $O(K^2)$ ，在超大规模客户端场景下可能需要近似算法优化。
Proxy SLM 的质量依赖于用于蒸馏的公开数据集，可能需要针对特定领域进行优化。

总结：
FedProxy 通过引入 Proxy SLM 和创新的异构感知聚合策略，成功解决了联邦大模型微调中的三难困境，在保护隐私和知识产权的同时，实现了接近集中式训练的高性能，为安全、高效的联邦大模型适应设立了新的基准。