💻 computer science

FedDBP: Enhancing Federated Prototype Learning with Dual-Branch Features and Personalized Global Fusion

本文提出了一种名为 FedDBP 的新型联邦原型学习方法，通过客户端的双分支特征投影器（结合 L2 对齐与对比学习）和服务器端基于 Fisher 信息的个性化全局原型融合机制，有效解决了现有方法在特征保真度与判别力平衡及单一全局原型方面的局限，并在实验中显著优于十种现有先进方法。

原作者： Ningzhi Gao, Siquan Huang, Leyu Shi, Ying Gao

发布于 2026-04-01

📖 1 分钟阅读☕ 轻松阅读

CC BY 4.0

原作者： Ningzhi Gao, Siquan Huang, Leyu Shi, Ying Gao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

这篇论文介绍了一种名为 FedDBP 的新方法，旨在解决“联邦学习”（Federated Learning）中的一个核心难题。

为了让你轻松理解，我们可以把联邦学习想象成一群来自不同地方的厨师（客户端），想要共同研发一道“世界名菜”（全局模型），但大家又不想把自己私密的独家食谱（数据）交给别人看。

1. 背景：为什么现有的方法不够好？

在传统的联邦学习中，大家通常有两种做法：

做法 A（只重“像”）： 厨师们互相看对方的菜，努力让味道和对方的一模一样（特征对齐）。但这导致菜失去了自己的特色，变得千篇一律，分不清是川菜还是粤菜（缺乏辨别力）。
做法 B（只重“特”）： 厨师们只关注怎么把自家的菜做得与众不同，结果做出来的菜虽然很有个性，但和“世界名菜”的标准完全对不上，甚至跑偏了（缺乏保真度）。
做法 C（只有一个“标准答案”）： 大家最后只融合出一个“全球通用菜谱”。但问题是，每个厨师的食材（数据）和厨具（模型结构）都不同，强行用一个标准菜谱，会让擅长做海鲜的厨师觉得困惑，让擅长做面食的厨师觉得委屈（单一全局原型的局限）。

FedDBP 就是为了解决这些矛盾而诞生的“超级厨师联盟”。

2. 核心创新：两大法宝

FedDBP 在“客户端”（厨师）和“服务器端”（总指挥）分别设计了巧妙的策略。

法宝一：客户端的“双分支训练法” (Dual-Branch Feature Projector)

想象一下，每位厨师在厨房里同时开两个灶台：

灶台 A（共享分支）： 这里的任务是**“守规矩”。厨师努力让这道菜的味道，尽量贴近“世界名菜”的标准味道。这保证了大家做出来的东西本质是对的**（保真度，Fidelity）。
灶台 B（决策分支）： 这里的任务是**“练绝活”。厨师专门练习如何把这道菜做得极具特色**，让人一眼就能认出“这是川菜，不是粤菜”。这保证了菜品的辨识度（辨别力，Discriminability）。

关键点： 以前大家要么只守规矩，要么只练绝活，容易顾此失彼。FedDBP 让两个灶台同时工作，既保证了菜是正宗的，又保证了菜有个性。而且，它还会专门挑那些“最难分辨”的菜（硬负样本）来特训，让厨师的味觉更敏锐。

法宝二：服务器端的“个性化融合术” (Personalized Global Prototype Fusion)

以前，总指挥把所有厨师的菜混在一起，熬成一锅“大杂烩”作为标准菜谱发给所有人。这导致菜谱里既有海鲜味又有泥土味，谁看了都迷糊。

FedDBP 的总指挥换了一种思路：“抓重点，分人给菜”。

鱼与熊掌兼得： 总指挥利用一种叫“费雪信息”（Fisher Information）的魔法尺子，去测量每个厨师的菜谱里，哪几味调料（特征通道）是这家厨师最独特、最重要的。
Top-K 精选： 比如，对于擅长做鱼的厨师，总指挥发现“姜”和“酒”对他最重要，那就保留他个人的“姜酒配方”；而对于其他不重要的调料，就采用大家通用的标准配方。
结果： 每个厨师拿到的不再是千篇一律的“大杂烩”，而是一份**“保留了自家灵魂，又融合了集体智慧”的个性化定制菜谱**。

3. 实验效果：真的好用吗？

作者在四个著名的“烹饪大赛”（数据集：CIFAR-10, CIFAR-100, Flowers102, Tiny-ImageNet）上进行了测试。

成绩： FedDBP 在所有比赛中都拿到了第一名，比之前的第二名（FedProto）平均提高了近 4-9 个百分点。
稳定性： 即使大家的食材差异很大（数据非独立同分布），或者厨具完全不同（模型异构），FedDBP 依然能稳定发挥，越练越准。
对比： 它比那些只懂“模仿”的方法（如 FedKD）和只懂“融合”的方法都要强。

总结

简单来说，FedDBP 就像是一个高明的教育体系：

对学生（客户端）： 既要求你掌握标准知识（L2 对齐），又鼓励你发展特长（对比学习），让你既基础扎实又出类拔萃。
对老师（服务器）： 不再搞“一刀切”的教材，而是根据每个学生的天赋和弱点（费雪信息），定制一份专属教材，把大家最精华的部分融合起来，让每个人都能学得更好。

这种方法让联邦学习在保护隐私的前提下，真正实现了“和而不同，各美其美”。

1. 研究背景与问题定义 (Problem)

背景：
联邦学习（FL）允许在不共享数据的情况下协同训练模型。然而，现实场景中存在数据异构性（Non-IID）和模型异构性（不同客户端使用不同架构或维度的模型），这导致传统的联邦学习性能下降甚至失效。为此，异构联邦学习（HFL）应运而生，其中联邦原型学习（FPL） 通过原型对齐实现知识迁移，成为解决异构问题的有效方案。

现有挑战：
尽管现有的 FPL 方法取得了一定进展，但仍存在两个核心问题：

客户端特征质量失衡： 现有的客户端方法难以同时兼顾特征的保真度（Fidelity）（即特征与全局语义中心的一致性）和判别力（Discriminability）（即类间区分度）。
- 仅使用 L2 对齐能保证保真度，但忽略了类间相对距离。
- 仅使用对比学习能增强判别力，但可能导致特征偏离语义中心，生成低质量的全局原型。
- 简单结合两者可能导致优化目标冲突。
服务端原型单一化： 现有方法通常生成单一的全局原型。由于数据异构性，同一类别在不同客户端的特征分布存在差异。单一全局原型混合了不同客户端的语义，丢失了客户端特有的局部信息，导致语义模糊，误导客户端训练。

核心问题：

(i) 如何在客户端同时确保局部特征的保真度和判别力？
(ii) 如何克服单一全局原型的局限性，实现个性化的全局原型融合？

2. 方法论 (Methodology)

作者提出了 FedDBP 框架，包含两个核心组件：客户端的双分支特征投影器 和 服务端的个性化全局原型融合。

2.1 客户端：双分支特征投影器 (Dual-Branch Feature Projector)

为了解决特征保真度与判别力的平衡问题，作者在特征提取器和分类头之间设计了两个并行的分支：

共享分支 (Shared Branch, $g_s$ )：
- 目标： 确保特征的保真度。
- 机制： 采用基于 L2 对齐 的策略。计算局部原型（同类共享特征的平均值），并通过最小化局部特征与全局原型之间的欧氏距离（ $L_s$ ）来约束特征，使其贴近全局语义中心。
- 作用： 生成高质量的原型上传至服务器，用于全局知识聚合。
决策分支 (Decision Branch, $g_d$ )：
- 目标： 增强特征的判别力。
- 机制： 采用 对比学习 (Contrastive Learning) 结合 自适应硬负样本挖掘 (Adaptive Hard Negative Mining)。
- 硬负样本挖掘： 传统的对比学习对所有负样本一视同仁。FedDBP 引入边界惩罚项 $M_i$ ，动态计算正负样本的平均距离作为边界 $m$ ，重点惩罚那些位于决策边界附近的“硬负样本”。
- 作用： 拉大类间距离，提升分类准确率，同时避免过度偏离语义中心。

总损失函数：
$L = L_{sCE} + \lambda_1 L_{dCE} + \lambda_2 L_s + \lambda_3 L_d$
其中 $L_{sCE}$ 和 $L_{dCE}$ 为交叉熵损失， $L_s$ 为 L2 对齐损失， $L_d$ 为改进的对比损失。

2.2 服务端：个性化全局原型融合 (Personalized Global Prototype Fusion)

为了解决单一全局原型丢失局部信息的问题，作者提出基于 Fisher 信息 的通道重要性分析：

Fisher 信息计算：
- 利用 Fisher 信息量化特征通道对输出分布变化的敏感度。
- 假设 Fisher 值较高的通道包含更多客户端特有的局部信息。
- 通过反向传播计算梯度，估计每个通道的重要性得分 $s_c$ 。
Top-K 通道选择与融合：
- 服务器接收各客户端的局部原型和通道重要性得分。
- 对每个类别，计算全局平均原型。
- 个性化融合策略： 对于每个客户端，保留其重要性得分最高的 Top-K 个通道（使用其局部原型信息），其余通道则使用全局平均原型。
- 融合公式：
  $p_{k,pers}^{c,j} = \begin{cases} \eta \cdot p_{k}^{c,j} + (1-\eta) \cdot p^{c,j}, & \text{if } j \in T_c \\ p^{c,j}, & \text{if } j \notin T_c \end{cases}$
- 这种机制使得全局原型既保留了全局语义，又融合了客户端特有的关键信息，实现了自适应个性化。

3. 主要贡献 (Key Contributions)

提出了 FedDBP 框架： 一种新颖的联邦原型学习方法，通过客户端双分支训练和服务端自适应聚合，显著提升了异构联邦学习下的性能。
设计了双分支特征投影器： 创新性地同时集成 L2 对齐和对比学习（含硬负样本挖掘），在客户端层面有效平衡了特征的保真度与判别力，解决了现有方法的冲突问题。
提出了基于 Fisher 信息的个性化融合机制： 首次将 Fisher 信息引入联邦原型学习，通过通道重要性评估实现 Top-K 通道级的个性化原型融合，解决了单一全局原型无法适应数据异构性的问题。
广泛的实验验证： 在四个数据集（CIFAR-10, CIFAR-100, Flowers102, Tiny-ImageNet）上，FedDBP 在多种异构设置下均优于 10 种先进的 HFL 和 FPL 方法（包括 FedProto, FedKD 等），取得了 State-of-the-art (SOTA) 的性能。

4. 实验结果 (Results)

整体性能： 在四个数据集上，FedDBP 的平均准确率均排名第一。例如，在 CIFAR-100 上，相比基准方法 FedProto 提升了 6.58%；在 Tiny-ImageNet 上提升了 7.86%。
收敛性： 训练曲线显示，FedDBP 在通信轮次 5 之后即表现出优于其他方法的准确率，并在约 25 轮后稳定收敛。
非独立同分布 (Non-IID) 鲁棒性： 在不同程度的 Non-IID（通过 Dirichlet 分布参数 $\alpha$ 控制）下，FedDBP 始终表现最佳，证明了其对数据异构性的强适应性。
消融实验：
- 移除共享分支或决策分支均导致性能下降，验证了双分支设计的必要性。
- 移除硬负样本挖掘（w/o hard）在多分类任务中导致显著性能下降（相对下降 10-20%），证明了其在复杂分类中的关键作用。
- 移除个性化融合（w/o pers.）导致性能降低，证实了个性化全局原型对提升客户端特定性能的有效性。

5. 意义与价值 (Significance)

理论创新： 深入剖析了联邦原型学习中特征保真度与判别力的内在矛盾，并提出了双分支架构作为解决方案，为后续研究提供了新的思路。
技术突破： 提出的基于 Fisher 信息的通道级个性化融合机制，巧妙地解决了“全局知识共享”与“本地个性化保留”之间的权衡难题，无需修改客户端模型架构即可实现高效的知识迁移。
实际应用： 该方法在数据异构和模型异构的极端场景下表现优异，对于医疗、金融等数据隐私敏感且分布差异巨大的实际联邦学习应用场景具有重要的参考价值。

综上所述，FedDBP 通过精细化的特征工程（双分支）和智能化的原型聚合（Fisher 信息引导），显著推动了异构联邦学习的发展，是目前该领域的领先方法。