⚡ electrical engineering

FedProIn: Mitigating Client Drift for Learnable Prototypes in Federated Medical Imaging

CertProIn 是一种基于原型的联邦学习框架，它通过采用特征与原型散度损失以及归一化影响聚合策略来缓解医学成像中的客户端漂移问题，在异构数据集上实现了优于现有基准模型的性能。

原作者： Harsh Kumar, Tarun Kumar Garg, Vaanathi Sundaresan

发布于 2026-07-07

📖 1 分钟阅读☕ 轻松阅读

原作者： Harsh Kumar, Tarun Kumar Garg, Vaanathi Sundaresan

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，一群来自不同医院的医生正试图教一个单一的 AI 如何识别皮肤病或血细胞。由于隐私法（如 HIPAA）的限制，他们无法分享真实的患者照片。相反，他们使用了一种叫做**联邦学习（Federated Learning）**的方法。

你可以把这想象成一群厨师试图完善一个单一的“大师级食谱”。每位厨师都在自己的厨房里，使用各自的本地食材进行烹饪。他们向中央主厨发送关于如何改进食谱的指令，由主厨将这些指令结合起来，制作出一个更好的“大师级食谱”。

问题：“客户端漂移”（Client Drift）

在现实世界中，每个医院都是不同的。有的可能使用特定类型的相机，有的可能主要接诊老年患者，还有的可能主要看儿童。这就是所谓的统计异质性（Statistical Heterogeneity）。

因为这些差异，本地的厨师（客户端）开始偏离“大师级食谱”。

特征漂移（Feature Drift）： 一位厨师开始将“红点”描述为“鲜红色”，而另一位则称之为“深绯红色”。他们观察的是同一个东西，但描述方式完全不同。
原型漂移（Prototype Drift）： 厨师们开始死记硬背他们自己的本地特征。如果一位厨师只见过罕见疾病，他们可能会过度关注这些疾病，而忽略了常见疾病。

当主厨试图混合这些相互冲突的指令时，最终的食谱会变得混乱、不稳定且准确性降低。这就是论文中所说的客户端漂移。

解决方案：FedProIn

作者提出了一种名为 FedProIn（基于原型聚合与影响力的联邦学习）的新系统。它不再仅仅是平均化厨师们的指令，而是通过三个更聪明的技巧来实现：

1. 学习“原型”（可学习的原型/Learnable Prototypes）

系统不再只是简单地平均数据，而是创建了可学习的原型。

类比： 想象一下，系统不再只是说“红点”，而是为每种疾病创建了一组理想化的“原型卡片”。对于“黑色素瘤”而言，并不只有一张卡片，而是有几张代表不同类型黑色素瘤的卡片。
这些卡片不是静态的，它们是“可学习的”，这意味着 AI 可以主动调整这些卡片，使其成为某种疾病的完美代表，而不是仅仅对它所见过的所有照片进行模糊的平均。

2. “双重检查”系统（缓解漂移）

为了防止厨师们产生分歧，FedProIn 使用了两个特定的“损失函数”（即衡量错误的惩罚分数）：

特征差异损失（“翻译”检查）： 这强制要求本地厨师以符合全局“词典”的方式来描述事物。如果一位本地厨师将一个点描述为“鲜红色”，系统会轻轻地引导他们，使其与全局定义的“红色”保持一致，从而确保每个人都在使用同一种语言。
原型对比损失（“记忆”检查）： 这确保了本地厨师的“原型卡片”不会变得过于古怪或偏向于他们自己的厨房。它将他们的卡片拉近到全局“大师卡片”附近，并将其推离他们之前可能存在的、带有偏见的版本。

3. “智能投票”（归一化影响力聚合/Normalized Influence Aggregation）

这是最独特的部分。在标准系统中，每个厨师的投票权重取决于他们拥有的照片数量。但如果一位厨师有 1,000 张常见疾病的照片，但对于某种罕见疾病却一张照片也没有，那么他们的投票可能会淹没那位真正拥有罕见照片的厨师。

FedProIn 引入了归一化影响力聚合（NIA）。

类比： 系统不再是数人头，而是计算谁真正使用了原型卡片。
如果某张特定的“罕见疾病卡片”被某位厨师频繁用于分类其患者，那么该厨师在该特定卡片上的投票权就会很强。
如果一位厨师持有一张他从未实际使用过的卡片（也许是因为他没有相关的患者），那么他针对该卡片的投票就会被静音。这防止了“噪声”淹没重要的、罕见的信息。

结果

作者在两个真实的医学数据集上测试了这个系统：

HAM10000： 皮肤病变图像。
Matek-19： 血细胞图像。

他们模拟了一个数据杂乱且不均衡（Non-IID）的情景，这也是现实世界的运作方式。

结果： FedProIn 表现优于所有其他方法。即使在本地厨房差异巨大的情况下，它也能更好地保持“大师级食谱”的准确性。
数据： 在皮肤数据集上，它在复杂的现实场景中达到了 81.1% 的准确率（相比之下，其他方法的得分较低）。在血细胞数据集上，它达到了 95.8%。

总结

简而言之，FedProIn 是一种更聪明的让 AI 模型在不共享私密数据的情况下共同学习的方法。它通过以下方式防止模型因本地差异而产生困惑：

为疾病创建灵活的“原型卡片”。
强制所有人使用统一的“特征语言”。
给那些真正了解罕见疾病的厨师更大的发言权，而不是仅仅给那些照片最多的厨师。

论文得出结论，这种方法使得全局 AI 模型在医疗影像这种复杂且多样化的现实环境中更加稳健且准确。

技术摘要：FedProIn —— 缓解联邦医学影像中可学习原型中的客户端漂移

问题陈述

联邦学习（FL）在医学影像领域受到统计异质性的显著阻碍，这种异质性源于不同医疗中心之间扫描协议、采集方法以及多样化患者群体的差异。这种非独立同分布（non-IID）的数据分布会导致客户端漂移（client drift），即局部模型在优化过程中偏离全局模型。具体而言，相同的实例会被不同的客户端映射到特征空间中不同的区域，导致局部表示向特定客户端的特征产生偏差。

现有方法面临以下局限性：

基于约束的正规化方法（如 FedProx、MOON）难以在高维空间中对齐语义表示。
标准的基于原型的方法通常假设每个类别只有一个全局原型（通过平均特征向量实现），这对于异质性医学数据而言是不够的。
多原型方法往往会引入高计算复杂度，或者依赖于无法有效优化决策边界的单模态表示。

方法论：FedProIn

作者提出了 FedProIn（具有影响力聚合的可学习原型的联邦学习），该框架利用**可学习原型（Learnable Prototypes, LPs）**作为可优化的模型参数，而非静态的平均向量。全局模型由一个特征编码器 $f_\theta$ 和一组原型 $P \in \mathbb{R}^{C \times M \times d}$ 组成，其中 $M$ 是每个类别的原型数量。

1. 客户端漂移的分解

FedProIn 通过将客户端漂移分解为两个组成部分并应用特定的正规化损失来显式解决该问题：

特征漂移（Feature Drift）： 通过**特征发散损失（Feature Divergence Loss, FDL）**进行处理。客户端维护一个冻结的全局特征提取器副本（ $\theta^{t-1}$ ）。局部编码器被正则化以最小化局部特征嵌入与参考全局特征之间的均方误差，从而确保语义对齐。
原型漂移（Prototype Drift）： 通过**原型对比损失（Prototype Contrastive Loss, PCL）**进行处理。该损失将更新后的局部原型拉向当前的全局原型，同时将其推离之前的局部状态。这防止了原型过度偏向于局部数据的偏移。

总的局部目标函数结合了主要分类损失（ $\ell_{Task}$ ）与这些正则化项：
$\ell_{Total} = \ell_{Task} + \lambda_{FDL}\ell_{FDL} + \lambda_{PCL}\ell_{PCL}$

为了处理长尾医学数据集中的类别不平衡问题，该方法采用了类别平衡采样和自适应增强，以确保稀有疾病亚型在原型更新过程中得到充分表示。

2. 归一化影响力聚合（Normalized Influence Aggregation, NIA）

由于标准聚合（如 FedAvg）仅根据数据集大小进行加权，忽略了原型的利用率，因此对于多原型而言是不充分的。这可能会放大来自未充分利用原型的噪声，或抑制针对稀有病例的专门化表示。

FedPro-In 引入了归一化影响力聚合（NIA）：

影响力矩阵（ $I_i$ ）： 在局部训练期间，每个客户端会跟踪每个原型的得分，即统计特定原型作为局部样本最近邻出现的次数。
聚合： 全局原型通过与其使用得分（ $I_{k,c}^i$ ）成比例的权重进行聚合，而非仅仅根据客户端的数据集大小。这种方式降低了来自未使用原型的噪声更新的权重，并保留了与特定客户端子集相关的专门化表示。

核心贡献

可学习原型公式化： 将原型作为可优化的参数（与特征提取器共同优化）而非静态平均向量，以最大化类别分离间隔。
双重正则化策略： 通过将客户端漂移分解为特征漂移和原型漂移，并分别通过 FDL 和 PCL 进行处理，显式地缓解客户端漂移。
归一化影响力聚合（NIA）： 一种新型聚合机制，根据原型的局部效用自适应地为客户端原型加权，解决了多原型设置中的异质利用和稀疏激活问题。
实证验证： 在公共医学影像数据集上进行了全面的评估，展示了对统计异质性的鲁棒性。

实验结果

该框架在两个公共长尾医学影像数据集上进行了评估：HAM10000（皮肤镜图像）和 Matek-19（外周血细胞图像）。实验在 IID 和 Non-IID（Dirichlet $\alpha=0.5$ ）设置下进行，共有 $K=10$ 个客户端。

性能亮点：

HAM10000： FedProIn 实现了 83.5% 的准确率 (IID) 和 81.1% 的准确率 (Non-IID)，优于包括 FedAvg、FedProx、MOON 以及其他基于原型的模型（FedProto、FedTGP、FedPLVM）在内的所有基准方法。
Matek-19： FedProIn 实现了 96.2% 的准确率 (IID) 和 95.8% 的准确率 (Non-IID)。
鲁棒性： 在 Non-IID 条件下，现有的原型方法性能下降显著（例如在 HAM10000 上准确率下降了 6–7%），而 FedProIn 将相对损失限制在 HAM10000 的 2.4% 和 Matek-19 的 0.4% 左右。
消融实验： 结果证实 FDL 和 PCL 对于获得最佳性能都是必要的。移除 FDL 导致性能下降最为剧烈，表明特征漂移是主要的失效模式。完整模型显著优于单组件变体以及退化情况（等效于 FedAvg）。

意义与主张

论文声称 FedProIn 通过利用可学习原型和影响力感知聚合，有效地缓解了联邦医学影像中的客户端漂移。作者断言其方法：

与现有的 FL 基准和个性化方法相比，特别是在高度异质（Non-IID）的环境中，实现了更优的泛化能力。
成功解决了单原型假设和多原型设置中无权重聚合的局限性。
为数据异质性和类别不平衡普遍存在的医学影像领域提供了一个鲁棒的解决方案。

作者指出，未来的工作将探索如何将 FedProIn 应用于个性化 FL（移除对全局模型的依赖），并将该框架扩展到具有多样化模型架构的异构 FL 设置中。代码已公开以支持复现。