💻 computer science

ProMoE-FL: Prototype-conditioned Mixture of Experts for Multimodal Federated Learning with Missing Modalities

该论文提出了 ProMoE-FL，一种以原型为条件的混合专家框架，该框架利用全局客户端感知原型库来动态合成联邦学习中缺失的多模态特征，并在同质和异质设置下的四个胸部 X 光数据集上，展示了优于现有最先进方法的性能。

原作者： Aavash Chhetri, Bibek Niroula, Eduard Vazquez, Yash Raj Shrestha, Prashnna Gyawali, Loris Bazzani, Binod Bhattarai

发布于 2026-07-09

📖 1 分钟阅读☕ 轻松阅读

原作者： Aavash Chhetri, Bibek Niroula, Eduard Vazquez, Yash Raj Shrestha, Prashnna Gyawali, Loris Bazzani, Binod Bhattarai

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，一支由不同医院组成的医生团队正试图构建一个超级智能的 AI，用于诊断胸部疾病。为了达到真正的准确度，这个 AI 需要为每位患者查看两样东西：一张 X 光图像和一份书面医疗报告。

然而，在现实世界中，医院的情况是杂乱无章的。有些医院拥有出色的照相设备但没有打字员（只有图像）。有些医院有优秀的打字员但相机坏了（只有文本）。有些则两者兼备。由于严格的隐私法，这些医院不能将患者数据发送到中央服务器进行共同训练；它们必须在本地进行训练，并且只能分享“学到的教训”，而不是数据本身。

问题也随之而来：当 AI 被教导要理解一个只有 X 光片的患者时，该如何处理？因为 AI 本来是按同时具备 X 光片和报告的要求来训练的。

这就是 ProMoE-FL 发挥作用的地方，它是一种巧妙的新方法来解决这个问题。以下是它的工作原理，我们使用简单的类比来解释：

1. “全球食谱大全”（原型库）

通常情况下，如果一家医院缺少报告，AI 可能会直接猜测或者留下一片空白，这会让它感到困惑。其他方法尝试使用公共数据集（比如一本通用的教科书）来填补空白，但这就像是试图用一本来自不同国家的通用食谱来烹饪一道特定的本地菜肴——味道往往不对。

ProMoE-FL 做得更聪明。它构建了一本 “全球食谱大全”（称为“原型库”）。

想象一下，每家医院都会发送一份关于其“典型”患者在特定疾病表现上的匿名摘要。
中央服务器收集这些摘要，以创建一个关于“某种疾病通常长什么样”的全局清单。
这本书并不包含患者数据（因此隐私是安全的）；它只包含不同病症的“本质”或“指纹”。

2. “智能翻译官”（专家混合模型）

现在，假设一家医院送来了一位只有 X 光片的患者。AI 需要根据这张 X 光片来“幻觉”或“合成”原本缺失的医疗报告应该会说什么。

ProMoE-FL 没有使用一个庞大而笨拙的单一翻译官，而是使用了 专家混合模型 (Mixture of Experts, MoE)。

把它想象成一个房间里的一组专业翻译官。一位擅长翻译“骨折”，另一位擅长“心脏问题”，还有一位擅长“肺部感染”。
当新患者到来时，一个 路由 (Router)（就像一个聪明的接待员）会观察 X 光片并参考“全球食 liệu 食谱大全”。
路由会询问：“对于这个特定病例，哪位专家最合适？”它可能会说：“这看起来像是一个肺部问题，所以让我们使用‘肺部专家’。”
这位专家随后会利用“全球食谱大全”生成一份高质量、真实的文本报告，以匹配 X 光片，从而完美地填补缺失的信息。

3. 为什么它比旧方法更好

旧方法 1（零填充法）： 这就像是在应该有报告的地方放了一张白纸。AI 会感到困惑并表现不佳。
旧方法 2（公共数据法）： 这就像是使用一本通用的教科书来猜测报告。它往往会错过当地医院患者的特定特征。
ProMoE-FL： 它结合了本地医院的特定“风味”（通过原型）和专家的专业技能。它创造出的“伪”报告如此准确，以至于看起来和用起来都像真实的报告一样。

结果

作者在四个真实的胸部 X 光数据集上测试了该方法。他们模拟了各种场景：有的医院只有图像，有的只有文本，有的两者都有。

结论： ProMoE-FL 始终优于其他方法。在医院之间差异很大（异质性高）的情况下，它的表现尤为出色，而这正是现实世界中最常见的情况。
视觉证明： 当他们观察 AI 的“大脑”（使用视觉图谱）时，他们发现 ProMoE-FL 能清晰地将不同的疾病区分开来。其他方法往往会将它们模糊地混在一起，这在医学领域是危险的。ProMoE-FL 保持了“罕见疾病”的独特性，确保 AI 不会因为缺少报告而漏诊。

简而言之

ProMoE-FL 是一个保护隐私的系统，即使在丢失一半病历的情况下，也能帮助 AI 医生开展工作。它通过咨询一份共享的、匿名的疾病“风格指南”，并利用一组专门的“合成器”来精准地填补信息缺口，从而确保即使在数据不完整的情况下，AI 依然能保持高度准确。

技术摘要：ProMoE-FL

问题陈述

本文旨在解决医疗场景中存在缺失模态的多模态联邦学习 (FL) 的挑战。在现实世界的临床环境中，由于隐私法规和设备可用性的差异，数据分散在不同的机构中。因此，参与的客户端往往拥有不完整的模态集（例如，有些只有 X 光片，有些只有文本报告，而有些两者都有）。

现有的方法面临显著局限性：

中心化方法（如基于提示、生成式或 Dropout 的方法）由于严格的隐私约束和通信效率要求，在联邦学习中并不实用。
对公共数据的依赖： 诸如 CAR-MFL 之类的方法需要额外的公共多模态数据集来补偿客户端缺失的数据，这在医疗领域由于隐私限制和领域差异通常是不切实际的。
天真的填补（Naive Imputation）： 零填充（Zero-filling）等方法会扭曲联合特征空间，并使模型偏向于频繁观察到的模态。
特征合成的局限性： FeatImp 等方法仅从观测到的模态合成特征，而没有对互补信息进行建模；而像 PmcmFL 这样的基于原型的方法将同一类别的所有样本分配为相同的表示，未能捕捉到对医疗数据至关重要的类内差异性。

方法论：ProMoE-FL

作者提出了 ProMoE-FL（用于联邦学习的基于原型的混合专家模型），这是一个旨在实现鲁棒的缺失模态特征合成框架，且无需依赖外部公共数据。

1. 客户端感知的全局原型库

为了应对客户端异质性和分布偏移，该框架构建了一个全局原型库，用以捕捉跨机构具有临床意义的模态先验。

原型构建： 每个客户端为每个类别维护可学习的、模态特定的原型 ( $P^k_m$ )。这些原型通过原型对齐损失 ( $L_{proto}$ ) 在本地进行更新，该损失将投影后的特征表示与类别质心对齐。
全局聚合： 与简单的平均法不同，服务器累积客户端原型以形成一个全局库 ( $P^{global}_m$ )。该库在潜空间中作为一个“客户端感知的先验”，引导特征合成以考虑到跨客户端的分布变异。

2. 基于原型调控的混合专家模型 (MoE)

对于缺失模态的客户端，原型调控解码器 (PCD) 用于合成缺失的特征。

架构： PCD 通过 Transformer 解码器实现。它将现有模态的潜在特征作为查询（Query），并关注目标（缺失）模态的全局原型库，以检索必要的上下文信息。
混合专家模型： 为了处理异构模态对之间复杂的非线性关系，系统采用了混合专家模型 ( $\Phi_{MoE}$ )。它由多个独立的 PCD ( $\phi_e$ ) 组成。
方向感知路由： 模态感知路由器 ( $R$ ) 根据实例上下文和模态索引（源 $i$ ，目标 $j$ ）计算门控分布。它动态地将数据路由到最优的专家组合，从而允许网络针对特定的缺失模态场景自适应地选择最佳合成策略。

3. 联邦训练协议

本地训练： 客户端优化由任务损失 ( $L_{task}$ ) 和原型对齐损失 ( $L_{proto}$ ) 组成的组合目标。
对称重构： 多模态客户端使用对称重构目标来训练合成网络，学习从可用特征重构缺失特征，反之亦然。
通信： 客户端传输更新的模型参数、投影头和本地原型。服务器通过 FedAvg 对其进行聚合。通信开销极小（约占总参数量的 0.3%）。

核心贡献

框架提议： 引入了 ProMoE-FL，这是一个基于原型的特征生成框架，能够在无需外部公共数据的情况下，实现联邦多模态学习中的缺失模态合成。
新颖架构： 集成了客户端感知原型注意力机制以处理跨客户端异质性，以及混合专家模型 (MoE) 架构，用于在共享参数化内的方向感知合成，防止了参数量的组合爆炸。
鲁棒性验证： 通过广泛的实验证明了其在模拟现实临床数据孤岛的异构（non-IID）设置下的优越性能，并得到了定量和定性分析的支持。

实验结果

该方法在四个公开胸部 X 光数据集上进行了评估：MIMIC-CXR, NIH Open-I, PadChest, 和 CheXpert。

性能： ProMoE-FL 在同质和异构设置下均一致优于最先进的基准方法（Zero-filling, Uniform-filling, FeatImp, PmcmFL, 和 CAR-MFL）。
- 在同质设置中，它在 9 种配置中的 6 种中达到了最佳性能。
- 在异构设置（代表真实的联邦场景）中，它在每种配置下都一致优于所有基准方法。值得注意的是，相比于因依赖单一类级别原型而导致性能下降的 PmcmFL，它展现出了显著的提升。
公共数据对比： 即使与利用公共数据的 CAR-MFL 进行比较，ProMoE-FL 也取得了具有竞争力的性能，证明了其内部原型机制有效地补偿了缺乏外部数据的问题。
定性分析：
- t-SNE/UMAP： 与 FeatImp 相比，ProMoE-FL 展示了合成特征与真实特征之间更紧密的集成，以及更精确的类别质心对齐。
- 罕见病理： 该方法保持了罕见病理（如心影扩大、骨折、肺部病变）之间清晰的类别质心分离，而 FeatImp 则表现出不同病理趋同的模式崩溃现象。
- 专家利用率： 门控分布显示出平衡的专家利用率（中心接近 0.5），表明存在稳定的多专家协作，而非坍缩到单个专家。
语言异质性： 研究指出包含了西班牙语放射报告（PadChest）以及英语数据集，这标志着在该特定 FL 背景下首次考虑了语言领域的异质性。

意义与主张

本文声称 Pro-MoE-FL 为解决现实临床联邦学习中的数据异质性提供了一种切实可行的方法。通过超越简单的特征填补，转向自适应原型调控合成，该框架：

保留了包括罕见病理在内的诊断结构，确保合成的数据保留了可靠诊断所需的判别信号。
在无需假设存在可用公共多模态数据集的情况下高效运行。
成功应对了非 IID 数据和医疗中心间模态可用性变化的挑战，为隐私保护的多模态医疗 AI 提供了一个鲁棒的解决方案。