FedHyperM: Modality-Sensitive Federated Hypergraph Learning for Heterogeneous Multimodal Edge Intelligence

技术摘要：FedHyperM

问题陈述
联邦学习（FL）使边缘设备能够在不共享原始数据的情况下进行协作模型训练，从而解决边缘智能（EC）中的隐私问题。然而，实际的边缘部署面临着显著的模态异构性（modality heterogeneity）：由于硬件差异、传感条件变化或传感器故障，设备通常拥有不同的传感器子集（例如，有些设备拥有 RGB 摄像头，而另一些设备仅有热成像或音频传感器）。

在这样的异构设置中，传统的联邦学习聚合策略（如 FedAvg）变得不再可靠。这些策略假设模型参数是从可比的输入空间中学习到的。当设备在不同的模态组合上进行训练时，它们学习到的参数代表了不同的证据来源，这使得直接聚合会引入噪声并降低全局模型的性能。此外，现有的多模态联邦学习方法通常将缺失的模态视为需要重建或对齐的数据，而不是设计能够原生处理变化的可用模态集，同时保留它们之间高阶相关性的框架。

方法论：FedHyperM
作者提出了 FedHyperM，这是一个专门为存在模态异构性的边缘设备设计的隐私保护联邦多模态学习框架。该框架通过三个关键过程运行：

1. 局部多模态特征提取与冻结：
   每个边缘设备使用针对其可用模态的预训练模型（例如，用于文本的 BERT，用于图像的 CLIP，用于信号的 LSTM，用于音频的 BEATS）来初始化多模态特征提取器。在协作学习阶段，这些提取器是冻结的。这确保了特征表示空间保持一致，同时使模型专注于学习模态之间的关系。

2. 基于超图的多模态预测（边缘侧）：
   FedHyperM 不将模态视为独立的输入，而是将它们建模为一个超图，其中模态特定特征作为节点。

   • 自适应构建： 框架动态构建超边以捕捉高阶相关性。它定义了“锚点节点”（代表特定模态）并根据学习到的重构系数将其动态连接到“关联节点”（其他模态）。
   • 学习目标： 系统最小化重构损失（衡量从关联节点重构锚点节点的效果），并辅以 $L_1$ 和 $L_2$ 范数正则化，以控制稀疏性和异常值的影响。
   • 预测： 多头注意力机制聚合超边嵌入以更新节点嵌入，随后通过多层感知机（MLP）进行预测。这使得模型能够学习该设备上特定模态之间复杂的组级关系。

3. 模态敏感聚合（服务端）：
   为了解决聚合在不同模态集上训练的模型所面临的挑战，FedHyperM 引入了**模态敏感聚合（MSA）**机制。

   • 权重策略： 该机制并非采用均匀平均，而是根据相邻设备可用模态名称集合之间的**最小编辑距离（Minimum Edit Distance, MinED）**来计算聚合权重。
   • 逻辑： 较小的 MinED 意味着模态可用性的相似度较高，从而导致较高的聚合权重。这确保了具有相似模态配置的设备其参数能对全局更新做出更显著的贡献，从而减轻了因聚合不兼容证据而产生的噪声。

核心贡献

• 新颖框架： 提出了 FedHyperM，这是一个专门设计的协作框架，旨在促进跨具有异构模态可用性的边缘设备进行联邦多模态学习。
• 超图学习模块： 设计了一个基于超图的预测模块，将模态特征视为节点，并自适应地构建超边，以捕捉多模态特征之间的高阶、非成对相关性。
• MSA 机制： 开发了一种使用最小编辑距离（MinED）对模型更新进行加权的模态敏感聚合策略，确保聚合过程考虑了每个边缘设备的特定模态组成。
• 实证验证： 通过广泛的实验证明，该框架能够有效处理模态异构性，而无需共享原始数据或进行复杂的缺失模态填补。

实验结果
作者在 UR-FALL 数据集（使用 RGB-深度视频进行跌倒检测）上评估了 FedHyperM，并在三种不同的模态存在率（MER: $\rho = 0.5, 0.7, 0.8$）下模拟了不同程度的模态缺失情况。他们将该框架与五种基准方法进行了比较：FedAvg、FedCor、FedProx、AutoFed 和 FedInMM。

• 性能提升： 在所有 MER 设置下，FedHyperM 的表现始终优于所有基准方法。
  • 准确率（Accuracy）： 与基准方法相比，平均准确率提高了 3.64% 至 22.33%。
  • F1 分数（F1-Score）： 平均 F1 分数提高了 2.91% 至 26.82%。
  • 鲁棒性： 该框架在“最差准确率”（W. Acc）和“最差 F1”（W. F1）指标上表现出特别的优势，表明即使对于模态集最受限的设备，它也能稳定性能。
• 消融研究：
  • 去除超图模块（w/o HyperG）导致平均准确率下降约 6.6%，证实了捕捉高阶相关性的必要性。
  • 用简单平均代替 MSA（w/o MSA）导致更显著的下降（平均准确率下降约 9.15%），验证了模态感知加权对于异构聚合至关重要。
• 超参数敏感性： 模型表现出稳定性，在 $\alpha = 0.3$ 和 $\beta = 0.5$（$L_1$ 和 $L_2$ 正则化的超参数）时观察到最佳性能。

意义
本文声称 FedHyperM 解决了边缘智能中的一个根本性差距：即在不损害隐私或不需要数据填补的情况下，从分布式、异构传感器数据中进行协作学习的能力。通过将模态异构性视为通过超图进行建模并通过编辑距离进行加权的结构化特征，而非将其视为需要修复的缺陷，该框架使得在传感器可用性不一致的真实边缘场景中，能够实现更鲁棒、更准确的全局模型。结果表明，显式建模高阶模态相关性并尊重模态特定的聚合权重，对于下一代联邦多模态系统至关重要。