FusionNet Lite: Compact Federated Deep Learning for Predictive Maintenance under Label Heterogeneity and Temporal Generalization

技术摘要：面向标签异构与时间泛化性的预测性维护 FusionNet Lite

问题陈述
联邦学习（FL）为协作式预测性维护（PdM）提供了一条路径，即在不共享原始观测数据的情况下，跨分布式工业数据进行模型训练。然而，现有方法面临显著挑战：客户端数据通常是非独立同分布（non-IID）的，特别是在标签异构性方面；时间依赖性和稀有故障事件使评估变得复杂；此外，边缘设备对计算效率的需求与对高预测精度及可解释性的需求之间存在冲突。目前存在一个关键的研究空白，即在这些受限的联邦条件下，一个紧凑型深度学习模型能否保持有用的故障检测能力和一致的特征归因解释。

研究方法
本研究评估了 FusionNet Lite——一种仅包含 1,420 个可训练参数的紧凑型特征轴分类器——并将其与四种轻量级基准模型进行对比：卷积神经网络（CNN）、双向长短期记忆网络（BiLSTM）、多层感知器（MLP）和 CNN-LSTM。

• 架构： FusionNet Lite 处理单个观测值（形状为 $F \times 1$），采用分离卷积、类 ConvMixer 的特征混合、残差连接以及 Squeeze-and-Excitation（SE）通道重加权。其设计旨在处理单个观测值而非时间序列，尽管在评估时使用了年代学拆分（chronological splits）。
• 数据集： 使用了两个数据集，并采用了不同的划分策略：
  • AI4I 2020： 一个具有分层随机拆分（65/15/20）的合成数据集。
  • MetroPT3： 一个真实的压缩机记录数据集，采用固定行年代学拆分（55/20/25）以模拟时间泛化。
• 实验设计：
  • 训练模式： 模型在集中式设置和模拟同步联邦平均（FedAvg，包含三个客户端）两种模式下进行训练。
  • 标签异构性： 客户端划分使用狄利克雷分布（$\alpha=0.5$）生成，以创建受控的标签非 IID 条件。
  • 评估： 研究使用十个匹配的随机种子进行核心比较。根据验证集 AUROC 选择检查点。使用 AUROC、AUPRC 和 F2 分数（通过扩展网格阈值选择来解决类别不平衡问题）进行性能衡量。
  • 可解释性： 计算类特定的集成梯度（Integrated Gradients, IG），以比较集中式模型与联邦模型之间的归因一致性。
  • 效率： 使用能量效率指数（EEI）作为计算成本的代理指标，该指数定义为参数数量与测得的批次推理延迟的乘积。

核心贡献

1. 紧凑型架构： 引入并评估了一种结合了成熟操作（分离卷积、SE 注意力、残其残差连接）的 1,420 参数架构，旨在实现极小的占用空间，适用于联邦交换。
2. 受控基准测试： 通过五个架构、两个数据集、十个匹配种子、基于验证集选择的检查点以及特定阈值策略（F1 与 F2 优化）进行严谨比较，旨在将架构效应从调优伪影中分离出来。
3. 敏感性分析： 系统地检查了架构组件（消融实验）、特征顺序、客户端数量（3 对 10）、参与率以及学习率。
   函数。
4. 归因一致性： 通过类特定的 IG 相关性、符号一致性和 Jaccard 重叠，对中心-联邦归因一致性进行了定量评估，区分了检测质量与解释一致性。

结果

• 预测性能：
  • 在 AI4I 上，FusionNet Lite 在 FedAvg 下达到了具有竞争力的结果（AUROC $0.8289 \pm 0.0621$，F2 $0.3508 \pm 0.0908$），但在经过多重比较调整后，在所有指标上均未表现出相对于 MLP 的显著优越性。
  • 在 MetroPT3 上，FusionNet Lite 实现了较高的排名辨别能力（FedAvg 下 AUROC $0.9351 \pm 0.0462$），但与 BiLSTM 和 CNN-LSTM 基准相比，其对稀有故障的检测能力较低且波动较大（AUPRC $0.2197 \pm 0.1971$，F2 $0.1566 \pm 0.2044$）。
  • 阈值敏感性： 从原始网格 F1 选择切换到扩展网格 F2 选择，显著提高了 MetroPT3 上的平均测试 F2（从 $0.0423$提升至$0.1566$），尽管变异性依然很高。
• 效率： 在两个数据集上，FusionNet Lite 的参数量最少，且固定批次 EEI（参数-延迟指数）最低，证实了其作为资源受限部署代理指标的效率。
• 归因： 中心-联邦归因一致性因模型和数据集而异。在 MetroPT3 上，尽管 MLP 的预测性能较弱，但 FusionNet Lite 的 IG 一致性却表现得更弱且更不稳定（Spearman 相关系数 $\approx 0.24-0.27$）。这表明高解释一致性并不一定与卓越的检测质量相关联。
• 敏感性： 性能排名对特征顺序、客户端分配和学习率较为敏感。移除特定组件（如 SE 注意力或 Stem 残差）会产生混合结果，有时在某一数据集上提升性能，而在另一数据集上则导致性能下降。

意义与主张
本文声称确立了一种有条件的性能-复杂度权衡。研究表明，一个显著更小的模型（FusionNet Lite）可以在受控联邦条件下提供有用的预测性能和最低的计算成本代理（EEI）。然而，作者明确指出：

• 单纯的紧凑性并不能保证卓越的故障检测或一致的解释。
• 在不平衡且具有时间性的设置中，高 AUROC 并不等同于可靠的稀有故障检测。
• 解释一致性（IG）并不是预测效用的直接替代指标。
• 研究结论受限于特定的基准条件（合成数据和单记录真实数据、同步 FedAvg、固定种子）。

研究结论认为，虽然 FusionNet Lite 为联邦 PdM 提供了一个可行且高效的选择，但其部署需要仔细考虑操作点（阈值）、数据异构性以及排名辨别力与实际故障检测之间的区别。作者并未声称该模型具有普遍优越性，或已准备好在无需进一步独立验证的情况下立即进行工业部署。