FusionNet Lite: Compact Federated Deep Learning for Predictive Maintenance under Label Heterogeneity and Temporal Generalization

技術要約：ラベルの不均一性と時間的汎化性を考慮した予兆保全のためのFusionNet Lite

問題提起
連合学習（Federated Learning: FL）は、生の観測データを共有することなく、分散された産業データを用いてモデルを訓練することにより、協調的な予兆保全（PdM）への道を開くものである。しかし、既存のアプローチには大きな課題が存在する。具体的には、クライアントのデータは非独立かつ非同一分布（non-IID）であり、特にラベルの不均一性が問題となる。また、時間的依存関係や稀な故障イベントが評価を複雑にしている。さらに、エッジデバイスにおける計算効率の必要性と、高い予測精度および説明性の要求との間には相反する関係がある。制約のある連合環境下において、コンパクトなディープラーニングモデルが、有用な故障検出と一貫した特徴量寄与の説明性を維持できるかどうかを判断することが、重要な空白領域となっている。

手法
本研究では、わずか1,420個の学習可能パラメータを持つコンパクトな特徴軸分類器であるFusionNet Liteを、4つの軽量なベースライン（CNN、双方向LSTM [BiLSTM]、多層パーセプトロン [MLP]、CNN-LSTM）と比較評価する。

• アーキテクチャ: FusionNet Liteは、分離可能な畳み込み（separable convolutions）、ConvMixerスタイルの特徴混合、残差接続、およびSqueeze-and-Excitation（SE）チャネル再重み付けを用いて、個々の観測値（形状 $F \times 1$）を処理する。これは時間的シーケンスではなく、単一の観測値に対して動作するように設計されているが、評価には時系列分割が用いられている。
• データセット: 以下の2つの異なる分割戦略を用いたデータセットを利用した。
  • AI4I 2020: 層化ランダム分割（65/15/20）を用いた合成データセット。
  • MetroPT3: 時間的汎化をシミュレートするために、固定行による時系列分割（55/20/25）を用いた実世界のコンプレッサー記録。
• 実験設計:
  • 訓練モード: 中央集約型設定、および3つのクライアントを用いたシミュレーション同期型Federated Averaging (FedAvg) の両方でモデルを訓練した。
    型 ラベルの不均一性: クライアントのパーティションは、ディリクレ分布（$\alpha=0.5$）を用いて生成し、制御されたラベルnon-IID条件を作成した。
  • 評価: コアとなる比較のために10組の対応するランダムシードを用いた。チェックポイントは検証時のAUROCに基づいて選択された。性能は、クラス不均衡に対処するための拡張グリッド閾値選択を含め、AUROC、AUPRC、およびF2スコアを用いて測定された。
  • 説明性: クラス固有のIntegrated Gradients (IG) を算出し、中央集約型モデルと連合モデル間の属性一致度を比較した。
  • 効率性: パラメータ数と測定されたバッチ推論レイテンシの積として定義されるエネルギー効率指数（EEI）を、計算コストのプロキシとして使用した。

主な貢献

1. コンパクトなアーキテクチャ: 確立された操作（分離可能畳み込み、SE、残差）を最小限のフットプリントに組み合わせ、連合での交換に適した1,420パラメータのアーキテクチャを導入し、評価した。
2. 制御されたベンチマーク: 5つのアーキテクチャと2つのデータセットを用い、10組の対応するシード、検証選択されたチェックポイント、および特定の閾値ポリシー（F1対F2の最適化）を使用して、チューニングのアーティファクトからアーキテクチャの効果を分離した厳格な比較を行った。
3. 感度分析: アーキテクチャの構成要素（アブレーション）、特徴量の順序、クライアント数（3対10）、ラベルの集中度（$\alpha$）、参加率、および学習率に関する系統的な調査を行った。
4. 属性一致度: クラス固有のIG相関、符号の一致、およびJaccardオーバーラップを用いて、中央集約型と連合型の属性一致度を定量的に評価し、検出品質と説明の一貫性を区別した。

結果

• 予測性能:
  • AI4Iにおいて: FusionNet LiteはFedAvg下で競争力のある結果（AUROC $0.8289 \pm 0.0621$, F2 $0.3508 \pm 0.0908$）を達成したが、多重比較の調整後、すべての指標においてMLPに対して統計的に有意な優位性は示さなかった。
  • MetroPT3において: FusionNet Liteは高いランキング識別能（FedAvg下でのAUROC $0.9351 \pm 0.0462$）を達成したが、BiLSTMやCNN-LSTMのベースラインと比較して、稀な故障の検出（AUPRC $0.2197 \pm 0.1971$, F2 $0.1566 \pm 0.2044$）においては低く、変動が大きい結果となった。
  • 閾値の感度: 元のグリッドF1選択から拡張グリッドF2選択への切り替えにより、MetroPT3の平均テストF2は大幅に改善した（$0.0423$から$0.1566$ へ）。ただし、変動性は依然として高かった。
• 効率性: FusionNet Liteは、両方のデータセットにおいて、5つのアーキテクチャの中で最小のパラメータ数と最も低い固定バッチEEI（パラメータ・レイテンシ指数）を有しており、リソース制約のあるデプロイメントのためのプロキシとしての効率性が確認された。
• 属性: 中央集約型と連合型の属性一致度は、モデルとデータセットによって異なった。MetroPT3において、FusionNet Liteは、MLPの予測性能が弱いにもかかわらず、MLPと比較して、より弱く変動的なIG一致度（Spearman相関 $\approx 0.24-0.27$）を示した。これは、高い説明的一致度が必ずしも優れた検出品質と相関しないことを示している。
• 感度: パフォーマンスのランキングは、特徴量の順序、クライアントの割り当て、および学習率に対して敏感であった。特定の構成要素（例：SEアテンションやステム残差）を取り除くと、あるデータセットでは性能が向上し、別のデータセットでは低下するなど、混合した結果が得られた。

意義と主張
本論文は、条件付きの性能–複雑性トレードオフを確立することを主張している。制御された連合条件下において、大幅に小型化されたモデル（FusionNet Lite）が、有用な予測性能と最低の計算コストプロキシ（EEI）を提供できることを実証している。しかし、著者らは明示的に以下の通り述べている：

• コンパクトさ自体が、優れた故障検出や一貫した説明を保証するわけではない。
• 高いAUROCは、不均衡な時系列設定における信頼できる故障検出を意味しない。
• 説明的一致度（IG）は、予測的有用性の直接的な代用指標ではない。
• 知見は、特定のベンチマーク条件（合成データおよび単一レコードの実データ、同期型FedAvg、固定シード）に限定される。

本研究は、FusionNet Liteが連合的な予兆保全のための実行可能かつ効率的な選択肢を提供しつつも、その導入には、動作点（閾値）、データの不均一性、およびランキング識別と実際の故障検出との区別に対する慎重な検討が必要であることを結論付けている。著者らは、このモデルが普遍的に優れている、あるいは多様な機器や故障事象に対して即座に産業展開が可能であると主張しているわけではない。