FusionNet Lite: Compact Federated Deep Learning for Predictive Maintenance under Label Heterogeneity and Temporal Generalization

Technisches Resümee: FusionNet Lite für die vorausschauende Instandhaltung unter Label-Heterogenität und zeitlicher Generalisierung

Problemstellung
Federated Learning (FL) bietet einen Wegweiser für die kollaborative vorausschauende Instandhaltung (Predictive Maintenance, PdM), indem Modelle über verteilte Industriedaten trainiert werden, ohne dass Rohdaten geteilt werden müssen. Bestehende Ansätze stehen jedoch vor erheblichen Herausforderungen: Die Client-Daten sind oft nicht unabhängig und nicht identisch verteilt (non-IID), insbesondere hinsichtlich der Label-Heterogenität; zeitliche Abhängigkeiten und seltene Ausfallereignisse erschweren die Evaluierung; zudem steht die Notwendigkeit der Recheneffizienz auf Edge-Geräten im Konflikt mit dem Bedarf an hoher Vorhersagegenauigkeit und Erklärbarkeit. Es besteht eine kritische Lücke bei der Frage, ob ein kompaktes Deep-Learning-Modell unter diesen beschränkten, föderierten Bedingungen eine nützliche Fehlererkennung und konsistente Merkmalsattributions-Erklärungen aufrechterhalten kann.

Methodik
Die Studie evaluiert FusionNet Lite, einen kompakten Feature-Achsen-Klassifikator mit nur 1.420 trainierbaren Parametern, gegen vier leichtgewichtige Baselines: Convolutional Neural Network (CNN), Bidirectional Long Short-Term Memory (BiLSTM), Multilayer Perceptron (MLP) und CNN-LSTM.

• Architektur: FusionNet Lite verarbeitet einzelne Beobachtungen (Form $F \times 1$) mittels separabler Konvolutionen, ConvMixer-artiger Feature-Mischung, Residualverbindungen und Squeeze-and-Excitation (SE) Channel-Reweighting. Es ist darauf ausgelegt, auf einer einzelnen Beobachtung statt auf einer zeitlichen Sequenz zu operieren, obwohl für die Evaluierung chronologische Splits verwendet werden.
• Datensätze: Es wurden zwei Datensätze mit unterschiedlichen Partitionierungsstrategien verwendet:
  • AI4I 2020: Ein synthetischer Datensatz mit stratifizierten Zufalls-Splits (65/15/20).
  • MetroPT3: Eine reale Kompressor-Aufzeichnung mit einem festen zeilenbasierten chronologischen Split (55/20/25), um die zeitliche Generalisierung zu simulieren.
• Experimentelles Design:
  • Trainingsmodi: Die Modelle wurden sowohl unter zentralisierten Bedingungen als auch unter simuliertem synchronem Federated Averaging (FedAvg) mit drei Clients trainiert.
  • Label-Heterogenität: Die Client-Partitionen wurden mittels einer Dirichlet-Verteilung ($\alpha=0.5$) erstellt, um kontrollierte Label-non-IID-Bedingungen zu schaffen.
  • Evaluierung: Die Studie verwendete zehn passende Random Seeds für Kernvergleiche. Checkpoints wurden basierend auf dem Validierungs-AUROC ausgewählt. Die Leistung wurde mittels AUROC, AUPRC und F2-Scores (mit erweitertem Grid-Threshold-Selection zur Adressierung der Klassenimbalance) gemessen.
  • Erklärbarkeit: Klassenspezifische Integrated Gradients (IG) wurden berechnet, um die Übereinstimmung der Attribution zwischen zentralisierten und föderierten Modellen zu vergleichen.
  • Effizienz: Ein Energy Efficiency Index (EEI), definiert als das Produkt aus Parameteranzahl und gemessener Batch-Inferenz-Latenz, wurde als Proxy für den Rechenaufwand verwendet.

Wesentliche Beiträge

1. Kompakte Architektur: Einführung und Evaluierung einer 1.420-Parameter umfassenden Architektur, die etablierte Operationen (separable conv, SE, residuals) in einem minimalen Footprint kombiniert, der für den föderierten Austausch geeignet ist.
2. Kontrollierter Benchmark: Ein strenger Vergleich über fünf Architekturen und zwei Datensätze unter Verwendung von zehn passenden Seeds, validierungsselektierten Checkpoints und spezifischen Threshold-Policies (F1 vs. F2 Optimierung), um architektonische Effekte von Tuning-Artefakten zu isolieren.
3. Sensitivitätsanalyse: Systematische Untersuchung der architektonischen Komponenten (Ablationen), der Feature-Reihenfolge, der Client-Anzahl (3 vs. 10), der Label-Konzentration ($\alpha$), der Partizipationsraten und der Lernraten.
4. Attributions-Übereinstimmung: Eine quantitative Bewertung der Zentral-Föderiert-Übereinstimmung mittels klassenspezifischer IG-Korrelationen, Vorzeichen-Übereinstimmung und Jaccard-Überlappung, um zwischen Detektionsqualität und Erklärungs-Konsistenz zu unterscheiden.

Ergebnisse

• Vorhersageleistung:
  • Auf AI4I erreichte FusionNet Lite kompetitive Ergebnisse unter FedAvg (AUROC $0,8289 \pm 0,0621$, F2 $0,3508 \pm 0,0908$), zeigte jedoch nach Multiplizitätskorrektur keine statistisch signifikante Überlegenheit gegenüber MLP über alle Metriken hinweg.
  • Auf MetroPT3 erreichte FusionNet Lite eine hohe Ranking-Diskriminierung (AUROC $0,9351 \pm 0,0462$) unter FedAvg, wies jedoch im Vergleich zu den BiLSTM- und CNN-LSTM-Baselines eine geringere und variablere Erkennung seltener Ausfälle auf (AUPRC $0,2197 \pm 0,1971$, F2 $0,1566 \pm 0,2044$).
  • Threshold-Sensitivität: Der Wechsel von der ursprünglichen Grid-F1-Selektion zur erweiterten Grid-F2-Selektion verbesserte den mittleren Test-F2 auf MetroPT3 signifikant (von $0,0423$ auf $0,1566$), wenngleich die Variabilität hoch blieb.
• Effizienz: FusionNet Lite besaß die geringste Parameteranzahl und den niedrigsten festen Batch-EEI (Parameter-Latenz-Index) unter allen fünf Architekturen auf beiden Datensätzen, was seine Effizienz als Proxy für ressourcenbeschränkte Bereitstellungen bestätigt.
• Attribution: Die Zentral-Föderiert-Attributions-Übereinstimmung variierte je nach Modell und Datensatz. Auf MetroPT3 zeigte FusionNet Lite eine schwächere und variablere IG-Übereinstimmung (Spearman-Korrelation $\approx 0,24\text{--}0,27$) im Vergleich zu MLP, trotz der schwächeren Vorhersageleistung von MLP. Dies deutet darauf hin, dass eine hohe Erklärungs-Übereinstimmung nicht zwangsläufig mit einer überlegenen Detektionsqualität korreliert.
• Sensitivität: Die Leistungsrankings waren sensitiv gegenüber der Feature-Reihenfolge, der Client-Allokation und den Lernraten. Das Entfernen spezifischer Komponenten (z. B. SE-Attention oder Stem-Residuals) lieferte gemischte Ergebnisse, die teilweise die Leistung auf einem Datensatz verbesserten, während sie auf einem anderen verschlechterten.

Bedeutung und Behauptungen
Das Paper behauptet, einen bedingten Performance-Komplexitäts-Trade-off etabliert zu haben. Es demonstriert, dass ein wesentlich kleineres Modell (FusionNet Lite) unter kontrollierten föderierten Bedingungen eine nützliche Vorhersageleistung und den niedrigsten Rechenaufwand-Proxy (EEI) bieten kann. Die Autoren stellen jedoch explizit fest:

• Kompaktheit allein garantiert keine überlegene Fehlererkennung oder konsistente Erklärungen.
• Ein hoher AUROC entspricht nicht einer zuverlässigen Erkennung seltener Ausfälle in imbalancierten, zeitlichen Settings.
• Die Erklärungs-Übereinstimmung (IG) ist kein direkter Surrogat für die Vorhersage-Nützlichkeit.
• Die Ergebnisse sind durch die spezifischen Benchmark-Bedingungen (synthetische Daten und Einzeldatensatz realer Daten, synchrones FedAvg, feste Seeds) begrenzt.

Die Studie kommt zu dem Schluss, dass FusionNet Lite zwar eine lebensfähige, effiziente Option für die föderierte PdM bietet, dessen Einsatz jedoch eine sorgfältige Berücksichtigung von Betriebspunkten (Thresholds), Datenheterogenität und der Unterscheidung zwischen Ranking-Diskriminierung und tatsächlicher Fehlererkennung erfordert. Die Autoren behaupten nicht, dass das Modell universell überlegen oder ohne weitere unabhängige Validierung an diversen Anlagen und Ausfallszenarien unmittelbar für den industriellen Einsatz bereit ist.