FusionNet Lite: Compact Federated Deep Learning for Predictive Maintenance under Label Heterogeneity and Temporal Generalization

Technische Samenvatting: FusionNet Lite voor Predictief Onderhoud onder Labelheterogeniteit en Temporele Generalisatie

Probleemstelling
Federated Learning (FL) biedt een pad naar collaboratief predictief onderhoud (PdM) door modellen te trainen over gedistribueerde industriële data zonder ruwe observaties te delen. De huidige benaderingen worden echter geconfronteerd met aanzienlijke uitdagingen: cliëntdata is vaak niet onafhankelijk en niet identiek verdeeld (non-IID), met name wat betreft labelheterogeniteit; temporele afhankelijkheden en zeldzame foutgebeurtenissen compliceren de evaluatie; en de noodzaak voor computationele efficiëntie op edge-apparaten staat in contrast met de vraag naar hoge voorspellende nauwkeurigheid en verklaarbaarheid. Er bestaat een kritische kloof in het bepalen of een compact diep leermodel een nuttige detectie van defecten en consistente feature-attributieverklaringen kan behouden onder deze beperkte, federated condities.

Methodologie
De studie evalueert FusionNet Lite, een compacte feature-as classifier met slechts 1.420 trainbare parameters, tegen vier lichtgewicht baselines: Convolutional Neural Network (CNN), Bidirectional Long Short-Term Memory (BiLSTM), Multilayer Perceptron (MLP) en CNN-LSTM.

• Architectuur: FusionNet Lite verwerkt individuele observaties (vorm $F \times 1$) met behulp van separable convolutions, ConvMixer-stijl feature mixing, residual connections en Squeeze-and-Excitation (SE) channel reweighting. Het is ontworpen om op een enkele observatie te opereren in plaats van op een temporele sequentie, hoewel chronologische splits worden gebruikt voor de evaluatie.
• Datasets: Twee datasets werden gebruikt met verschillende partitioneringsstrategieën:
  • AI4I 2020: Een synthetische dataset met gestratificeerde willekeurige splits (65/15/20).
  • MetroPT3: Een real-world compressoropname met een vaste chronologische rij-split (55/20/25) om temporele generalisatie te simuleren.
• Experimenteel Ontwerp:
  • Trainingsmodi: Modellen werden getraind onder zowel gecentraliseerde instellingen als gesimuleerde synchrone Federated Averaging (FedAvg) met drie cliënten.
  • Labelheterogeniteit: Cliëntpartities werden gegenereerd met behulp van een Dirichlet-distributie ($\alpha=0,5$) om gecontroleerde label non-IID condities te creëren.
  • Evaluatie: De studie maakte gebruik van tien gematchte random seeds voor kernvergelijkingen. Checkpoints werden geselecteerd op basis van validatie AUROC. Prestaties werden gemeten met behulp van AUROC, AUPRC en F2-scores (met een uitgebreide grid-threshold selectie om klasse-imbalans aan te pakken).
  • Verklaarbaarheid: Class-specifieke Integrated Gradients (IG) werden berekend om de overeenkomst in attributie tussen gecentraliseerde en federated modellen te vergelijken.
  • Efficiëntie: Een Energy Efficiency Index (EEI), gedefinieerd als het product van het aantal parameters en de gemeten batch-inferentie latentie, werd gebruikt als een proxy voor computationele kosten.

Belangrijkste Bijdragen

1. Compacte Architectuur: Introductie en evaluatie van een 1.420-parameter architectuur die gevestigde operaties (separable conv, SE, residuals) combineert in een minimale footprint geschikt voor federated uitwisseling.
2. Gecontroleerde Benchmark: Een rigoureuze vergelijking tussen vijf architecturen en twee datasets met tien gematchte seeds, validatie-geselecteerde checkpoints en specifieke drempelwaarde-policies (F1 versus F2 optimalisatie) om architecturale effecten te isoleren van tuning-artefacten.
3. Gevoeligheidsanalyse: Systematische examinatie van architecturale componenten (ablaties), feature-ordening, aantal cliënten (3 versus 10), labelconcentratie ($\alpha$), participatiegraden en leersnelheden.
4. Attributieovereenkomst: Een kwantitatieve beoordeling van de centraal-federated overeenkomst met behulp van class-specifieke IG-correlaties, tekenovereenkomst en Jaccard-overlap, waarbij onderscheid wordt gemaakt tussen detectiekwaliteit en verklarende consistentie.

Resultaten

• Voorspellende Prestaties:
  • Op AI4I bereikte FusionNet Lite concurrerende resultaten onder FedAvg (AUROC $0,8289 \pm 0,0621$, F2 $0,3508 \pm 0,0908$), hoewel het geen statistisch significante superioriteit toonde over MLP over alle metrieken na correctie voor multipliciteit.
  • Op MetroPT3 bereikte FusionNet Lite een hoge rangschikkingsdiscriminatie (AUROC $0,9351 \pm 0,0462$ onder FedAvg), maar vertoonde het een lagere en meer variabele detectie van zeldzame defecten (AUPRC $0,2197 \pm 0,1971$, F2 $0,1566 \pm 0,2044$) vergeleken met de BiLSTM en CNN-LSTM baselines.
  • Drempelgevoeligheid: Het overschakelen van de originele grid F1-selectie naar uitgebreide grid F2-selectie verbeterde de gemiddelde test F2 op MetroPT3 aanzienlijk (van $0,0423$ naar $0,1566$), hoewel de variabiliteit hoog bleef.
• Efficiëntie: FusionNet Lite bezat het kleinste aantal parameters en de laagste vaste-batch EEI (parameter-latentie index) onder alle vijf de architecturen op beide datasets, wat bevestigt dat het een efficiënte proxy is voor deployment onder beperkte middelen.
• Attributie: De centraal-federated attributieovereenkomst varieerde per model en dataset. Op MetroPT3 vertoonde FusionNet Lite een zwakkere en meer variabele IG-overeenkomst (Spearman correlatie $\approx 0,24-0,27$) vergeleken met MLP, ondanks de zwakkere voorspellende prestaties van MLP. Dit geeft aan dat een hoge verklarende overeenkomst niet noodzakelijkerwijs correleert met superieure detectiekwaliteit.
• Gevoeligheid: Prestatierangschikkingen waren gevoelig voor feature-ordening, cliënttoewijzing en leersnelheden. Het verwijderen van specifieke componenten (bijv. SE attention of stem residuals) leverde gemengde resultaten op, waarbij soms de prestaties op de ene dataset verbeterden terwijl ze op de andere verslechterden.

Betekenis en Claims
Het artikel claimt een conditionele prestatie–complexiteit trade-off vast te stellen. Het demonstreert dat een aanzienlijk kleiner model (FusionNet Lite) bruikbare voorspellende prestaties en de laagste computationele kostenproxy (EEI) kan bieden onder gecontroleerde federated condities. De auteurs stellen echter expliciet dat:

• Compactheid alleen geen superieure defectdetectie of consistente verklaringen garandeert.
• Een hoge AUROC niet gelijkstaat aan betrouwbare detectie van zeldzame defecten in ongebalanceerde, temporele settings.
• Verklarende overeenkomst (IG) geen directe surrogaat is voor voorspellende bruikbaarheid.
• De bevindingen begrensd zijn door de specifieke benchmarkcondities (synthetische en enkelvoudige record real-world data, synchrone FedAvg, vaste seeds).

De studie concludeert dat hoewel FusionNet Lite een levensvatbaar, efficiënt alternatief biedt voor federated PdM, de inzet ervan een zorgvuldige overweging vereist van werkpunten (thresholds), dataheterogeniteit en het onderscheid tussen rangschikkingsdiscriminatie en daadwerkelijke defectdetectie. De auteurs beweren niet dat het model universeel superieur is of klaar is voor directe industriële implementatie zonder verdere onafhankelijke validatie op diverse apparatuur en defectepisoden.