FusionNet Lite: Compact Federated Deep Learning for Predictive Maintenance under Label Heterogeneity and Temporal Generalization

Sintesi Tecnica: FusionNet Lite per la Manutenzione Predittiva sotto Eterogeneità delle Etichette e Generalizzazione Temporale

Definizione del Problema
L'Apprendimento Federato (Federated Learning, FL) offre una via per la manutenzione predittiva (PdM) collaborativa addestrando modelli su dati industriali distribuiti senza condividere le osservazioni grezze. Tuttavia, gli approcci esistenti affrontano sfide significative: i dati dei client sono spesso non indipendenti e non identicamente distribuiti (non-IID), in particolare per quanto riguarda l'eterogeneità delle etichette; le dipendenze temporali e gli eventi di guasto rari complicano la valutazione; e la necessità di efficienza computazionale sui dispositivi edge entra in conflitto con la richiesta di alta accuratezza predittiva e spiegabilità. Esiste un vuoto critico nel determinare se un modello di deep learning compatto possa mantenere un'utile rilevazione dei guasti e una consistente attribuzione delle spiegazioni delle caratteristiche sotto queste condizioni vincolate e federate.

Metodologia
Lo studio valuta FusionNet Lite, un classificatore compatto dell'asse delle caratteristiche con soli 1.420 parametri addestrabili, contro quattro baseline leggere: Rete Neurale Convoluzionale (CNN), Long Short-Term Memory Bidirezionale (BiLSTM), Perceptron Multistrato (MLP) e CNN-LSTM.

• Architettura: FusionNet Lite elabora singole osservazioni (forma $F \times 1$) utilizzando convoluzioni separabili, feature mixing in stile ConvMixer, connessioni residue e riponderazione dei canali Squeeze-and-Excitation (SE). È progettato per operare su una singola osservazione piuttosto che su una sequenza temporale, sebbene vengano utilizzati split cronologici per la valutazione.
• Dataset: Sono stati utilizzati due dataset con distinte strategie di partizionamento:
  • AI4I 2020: Un dataset sintetico con split casuali stratificati (65/15/20).
  • MetroPT3: Una registrazione reale di un compressore con uno split cronologico a righe fisse (55/20/25) per simulare la generalizzazione temporale.
• Disegno Sperimentale:
  • Modalità di Addestramento: I modelli sono stati addestrati sia in contesti centralizzati che in scenari simulati di Federated Averaging sincrono (FedAvg) con tre client.
  • Eterogeneità delle Etichette: Le partizioni dei client sono state generate utilizzando una distribuzione di Dirichlet ($\alpha=0.5$) per creare condizioni non-IID controllate sulle etichette.
  • Valutazione: Lo studio ha impiegato dieci seed casuali accoppiati per i confronti principali. I checkpoint sono stati selezionati in base all'AUROC di validazione. Le prestazioni sono state misurate utilizzando AUROC, AUPRC e punteggi F2 (con selezione della soglia su griglia espansa per affrontare lo sbilanciamento delle classi).
  • Spiegabilità: Gli Integrated Gradients (IG) specifici per classe sono stati calcolati per confrontare l'accordo di attribuzione tra modelli centralizzati e federati.
  • Efficienza: Un Indice di Efficienza Energetica (EEI), definito come il prodotto tra il numero di parametri e la latenza di inferenza per batch misurata, è stato utilizzato come proxy per il costo computazionale.

Contributi Chiave

1. Architettura Compatta: Introduzione e valutazione di un'architettura da 1.420 parametri che combina operazioni consolidate (convoluzione separabile, SE, residui) in un footprint minimo adatto allo scambio federato.
2. Benchmark Controllato: Un confronto rigoroso tra cinque architetture e due dataset utilizzando dieci seed accoppiati, checkpoint selezionati tramite validazione e specifiche policy di soglia (ottimizzazione F1 vs F2) per isolare gli effetti architettonici dagli artefatti di tuning.
3. Analisi di Sensibilità: Esame sistematico dei componenti architettonici (ablazioni), dell'ordine delle caratteristiche, del numero di client (3 vs 10), della concentrazione delle etichette ($\alpha$), dei tassi di partecipazione e dei tassi di apprendimento.
4. Accordo di Attribuzione: Una valutazione quantitativa dell'accordo centralizzato-federato utilizzando correlazioni IG specifiche per classe, accordo di segno e sovrapposizione di Jaccard, distinguendo tra qualità della rilevazione e coerenza esplicativa.

Risultati

• Prestazioni Predittive:
  • Su AI4I, FusionNet Lite ha ottenuto risultati competitivi sotto FedAvg (AUROC $0.8289 \pm 0.0621$, F2 $0.3508 \pm 0.0908$), sebbene non abbia mostrato una superiorità statisticamente significativa rispetto a MLP in tutte le metriche dopo l'aggiustamento per molteplicità.
  • Su MetroPT3, FusionNet Lite ha ottenuto un'alta discriminazione del ranking (AUROC $0.9351 \pm 0.0462$) ma ha mostrato una rilevazione dei guasti rari più bassa e variabile (AUPRC $0.2197 \pm 0.1971$, F2 $0.1566 \pm 0.2044$) rispetto alle baseline BiLSTM e CNN-LSTM.
  • Sensibilità della Soglia: Il passaggio dalla selezione F1 su griglia originale alla selezione F2 su griglia espansa ha migliorato significativamente la media del test F2 su MetroPT3 (da $0.0423$a$0.1566$), sebbene la variabilità rimanesse elevata.
• Efficienza: FusionNet Lite possedeva il minor numero di parametri e il più basso EEI per batch fisso (indice parametro-latenza) tra tutte le cinque architetture su entrambi i dataset, confermando la sua efficienza come proxy per l'implementazione in contesti con risorse limitate.
• Attribuzione: L'accordo di attribuzione centralizzato-federato variava per modello e dataset. Su MetroPT3, FusionNet Lite ha mostrato un accordo IG più debole e variabile (correlazione di Spearman $\approx 0.24-0.27$) rispetto a MLP, nonostante le prestazioni predittive inferiori di quest'ultimo. Ciò indica che un alto accordo esplicativo non correla necessariamente con una superiore qualità di rilevazione.
• Sensibilità: Le classifiche di prestazione sono state sensibili all'ordine delle caratteristiche, all'allocazione dei client e ai tassi di apprendimento. La rimozione di componenti specifici (ad es. l'attenzione SE o i residui dello stem) ha prodotto risultati misti, migliorando talvolta le prestazioni su un dataset e degradandole su un altro.

Significatività e Rivendicazioni
Il documento afferma di stabilire un compromesso condizionale prestazione-complessità. Dimostra che un modello sostanzialmente più piccolo (FusionNet Lite) può fornire prestazioni predittive utili e il più basso proxy di costo computazionale (EEI) in condizioni federate controllate. Tuttavia, gli autori dichiarano esplicitamente che:

• La compattezza da sola non garantisce una superiore rilevazione dei guasti o spiegazioni consistenti.
• Un'alta AUROC non equivale a una rilevazione affidabile dei guasti rari in contesti sbilanciati e temporali.
• L'accordo esplicativo (IG) non è un surrogato diretto dell'utilità predittiva.
• Le conclusioni sono limitate dalle specifiche condizioni del benchmark (dati sintetici e dati reali a record singolo, FedAvg sincrono, seed fissi).

Lo studio conclude che, sebbene FusionNet Lite offra un'opzione efficiente e valida per la PdM federata, la sua implementazione richiede una valutazione attenta dei punti operativi (soglie), dell'eterogeneità dei dati e della distinzione tra discriminazione del ranking e reale rilevazione dei guasti. Gli autori non sostengono che il modello sia universalmente superiore o pronto per l'immediata implementazione industriale senza un'ulteriore validazione indipendente su apparecchiature e episodi di guasto diversificati.