Sintesi Tecnica: sui Trade-off dei Modelli Generativi On-Device nei Sistemi di Manutenzione Predittiva Federati

1. Enunciato del Problema

Il documento affronta il dispiegamento di sistemi di Manutenzione Predittiva (PdM) all'interno di ambienti Industrial Internet of Things (IIoT). Sebbene il rilevamento delle anomalie (AD) sia fondamentale per spostare la manutenzione da strategie reattive a proattive, gli approcci centralizzati tradizionali incontrano tre barriere principali negli ambienti industriali:

1. Proprietà e Riservatezza dei Dati: I flussi di dati dei sensori contengono spesso informazioni operative sensibili, rendendo la centralizzazione non fattibile a causa di vincoli di proprietà intellettuale e di conformità (ad es. GDPR).
2. Eterogeneità dei Dati (Non-IID): Le risorse industriali operano in condizioni diverse (età, carico, ambiente), risultando in dati non identicamente e indipendentemente distribuiti (non-IID). L'aggregazione di queste distribuzioni divergenti porta spesso alla "mediazione delle modalità", dove un modello globale non riesce a catturare dinamiche locali specifiche.
3. Vincoli di Risorse: I dispositivi edge e i gateway hanno banda, capacità di calcolo ed energia limitate, rendendo proibitiva la trasmissione frequente di grandi parametri di modelli generativi (spesso milioni di parametri).

Sebbene l'Apprendimento Federato (FL) offra una soluzione consentendo l'addestramento collaborativo senza scambio di dati grezzi, la sua applicazione a modelli generativi non supervisionati (VAE, GAN, Modelli Diffusivi) per l'AD su serie temporali rimane poco esplorata. I metodi FL esistenti spesso presuppongono compiti supervisionati in cui separare l'apprendimento delle rappresentazioni dalla classificazione è diretto; questa separazione è meno chiara nella modellazione generativa non supervisionata, dove l'intera architettura contribuisce alla ricostruzione e alla valutazione delle anomalie.

2. Metodologia

2.1 Prospettiva Architettonica Unificata

Gli autori propongono un framework unificato per analizzare tre famiglie di modelli generativi: Autoencoder Variazionali (VAE), Reti Generative Avversariali (GAN) e Modelli Probabilistici Diffusivi per la Rimozione del Rumore (DDPM). Decompongono queste architetture in due componenti funzionali:

• Componente di Analisi ($\phi$): Mappa osservazioni ad alta dimensionalità in rappresentazioni latenti o punteggiate (ad es. Encoder VAE, Discriminatore/Critico GAN, Encoder U-Net DDPM).
• Componente di Sintesi ($\theta$): Ricostruisce o genera dati dalle rappresentazioni (ad es. Decoder VAE, Generatore GAN, Decoder U-Net DDPM).

2.2 Paradigma di Federazione Parziale

Basandosi su questa decomposizione, il documento introduce una strategia di Federazione Parziale. Invece di condividere tutti i parametri (Federazione Completa) o addestrare in isolamento (Apprendimento Indipendente), i parametri del modello sono partizionati:

• Parametri Condivisi ($w_{share}$): Comunicati tra i client e il server.
• Parametri Privati ($w_{priv}$): Mantenuti localmente sul client.

Questo approccio consente specifiche politiche di federazione:

• Federazione dell'Encoder/Discriminatore: Viene condivisa solo la componente di analisi.
• Federazione del Decoder/Generatore: Viene condivisa solo la componente di sintesi.

Questa strategia mira a bilanciare la scoperta di conoscenze globali con la personalizzazione locale, riducendo l'overhead di comunicazione e mitigando l'instabilità (ad es. collasso delle modalità) causata dall'aggregazione di modelli generativi eterogenei.

2.3 Configurazione Sperimentale

• Dataset:
  • ARAMIS: Un benchmark primario per la PdM che presenta anomalie persistenti e processi di degradazione. Utilizzato per metriche consapevoli del tempo.
  • SWaT: Un dataset per il trattamento sicuro delle acque utilizzato per la validazione cross-dominio delle metriche standard di rilevamento.
• Modelli Valutati:
  • LSTM-VAE: Utilizza strati LSTM per le dipendenze temporali.
  • TAnoWGAN: Una variante GAN di Wasserstein con penalità del gradiente per la stabilità.
  • FedSW-TSAD: Un approccio di iperrete federata che utilizza vincoli Sobolev–Wasserstein.
  • TAnoDDPM: Un Modello Diffusivo basato su U-Net 1D.
• Metriche:
  • Standard: F1-score, Precisione, Recall, PR-AUC.
  • Consapevoli del Tempo (specifiche per PdM): Tempo medio di offset per il rilevamento precoce ($\Delta t_{FP}$) e tardivo ($\Delta t_{FN}$), e una funzione di costo che penalizza più severamente il rilevamento tardivo.
• Analisi della Comunicazione: Quantificata tramite parametri trasmessi, volume di traffico (MB) e latenza per round.

3. Contributi Chiave

1. Revisione Strutturata e Inquadramento del Problema: Il documento evidenzia il divario tra i recenti progressi nell'AD generativo (VAE, GAN, DDPM) e il loro studio limitato in configurazioni federate di PdM.
2. Prospettiva Architettonica Unificata: Introduce una comune decomposizione analisi/sintesi per VAE, GAN e DDPM, consentendo un confronto coerente di strategie di addestramento completo, parziale e locale tra famiglie di modelli eterogenei.
3. Framework Sistematico di Federazione Parziale: Gli autori sviluppano un framework per analizzare gli effetti della partizione architetturale condivisa rispetto a quella privata indipendentemente dai meccanismi di personalizzazione specifici dell'ottimizzatore.
4. Studio Empirico Esteso: Estendendo il lavoro precedente presentato in conferenze, il documento fornisce un'analisi comparativa degli approcci VAE, GAN e DDPM, valutandoli rispetto a metriche di PdM consapevoli del tempo e costi di comunicazione.
5. Analisi Orientata al Dispiegamento: Lo studio quantifica l'overhead di comunicazione e deriva linee guida pratiche per la selezione dell'architettura in reti IoT industriali vincolate dalle risorse.

4. Risultati

4.1 Prestazioni su ARAMIS (Configurazione PdM)

• Centralizzato vs. Indipendente: L'addestramento locale indipendente produce prestazioni scarse (ad es. il F1 di LSTM-VAE scende da 0,952 a 0,753), confermando la necessità di collaborazione. La Federazione Completa recupera la maggior parte delle prestazioni centralizzate.
• Robustezza del Modello:
  • VAE e DDPM: Questi modelli dimostrano una robustezza e stabilità superiori nelle configurazioni federate rispetto alle GAN.
  • GAN (TAnoWGAN, FedSW-TSAD): Sebbene la Federazione Completa migliori la stabilità delle GAN rispetto all'addestramento indipendente, esse rimangono meno robuste rispetto alle alternative VAE e DDPM. Le strategie di federazione parziale degradano generalmente le prestazioni delle GAN, probabilmente a causa della fragilità dell'equilibrio avversariale quando si disaccoppiano gli aggiornamenti del generatore e del critico.
• Strategie di Federazione Parziale:
  • VAE: Performa meglio condividendo l'Encoder (Analisi). Questo allinea la mappatura dello spazio latente tra i client consentendo ai decoder locali di specializzarsi nel rumore specifico del sensore.
  • DDPM: Performa meglio condividendo il Decoder (Sintesi). Questo permette alla federazione di accordarsi sulla struttura fondamentale di generazione del segnale mantenendo l'encoder (estrazione delle caratteristiche) locale per la personalizzazione. Nota bene, la configurazione DDPM con condivisione del Decoder ha superato la Federazione Completa nel F1-score (0,885 contro 0,875).
  • GAN: Sia la condivisione dell'Encoder che quella del Decoder hanno prodotto F1-score inferiori rispetto alla Federazione Completa.

4.2 Analisi Temporale e dei Costi

• Latenza di Rilevamento: TAnoWGAN ha mostrato i più alti offset temporali e ritardi di rilevamento, specialmente nelle configurazioni di federazione parziale. LSTM-VAE ha fornito i segnali di rilevamento più affidabili e tempestivi.
• Efficienza dei Costi: LSTM-VAE e TAnoDDPM (in particolare con condivisione del Decoder) hanno mantenuto i costi di disallineamento più bassi, rispecchiando da vicino i baseline centralizzati.

4.3 Overhead di Comunicazione

• La federazione parziale ha ridotto il carico di comunicazione di circa il 50% rispetto alla Federazione Completa.
• FedSW-TSAD ha mostrato il potenziale di riduzione più alto (fino al 90% nelle configurazioni solo-Encoder) perché il suo componente predittore rimane locale nelle configurazioni parziali, mentre viene trasmesso nella Federazione Completa.
• Nonostante l'overhead, le strategie di federazione parziale hanno ridotto significativamente la latenza per round (ad es. da ~6s a ~3s su un collegamento da 10 Mbps) mantenendo un'alta accuratezza di rilevamento.

4.4 Validazione Cross-Dominio (SWaT)

I risultati sul dataset SWaT hanno confermato le tendenze qualitative osservate in ARAMIS:

• L'addestramento indipendente ha performato peggio rispetto all'addestramento collaborativo.
• I VAE hanno beneficiato maggiormente della condivisione della componente di analisi.
• I DDPM hanno beneficiato maggiormente della condivisione della componente di sintesi.
• I modelli basati su GAN sono rimasti meno robusti rispetto alle configurazioni VAE e DDPM.

5. Significato e Affermazioni

Il documento afferma che l'Apprendimento Federato stabilizza con successo l'addestramento generativo su dati di serie temporali distribuiti e non-IID, recuperando la maggior parte dell'utilità dell'addestramento centralizzato senza condividere dati grezzi.

I punti chiave riguardanti il significato includono:

• Nessuna Architettura Universale: Nessuna singola architettura è universalmente ottimale, ma emergono tendenze distinte: i VAE offrono la massima stabilità e i costi di dispiegamento più bassi, mentre i DDPM mostrano un potenziale superiore in condizioni vincolate dalla banda quando si utilizza la federazione parziale (in particolare la condivisione del Decoder).
• Limitazioni delle GAN: Nelle configurazioni testate, i baseline basati su GAN sono stati meno efficaci rispetto alle alternative VAE e DDPM nell'AD su serie temporali federate. Gli autori notano che questo è specifico alle architetture selezionate e alle configurazioni di addestramento, non una conclusione generale per tutti i metodi basati su GAN.
• Federazione Parziale come Personalizzazione: L'approccio proposto non è meramente una tecnica di compressione ma un abilitatore di personalizzazione. Condividere l'Encoder beneficia i VAE, mentre condividere il Decoder beneficia i DDPM.
• Linee Guida Pratiche: Lo studio fornisce linee guida concrete per la selezione di architetture e politiche di federazione nell'IoT industriale, suggerendo che LSTM-VAE e TAnoDDPM sono le scelte più affidabili ed efficienti in termini di costi, capaci di ridurre l'overhead di comunicazione di circa il 50% pur raggiungendo alti F1-score e bassi offset di rilevamento.

Gli autori affermano modestamente di non rivendicare un teorema formale di convergenza monotona per questi obiettivi federati non convessi, ma piuttosto di fornire interpretazioni strutturali ed evidenze empiriche riguardanti stabilità, utilità ed efficienza della comunicazione.