Riepilogo Tecnico: Apprendimento Koopman a Basso Rango Federato per il Rilevamento di Anomalie in Serie Temporali Multivariate in Sistemi IoT

1. Definizione del Problema

I sistemi distribuiti di Internet-of-Things (IoT) generano flussi di serie temporali multivariate (MVTS) essenziali per il monitoraggio di asset fisici, server e piattaforme embedded. Il rilevamento di comportamenti temporali anormali in questi flussi è critico per la diagnosi dei guasti, la manutenzione predittiva e la sicurezza. Tuttavia, l'implementazione pratica affronta tre vincoli primari:

1. Dati Decentralizzati e Non-IID: I dispositivi operano in ambienti diversi con carichi di lavoro e tassi di anomalia variabili, portando a dati non indipendenti e non identicamente distribuiti (non-IID).
2. Vincoli di Risorse: I dispositivi edge (ad esempio, gateway a basso costo, nodi Raspberry Pi) hanno capacità limitate di calcolo, memoria ed energia.
3. Comunicazione e Privacy: La larghezza di banda è limitata e i dati grezzi dei sensori sono spesso sensibili dal punto di vista della privacy, il che preclude la raccolta centralizzata dei dati.

Gli esistenti rilevatori di anomalie basati sul deep learning (ad esempio, autoencoder, LSTM, Transformer) faticano in questo scenario. Essi richiedono un addestramento locale pesante, possiedono un numero elevato di parametri del modello che sono costosi da comunicare in contesti federati e spesso non riescono a generalizzare attraverso l'eterogeneità delle dinamiche dei client. Inoltre, gli approcci standard di federated learning (FL) che avvolgono questi modelli deep ereditano i loro oneri computazionali e di comunicazione senza risolvere i sottostanti vincoli di risorse.

2. Metodologia: FedKAD

Il documento propone FedKAD, un framework federato per il rilevamento delle anomalie efficiente nelle risorse, basato sulla teoria dell'operatore Koopman a basso rango. Inveve di apprendere rappresentazioni neurali complesse, FedKAD modella le dinamiche temporali normali attraverso un'evoluzione lineare leggera in uno spazio osservabile elevato.

Architettura Core

• Rappresentazione Koopman: Il sistema modella le dinamiche non lineari come evoluzione lineare in uno spazio osservabile elevato. Ogni client trasforma la propria MVTS locale in stati a finestra scorrevole $z_i(t)$ e applica una mappa di elevazione (lifting) non lineare fissa $\Phi(\cdot)$ (combinando lo stato in finestra con osservabili non lineari casuali tramite una funzione $\tanh$) per creare uno stato elevato ad alta dimensionalità.
• Fattorizzazione a Basso Rango: Per evitare i costi quadratici di archiviazione e comunicazione di un operatore Koopman completo, FedKAD approssima le dinamiche locali utilizzando un sottospazio a basso rango ortonormale $P_i$ e un operatore ridotto privato $Q_i$. L'evoluzione è modellata come $\Phi(z_i(t+1)) \approx P_i Q_i P_i^\top \Phi(z_i(t))$.
• Consenso Federato:
  • Locale: Ogni client mantiene privati i propri snapshot di dati grezzi e l'operatore ridotto $Q_i$.
  • Globale: I client scambiano solo la matrice del sottospazio compatta $P_i$ (dimensione $D \times r$, dove $r \ll D$) con il server.
  • Obiettivo: Il server coordina un sottospazio globale condiviso $Z$ tramite un problema di ottimizzazione del consenso, garantendo che tutti i client si allineino su una rappresentazione a basso rango comune pur mantenendo le dinamiche specifiche del client in $Q_i$.

Algoritmo di Ottimizzazione: Federated Stiefel-ADMM

Il problema di ottimizzazione consiste nel minimizzare l'errore di ricostruzione soggetto a vincoli di ortonormalità ($P_i^\top P_i = I$) e vincoli di consenso ($P_i = Z$). Gli autori sviluppano un algoritmo Federated Stiefel-ADMM:

1. Aggiornamento Primal (Locale): I client aggiornano il proprio sottospazio locale $P_i$ sullo spazio di Stiefel tramite discesa del gradiente proiettata con ritrazione QR per mantenere l'ortonormalità. L'operatore ridotto $Q_i$ viene aggiornato localmente in forma chiusa (minimi quadrati).
2. Aggiornamento di Consenso (Globale): Il server aggrega i sottospazi aggiornati e le variabili duali per aggiornare la variabile di consenso globale $Z$.
3. Aggiornamento Duale (Locale): I client aggiornano le proprie variabili duali per imporre il vincolo di consenso.
   L'algoritmo supporta la partecipazione parziale dei client e include un'analisi di convergenza in contesti non convessi.

Rilevamento delle Anomalie

Durante l'inferenza, ogni client predice le traiettorie future utilizzando il sottospazio globale $Z$ e l'operatore locale $Q_i$. Le anomalie vengono rilevate misurando il residuo di predizione (errore quadratico) tra la traiettoria futura osservata e la traiettoria predetta dalle dinamiche normali apprese.

3. Contributi Chiave

1. Proposta del Framework: L'introduzione di FedKAD, un framework di rilevamento delle anomalie Koopman federato che consente il rilevamento locale senza caricare i flussi di dati dei sensori grezzi.
2. Formulazione del Problema: Riformulazione del rilevamento federato delle anomalie come un problema di consenso Koopman a basso rango, dove i client scambiano solo variabili di sottospazio compatte invece di interi modelli neurali o dati grezzi.
3. Sviluppo dell'Algoritmo: Sviluppo di un algoritmo Federated Stiefel-ADMM per ottimizzare il sottospazio ortonormale condiviso sotto partecipazione parziale dei client, accompagnato da analisi di convergenza e stazionarietà teorica.
4. Validazione Empirica: Valutazione su quattro benchmark MVTS ampiamente utilizzati (PSM, SMD, SMAP, MSL) in scenari federati non-IID, dimostrando prestazioni di rilevamento competitive con requisiti di risorse significativamente ridotti.

4. Risultati Sperimentali

Gli autori hanno valutato FedKAD contro quattro baseline di deep learning federato (DeepSVDD, LSTM-AE, USAD, TranAD) su quattro dataset.

• Prestazioni di Rilevamento: FedKAD ha ottenuto il miglior punteggio F1 (sotto il protocollo primario PA%K con $k=0.01$) su tre dei quattro dataset (SMD, PS de PSM, SMAP). Sul dataset MSL, ha mostrato una degradazione marginale rispetto alla migliore baseline (LSTM-AE) ma è rimasto competitivo.
• Guadagni di Efficienza:
  • Velocità di Addestramento: FedKAD è stato 2.1 $\times$ 10$^3$ (circa 2000 volte) più veloce nell'addestramento rispetto alle baseline neurali (ad esempio, 1.7–4.8s rispetto a 75–4020s).
  • Comunicazione: Ha ridotto la comunicazione per round fino all'80$\times$ (1.0–1.7 MB rispetto a 2.7–129 MB) scambiando sottospazi a basso rango invece di interi parametri del modello.
  • Latenza di Inferenza: La latenza di inferenza è stata 79$\times$ inferiore rispetto alle baseline neurali (1.9–5.8 $\mu$s rispetto a valori più elevati per i modelli deep).
• Deployment Edge: I benchmark on-device su un Raspberry Pi 4 hanno confermato l'idoneità di FedKAD per l'hardware con risorse limitate, raggiungendo tempi di addestramento di 0.23s per round e latenze di inferenza di 0.79 $\mu$s/step, con un carico di comunicazione di soli 59 KB per round.

5. Significato e Rivendicazioni

Il documento afferma che FedKAD affronta il compromesso fondamentale tra accuratezza del rilevamento ed efficienza delle risorse nei sistemi IoT federati. Sostituendo l'appesantita ricostruzione neurale con un modello dinamico a basso rango leggero, FedK via:

• Preserva la Privacy: I dati grezzi e le dinamiche ridotte locali rimangono sul dispositivo.
• Supera le Sfide Non-IID: Il sottospazio condiviso consente ai client di apprendere pattern normali comuni pur adattandosi all'eterogeneità locale tramite operatori privati.
• Abilita l'Intelligenza Edge: La drastica riduzione del tempo di addestramento, dell'overhead di comunicazione e della latenza di inferenza rende FedKAD l'unico metodo dello studio capace di adattarsi ai budget di calcolo, memoria e larghezza di banda di dispositivi edge reali (ad esempio, Raspberry Pi).

Gli autori concludono che, sebbene le baseline di deep learning offrano una forte accuratezza in contesti centralizzati, esse sono spesso impraticabili per il deployment federato IoT. FedKAD fornisce un'alternativa valida che mantiene o migliora le prestazioni di rilevamento essendo ordini di grandezza più efficiente, confermando la sua idoneità per il rilevamento di anomalie IoT su larga scala e con risorse limitate.