Online Continual Learning for Anomaly Detection in IoT under Data Distribution Shifts

Il documento presenta OCLADS, un innovativo framework di apprendimento continuo per la rilevazione delle anomalie nell'IoT che, mediante meccanismi intelligenti di selezione dei campioni e rilevamento degli spostamenti distributivi, ottimizza gli aggiornamenti del modello su dispositivi con risorse limitate in ambienti non stazionari.

L'essenziale

Immagina di avere un guardiano della sicurezza (il dispositivo IoT) che lavora 24 ore su 24 in una fabbrica o in una casa intelligente. Il suo compito è guardare tutto ciò che succede e dire: "Tutto ok" oppure "C'è un problema!".

Il problema è che il mondo cambia. Oggi le macchine fanno un certo rumore, domani potrebbero fare un suono leggermente diverso perché l'umidità è cambiata o perché è arrivato un nuovo macchinario. Se il nostro guardiano continua a usare le stesse regole di ieri, inizierà a fare errori: o ignorerà un vero pericolo, o griderà al lupo quando non c'è nessuno.

In informatica, questo si chiama "cambiamento nella distribuzione dei dati".

Ecco come la ricerca di Matea Marinova e colleghi risolve questo problema con un sistema chiamato OCLADS, spiegato in modo semplice:

1. Il Problema: Il Guardiano che diventa "vecchio"

I dispositivi IoT (come sensori o telecamere) sono piccoli e hanno poca energia e memoria. Non possono imparare da soli ogni volta che il mondo cambia. Se provassero a riaddestrarsi da soli, si esaurirebbero o si bloccherebbero.
La soluzione classica è: "Manda tutto al computer centrale (il Server) e fallo riaddestrare". Ma questo è costoso: inviare tutte le immagini o i dati consuma molta batteria e intasa la rete.

2. La Soluzione: OCLADS (Il Sistema Intelligente)

Gli autori hanno creato un sistema che funziona come un manager molto efficiente che coordina il guardiano e il suo capo (il Server). Funziona in due fasi magiche:

A. La Selezione Intelligente (Il Filtro)

Invece di inviare tutto al capo, il guardiano sul posto usa un trucco:

• Cosa invia? Invia solo le cose "strane" o "difficili".
  • Immagina di avere un mucchio di foto. Se una foto è chiaramente un gatto (normale), il guardiano la scarta. Se una foto è un'immagine sfocata o strana che il guardiano non riesce a capire bene, quella la invia al capo.
  • È come se il guardiano dicesse: "Capo, queste 10 foto sono noiose, le so già fare. Ma queste 3 qui mi fanno dubitare: guardale tu, forse c'è un nuovo tipo di problema".
• Risultato: Si risparmia tantissima energia e banda perché non si sprecano dati su cose già note.

B. Il Controllo del "Cambiamento" (Il Test)

Il capo (il Server) riceve questi pezzi di dati. Ma non aggiorna il guardiano ogni volta che riceve un messaggio, altrimenti si stancherebbe di inviare nuovi ordini.
Il capo usa un test statistico (una specie di "termometro della realtà"):

• Confronta i dati nuovi con quelli vecchi.
• Si chiede: "È cambiato davvero il mondo, o è solo una variazione casuale?"
• Se il cambiamento è reale (es. la fabbrica ha cambiato macchinario): Il capo riaddestra il modello e lo invia al guardiano.
• Se non è cambiato nulla: Il capo dice: "Tutto a posto, non sprecare energia, continua a usare le vecchie regole".

3. Perché è geniale? (L'Analogia del Manuale di Istruzioni)

Immagina che il guardiano abbia un manuale di istruzioni (il modello AI).

• Metodo vecchio: Ogni minuto, il capo manda un aggiornamento del manuale, anche se non serve. Il guardiano perde tempo a leggere e la posta è intasata.
• Metodo OCLADS: Il guardiano legge il manuale. Se vede qualcosa che non capisce, chiede al capo. Il capo controlla se il mondo è cambiato davvero. Se sì, manda solo le pagine aggiornate del manuale. Se no, dice: "Fai come prima".

I Risultati nella Vita Reale

Gli autori hanno provato questo sistema con immagini reali (come foto di gatti o numeri scritti a mano). Hanno scoperto che:

1. Meno aggiornamenti: Il sistema aggiorna il modello meno del 10% rispetto ai metodi che aggiornano tutto il tempo.
2. Stessa intelligenza: Nonostante gli aggiornamenti siano rari, il guardiano continua a essere molto bravo a trovare anomalie, quasi come se fosse stato aggiornato continuamente.
3. Risparmio: Si risparmia tantissima batteria e si evita di intasare la rete Wi-Fi.

In Sintesi

OCLADS è come avere un assistente molto sveglio che sa esattamente quando chiedere aiuto e cosa chiedere. Non sprecano energia inviando dati inutili e non aggiornano il sistema finché non è strettamente necessario, mantenendo il dispositivo intelligente, efficiente e sempre aggiornato anche quando il mondo intorno a lui cambia improvvisamente.

Sommario tecnico

1. Il Problema

L'articolo affronta la sfida del rilevamento delle anomalie (Anomaly Detection - AD) nei dispositivi Internet of Things (IoT) operanti in ambienti non stazionari.

• Contesto: I modelli di apprendimento automatico (ML) leggeri (TinyML) eseguiti sui dispositivi IoT sono efficaci per il rilevamento delle anomalie, ma diventano obsoleti quando le proprietà statistiche dei dati osservati cambiano nel tempo (fenomeno noto come Data Distribution Shift o spostamento della distribuzione).
• Vincoli: I dispositivi IoT hanno risorse computazionali e di memoria limitate, rendendo impossibile l'addestramento continuo del modello direttamente sul dispositivo. Inoltre, la comunicazione costante con un server edge per aggiornare il modello genera un eccessivo sovraccarico di comunicazione (overhead).
• Obiettivo: Sviluppare un framework che mantenga un'alta accuratezza nell'inferenza delle anomalie adattandosi ai cambiamenti della distribuzione dei dati, minimizzando al contempo il numero di aggiornamenti del modello e l'uso della banda di comunicazione.

2. Metodologia: Il Framework OCLADS

Gli autori propongono OCLADS (Online Continual Learning for Anomaly Detection under Data Distribution Shifts), un framework collaborativo tra un dispositivo IoT vincolato e un Server Edge (ES). Il sistema si basa su due meccanismi principali:

A. Selezione Intelligente dei Campioni (Dispositivo IoT)

Per ridurre il traffico in uplink, il dispositivo non invia tutti i dati grezzi, ma seleziona solo i campioni più informativi:

• Criteri di selezione: Vengono privilegiati i campioni che rappresentano eventi rari (anomalie) e i "negativi difficili" (Hard Negatives - HN), ovvero campioni vicini al confine decisionale che sono difficili da classificare ma molto informativi per il training.
• Meccanismo: Utilizza la probabilità softmax ottenuta dal modello TinyML locale.
  • Viene definito un soglia di trasmissione ($S_{th}$).
  • Vengono inviati tutti i campioni con un punteggio di anomalia superiore alla soglia.
  • Viene garantito un invio minimo di $K_{min}$ campioni per round per evitare di perdere dati critici.
• Fase iniziale: Per le prime $L$ comunicazioni, il dispositivo invia tutti i dati per calibrare il modello e garantire la presenza di eventi rari nel dataset di training.

B. Rilevamento dello Shift di Distribuzione e Aggiornamento del Modello (Server Edge)

Il server Edge riceve i campioni selezionati e decide se aggiornare il modello da inviare al dispositivo:

• Rilevamento dello Shift: Viene utilizzato un framework di test di ipotesi basato su un test a due campioni (two-sample test) senza assunzioni distributive.
  • Viene addestrato un classificatore One-Class SVM (OCSVM) sui dati storici memorizzati nel buffer del server.
  • Si calcolano i punteggi per i dati del batch corrente e quelli del batch precedente.
  • Si confrontano le funzioni di distribuzione cumulativa empirica (CDF) utilizzando una statistica basata sulla norma $L_2$.
  • Viene calcolato un p-value tramite un approccio di permutazione. Se il p-value è inferiore al livello di significatività $\alpha$, viene rilevato uno shift di distribuzione.
• Aggiornamento: Se viene rilevato uno shift, il server riaddestra il modello (usando Experience Replay con i dati ricevuti e un buffer di replay) e invia il nuovo modello al dispositivo. Se non viene rilevato alcuno shift, l'aggiornamento viene soppresso per risparmiare banda.

3. Contributi Chiave

1. Primo Framework Integrato: È, a quanto ne sanno gli autori, il primo lavoro che integra TinyML distribuito, apprendimento continuo online (CL) basato su AD e aggiornamenti del modello consapevoli dello shift di distribuzione con selezione dei campioni guidata dall'importanza.
2. Efficienza Comunicativa: Il framework riduce drasticamente il numero di aggiornamenti del modello e il traffico di rete evitando aggiornamenti arbitrari o non necessari.
3. Gestione della Non-Stazionarietà: Introduce un meccanismo robusto per rilevare cambiamenti improvvisi (abrupt shifts) nella distribuzione dei dati, permettendo al modello di adattarsi tempestivamente senza richiedere risorse computazionali sul dispositivo IoT.
4. Selezione dei Dati Ottimizzata: La strategia di selezione basata sull'incertezza e sulla difficoltà dei campioni massimizza l'utilità dei dati trasmessi per l'addestramento del modello.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti utilizzando i dataset CIFAR-10 e SVHN, modificati per simulare un compito di rilevamento delle anomalie (con il 7% di dati anomali). Sono stati simulati shift di distribuzione tramite corruzione delle immagini (rumore gaussiano, nebbia, gelo, luminosità).

• Accuratezza vs. Aggiornamenti:
  • OCLADS ha raggiunto un'accuratezza (misurata tramite Average Online Macro F1-score) paragonabile allo schema "All-update" (che aggiorna il modello ad ogni batch), ma con un numero di aggiornamenti inferiore al 10% rispetto allo schema completo.
  • Il metodo "No-update" (modello statico) ha mostrato le prestazioni peggiori a causa dell'obsolescenza del modello.
  • Lo schema "Random-update" (aggiornamenti casuali) ha dimostrato che il timing degli aggiornamenti è più importante della semplice frequenza: aggiornare solo quando necessario (dopo uno shift rilevato) è più efficace che aggiornare a caso.
• Rilevamento degli Shift: Il framework ha rilevato correttamente la maggior parte degli shift simulati (39 su 54 per CIFAR-10 e 51 su 73 per SVHN), con un numero accettabile di falsi allarmi.
• Efficienza: Il framework dimostra un ottimo compromesso (trade-off) tra l'efficienza comunicativa (riduzione del numero di aggiornamenti) e le prestazioni del modello in ambienti dinamici.

5. Significato e Implicazioni

Il lavoro di OCLADS è significativo perché fornisce una soluzione pratica per il dispiegamento di sistemi di sicurezza e monitoraggio IoT in scenari reali, dove i dati cambiano costantemente.

• Sostenibilità Energetica e di Banda: Riducendo la necessità di aggiornamenti frequenti e trasmissioni massive di dati, il framework prolunga la vita della batteria dei dispositivi IoT e riduce la congestione della rete.
• Scalabilità: L'approccio collaborativo (dispositivo per inferenza, server per addestramento) rende possibile l'uso di modelli complessi su hardware molto limitato.
• Futuro: Gli autori indicano come sviluppi futuri l'estensione a scenari multi-dispositivo, l'implementazione di tecniche di compressione delle immagini e l'integrazione di tecniche di risparmio energetico come le radio di attivazione (wake-up radios).

In sintesi, OCLADS rappresenta un passo avanti fondamentale verso l'implementazione di sistemi di Intelligenza Artificiale periferica (Edge AI) che siano non solo leggeri, ma anche adattivi ed efficienti nelle comunicazioni.