Privacy-Preserving Continual Learning for Detecting Concept Drift in Distributed Artificial Intelligence Systems

Nel mondo moderno, i sistemi di intelligenza artificiale vengono sempre più costruiti non in massicci centri dati centralizzati, ma attraverso migliaia di dispositivi separati: ospedali, scuole, banche e smartphone. Questo approccio, noto come apprendimento distribuito, consente a questi sistemi di apprendere dai dati locali senza mai spostare tali informazioni sensibili verso una posizione centrale. Tuttavia, il mondo reale non è statico. I modelli da cui questi sistemi apprendono cambiano nel tempo; un nuovo tipo di attacco informatico emerge, un cambiamento stagionale altera il consumo di energia o un cambiamento nella demografia degli studenti sposta i comportamenti di apprendimento. Nel campo del machine learning, questo scenario mutevole è chiamato "concept drift" (deriva concettuale). Se un sistema non riesce a rilevare questi cambiamenti, inizia a commettere errori, aggrappandosi a vecchie regole che non sono più applicabili. La sfida per i sistemi distribuiti è duplice: devono rilevare questi cambiamenti rapidamente per rimanere accurati, ma devono anche farlo senza sbirciare i dati privati che hanno causato il cambiamento in primo luogo.

I ricercatori dell'Università di Atlantis hanno affrontato questo difficile equilibrio progettando un nuovo framework che consente all'intelligenza artificiale distribuita di individuare questi spostamenti mantenendo al contempo la stretta riservatezza dei singoli dati. L'idea centrale è quella di trattare il segnale che avverte di un cambiamento come un canale separato e protetto. Invece di inviare dati grezzi o persino report di errore non criptati, il sistema invia un riassunto pesantemente cifrato di quanto bene il modello stia performando. Questo riassunto viene mescolato con rumore matematico, una tecnica che garantisce la privacy rendendo impossibile l'ingegneria inversa dei dati originali dal segnale. Il server centrale osserva quindi questi riassunti rumorosi per decidere se il sistema debba riapprendere le sue regole. I ricercatori hanno testato questo metodo su tre diversi tipi di flussi di dati: la domanda di elettricità, il traffico di rete simulato e dati sintetici progettati per imitare tendenze variabili. Hanno scoperto che il sistema poteva rilevare con successo quando il mondo era cambiato, a condizione che le impostazioni di privacy non fossero impostate in modo troppo restrittivo.

Lo studio rivela un netto punto di svolta in come la privacy influenzi le prestazioni. Quando i ricercatori hanno consentito un livello moderato di protezione della privacy, il sistema ha rilevato i cambiamenti solo circa il trenta per cento più lentamente rispetto a un sistema senza alcuna protezione della privacy. Questo ritardo, misurato in round di comunicazione tra i dispositivi, è spesso accettabile per applicazioni del mondo reale come il monitoraggio delle reti elettriche o delle tendenze educative. Tuttavia, la relazione tra privacy e prestazioni non è uno scivolamento fluido. Se la protezione della privacy viene inasprita oltre una certa soglia critica, il sistema non si limita a rallentare; esso si rompe. Al di sotto di questa soglia, il rumore aggiunto per proteggere la privacy diventa così forte da sommergere il segnale effettivo del cambiamento. Il sistema inizia a generare falsi allarmi, scambiando il rumore casuale per un reale spostamento, o non riesce affatto a notare i cambiamenti reali. I ricercatori hanno identificato questo confine critico a un valore di privacy specifico pari a uno; al di sotto di questo numero, il sistema diventa effettivamente cieco ai cambiamenti che dovrebbe tracciare.

Oltre a individuare i cambiamenti, il framework doveva anche risolvere il problema dell'oblio. In molti sistemi di apprendimento, quando un modello apprende un nuovo concetto, spesso cancella ciò che sapeva del precedente, un fenomeno noto come "catastrophic forgetting" (oblio catastrofico). La soluzione proposta utilizza un astuto trucco di memoria che non richiede la memorizzazione di alcun esempio reale di dati passati, il che rappresenterebbe un rischio per la privacy. Invece, il sistema ricorda la "sensazione" matematica delle vecchie risposte fornite, piuttosto che le domande stesse. Ciò consente al sistema di adattarsi alle nuove tendenze pur mantenendo la conoscenza di quelle precedenti. In test in cui i dati oscillavano avanti e indietro tra due diversi modelli, questo metodo ha migliorato la capacità del sistema di ricordare i vecchi schemi fino a undici punti percentuali rispetto ai metodi standard che si limitano a riaddestrare sui nuovi dati. Ciò significa che il sistema può apprendere una nuova abilità senza perdere quella vecchia, il tutto mantenendo nascosti i dati sottostanti.

La ricerca ha anche evidenziato un limite significativo quando il cambiamento non colpisce tutti allo stesso modo. Nel mondo reale, una nuova regolamentazione potrebbe applicarsi solo a una specifica regione, o un nuovo virus potrebbe colpire solo un sottoinsieme di dispositivi. Lo studio ha scoperto che quando solo una parte della rete sperimenta un cambiamento, il sistema fatica a rilevarlo a meno che le impostazioni di privacy non siano molto permissive. Il medesimo meccanismo che protegge la privacy — mescolando i dati provenienti da molte fonti — diluisce anche il segnale proveniente dal piccolo gruppo che sta cambiando. Se il cambiamento colpisce meno del quaranta per cento dei partecipanti, il sistema spesso non lo nota affatto, a meno che il budget di privacy non venga aumentato significamente. Ciò suggerisce che, sebbene il metodo funzioni bene per cambiamenti ampi e sistemici, potrebbe necessitare di un approccio diverso, come il raggruppamento dei dispositivi per regione o organizzazione, per intercettare spostamenti più piccoli e localizzati senza sacrificare la privacy.

In definitiva, questo lavoro definisce i limiti pratici della privacy nei sistemi di apprendimento adattivo. Dimostra che è possibile costruire un'intelligenza distribuita che sia sia privata che reattiva, ma solo entro un intervallo specifico di impostazioni. I risultati suggeriscono che per molte applicazioni, come l'analisi educativa o il monitoraggio delle infrastrutture, un livello moderato di protezione della privacy offre un punto ottimale in cui il sistema rimane accurato e reattivo. Tuttavia, per ambienti ad alto rischio dove i cambiamenti avvengono istantaneamente, come la cybersicurezza, il ritardo causato da misure di privacy rigorose potrebbe essere eccessivo. Lo studio conclude che non esiste un'impostazione singola che funzioni per ogni situazione; invece, i progettisti dei sistemi devono scegliere un livello di privacy che corrisponda alla velocità con cui il loro mondo specifico cambia, comprendendo che spingere troppo la privacy finirà inevitabilmente per rendere il sistema incapace di vedere il mondo che cambia intorno a lui.