Federated Adversarial Training with Transformers

Nel mondo moderno dell'intelligenza artificiale, le macchine imparano studiando enormi quantità di dati. Di solito, questi dati vengono raccolti in un unico luogo centrale, come una biblioteca massiccia, dove un singolo sistema informatico legge tutto per trovare schemi. Tuttavia, un movimento crescente chiamato apprendimento federato (federated learning) cambia questa disposizione. Invece di raccogliere informazioni private da milioni di persone in un unico punto, l'apprendimento avviene sui dispositivi individuali stessi: telefoni, sensori medici o server locali. I dispositivi mantengono privati i propri dati e inviano al coordinatore centrale solo piccoli aggiornamenti criptati su ciò che hanno appreso. Questo coordinatore combina poi questi aggiornamenti per costruire un modello globale più intelligente, il tutto senza mai vedere i dati personali grezzi. È un modo potente per proteggere la privacy pur facendo avanzare la tecnologia.

Eppure, questi modelli intelligenti affrontano un pericolo nascosto. Proprio come un essere umano può essere ingannato da un'astuta illusione ottica, un'intelligenza artificiale può essere ingannata da piccoli cambiamenti, quasi invisibili, a un'immagine. Una foto di un panda potrebbe essere alterata da pochi pixel in un modo che l'occhio umano non può notare, causando al computer di identificare erroneamente e con sicurezza un gibbone. Questi sono noti come esempi avversari (adversarial examples). Per difendersi da essi, i ricercatori utilizzano una tecnica chiamata addestramento avversario (adversarial training), in cui il modello viene ripetutamente mostrato queste immagini truccate e alterate durante la sua fase di apprendimento, affinché impari a ignorare l'inganno. La domanda che questo nuovo studio affronta è se questa difesa funzioni quando l'apprendimento avviene in modo distribuito e preservando la privacy, specificamente utilizzando un tipo di architettura moderna chiamato vision transformer, che è attualmente uno degli strumenti più potenti per insegnare ai computer a vedere.

I ricercatori si sono posti l'obiettivo di testare quanto bene questi vision transformer potessero essere addestrati a resistere all'inganno quando i dati erano divisi tra cinque diversi client, imitando uno scenario del mondo reale in cui i dati non sono perfettamente bilanciati. Hanno sperimentato dodici diverse variazioni del modello, cambiando il modo in cui le immagini venivano scomposte in pezzi per l'analisi del computer e come veniva presa la decisione finale. Hanno anche testato diversi metodi per combinare gli aggiornamenti dell'apprendimento dei cinque client. L'obiettivo era vedere quale combinazione di progettazione del modello e metodo di combinazione producesse il risultato più robusto, ovvero uno che rimanesse accurato anche quando attaccato con i trucchi più sofisticati.

La prima grande scoperta è stata una sorpresa per coloro che speravano che i metodi più recenti fossero sempre migliori. Diverse tecniche avanzate, progettate specificamente per aiutare i modelli a imparare più velocemente quando i dati sono distribuiti in modo disomogeneo, hanno in realtà reso i vision transformer più vulnerabili agli attacchi. Questi metodi, che cercano di correggere le differenze tra i client, hanno finito per rallentare l'addestramento e richiedere il doppio dei dati scambiati tra i dispositivi e il server centrale. Al contrario, il metodo standard e più semplice di mediare gli aggiornamenti ha funzionato meglio nel mantenere il modello al sicuro dall'inganno. Si è scoperto che le complesse correzioni volte a risolvere lo squilibrio dei dati erano superflue per questo specifico tipo di modello e aggiungevano solo costi senza migliorare la sicurezza.

Lo studio ha anche rivelato che il modo in cui un modello guarda un'immagine conta profondamente per la sua sicurezza. I ricercatori hanno testato diversi modi per suddividere l'immagine in token, o piccoli pezzi, prima che il modello li analizzasse. Hanno scoperto che un metodo che scompone le immagini in pezzi molto fini e sovrapposti aiutava il modello a riconoscere meglio gli oggetti in condizioni normali. Tuttavia, questo stesso metodo rendeva il modello molto più facile da ingannare quando un attaccante cercava di trarlo in inganno. Viceversa, i modelli che si affidavano solo a specifici token visivi per la loro decisione finale faticavano ad apprendere efficacemente in questo contesto distribuito. L'approccio più riuscito prevedeva un equilibrio: utilizzare un mix di token visivi e un particolare token di riepilogo per prendere la decisione finale, il che permetteva al modello di rimanere accurato pur rimanendo resistente agli attacchi.

Per risolvere il problema dei dati disomogenei senza l'alto costo dei metodi complessi, il team ha introdotto una nuova strategia chiamata FedWAvg. Invece di trattare equamente ogni aggiornamento del client o cercare di farli apparire tutti uguali, questo nuovo metodo esamina l'ultimo strato di ciascun modello del client — la parte che effettivamente prende la decisione. Misura quanto la direzione dello strato decisionale di ogni client si allinei con il modello globale. Se l'aggiornamento di un client punta in una direzione simile, gli viene dato più peso; se punta in una direzione molto diversa, gli viene dato meno peso. Non si tratta di un indovinare casuale, ma di un aggiustamento matematico preciso che assicura che il modello globale non si discosti dalla rotta. I ricercatori hanno dimostrato che questo approccio non rende mai il modello peggiore del metodo standard e ne migliora la capacità di resistere agli attacchi specificamente quando i dati sono altamente sbilanciati, mentre non offre alcun vantaggio consistente in presenza di uno squilibrio moderato.

I risultati hanno mostrato che questo nuovo metodo di ponderazione funzionava particolarmente bene quando i dati erano molto sbilanciati, come quando alcuni client avevano solo immagini di gatti e cani mentre altri avevano solo auto e camion. In questi scenari difficili, il nuovo metodo manteneva alta l'accuratezza del modello e forti le sue difese, mentre i vecchi metodi più complessi fallivano. Lo studio ha anche evidenziato che la dimensione del modello contava: modelli più grandi con più blocchi di attenzione ottenevano prestazioni migliori in questi ambienti disordinati e disomogenei, sebbene richiedessero più potenza di calcolo. I ricercatori hanno osservato che, sebbene i loro test siano stati eseguiti su un set specifico di immagini, i principi che hanno scoperto riguardo a come combinare gli aggiornamenti dell'apprendimento e come progettare lo strato decisionale finale del modello sono probabilmente applicabili a dataset più grandi e complessi in futuro.

In definitiva, questo lavoro fornisce una chiara tabella di marcia per costruire un'intelligenza artificiale sicura e che preservi la privacy. Dimostra che, nella lotta contro gli attacchi ingannevoli, il più semplice è spesso il migliore. La strada più efficace non è aggiungere meccanismi di correzione più complessi che rallentano il processo, ma utilizzare un modo intelligente e leggero per pesare i contributi di ogni apprendista. Concentrandosi sull'allineamento degli strati decisionali finali, il nuovo metodo assicura che il modello globale rimanga in carreggiata, imparando da tutti senza essere depistato dal rumore dei dati disomogenei. Questo approccio offre un modo pratico ed efficiente per implementare sistemi di visione robusti nel mondo reale, dove i dati sono raramente perfetti e la privacy è fondamentale.