How Much Regularization Survives Averaging? Update Masking in Federated Learning

Nel mondo dell'intelligenza artificiale, esiste una sfida persistente nota come il problema "federato". Immaginate un gruppo di persone, ognuna delle quali possiede un pezzo unico di un puzzle, che vogliono costruire insieme un'unica immagine completa senza mai mostrare i propri pezzi individuali a nessuno. È così che funziona spesso l'apprendimento automatico moderno: un computer centrale coordina molti dispositivi diversi, come telefoni o sensori, per apprendere una competenza condivisa. Il problema è che i dati su ogni dispositivo sono raramente uguali; un telefono potrebbe avere soprattutto foto di gatti, mentre un altro potrebbe avere solo foto di auto. Quando il computer centrale cerca di combinare ciò che tutti hanno imparato, il modello risultante spesso fatica a dare un senso all'immagine completa, fallendo nel generalizzare bene a nuove situazioni. Per risolvere questo problema, i ricercatori cercano da tempo un modo per trovare soluzioni "piatte" nel panorama matematico dell'apprendimento. Pensate a una vetta appuntita rispetto a un ampio altopiano piatto. Un modello che approda su una vetta appuntita potrebbe funzionare perfettamente sui dati specifici che ha visto, ma inciamperà immediatamente se i dati cambiano anche solo leggermente. Un modello che si assesta su un ampio altopiano piatto è più robusto; può gestire piccole variazioni nei dati senza andare in pezzi.

Per anni, gli scienziati hanno cercato di costringere questi modelli a trovare quegli altopiani piatti aggiungendo rumore o commettendo piccoli errori deliberati durante il processo di apprendimento. Questo rumore agisce come un gentile shaker, impedendo al modello di incastrarsi in un punto stretto e fragile. Recentemente, una tecnica specifica chiamata "update masking" (mascheramento degli aggiornamenti) è diventata popolare nell'addestramento centralizzato, dove un singolo computer svolge tutto il lavoro. Questo metodo scarta casualmente parti delle istruzioni di apprendimento e ridimensiona il resto, aggiungendo efficacemente un tipo utile di rumore che spinge il modello verso quelle aree stabili e piatte. Tuttavia, quando i ricercatori hanno provato a portare questa tecnica nell'ambiente federato, dove molti dispositivi apprendono separatamente e poi combinano i loro risultati, essa sembrava svanire. La domanda che un team di ricercatori della Sophia University e della Shendian Energy Co., Ltd. si è posta era semplice: dove è finito quel rumore utile e si poteva recuperare?

I ricercatori hanno scoperto che il rumore non era scomparso; era semplicemente stato diluito dall'atto stesso di combinare i risultati. Nel loro setup, avevano cento diversi dispositivi, o "client", ognuno dei quali apprendeva sul proprio frammento di dati. In un approccio standard, ogni dispositivo avrebbe deciso casualmente quali parti delle proprie istruzioni di apprendimento mantenere e quali scartare, usando il proprio schema unico di scelte. Quando il server centrale raccoglieva questi aggiornamenti e li mediava tra loro, le scelte casuali dei singoli dispositivi si annullavano a vicenda. Era come se dieci persone cercassero di spingere un oggetto pesante in direzioni casuali leggermente diverse; il risultato netto era che l'oggetto si muoveva appena. La penalità matematica che di solito costringe un modello a essere robusto era stata indebolita da un fattore pari al numero di dispositivi nel gruppo. Con dieci dispositivi, l'effetto utile era stato ridotto a un decimo della sua forza originale, lasciando il modello con quasi nessuna protezione contro l'overfitting.

Il team ha poi testato una strategia diversa: cosa succederebbe se ogni dispositivo usasse lo stesso identico schema di scelte? Se tutte le dieci persone spingessero l'oggetto nella stessa direzione casuale, l'effetto sarebbe preservato. I ricercatori hanno scoperto che sincronizzare queste scelte ha effettivamente ripristinato il rumore protettivo, ma con una grande premessa. La forza del rumore ripristinato dipendeva interamente da quanto i dispositivi concordavano tra loro. Se i dispositivi stavano imparando da dati molto diversi e i loro aggiornamenti puntavano in direzioni contrastanti, il rumore sincronizzato diventava inefficace o addirittura dannoso. La misura di questo accordo è chiamata "diversità del gradiente", un concetto che conta essenzialmente quanto gli sforzi individuali dei dispositivi si sovrappongono. Quando i dispositivi sono in armonia, il rumore ritorna con tutta la sua forza. Quando sono in conflitto, il rumore viene diminuito o perso del tutto.

Per capire perché questo accadesse nella pratica, i ricercatori hanno condotto estesi esperimenti utilizzando un dataset di immagini standard chiamato CIFAR-10, suddiviso tra cento client simulati. Hanno misurato esattamente quanto del rumore protettivo sopravviveva al processo di mediazione sotto diverse condizioni. Hanno scoperto che nella configurazione più comune, in cui i dispositivi apprendono in piccoli batch di dati, il tasso di sopravvivenza era sorprendentemente basso. Da un valore massimo possibile di dieci, il rumore che raggiungeva effettivamente il modello finale era solo circa 1,19. Questa frazione minuscola significava che il modello era a malapena più robusto di quanto lo sarebbe stato se non fosse stato aggiunto alcun rumore. I ricercatori hanno attribuito questo fallimento al campionamento casuale dei dati che avviene in ogni fase dello standard apprendimento. Il rumore introdotto dal prelievo di piccoli batch di immagini ha sopraffatto il rumore specifico e utile generato dalla tecnica di mascheramento, soffocandolo.

Il team ha anche indagato se le differenze nei dati stessi — il fatto che alcuni dispositivi avessero più gatti e altri più auto — fossero la colpa. Hanno variato la distribuzione dei dati per renderla estremamente disomogenea, con alcuni dispositivi che possedevano cento volte più dati di altri. Sorprendentemente, questa differenza estrema ha avuto pochissimo effetto sul tasso di sopravvivenza del rumore. Che i dati fossero quasi identici o selvaggiamente diversi, il tasso di sopravvivenza rimaneva bloccato tra 1,17 e 1,50. Il vero ostacolo non era la diversità dei dati, ma il metodo di apprendimento. Quando i ricercatori hanno spento il campionamento a piccoli batch e hanno permesso a ogni dispositivo di apprendere dall'intera collezione di dati in un'unica soluzione, il tasso di sopravvivenza è balzato drasticamente a 8,96. Ciò ha dimostato che il rumore casuale dei piccoli batch era la ragione principale per cui la tecnica falliva negli ambienti federati.

Tuttavia, lo studio si è concluso con un realistico controllo della realtà. Sebbene sia matematicamente possibile recuperare la piena forza del rumore protettivo utilizzando grandi batch di dati completi e scelte sincronizzate, farlo comporta un costo terribile per le prestazioni reali del modello. Le configurazioni che permettevano al rumore di sopravvivere erano le stesse che producevano i peggiori risultati di apprendimento, con l'accuratezza del test che scendeva significativamente. Negli esperimenti, i modelli con le prestazioni migliori, che utilizzavano piccoli batch, avevano quasi nessun rumore protettivo rimasto, mentre i modelli con più rumore erano troppo imprecisi per essere utili. I ricercatori non hanno trovato un punto di equilibrio in cui il rumore potesse essere preservato senza sacrificare la capacità di apprendimento del modello.

In definitiva, il documento rivela che il fallimento dell'update masking nell'apprendimento federato non è una svista o un bug, ma una conseguenza fondamentale del modo in cui il sistema funziona. Il medesimo meccanismo che permette a molti dispositivi di apprendere insieme — la media dei loro aggiornamenti — lava via anche il tipo specifico di rumore su cui l'update masking fa affidamento. I ricercatori hanno dimostrato che, sebbene sia possibile forzare il rumore a sopravvivere sincronizzando i dispositivi, le condizioni necessarie per farlo sono incompatibili con le necessità pratiche di addestrare un modello utile. L'effetto protettivo che funziona così bene in un singolo computer semplicemente non si traduce in una rete di molti, a meno di non accettare un modello che impara molto male. Lo studio lascia il campo con una chiara comprensione dei limiti di questa tecnica, suggerendo che le soluzioni future debbano cercare altrove modi per aiutare i modelli federati a trovare quegli altopiani stabili e piatti.