FedCC: Towards Addressing Label Distribution Skews in Distillation-Based Federated Learning

Nel vasto e interconnesso tessuto della comunicazione moderna, una rivoluzione silenziosa sta avendo luogo nel modo in cui i computer apprendono. Tradizionalmente, i sistemi di intelligenza artificiale vengono addestrati raccogliendo enormi quantità di dati in un unico luogo centrale, dove gli algoritmi studiano milioni di esempi per trovare schemi. Tuttavia, questo approccio solleva serie preoccupazioni sulla privacy e sulla sicurezza, poiché richiede lo spostamento di informazioni personali sensibili da telefoni, dispositivi medici e server privati verso un hub centrale. Per risolvere questo problema, i ricercatori hanno sviluppato un metodo chiamato apprendimento federato (federated learning), che consente a molti dispositivi diversi di apprendere insieme senza mai condividere i propri dati grezzi. Invece di inviare i dati stessi, i dispositivi inviano solo le lezioni che hanno appreso: aggiornamenti matematici che descrivono ciò che hanno visto. Ciò mantiene le informazioni private in locale, pur permettendo l'emergere di un'intelligenza globale derivante dallo sforzo collettivo.

Tuttavia, questo processo collaborativo deve affrontare un ostacolo ostinato: i dati su ogni dispositivo sono raramente bilanciati. Il telefono di una persona potrebbe essere pieno di foto di gatti, mentre quello di un'altra contiene solo immagini di auto. Quando questi dispositivi cercano di insegnare a un modello condiviso, quelli con abbondanza di dati per certe categorie tendono a dominare la conversazione, spingendo il modello a diventare un esperto in quelle aree specifiche mentre ignora quelle rare o mancanti. Questo squilibrio crea un punto cieco, causando al sistema errori sicuri ma errati su le cose che non ha mai visto. La sfida è complicata quando i dispositivi cercano di apprendere da un pool condiviso di immagini non etichettate — immagini senza alcun tag identificativo — il che è spesso necessario per proteggere la privacy. Senza conoscere le risposte vere per queste immagini condivise, il server centrale fatica a correggere i pregiudizi introdotti dai singoli dispositivi, portando a un modello globale distorto e inaffidabile.

Un team di ricercatori ha proposto un nuovo approccio per risolvere questo problema, introducendo un sistema che chiamano FedCC. Il loro lavoro si concentra su un tipo specifico di apprendimento collaborativo in cui i dispositivi condividono le loro previsioni piuttosto che le loro impostazioni interne. In questa configurazione, ogni dispositivo osserva un set di immagini pubbliche non etichettate e rimanda indietro un elenco di probabilità che indicano cosa pensa sia l'immagine. Il problema sorge quando un dispositivo, avendo visto solo pochi tipi di immagini, è costretto a fare una supposizione su tutto. Se un dispositivo ha visto solo foto di cani, identificherà con sicurezza un gatto come un cane, e se molti dispositivi fanno così, il server centrale aggrega questi errori in una singola conclusione fallace. I ricercatori hanno capito che la soluzione non era costringere ogni dispositivo a fare una supposizione, ma dare loro il permesso di ammettere quando non sono sicuri.

L'innovazione centrale di FedCC è l'introduzione di una categoria "sconosciuto" (unknown). Nei sistemi tradizionali, un dispositivo deve scegliere una delle classi note, come "cane", "gatto" o "auto", anche se l'immagine è qualcosa che non ha mai incontrato. FedCC cambia le regole consentendo a un dispositivo di etichettare un'immagine confusa o familiare come "sconosciuta". Questa semplice aggiunta funge da valvola di sicurezza. Quando un dispositivo incontra un'immagine che esula dalla sua esperienza limitata, può assegnarla a questa nuova categoria generica invece di forzare una risposta errata. Ciò impedisce al dispositivo di iniettare una falsa fiducia nella conoscenza collettiva del gruppo. Riconoscendo ciò che non sa, il dispositivo protegge il gruppo dall'essere tratto in inganno dalla propria prospettiva ristretta.

Per far sì che ciò funzioni, i ricercatori hanno progettato un processo in cui i dispositivi apprendono prima dai propri dati privati e poi utilizzano un set condiviso di immagini non etichettate per affinare la propria comprensione. Durante questo affinamento, il sistema calcola quanto il dispositivo sia sicuro nelle proprie previsioni. Se il dispositivo è molto sicuro, condivide la sua ipotesi. Se è incerto, il sistema punta fortemente alla categoria "sconosciuto". Questa incertezza non è trattata come un fallimento, ma come un segnale prezioso. Il server centrale combina quindi le previsioni di tutti i dispositivi, dando più peso a quelli che sono sicuri e meno peso a quelli che sono incerti. Fondamentalmente, il server filtra i tag "sconosciuto" quando crea la lezione globale finale, assicurando che la conoscenza condivisa sia costruita solo su informazioni affidabili e concordate. Questo metodo permette al sistema di apprendere efficacemente anche quando i dati sono fortemente sbilanciati, ovvero quando alcuni dispositivi hanno pochissimi dati per certe categorie.

I ricercatori hanno testato questo metodo su diversi dataset di immagini standard, incluse collezioni di oggetti quotidiani e animali, in condizioni in cui i dati erano distribuiti in modo molto disomogeneo. Nel test più estremo, hanno simulato uno scenario in cui ciascuno di dieci dispositivi possedeva immagini di una singola classe su dieci categorie possibili. In questo ambiente ostile, i metodi esistenti sono crollati, con la loro precisione che scendeva a livelli di indovinare casualmente, spesso al di sotto del dodici percento. Al contrario, il sistema FedCC ha mantenuto una robusta precisione del sessantasette virgola tre percento. Questo risultato dimostra che, permettendo ai dispositivi di fare un passo indietro rispetto all'errore forzato, il sistema nel suo complesso diventa significativamente più accurato. Il divario tra FedCC e gli altri metodi si è ampliato man mano che i dati diventavano più sbilanciati, provando che l'approccio è particolarmente efficace quando la sfida è maggiore.

Oltre a migliorare il modello globale finale, lo studio ha mostrato che questo approccio ha aiutato anche i singoli dispositivi. Imparando a riconoscere i propri limiti e a etichettare i campioni incerti come "sconosciuti", i dispositivi sono diventati più bravi nell'identificare le categorie rare che avrebbero dovuto apprendere. Il sistema ha agito efficacemente come un regolarizzatore, impedendo ai modelli di diventare eccessivamente sicuri delle classi che conoscevano bene e ignorando quelle che non conoscevano. L'analisi visiva dei dati ha mostrato che i modelli addestrati con FedCC mantenevano le diverse categorie distinte e separate, mentre gli altri metodi tendevano a confonderle tra loro. Questa chiarezza suggerisce che la categoria "sconosciuto" funge da cuscinetto, assorbendo il rumore e la confusione che di solito mandano in tilt l'apprendimento collaborativo.

Le scoperte suggeriscono che, in un mondo di dati diversificati e frammentati, ammettere l'ignoranza è uno strumento potente per l'apprendimento. Spostando l'obiettivo dalla costrizione a una previsione al permesso di esprimere incertezza, FedCC offre un modo semplice ma efficace per costruire sistemi di intelligenza artificiale più affidabili ed equi. Il metodo non richiede nuove infrastrutture complesse o la condivisione di dati privati; cambia semplicemente il modo in cui i dispositivi comunicano la propria fiducia. Mentre le reti di dispositivi continuano a crescere e i dati che contengono diventano sempre più vari, tecniche in grado di gestire questi squilibri senza sacrificare la privacy diventeranno essenziali. FedCC fornisce una via chiara, dimostrando che a volte il modo migliore per imparare è sapere quando dire: "Non lo so".