ProxyFL: A Proxy-Guided Framework for Federated Semi-Supervised Learning

Each language version is independently generated for its own context, not a direct translation.

Immagina di dover insegnare a un gruppo di amici come riconoscere gli animali, ma c'è un problema: nessuno vuole mostrare le proprie foto private (per rispetto della privacy). Inoltre, ognuno ha un libro di istruzioni diverso: alcuni hanno solo foto di gatti, altri solo di cani, e molti hanno foto senza etichetta che non sanno se siano gatti o cani.

Questo è il mondo del Federated Semi-Supervised Learning (FSSL): un modo per addestrare un'intelligenza artificiale insieme, senza condividere i dati privati, usando sia informazioni certe che molte informazioni incerte.

Il problema è che questo sistema è spesso confuso da due tipi di "disordine":

Disordine Esterno: I libri di istruzioni degli amici sono troppo diversi tra loro (uno vede solo gatti, l'altro solo cani).
Disordine Interno: Dentro il libro di un singolo amico, ci sono troppe foto senza etichetta e poche con etichetta, oppure le etichette sono confuse.

La maggior parte dei metodi attuali cerca di risolvere questi problemi in due modi che non funzionano benissimo:

Metodo 1 (La media): Prendono le risposte di tutti e fanno una media. Ma se uno sbaglia di grosso (un "outlier"), la media si sposta e diventa sbagliata.
Metodo 2 (Il filtro): Scartano tutte le foto incerte (quelle a bassa confidenza) per non sbagliare. Il risultato? Si perde tantissima informazione utile e l'apprendimento è lento.

La Soluzione: ProxyFL (Il "Tutor" Intelligente)

Gli autori di questo paper, Duowen Chen e Yan Wang, hanno creato un nuovo metodo chiamato ProxyFL. Immagina ProxyFL non come un semplice aggregatore di dati, ma come un Tutor Intelligente che usa dei "segnaposto" (chiamati Proxy) per guidare il gruppo.

Ecco come funziona, spiegato con metafore semplici:

1. Il Segnaposto (Proxy) al posto delle Foto

Invece di chiedere agli amici di inviare le loro foto (dati) o di fare una media delle loro risposte (pesi), il Tutor crea dei segnaposto.
Immagina che ogni categoria (Gatto, Cane, Uccello) abbia un "cartellino" speciale. Questi cartellini non sono dati reali, ma sono le "regole" che il modello ha imparato. Sono leggeri, non violano la privacy e si aggiornano facilmente.

2. Risolvere il Disordine Esterno: Il "Tuning Globale"

Quando gli amici inviano i loro cartellini al Tutor centrale, succede che alcuni cartellini sono molto strani (perché quel cliente ha solo dati strani).

Il vecchio metodo: Metteva tutti i cartellini in una scatola e faceva la media. Risultato: il cartellino finale era una cosa strana e inutile.
Il metodo ProxyFL: Il Tutor guarda i cartellini, vede quali sono "strani" (i valori anomali) e li sposta delicatamente verso il centro giusto, senza farsi influenzare dagli errori. È come un direttore d'orchestra che corregge un musicista che suona stonato, senza fermare l'intera orchestra.

3. Risolvere il Disordine Interno: La "Lista delle Possibilità"

Questo è il colpo di genio. Quando un amico non è sicuro se una foto sia un "Gatto" o un "Cane" (bassa confidenza), i metodi vecchi dicono: "Buttala via".
ProxyFL dice: "Non buttarla via! Mettila in una lista di possibilità."

Invece di dire "Questa è un Gatto" (rischio di errore), il Tutor dice: "Ok, questa potrebbe essere un Gatto oppure un Cane".
Crea un "Pozzo di Relazioni" (Positive-Negative Proxy Pool). Invece di forzare una risposta sbagliata, insegna al modello a dire: "Questa foto è simile a un Gatto, ma non è un Cane".
In questo modo, nessuna foto viene scartata. Si usano anche le foto incerte, ma in modo sicuro, trattandole come un'area grigia di apprendimento invece che come un errore.

Perché è un gioco da ragazzi?

Privacy: Non servono foto, solo i "cartellini" (i pesi del modello), che sono sicuri.
Velocità: Non si perdono dati scartando le foto incerte, quindi il modello impara molto più velocemente.
Robustezza: Se un amico ha dati strani, il sistema non crolla, ma si adatta.

In sintesi

ProxyFL è come un maestro di scuola che, invece di ignorare gli studenti che non hanno fatto i compiti o che hanno dubbi, usa una strategia intelligente:

Crea una mappa mentale condivisa (i Proxy) che corregge gli errori di chi ha visto cose strane.
Insegna agli studenti incerti a pensare in termini di "potrebbe essere A o B" invece di costringerli a scegliere A o B e sbagliare.

Il risultato? Un'intelligenza artificiale che impara meglio, più velocemente e rispettando la privacy di tutti, anche quando i dati sono disordinati e incompleti.

Each language version is independently generated for its own context, not a direct translation.

1. Il Problema: Eterogeneità nell'Apprendimento Federato Semi-Supervisionato (FSSL)

L'apprendimento federato semi-supervisionato (FSSL) mira ad addestrare un modello globale collaborativo sfruttando dati locali parzialmente annotati, preservando la privacy. Tuttavia, il campo è ostacolato da due forme critiche di eterogeneità dei dati:

Eterogeneità Esterna (tra client): Discrepanza nella distribuzione dei dati tra i diversi client (non-IID).
Eterogeneità Interna (entro il client): Disallineamento tra i dati etichettati e quelli non etichettati all'interno dello stesso client, spesso causato da squilibri nelle dimensioni dei campioni per categoria o differenze distributive.

Limiti degli approcci attuali:

Per l'eterogeneità esterna, i metodi esistenti usano strategie di aggregazione pesata (fisse o dinamiche) basate sulle dimensioni dei dataset. Questo approccio tende a deviare dalla distribuzione globale ideale, specialmente in presenza di outlier.
Per l'eterogeneità interna, i metodi filtrano i campioni non etichettati a bassa confidenza per evitare errori di pseudo-etichettatura. Questo riduce drasticamente la quantità di dati disponibili per l'addestramento, limitando le prestazioni.

Il paper pone due domande fondamentali: esiste un modo migliore per adattare la distribuzione globale senza violare la privacy? Come sfruttare efficacemente i campioni non etichettati a bassa confidenza?

2. Metodologia: Il Framework ProxyFL

Gli autori propongono ProxyFL, un framework che utilizza un proxy unificato (i pesi apprendibili del classificatore) per modellare simultaneamente le distribuzioni delle categorie sia localmente che globalmente. Questo approccio non richiede la condivisione di dati grezzi né introduce costi di comunicazione significativi, poiché i proxy sono parte integrante dei parametri del modello.

Il framework si articola in due meccanismi principali:

A. Global Proxy Tuning (GPT) - Mitigazione dell'Eterogeneità Esterna

Invece di aggregare semplicemente i pesi dei classificatori locali tramite una media (che è sensibile agli outlier), il server esegue un'ottimizzazione esplicita dei proxy globali ( $\Omega_G$ ).

Obiettivo: Spostare i proxy globali verso i proxy locali della stessa categoria e allontanarli da quelli di altre categorie.
Funzione di perdita: Viene definita una funzione di perdita basata sulla distanza metrica che massimizza la similarità intra-classe e minimizza quella inter-classe tra i proxy globali e quelli locali.
Risultato: Questo processo "sintonizza" i proxy globali per adattarsi meglio alla distribuzione reale delle categorie, riducendo lo spostamento distributivo causato dall'eterogeneità esterna.

B. Indecisive-Categories Proxy Learning (ICPL) - Mitigazione dell'Eterogeneità Interna

Per sfruttare i campioni non etichettati a bassa confidenza senza introdurre errori di pseudo-etichettatura, il metodo introduce un meccanismo dinamico:

Insieme di Categorie Indecise (Indecisive-Categories Set, $\xi$ ): Invece di assegnare una singola pseudo-etichetta (che potrebbe essere errata) a un campione a bassa confidenza, il sistema identifica un insieme di categorie candidate tra cui il modello esita. Questo insieme è determinato dinamicamente confrontando i logit globali con una distribuzione a priori delle categorie ( $P'_G(Y)$ ).
Pool di Proxy Positivi-Negativi: Viene costruito un pool di relazioni per l'apprendimento contrastivo:
- Proxy Positivo: Per i campioni ad alta confidenza, è il peso della categoria predetta. Per i campioni a bassa confidenza, è una somma pesata dei pesi delle categorie nell'insieme $\xi$ .
- Proxy Negativi: Qualsiasi altro campione il cui insieme di categorie non si sovrapponga a quello del campione corrente.
Vantaggio: Questo permette di includere tutti i campioni (anche quelli a bassa confidenza) nell'addestramento, mitigando il bias delle pseudo-etichette errate e aumentando la partecipazione dei dati.

3. Contributi Chiave

Primo approccio unificato: ProxyFL è il primo metodo a proporre un proxy unificato per mitigare simultaneamente l'eterogeneità interna ed esterna nell'FSSL.
Ottimizzazione esplicita dei proxy: Introduce un obiettivo di ottimizzazione esplicito (GPT) per ridurre il bias delle medie pesate, migliorando la robustezza agli outlier.
Sfruttamento dei dati a bassa confidenza: Il meccanismo ICPL permette di includere efficacemente i dati a bassa confidenza costruendo relazioni categoriale complesse, superando il compromesso tra esclusione dei dati e errore di etichettatura.
Efficienza e Privacy: L'uso dei pesi del classificatore come proxy non viola la privacy e ha costi computazionali e di comunicazione trascurabili rispetto alla condivisione di feature o prototipi ad alta dimensionalità.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su quattro dataset standard (CIFAR-10, CIFAR-100, SVHN, CINIC-10) con diverse configurazioni di eterogeneità (dirichlet $\alpha = 0.1, 0.5, 1$ ) e con solo il 10% di dati etichettati.

Prestazioni Superiori: ProxyFL supera lo stato dell'arte (SOTA) su tutti i dataset e in tutte le configurazioni di eterogeneità. Ad esempio, su CIFAR-10 con $\alpha=0.1$ , raggiunge l'88.56% di accuratezza contro l'87.05% del metodo precedente migliore (SAGE).
Convergenza Accelerata: L'analisi mostra che ProxyFL converge significativamente più velocemente rispetto ai metodi baselines (fino a 3.18 volte più veloce per raggiungere il 50% dell'accuratezza finale su CIFAR-100), grazie all'inclusione di più dati di addestramento.
Robustezza agli Outlier: La visualizzazione t-SNE dei proxy dimostra che l'ottimizzazione GPT posiziona i proxy globali in modo più accurato rispetto alla semplice media, evitando di essere influenzati da client con distribuzioni anomale.
Ablation Study: Gli studi di ablazione confermano che sia il modulo GPT che ICPL contribuiscono individualmente e congiuntamente al miglioramento delle prestazioni. Inoltre, l'uso di proxy (parametri del modello) è superiore all'uso di prototipi (feature medie) in termini di prestazioni e sicurezza.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo nell'ambito dell'FSSL. Dimostra che è possibile superare le limitazioni dell'eterogeneità dei dati senza sacrificare la privacy o scartare dati preziosi.

Teorico: Offre una nuova prospettiva sul modellamento delle distribuzioni di categoria tramite i pesi del classificatore, spostando il focus dall'aggregazione dei parametri grezzi all'ottimizzazione mirata delle rappresentazioni semantiche (proxy).
Pratico: Fornisce una soluzione scalabile ed efficiente per scenari reali (IoT, dispositivi edge) dove l'etichettatura è costosa e i dati sono distribuiti in modo non uniforme, permettendo di costruire modelli globali più robusti e accurati con meno risorse.