Sintesi Tecnica: Apprendimento Federato Continuo Accurato ed Efficiente nelle Risorse (FedRAN)

1. Definizione del Problema

L'Apprendimento Federato Continuo (Federated Continual Learning - FCL) mira ad addestrare un modello globale attraverso client distribuiti che ricevono flussi sequenziali di dati non stazionari (ad esempio, nuove classi o domini) mantenendo i dati grezzi locali. Gli attuali metodi FCL affrontano un collo di bottiglia critico: si affidano all'ottimizzazione locale iterativa, a meccanismi di replay o alla supervisione completa, il che comporta costi elevati in termini di comunicazione, computazione, memoria e disponibilità di etichette.

Quando i dati sono non-IID (distribuiti in modo non uniforme tra i client) e le risorse sono limitate, gli approcci standard basati sull'ottimizzazione soffrono di:

• Elevato Overhead di Comunicazione: Trasmissione ripetuta degli aggiornamenti del modello su più round.
• Deriva delle Caratteristiche (Feature Drift): L'aggiornamento degli estrattori di caratteristiche condivisi su dati non-IID causa lo spostamento della rappresentazione dei dati precedentemente visti, degradando le prestazioni sui vecchi task.
• Scarsità di Etichette: Molte implementazioni pratiche mancano di dati etichettati sufficienti per ogni campione in arrivo.
• Trade-off Accuratezza-Risorse: I metodi analitici (che evitano l'addestramento iterativo) spesso richiedono la trasmissione di statistiche del secondo ordine complete (matrici di Gram), il che comporta costi di comunicazione quadratici rispetto alla dimensione delle caratteristiche.

2. Metodologia: FedRAN

Gli autori propongono FedRAN, un framework FCL analitico consapevole delle risorse che sostituisce gli aggiornamenti iterativi basati sul gradiente con statistiche di caratteristiche casuali compatte e soluzioni del classificatore in forma chiusa.

Architettura Core

• Backbone Congelato (Frozen Backbone): I client utilizzano un estrattore di caratteristiche preaddestrato e fisso (ad esempio, ResNet-18 o ViT). Non avviene la backpropagation sul lato del client, eliminando la deriva delle caratteristiche e riducendo la computazione.
• Mappatura delle Caratteristiche Casuali (Random Feature Mapping): I client mappano le caratteristiche estratte in uno spazio di caratteristiche casuali ad alta dimensione utilizzando una matrice di proiezione casuale condivisa $P$ seguita da una non-linearità ReLU. Ciò migliora la separabilità delle caratteristiche.
• Statistiche Compatte: Invece di inviare l'intero peso del modello o intere matrici di Gram ($M \times M$), i client calcolano e trasmettono:
  1. Statistica Etichetta-Caratteristica Esatta ($B_{k,t}$): La somma delle caratteristiche casuali pesate dalle etichette ($H^T Y$).
  2. Riassunto Spettrale a Basso Rango: Una decomposizione a valori singolari troncata (SVD) della matrice di Gram delle caratteristiche casuali locali ($H^T H$). I client trasmettono solo i vettori singolari dominanti ($V$) e i valori singolari ($\sigma$) fino a un rango $r$.

Aggregazione Lato Server

Il server esegue una fusione di sottospazio QR-SVD a due livelli:

1. Fusione Spaziale: Aggrega i riassunti a basso rango di tutti i client per l'attuale task.
2. Fusione Temporale: Aggrega il riassunto del task corrente con la storia globale dei task.
   Questo processo utilizza un aggiornamento QR-SVD per mantenere un sottospazio spettrale globale limitato senza materializzare la matrice completa $M \times M$. La complessità per ogni fusione è $O(Mr^2 + r^3)$.

Classificatore in Forma Chiusa

Il classificatore globale viene risolto analiticamente all'interno del sottospazio spettrale mantenuto utilizzando una formulazione di regressione ridge:
$$\tilde{W} = (\text{diag}(\sigma^2) + \lambda I)^{-1} V^T B$$
Il classificatore finale è $W = V\tilde{W}$. Questo evita l'inversione di matrici di dimensione $M \times M$, riducendola a un'inversione diagonale di dimensione $r \times r$.

Gestione della Scarsità di Etichette (FedRAN-SSL)

Per affrontare la scarsità di etichette, il framework introduce il pseudo-labeling basato su prototipi:

• I client calcolano i prototipi di classe dai dati etichettati nello spazio delle caratteristiche congelato.
• Ai campioni non etichettati vengono assegnate pseudo-etichette se la loro similarità del coseno con un prototipo supera una soglia di confidenza $\tau$.
• Questi campioni con pseudo-etichette affidabili vengono inclusi nella statistica etichetta-caratteristica $B$, permettendo ai dati non etichettati di contribuire all'aggiornamento analitico senza cicli di addestramento iterativi.

3. Contributi Chiave

1. Framework FedRAN: Un nuovo sistema FCL analitico che sostituisce l'addestramento iterativo del client con statistiche di caratteristiche casuali a propagazione diretta (forward-only) e aggiornamenti in forma chiusa.
2. Fusione QR-SVD a Due Livelli: Un meccanismo per aggregare i riassunti SVD troncati a basso rango spazialmente (tra i client) e temporalmente (tra i task), consentendo la conservazione della geometria del secondo ordine dominante senza costi di comunicazione quadratici.
   o. Limiti Teorici: Gli autori forniscono limiti deterministici che mettono in relazione l'errore di approssimazione della matrice di Gram e del classificatore con il rango del sottospazio spettrale mantenuto, dimostrando che l'errore è una quantità controllabile piuttosto che una varianza di stima.
3. Estensione Efficiente per le Etichette: Una variante di pseudo-labeling basata su prototipi (FedRAN-SSL) che utilizza efficacemente i dati non etichettati sotto una supervisione sparsa.
4. Validazione Empirica: Valutazione completa che dimostra un'accuratezza superiore, una comunicazione significativamente ridotta e tempi di addestramento più rapidi rispetto ai principali baseline dello stato dell'arte.

4. Risultati Sperimentali

Valutato su CIFAR-100, ImageNet-R e VTAB in scenari non-IID (distribuzione di Dirichlet $\beta \in [0.1, 1.0]$):

• Accuratezza: FedRAN migliora l'accuratezza media fino a 4,8 punti percentuali rispetto al più forte baseline analitico (STSA) e supera significativamente i baseline basati sull'ottimizzazione (ad es., Finetune, FedLwF).
• Efficienza di Comunicazione: FedRAN riduce la comunicazione per client di 30,6× fino a 121,8× rispetto ai metodi basati sull'ottimizzazione (che trasmettono l'intero aggiornamento del modello) ed è più efficiente dei metodi analitici del primo ordine (STSA) trasmettendo riassunti spettrali a basso rango invece di statistiche di classe stimate.
• Velocità di Computazione: FedRAN è in media 190,3× più veloce dei baseline basati sul gradiente perché evita la backpropagation iterativa e molteplici round di comunicazione.
• Scarsità di Etichette: Con solo il 20% di dati etichettati, la variante di pseudo-labeling migliora l'accuratezza media fino a 6,61 punti rispetto all'uso dei soli dati etichettati.
• Robustezza: Il metodo rimane stabile attraverso diverse variazioni di skew dei dati non-IID ($\beta$), mentre i metodi basati sull'ottimizzazione mostrano un significativo degrado delle prestazioni all'aumentare dello skew.

5. Significato e Rivendicazioni

Il documento afferma che FedRAN occupa un punto distinto e ottimale nello spazio di progettazione FCL poiché:

• Decoppia l'Accuratezza dal Costo delle Risorse: Raggiunge un'alta accuratezza preservando le statistiche delle caratteristiche del secondo ordine (tramite SVD a basso rango) senza incorrere nel costo di comunicazione quadratica delle intere matrici di Gram.
• Stabilizza le Rappresentazioni: Congelando il backbone, elimina la deriva delle caratteristiche indotta dal client, un tipico modo di fallimento nell'apprendimento federato continuo.
• Abilita l'Implementazione in Ambienti con Risorse Limitate: Rende l'FCL fattibile per scenari con larghezza di banda, computazione e risorse di etichettatura limitate, come l'imaging clinico o il telerilevamento, dove l'addestramento iterativo è impraticabile.

Gli autori concludono che FedRAN consente un "FCL accurato ed efficiente nelle risorse sotto vincoli di comunicazione, computazione e etichette", offrendo un'alternativa pratica all'ottimizzazione iterativa per compiti di apprendimento distribuito e sequenziale.