Sintesi Tecnica: Orchestrazione di Rehearsal Proiettata per l'Apprendimento Class-Incrementale Federato Eterogeneo

1. Definizione del Problema

Il documento affronta l'Apprendimento Class-Incrementale Federato (FCIL), un contesto in cui un modello globale deve apprendere nuove classi nel tempo pur mantenendo la conoscenza delle classi precedenti, il tutto sotto vincoli di privacy che impediscono la centralizzazione dei dati grezzi. Lo studio si rivolge specificamente all'FCIL eterogeneo, uno scenario realistico ma impegnativo in cui i client presentano:

• Sbilanciamento della Supervisione: Diversi client osservano sottoinsiemi differenti di etichette per lo stesso compito semantico o forniscono conteggi di campioni non uniformi.
• Disallineamento delle Fasi: I client progrediscono attraverso la sequenza di compiti semantici a ritmi e tempi differenti (ovvero $\pi_c[p] \neq \pi_{c'}[p]$).

I metodi FCIL esistenti spesso si affidano al rehearsal basato su generatori o alla sintesi data-free per preservare la vecchia conoscenza generando campioni artificiali nello spazio di input. Gli autori sostengono che, in presenza di stream eterogenei, questi metodi diventano fragili per due ragioni primarie:

1. Composizione dell'Errore: Se un compito viene appreso debolmente a causa di una supervisione sparsa o distorta, i segnali di replay generati derivati da quello stato sono inaffidabili. Il riutilizzo di questi segnali scadenti nelle fasi successive causa una degradazione a valle.
2. Accoppiamento Modale: I generatori nello spazio di input sono strettamente accoppiati a tipi di dati specifici (es. immagini), rendendoli difficili da trasferire tra diverse modalità (es. testo o grafi) senza riprogettare l'architettura del generatore.

2. Metodologia

Gli autori propongono PRO (Projected Rehearsal Orchestration), un framework privo di generatori che sostituisce la sintesi nello spazio di input con memorie proiettate compatte memorizzate nello spazio delle feature.

Architettura Core

Il modello è decomposto in:

• $h_\theta$: un encoder base specifico per la modalità.
• $a_\psi$: un adapter leggero.
• $W$: un unico testa del classificatore.
  Il sistema opera sotto un protocollo a testa singola (single-head) in cui l'identità del compito non viene fornita durante l'inferenza.

Il Framework PRO

1. Warmup Condiviso: Tutti i metodi subiscono un warmup auto-supervisionato in-domain federato per inizializzare $h_\theta$ senza pre-addestramento esterno, garantendo un confronto equo.
2. Memorizzazione della Memoria Proiettata: Il server mantiene statistiche di classe compatte per ogni classe nota $y$: la media ($\mu_y^u$) e la deviazione standard diagonale ($\sigma_y^u$) delle feature di base $u = h_\theta(x)$. Non vengono memorizzati dati grezzi o campioni sintetici nello spazio di input.
3. Rehearsal Lato Client:
   • Plasticità Controllata: I client eseguono prima una breve fase di addestramento sui dati del compito corrente con un regolarizzatore prossimale per prevenire un eccessivo drift dal modello globale.
   • Balanced Pseudo Multi-Task Training: I client campionano "vecchie" pseudo-feature dalle memorie proiettate del server ($\tilde{u}_{y,j} = \mu_y^u + \gamma \sigma_y^u \odot \epsilon_j$) e le combinano con le feature reali del compito corrente.
   • Punto di Integrazione: Fondamentalmente, queste vecchie feature proiettate vengono alimentate prima dell'adapter ($a_\psi$). Ciò assicura che i gradienti delle vecchie classi aggiornino sia l'adapter che il classificatore, impedendo all'adapter di derivare esclusivamente verso il compito corrente.
4. Aggregazione del Server: Il server aggrega gli aggiornamenti del modello (FedAvg) e aggiorna le statistiche della memoria utilizzando il modello globale aggregato per garantire la coerenza nello spazio delle feature.

PRO-MAX: Estensione di Allineamento della Memoria

Per gestire un drift della rappresentazione più forte negli scenari eterogenei, PRO-MAX introduce un meccanismo di allineamento della memoria:

• Stima del Trasporto Locale: I client memorizzano un piccolo sottoinsieme di calibrazione prima e dopo gli aggiornamenti locali per stimare il drift delle feature ($\delta = u^+ - u^-$).
• Allineamento Pesato dai Vicini: I client calcolano un vettore di trasporto pesato per le vecchie memorie basandosi sui vicini più prossimi nel set di calibrazione.
• Aggregazione Pesata sulla Confidenza: Il server aggrega questi vettori di trasporto utilizzando punteggi di confidenza (basati su quanto i dati attuali del client siano vicini alla vecchia classe). Questo sposta le vecchie memorie proiettate per allinearle con lo spazio di rappresentazione in evoluzione senza richiedere la discesa del gradiente lato server.

3. Contributi Chiave

1. Identificazione della Fragilità del Generatore: Il documento identifica che il replay basato su generatori fallisce nell'FCIL eterogeneo non solo per limiti di risorse, ma perché l'apprendimento debole del compito produce segnali sintetici scadenti che compongono gli errori nelle fasi successive.
2. Interfaccia di Memoria Agnostica rispetto alla Modalità: PRO introduce un framework privo di generatori che utilizza statistiche proiettate compatte a livello di classe, consentendo un trasferimento fluido tra immagini, testo e grafi senza generatori specifici per la modalità.
3. Robustezza all'Eterogeneità: Eseguendo un apprendimento multi-task pseudo bilanciato sui client e mantenendo statistiche di memoria leggere lato server, PRO e PRO-MAX ottengono una ritenzione e un'utilità superiori sotto sbilanciamento della supervisione e disallineamento delle fasi.
4. Allineamento della Memoria: PRO-MAX dimostra che allineare esplicitamente le vecchie memorie con il drift della rappresentazione tramite trasporto pesato dalla confidenza riduce significativamente l'oblio negli stream eterogenei.

4. Risultati Sperimentali

I metodi sono stati valutati su CIFAR-100 (immagini), THUCNews-10 (testo) e Cora (grafi) sotto protocolli sia omogenei che eterogenei.

• Performance Eterogenee: Sotto una severa eterogeneità, i baseline basati su generatori (TARGET, MFCL, HR) sono degradati significativamente anche quando dotati di budget di replay espansi. PRO e PRO-MAX hanno mantenuto un'elevata Accuratezza Media Finale (FAA) e un basso Oblio Medio (AF). Ad esempio, su CIFAR-100, PRO-MAX ha raggiunto il 46,12% di FAA rispetto al 27,86% di TARGET.
• Trasferimento di Modalità: L'approccio si è trasferito con successo ai benchmark di testo e grafi, superando i baseline specifici per modalità (es. FedSeIT per il testo, POWER/MOTION per i grafi) pur mantenendo costi di comunicazione inferiori.
• Efficienza delle Risorse: PRO e PRO-MAX operano con un budget di memoria proiettata fisso (comparabile a una singola classe di feature), mentre i metodi basati su generatori richiedono spesso un overhead di comunicazione significativamente più alto per trasmettere campioni sintetici o buffer di replay più grandi.
• Diagnostica del Fallimento del Generatore: Gli esperimenti hanno mostrato una forte correlazione positiva tra il mismatch tra replay e realtà (misurato tramite MMD) e la degradazione a valle. I metodi con maggiore mismatch (generatori) hanno sofferto maggiormente le interazioni con compiti deboli, mentre PRO/PRO-MAX hanno mantenuto un mismatch inferiore e un minor calo a valle.

5. Significato e Rivendicazioni

Il documento sostiene che la quantità di replay da sola non risolve i fallimenti della qualità del replay. Negli scenari federati eterogenei, la qualità del segnale di replay è contingente sulla qualità dell'apprendimento del compito sottostante. Quando la supervisione è debole o disallineata, i generatori nello spazio di input amplificano questi errori.

La significanza del lavoro risiede nello spostamento dell'astrazione della memoria dalla sintesi nello spazio di input alla proiezione nello spazio delle feature. Questo approccio:

• Decoppia i meccanismi di memoria dalle specifiche modalità di dati.
• Evita i costi computazionali e di comunicazione associati alla generazione e trasmissione di input sintetici.
• Fornisce una soluzione leggera per il server dove quest'ultimo esegue solo l'aggregazione e la contabilità della memoria, evitando l'ottimizzazione basata su gradiente o l'addestramento del generatore lato server.

Gli autori riconoscono con modestia alcuni limiti: le memorie proiettate dipendono dalla qualità della rappresentazione appresa e possono essere rumorose per classi estremamente rare con supporto scarso. Notano inoltre che, sebbene il metodo riduca i rischi di privacy associati alla memorizzazione dei dati grezzi, non offre garanzie formali di privacy contro l'inversione della rappresentazione senza meccanismi aggiuntivi come la privacy differenziale.