Riepilogo Tecnico: Selezione dei Clienti Federati in Condizioni di Visibilità Parziale

Formulazione del Problema

L'Apprendimento Federato (FL) si basa tipicamente su una selezione efficace dei clienti per mitigare il degrado delle prestazioni causato dall'eterogeneità dei dati (dati non-IID). Tuttavia, la maggior parte dei metodi esistenti di selezione dei clienti assume una visibilità completa, in cui il server ha accesso alle informazioni riguardanti l'intera popolazione di clienti in ogni round di comunicazione.

Questo articolo affronta la sfida della Visibilità Parziale, uno scenario che si presenta in distribuzioni su larga scala o basate su edge, dove il server può accedere solo a un sottoinsieme di clienti a causa di vincoli quali:

• Mobilità: Un server mobile che si sposta attraverso regioni di rete può interagire solo con i clienti all'interno della sua copertura corrente (ad esempio, scenari EdgeFlow).
• Disponibilità: I clienti potrebbero non essere disponibili a causa di problemi di pianificazione, connettività o preferenze sulla privacy.

In questo contesto, il server osserva solo un sottoinsieme di clienti ($C_t$) al round $t$, rendendo lo stato globale di addestramento parzialmente osservabile. Gli approcci esistenti basati sull'Apprendimento per Rinforzo (RL), che modellano tipicamente la selezione dei clienti come un Processo Decisionale di Markov (MDP) assumendo la visibilità completa dello stato, sono insufficienti per questo problema.

Metodologia

1. Formulazione POMDP

Gli autori formulano il problema della selezione dei clienti in condizioni di visibilità parziale come un Processo Decisionale di Markov Parzialmente Osservabile (POMDP).

• Stato ($s_t$): Concettualmente definito come i potenziali parametri aggiornati di tutti i $N$ clienti. Crucialmente, il server non ha accesso ai gradienti o agli aggiornamenti dei clienti invisibili.
• Azione ($a_t$): Selezionare un sottoinsieme di $K$ clienti dal cluster attualmente visibile $C_t$.
• Osservazione ($o_t$): Un sottoinsieme mascherato dello stato contenente i parametri aggiornati e gli ID dei soli clienti visibili ($j \in C_t$).
• Ricompensa ($r_t$): Definita in base al punteggio F1 del modello globale dopo l'aggregazione, livellata nel tempo per controllare la varianza.

2. Soluzione basata su Deep Q-Learning (DQL)

Per risolvere il POMDP, l'articolo propone un agente basato su DQL. Poiché mantenere una storia completa delle interazioni è computazionalmente impraticabile, il metodo approssima la funzione Q ottimale utilizzando un contesto temporale troncato degli ultimi $H$ round.

• Decomposizione del Valore Q per Cliente: Per gestire dimensioni variabili dei cluster e spazi di azione combinatori, la funzione Q globale viene decomposta in contributi individuali per cliente. L'agente valuta ogni cliente visibile indipendentemente e seleziona i top-$K$ con i valori Q stimati più alti.
• Ottimizzazione Multi-Step: L'agente utilizza l'apprendimento per differenza temporale multi-step con un fattore di sconto $\gamma$, ottimizzando la rete Q per prevedere i ritorni su un orizzonte di $H$ step.

3. Architettura di Attenzione Spazio-Temporale

L'innovazione centrale è una nuova Rete Q basata su Attenzione Spazio-Temporale progettata per elaborare input di lunghezza variabile e catturare dipendenze complesse.

• Riduzione della Dimensionalità: I parametri del modello ad alta dimensionalità vengono mappati in uno spazio di caratteristiche a bassa dimensionalità utilizzando la Proiezione Casuale (RP). A differenza della PCA, la RP non richiede campioni pre-raccolti, rendendola adatta alla visibilità dinamica.
• Contesto Temporale: La rete elabora una sequenza di parametri globali storici ($W_{glob}^{t-H} \dots W_{glob}^t$) per catturare la traiettoria di addestramento.
• Attenzione Spaziale: Un modulo elabora i token dei clienti attualmente visibili per ragionare sui loro contributi relativi all'interno del cluster specifico.
• Attenzione Temporale: Un modulo elabora i token storici dei parametri globali utilizzando codifica posizionale e mascheramento causale per apprendere le dipendenze temporali.
• Cross-Attention: I token spaziali e temporali vengono integrati tramite cross-attention, consentendo alle rappresentazioni dei clienti di prestare attenzione ai contesti globali storici.
• Embedding Consapevole dell'Identità: Per affrontare la sparsità temporale causata dalla partecipazione intermittente dei clienti, il modello include vettori di identità addestrabili (embeddings) per ciascun cliente. Questi agiscono come una "memoria" per catturare caratteristiche specifiche del cliente persistenti tra i round, anche quando i clienti non sono visibili.
• Architettura Dueling: La rete Q separa la stima del valore dello stato globale e il vantaggio relativo della selezione di clienti specifici per migliorare la stabilità dell'apprendimento.

Contributi Chiave

1. Framework POMDP: La prima formulazione della selezione dei clienti federati in condizioni di visibilità parziale come POMDP, affrontando esplicitamente il divario tra le assunzioni di visibilità completa e i vincoli del mondo reale.
2. Rete di Attenzione Spazio-Temporale: Un'architettura innovativa che integra modelli globali storici con le osservazioni attuali dei clienti, consentendo all'agente di ragionare sullo stato globale nonostante le osservazioni incomplete.
3. Memoria Consapevole dell'Identità: Un meccanismo per tracciare le caratteristiche specifiche dei clienti attraverso una partecipazione discontinua, mitigando l'impatto della sparsità delle osservazioni.
4. Strategia DQL Robusta: Un approccio di decomposizione per cliente e ottimizzazione multi-step adattato alla natura discreta e irreversibile della selezione dei clienti FL.

Risultati Sperimentali

Il metodo proposto è stato valutato su tre dataset (CIFAR-10, Fashion-MNIST, UCI-HAR) in due impostazioni di visibilità parziale (Server Mobile e Disponibilità Casuale) e due livelli di eterogeneità (distribuzione Dirichlet e Label Skew).

• Prestazioni: Il metodo proposto ha raggiunto una precisione superiore rispetto alle linee di base (FedProx, HA-EdgeFlow, FedAWAC) in quasi tutti gli scenari. Ha migliorato la precisione media dal 3,6% al 7,9% rispetto ai metodi esistenti.
• Stabilità: Il metodo ha dimostrato fluttuazioni delle prestazioni ridotte (deviazione standard inferiore) dopo la convergenza, indicando una maggiore stabilità dell'addestramento.
• Studi di Ablazione:
  • Lunghezza del Contesto ($H$): Le prestazioni sono migliorate all'aumentare di $H$ da 1 (MDP) a 5, validando la necessità di un contesto storico. Ulteriori aumenti ($H=8, 10$) hanno prodotto rendimenti decrescenti, suggerendo che la storia recente è sufficiente.
  • Embedding di Identità: La rimozione del modulo Consapevole dell'Identità ha comportato cali significativi della precisione in condizioni severe di Label Skew e un aumento delle fluttuazioni sotto distribuzioni Dirichlet, confermando il suo ruolo nella memoria dei clienti e nella stabilità.

Significato e Affermazioni

L'articolo afferma che il suo approccio fornisce una soluzione fondata al problema poco esplorato della selezione dei clienti in condizioni di visibilità parziale. Modellando il problema come un POMDP e sfruttando l'attenzione spazio-temporale, il metodo colma efficacemente il divario informativo causato dalle osservazioni incomplete. Gli autori affermano che il loro framework è particolarmente efficace in ambienti eterogenei e parzialmente visibili, offrendo un'alternativa robusta alle strategie di selezione esistenti basate su MDP o euristiche che falliscono quando il server non può osservare l'intera popolazione di clienti. Il lavoro valida che l'integrazione del contesto storico e della memoria dell'identità del cliente è fondamentale per mantenere le prestazioni del modello in ambienti edge dinamici e reali.