ASFL: An Adaptive Model Splitting and Resource Allocation Framework for Split Federated Learning

Il documento propone ASFL, un framework di apprendimento federato diviso adattivo che ottimizza la velocità di convergenza, il ritardo e il consumo energetico nei network wireless mediante un algoritmo di ottimizzazione online che gestisce dinamicamente la suddivisione del modello e l'allocazione delle risorse.

L'essenziale

Immagina di dover risolvere un enorme puzzle (che rappresenta l'intelligenza artificiale) insieme a un gruppo di amici, ma con una regola ferrea: nessuno può mostrare le proprie tessere a nessuno. Ognuno ha il suo mazzo di tessere segrete (i dati) e non può condividerle. Questo è il concetto di base del Federated Learning (Apprendimento Federato).

Il Problema: La Corsa contro il Tempo e la Batteria

In passato, il metodo standard era far sì che ogni amico (il "client") lavorasse su tutto il puzzle da solo, poi inviasse il risultato al "capo" (il server centrale) per unirlo.

• Il problema: I telefoni e i sensori degli amici sono piccoli, lenti e hanno poca batteria. Fare tutto il lavoro da soli li esaurisce e ci vuole un'eternità.
• Il capo: Il server centrale è un supercomputer potente, ma stava quasi sempre fermo a guardare, facendo solo un lavoro di "colla" per unire i pezzi. Uno spreco!

La Soluzione: ASFL (Il Team Dinamico)

Gli autori propongono un nuovo metodo chiamato ASFL (Apprendimento Federato Adattivo). Immagina che invece di far lavorare ognuno su tutto il puzzle, decidiate di dividere il puzzle in due parti:

1. La parte "difficile" (Server): Il supercomputer fa le parti che richiedono molta forza (calcoli complessi).
2. La parte "leggera" (Amici): Gli amici fanno solo le parti iniziali o finali, quelle che il loro telefono può gestire.

Ma ecco la magia di ASFL: non è un taglio fisso. È come se il team potesse cambiare strategia in tempo reale.

Le 3 Regole del Gioco ASFL:

1. Il Taglio Adattivo (Model Splitting):
   Immagina che il puzzle abbia 50 pezzi. A volte, il telefono è stanco e la connessione è debole: il sistema decide di dare al telefono solo i primi 10 pezzi e il resto al server. Altre volte, il telefono è fresco e la connessione è veloce: gli dà 20 pezzi. Il sistema decide ad ogni turno dove fare il taglio, per non sovraccaricare nessuno.

2. La Gestione del Traffico (Resource Allocation):
   Immagina che gli amici debbano inviare i pezzi del puzzle al capo attraverso una strada piena di buche (il segnale wireless).

   • Se la strada è piena di buche (cattivo segnale), il sistema dice: "Riduciamo la velocità di invio o usiamo un camioncino più piccolo per non far cadere i pezzi".
   • Se la strada è liscia, usiamo un camion veloce.
     Il sistema sceglie anche quante corsie (banda) e quanto gas (potenza) usare per ogni amico, in modo che nessuno si esaurisca e nessuno si blocchi.

3. L'Adattamento agli Errori:
   A volte, per via delle buche, un pezzo del puzzle arriva rotto (errore di pacchetto). Il sistema lo sa, lo scarta e chiede di rispedirlo, ma lo fa in modo intelligente per non perdere tempo prezioso.

Perché è Geniale? (I Risultati)

Gli autori hanno fatto degli esperimenti (come una gara di corsa) confrontando il loro metodo con 5 altri metodi tradizionali.

• Velocità: Il loro metodo ha finito il lavoro molto più velocemente (fino al 75% in meno di tempo).
• Batteria: Ha consumato molta meno energia (fino all'80% in meno).
• Intelligenza: Il modello finale è diventato più intelligente (più preciso) perché ha imparato meglio, adattandosi alle condizioni reali invece di seguire regole rigide.

In Sintesi

Pensa all'ASFL come a un allenatore sportivo molto intelligente che gestisce una squadra di atleti con forze diverse.

• Non chiede a tutti di correre la stessa distanza.
• Se un atleta è stanco o il terreno è fangoso, l'allenatore cambia subito il piano: gli dà un compito più leggero o lo aiuta di più.
• Il risultato? La squadra finisce la gara prima, tutti sono meno stanchi e vincono la medaglia d'oro.

Invece di costringere tutti i dispositivi a fare lo stesso lavoro pesante, l'ASFL adatta il lavoro alle capacità di ciascuno in ogni singolo istante, rendendo l'intelligenza artificiale più veloce, più economica e più rispettosa della nostra privacy.

Sommario tecnico

1. Problema e Contesto

Il Federated Learning (FL) consente l'addestramento collaborativo di modelli di machine learning su dispositivi client (es. smartphone, sensori) senza condividere i dati grezzi, preservando la privacy. Tuttavia, l'FL convenzionale presenta limiti significativi in scenari reali:

• Carico computazionale: I client devono addestrare l'intero modello localmente, causando ritardi elevati e un consumo energetico proibitivo su dispositivi con risorse limitate.
• Sottoutilizzazione del server: Il server centrale esegue solo l'aggregazione dei parametri, rimanendo sottoutilizzato rispetto alla sua potenza di calcolo.

Il Split Learning (SL) e il Split Federated Learning (SFL) sono stati proposti per dividere il modello tra client e server. Tuttavia, le soluzioni SFL esistenti soffrono di due problemi principali:

1. Splitting statico: Il punto di divisione del modello è fissato prima dell'addestramento, ignorando le condizioni dinamiche del canale wireless.
2. Assenza di adattabilità ai errori: La maggior parte degli studi assume canali perfetti, mentre nei sistemi reali il fading può causare errori di pacchetto, degradando le prestazioni di apprendimento. Inoltre, non considerano l'ottimizzazione congiunta della divisione del modello e delle risorse di rete (banda e potenza).

2. Metodologia Proposta: ASFL

Gli autori propongono ASFL (Adaptive Split Federated Learning), un framework che opera su reti wireless e integra tre fasi chiave in ogni round di addestramento:

1. Adaptive Model Splitting (Divisione Adattiva del Modello):

   • In ogni round, il sistema decide dinamicamente a quale livello del modello (layer) effettuare la divisione tra client e server.
   • Se il numero di layer lato client cambia rispetto al round precedente, vengono trasmessi solo i parametri dei layer intermedi necessari, riducendo l'overhead di comunicazione.
   • Questo meccanismo si adatta alle condizioni del canale e allo stato del modello.

2. Trasmissione e Gestione degli Errori:

   • I client inviano l'output intermedio al server. Il framework considera esplicitamente la probabilità di errore di pacchetto ($s_n^r$) dovuta al fading del canale.
   • Se un pacchetto è corrotto, il server lo scarta e non utilizza quel client per l'aggiornamento in quel round, modellando matematicamente l'impatto di questi errori sulla convergenza.

3. Ottimizzazione delle Risorse:

   • Il sistema ottimizza congiuntamente:
     • Splitting del modello: Quale layer usare come punto di taglio.
     • Allocazione delle Resource Blocks (RB): Quale banda assegnare a quale client.
     • Potenza di trasmissione: Quanta potenza usare per l'invio dei dati.

3. Contributi Chiave e Algoritmo

Il contributo principale risiede nella formulazione e risoluzione di un problema di ottimizzazione complesso che mira a massimizzare la velocità di convergenza (minimizzando le discrepanze del modello a lungo termine) rispettando vincoli di ritardo ed energia a lungo termine.

• Analisi Teorica: Gli autori derivano un limite superiore per il tasso di convergenza di ASFL, quantificando come le decisioni di splitting, allocazione delle RB e potenza influenzino la convergenza in presenza di errori di pacchetto.
• Algoritmo OOE-BCD: Per risolvere il problema di ottimizzazione non convesso e accoppiato, viene proposto l'algoritmo Online Optimization enhanced Block Coordinate Descent (OOE-BCD). Questo algoritmo scompone il problema in tre sottoproblemi risolti iterativamente:
  1. Sottoproblema di Splitting del Modello: Risolto tramite un algoritmo di ottimizzazione online basato sulla programmazione di Lyapunov. Questo permette di gestire i vincoli a lungo termine (ritardo ed energia) senza conoscere il futuro, utilizzando code virtuali per bilanciare le prestazioni immediate con i vincoli cumulativi.
  2. Sottoproblema di Allocazione RB: Risolto come un problema di programmazione intera (convesso rispetto alle decisioni di allocazione).
  3. Sottoproblema di Allocazione della Potenza: Risolto tramite un algoritmo iterativo che linearizza i vincoli non convessi utilizzando variabili ausiliarie.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sui dataset CIFAR-10 e CIFAR-100 utilizzando i modelli VGG-19 e ResNet-50, confrontando ASFL con cinque baseline (FedAvg, SL, SFL, ACC-SFL, EPSL).

• Prestazioni di Apprendimento: ASFL converge più velocemente delle soluzioni di base, raggiungendo una maggiore accuratezza di test (es. +1.61% su CIFAR-10 con ResNet-50 rispetto a FedAvg).
• Efficienza:
  • Riduzione del ritardo totale fino al 75%.
  • Riduzione del consumo energetico totale fino all'80%.
• Robustezza: Il framework dimostra robustezza in scenari con dati non-IID (distribuzione eterogenea dei dati) e in condizioni di canale reale (utilizzando dataset CSI misurati in ambienti esterni).
• Overhead: L'overhead introdotto dal cambio dinamico dei punti di splitting è minimo (circa il 20% del ritardo totale solo nelle fasi iniziali, stabilizzandosi successivamente).

5. Significato e Impatto

Questo lavoro è significativo perché colma il divario tra la teoria del Split Federated Learning e la sua implementazione pratica in reti wireless reali.

• Adattabilità Dinamica: Dimostra che l'adattamento dinamico del punto di divisione del modello, invece di una configurazione statica, è cruciale per ottimizzare le prestazioni in ambienti con risorse limitate e canali instabili.
• Gestione degli Errori: Introduce una modellazione realistica degli errori di trasmissione, mostrando come l'ottimizzazione congiunta di risorse e architettura del modello possa mitigare gli effetti negativi del rumore e del fading.
• Efficienza Sistemica: Offre un approccio sistematico per bilanciare l'efficienza computazionale, il consumo energetico e la velocità di apprendimento, rendendo il FL scalabile su dispositivi IoT e reti edge con risorse eterogenee.

In sintesi, ASFL rappresenta un avanzamento fondamentale verso l'implementazione efficiente e robusta del Federated Learning in scenari di rete wireless complessi e dinamici.