Split Federated Learning Architectures for High-Accuracy and Low-Delay Model Training

Each language version is independently generated for its own context, not a direct translation.

Immagina di dover organizzare una gara di cucina collettiva per creare il piatto più delizioso del mondo (il nostro "modello di intelligenza artificiale"), ma con un problema enorme: i partecipanti (i dispositivi dei clienti, come telefoni o tablet) hanno capacità molto diverse. Alcuni hanno forni professionali e chef esperti (clienti potenti), altri hanno solo un microonde e un principiante (clienti deboli).

Inoltre, per motivi di privacy, nessuno può portare le proprie materie prime (i dati) nella cucina centrale. Devono cucinare a casa propria.

Il Problema: La "Coda" e il "Collo di Bottiglia"

Nelle tecniche attuali (chiamate Split Federated Learning), si divide la ricetta in due parti:

Parte A: Si fa a casa (sul telefono).
Parte B: Si finisce al ristorante centrale (il server).

Il problema è che chi fa la Parte A deve aspettare che il ristorante finisca la Parte B per ricevere le correzioni (i gradienti) e migliorare. Se il ristorante è lento o se c'è un partecipante con un microonde lento che blocca tutto il gruppo, la gara si ferma. È come se tutti dovessero aspettare l'ultimo arrivato prima di poter dire "Ok, ora proviamo di nuovo".

La Soluzione Proposta: La "Cucina a Tre Livelli"

Gli autori di questo articolo propongono un nuovo modo di organizzare la gara, chiamato AA HSFL-ll. Immagina di introdurre un Capo Cuoco di Quartiere (l'aggregatore locale) tra i partecipanti e il ristorante centrale.

Ora la ricetta viene divisa in tre parti:

Parte A (A casa): Il partecipante prepara l'antipasto.
Parte B (Dal Capo Cuoco di Quartiere): L'antipasto viene portato al Capo Cuoco, che lo elabora e lo passa al ristorante.
Parte C (Al Ristorante): Il ristorante finisce il piatto principale.

Ma c'è di più: Il Capo Cuoco non aspetta il ristorante per correggere l'antipasto. Usa una "salsa di prova" (local-loss) per correggere subito il partecipante, permettendo a tutti di lavorare in parallelo senza fermarsi.

L'Innovazione Magica: Non è solo questione di velocità

Fino ad oggi, si pensava che la scelta di dove dividere la ricetta (quale strato della rete neurale tagliare) influenzasse solo la velocità, non il gusto finale.
Gli autori scoprono che questo è falso!
Se tagli la ricetta nel punto sbagliato (ad esempio, dopo il primo passaggio di farina), il piatto finale sarà insapore (bassa accuratezza). Se lo tagli nel punto giusto (dopo aver impastato bene), il piatto sarà delizioso (alta accuratezza).

Il loro algoritmo fa due cose intelligenti:

Sceglie il punto di taglio perfetto: Non cerca solo il taglio più veloce, ma quello che garantisce il miglior sapore (accuratezza).
Assegna i ruoli giusti: Decide chi deve fare il "Capo Cuoco di Quartiere". Non sceglie a caso, ma assegna questo ruolo ai partecipanti più forti (quelli con il forno potente) e fa lavorare i più deboli sotto la loro guida, bilanciando il carico di lavoro.

Perché è importante? (I Risultati)

Grazie a questa organizzazione intelligente, il paper dimostra che:

Il piatto è più buono: L'accuratezza del modello aumenta del 3% (il piatto è più saporito).
La gara è più veloce: Il tempo totale scende del 20% (nessuno aspetta inutilmente).
Si sprecano meno risorse: Il traffico di dati (le consegne di ingredienti) si riduce del 50% (meno traffico, meno costi).

In Sintesi

Immagina di dover costruire un grattacielo.

Metodo vecchio: Tutti i muratori lavorano, ma devono aspettare che l'ingegnere capo al piano terra controlli ogni singolo mattone prima di andare avanti. Se un muratore è lento, tutto il cantiere si ferma.
Metodo nuovo (AA HSFL-ll): Si dividono i muratori in squadre. Ogni squadra ha un caposquadra esperto. Il caposquadra controlla i suoi muratori in tempo reale (senza aspettare l'ingegnere centrale) e corregge gli errori subito. L'ingegnere centrale controlla solo i piani alti. Inoltre, si decide strategicamente quali muri costruire prima e chi deve essere caposquadra in base alla forza di ciascuno.

Il risultato? Il grattacielo viene costruito più in fretta, costa meno e, soprattutto, è più solido e sicuro.

Each language version is independently generated for its own context, not a direct translation.

1. Problema e Contesto

Il lavoro si concentra sul Split Federated Learning (SFL), un paradigma che combina i vantaggi del Federated Learning (FL) per la privacy e dello Split Learning (SL) per l'offloading computazionale su dispositivi con risorse limitate. Nonostante i vantaggi, gli schemi SFL esistenti soffrono di due problemi fondamentali:

Effetto di blocco all'indietro (Backward Locking): I client devono attendere che il server completi i calcoli per ricevere i gradienti, rimanendo inattivi.
Effetto degli "straggler" (lenti): Client potenti devono attendere quelli più lenti, aumentando la latenza complessiva.

Le architetture recenti di Hierarchical SFL (HSFL) introducono una struttura a tre livelli (Client, Aggregatori Locali, Server) e dividono il modello in tre sottomodelli tramite due layer di partizione: un layer aggregatore ( $h$ ) e un layer di taglio (cut layer, $v$ ). Tuttavia, gli approcci esistenti trascurano l'impatto critico della selezione di questi layer e dell'assegnazione dei client agli aggregatori locali sulla accuratezza del modello, assumendo erroneamente che l'accuratezza sia invariante rispetto alla posizione del layer di taglio.

Il problema centrale affrontato è: come ottimizzare congiuntamente la selezione dei layer di partizione e l'assegnazione dei client agli aggregatori locali per minimizzare il ritardo di addestramento e l'overhead di comunicazione, mantenendo o migliorando l'accuratezza del modello?

2. Metodologia Proposta

Gli autori propongono un nuovo approccio chiamato AA HSFL-ll (Accuracy-Aware Hierarchical Federated Learning with Local Loss). La metodologia si articola in tre fasi principali:

A. Modellazione del Sistema

Architettura: Un server centrale, $N$ $N$ client (alcuni dei quali agiscono come aggregatori locali) e un modello diviso in tre parti:
1. Weak-side model (Client): Layer $1 \dots h$.
2. Aggregator-side model (Aggregatore): Layer $h+1 \dots v$ .
3. Server-side model (Server): Layer $v+1 \dots L$ .
Training: Utilizza l'apprendimento con Local Loss. I client e gli aggregatori possono eseguire la retropropagazione (BP) in parallelo senza attendere i gradienti dal server finale, riducendo il blocco.
Ottimizzazione: Il sistema deve scegliere congiuntamente $h$ , $v$ e la matrice di assegnazione $X$ (quale client va a quale aggregatore) per minimizzare il ritardo di un round ( $T_{round}$ ) soggetto a vincoli di accuratezza.

B. Formulazione del Problema

Il problema è formulato come un'ottimizzazione congiunta per minimizzare $T_{round}$ con vincoli di accuratezza.

È stato dimostrato che il problema è NP-difficile (NP-hard), riducibile al Restricted Facility Location Problem (RFLP).
La ricerca esaustiva è proibitiva per grandi numeri di client ( $O(N^N \cdot L^2)$ ).

C. Algoritmo Euristicico (AA HSFL-ll)

Poiché la soluzione ottima è intrattabile, gli autori propongono un algoritmo euristico in due fasi:

Identificazione dei Layer di Taglio Candidati (Algoritmo 1):
- Viene eseguita un'addestramento offline su un sottoinsieme di client per diverse posizioni del layer di taglio $v$ .
- Viene calcolata l'accuratezza per ogni $v$ .
- Viene definito un insieme $V^*$ di layer di taglio candidati che garantiscono un'accuratezza entro una soglia di tolleranza ( $thr$ ) rispetto all'accuratezza massima osservata. Questo passo è cruciale per garantire che l'ottimizzazione del ritardo non degradi l'accuratezza.
Selezione Congiunta (Algoritmo 2):
- Per ogni $v \in V^*$ , l'algoritmo esegue una ricerca binaria sul layer aggregatore $h$ e una ricerca iterativa sulla frazione di aggregatori $\lambda$ .
- L'obiettivo è bilanciare i carichi computazionali tra client e aggregatori per minimizzare il collo di bottiglia (il ritardo massimo tra le coppie client-aggregatore).
- Assegna i client più deboli agli aggregatori più potenti per mitigare l'effetto degli straggler.

3. Contributi Chiave

Dimostrazione dell'Impatto dell'Accuratezza: Il paper fornisce evidenze sperimentali che la scelta del layer di taglio influenza significativamente l'accuratezza finale, contraddicendo le assunzioni comuni negli schemi SFL attuali.
Formulazione NP-Difficile: Prima formulazione completa del problema di selezione congiunta dei layer di partizione e assegnazione degli aggregatori con vincoli di accuratezza, con prova della sua complessità NP-hard.
Algoritmo Euristicico Accuratezza-Aware: Proposta del primo algoritmo che ottimizza congiuntamente accuratezza, ritardo e overhead, superando i limiti degli approcci precedenti che ottimizzavano solo il ritardo.
Robustezza: L'algoritmo è progettato per adattarsi a cambiamenti dinamici del sistema (variazioni di throughput di rete o carichi di lavoro sui client) ricalcolando le decisioni tra i round di addestramento.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset pubblici (MNIST, CIFAR-10, CINIC-10) utilizzando modelli di deep learning (AlexNet, VGG-11, VGG-19, ResNet-101) e confrontando AA HSFL-ll con schemi SFL, HSFL, LocSFL e DTFL.

Miglioramenti nelle Metriche: Rispetto agli schemi state-of-the-art, l'approccio proposto ottiene:
- +3% di accuratezza.
- -20% di ritardo di addestramento.
- -50% di overhead di comunicazione.
Esempio Specifico (AlexNet): Per raggiungere il 94% di accuratezza, AA HSFL-ll impiega 1600 secondi (20% in meno rispetto agli altri), mentre il miglior concorrente (DTFL) raggiunge solo il 91% nello stesso tempo.
Efficienza Computazionale: L'algoritmo euristico offre un speedup fino a 40 volte rispetto alla ricerca esaustiva, con un sub-ottimalità inferiore al 12% anche su grandi scale (100 client).
Robustezza: In scenari con risorse computazionali ridotte (fino al 30% in meno) o velocità di trasmissione basse, la soluzione adattiva riduce significativamente l'aumento del ritardo rispetto a soluzioni statiche.

5. Significato e Impatto

Questo lavoro rappresenta un passo avanti significativo nell'ottimizzazione del Split Federated Learning. Dimostra che l'ottimizzazione puramente basata sul ritardo (ignorando l'accuratezza) è controproducente. Introducendo un meccanismo accuracy-aware, il paper offre una soluzione pratica per reti eterogenee (IoT, dispositivi mobili) dove è necessario bilanciare vincoli di risorse, latenza e qualità del modello.

L'architettura proposta e l'algoritmo euristico forniscono un framework robusto per l'addestramento distribuito di modelli complessi, rendendo il SFL più efficiente e scalabile per applicazioni reali, specialmente in contesti con dispositivi fortemente eterogenei e risorse di rete variabili.