Sintesi Tecnica: Partizionamento Adattivo dei Dati per l'Apprendimento Federato e Distribuito Efficiente dal Punto di Vista Energetico su Sistemi Eterogenei

1. Definizione del Problema

L'addestramento di modelli distribuiti su sistemi eterogenei è significativamente ostacolato dalle variazioni nella capacità di elaborazione (throughput), nel comportamento della memoria e nelle condizioni operative tra i dispositivi partecipanti. Quando viene applicata una divisione fissa ed uguale dei dati di addestramento, i dispositivi più veloci terminano il proprio lavoro in anticipo e rimangono inattivi mentre attendono i dispositivi più lenti ("straggler") ai punti di sincronizzazione. Questo effetto straggler non solo aumenta il tempo totale di esecuzione (makespan) dell'addestramento, ma aumenta anche il consumo energetico dei dispositivi, poiché i partecipanti sincronizzati devono rimanere attivi finché il progresso collettivo non può continuare.

Gli approcci esistenti per mitigare questo problema si affidano spesso alla selezione dei partecipanti (escludendo i dispositivi lenti), all'aggregazione asincrona, a cambiamenti nei metodi di ottimizzazione o all'adattamento del modello. Sebbene sistemi recenti abbiano esplorato la ridistribuzione dei dati di addestramento, molti dipendono da controller appresi, ricerche pregresse, impostazioni hardware specifiche o alterazioni della semantica di sincronizzazione e dei set di partecipazione. Rimane un vuoto per un meccanismo a ciclo chiuso comune che possa operare attraverso diversi confini di sincronizzazione e proprietà dei dati (come l'Apprendimento Federato e il Parallelismo dei Dati Distribuiti) mantenendo l'originale configurazione di apprendimento, il modello e le regole di sincronizzazione.

2. Metodologia

Gli autori propongono un controller di allocazione leggero, guidato dalle misurazioni, che rialloca un budget fisso di campioni ai confini dei round basandosi sul tempo di addestramento osservato e sull'energia misurata per campione. Il controller opera senza modificare il modello, la funzione di perdita, l'ottimizzatore o l'insieme dei dispositivi partecipanti.

Regimi di Esecuzione

Lo studio valuta il controller attraverso tre distinti regimi di esecuzione:

1. Media Periodica dei Modelli (PMA): I worker addestrano repliche di modelli indipendenti su dati condivisi all'interno di un dominio fidato e si sincronizzano solo ai confini dei round.
2. Parallelismo dei Dati Distribuiti (DDP): I rank sincronizzano i gradienti dopo ogni step dell'ottimizzatore. Questo regime richiede una specifica strategia di dimensionamento dei batch per gestire carichi di lavoro per rank disuguali senza introdurre padding o batch dummy.
3. Apprendimento Federato Gerarchico con DDP intra-silo (HFL-DDP): I dispositivi sono raggruppati in "silo" fissi (domini proprietari dei dati). I rank all'interno di un silo utilizzano il DDP, mentre i modelli dei silo vengono aggregati al confine del round federato. La riassegnazione è limitata ai rank all'interno dello stesso silo per rispettare la proprietà dei dati.

Il Controller Adattivo

Il controller funziona come segue:

• Misurazione: Alla fine di ogni round $r$, ogni partecipante $i$ riporta il proprio tempo di elaborazione ($t_i^{(r)}$), il consumo energetico ($e_i^{(r)}$) e il numero di campioni ($n_i^{(r)}$).
• Calcolo del Costo: I costi per campione sono derivati come $\tau_i^{(r)} = t_i^{(r)} / n_i^{(r)}$ e $\epsilon_i^{(r)} = e_i^{(r)} / n_i^{(r)}$. Questi vengono smussati utilizzando una Media Mobile Esponenziale (EMA) per ridurre il rumore.
• Suddivisione Proporzionale Pesata: Il controller calcola un costo combinato privo di dimensioni $c_i^{(r)}$ utilizzando pesi scelti dall'utente $w_t$ (tempo) e $w_e$ (energia).
  • $c_i^{(r)} = w_t \frac{\hat{\tau}_i^{(r)}}{\text{median}(\hat{\tau})} + w_e \frac{\hat{\epsilon}_i^{(r)}}{\text{median}(\hat{\epsilon})}$
• Allocazione: Ai partecipanti vengono assegnati campioni inversamente proporzionali al loro costo. Un meccanismo di "deadband" impedisce riallocazioni non necessarie se le differenze di costo sono trascurabili.
• Specifiche DDP: Per il DDP, il controller assicura che tutti i rank eseguano lo stesso numero di step dell'ottimizzatore per round, costruendo schedule di dimensione del batch per step che ridistribuiscono i campioni locali, preservando l'obiettivo del gradiente della media dei campioni.

Setup Sperimentale

La valutazione è stata condotta su un testbed di System-on-Chip (SoC) eterogeneo composto da undici dispositivi con architetture Arm, RISC-V e x86. Sono stati utilizzati tre compiti di apprendimento supervisionato: MNIST (classificazione di immagini), ERA5 (regressione di serie temporali) e IMDB (sentiment analisi di testi). Lo studio ha confrontato le policy adattive contro:

• Allocazione uguale: Divisione uniforme dei campioni.
• Profilazione statica: Una misurazione singola seguita da un'allocazione fissa.
• Selezione di tipo Oort: Un baseline che esclude i partecipanti lenti.
• FedAsync: PMA asincrona.
• Dimensionamento batch EMA: Un baseline di throughput a livello di step per il DDP.

3. Contributi Principali

Il documento presenta quattro contributi primari:

1. Un Controller Guidato dalle Misurazioni: Un meccanismo leggero che rialloca un budget fisso di campioni basandosi sul tempo e l'energia osservati per campione, preservando l'intero set di partecipazione e le semantiche di sincronizzazione.
2. Design Unificato: Un design di allocazione comune applicabile a PMA, DDP e HFL-DDP, con vincoli specifici per i confini di proprietà dei dati nelle impostazioni gerarchiche.
3. Obiettivo Consapevole dell'Energia: Una funzione obiettivo con pesi regolabili che espone l'interazione tra energia per campione, makespan di addestramento e l'energia dei dispositivi sincronizzati, sfidando l'assunto che massimizzare il peso dell'energia minimizzi sempre l'energia totale.
4. Valutazione Completa: Uno studio replicato attraverso tre compiti di apprendimento e tre regimi di sincronizzazione su un testbed eterogeneo, collegando i cambiamenti di allocazione allo squilibrio computazionale, l'esposizione alla sincronizzazione, il makespan e l'energia misurata.

4. Risultati

Gli esperimenti sul testbed eterogeneo hanno prodotto i seguenti risultati:

• Riduzione di Makespan ed Energia: Il partizionamento adattivo (specificamente le policy "Solo tempo" e "Bassa energia") ha ridotto costantemente il makespan di addestramento e l'energia misurata dei dispositivi rispetto all'allocazione Uguale. In PMA, la policy "Solo tempo" ha ridotto il median makespan di circa il 71–80% e l'energia del 28–40% attraverso i compiti.
• Mitigazione degli Straggler: Il controller ha ridotto significativamente lo squilibrio computazionale. Nel DDP, il coefficiente di variazione per il tempo di forward-pass è sceso da ~0,8–1,1 (Uguale) a ~0,02–0,18 (adattivo), correlando direttamente con la riduzione dell'attesa di sincronizzazione.
• Convergenza: Le policy adattive hanno raggiunto regioni a basso obiettivo (loss/MSE su dati non visti) più velocemente rispetto all'allocazione Ugale, ottenendo spesso una qualità finale comparabile in molto meno tempo.
• Risposta Energetica Non Monotona: Aumentare il peso dell'energia ($w_e$) non ha sempre ridotto l'energia totale. Assegnare più lavoro a dispositivi efficienti dal punto di vista energetico ma più lenti può estendere la finestra di esecuzione sincronizzata, aumentando l'energia accumulata di tutti i partecipanti. Un piccolo peso energetico ($w_e = 0,25$) ha spesso fornito un miglior compromesso rispetto a "Solo energia" ($w_e = 1$).
• Overhead: Il calcolo dello scheduling stesso è stato trascurabile, consumando meno dello 0,02% della durata del round.

5. Significato e Rivendicazioni

Il documento sostiene che il partizionamento dei dati basato sulle misurazioni fornisce un metodo pratico per mitigare gli straggler attraverso i regimi di addestramento distribuito senza alterare la configurazione di apprendimento o le regole di sincronizzazione.

• Praticità: Il metodo non richiede profilazione preventiva, policy apprese o cambiamenti nell'ottimizzatore o nell'architettura del modello. Opera come un controller a ciclo chiuso utilizzando la telemetria a runtime.
• Ottimizzazione Dipendente dal Contesto: Gli autori sottolineano che l'equilibrio ottimale tra tempo ed energia dipende dal compito specifico e dal regime di esecuzione. Sebbene "Solo tempo" sia il default più affidabile per minimizzare il makespan, un piccolo peso energetico può essere benefico in contesti specifici (ad esempio, HFL-DDP su determinati compiti).
• Distinzione dal Lavoro Precedente: A differenza dei metodi di selezione dei partecipanti (come Oort) che escludono i dispositivi, questo approccio mantiene tutti i partecipanti previsti. A differenza dei metodi asincroni, preserva le semantiche di sincronizzazione del regime target.
• Limitazioni: Gli autori notano con modestia che i risultati sono specifici per l'undici dispositivi del testbed valutato e per le condizioni di rete fisse. Non rivendicano una superiorità universale su tutti i metodi esistenti, ma dimostrano che un semplice riallocamento basato sulle misurazioni di un budget fisso può superare le divisioni uguali statiche e la profilazione singola in ambienti eterogenei.