Riassunto Tecnico: Efficient Zeroth-Order Federated Finetuning di Modelli Linguistici su Dispositivi con Risorse Limitate

1. Definizione del Problema

L'Apprendimento Federato (Federated Learning - FL) offre un framework preservante la privacy per il fine-tuning di Large Language Models (LLM) attraverso sorgenti dati distribuite. Tuttavia, l'implementazione di questi modelli su dispositivi edge con risorse limitate affronta ostacoli significativi:

• Vincoli di Memoria: I metodi del primo ordine (ad esempio, la backpropagation standard) e le tecniche di efficienza dei parametri come LoRA richiedono la memorizzazione delle attivazioni intermedie per il calcolo del gradiente. Ciò comporta un footprint di memoria (ad esempio, ~4 GB per RoBERTa-large) che supera le capacità della maggior parte dei dispositivi edge.
• Overhead di Comunicazione: Trasmettere i parametri completi del modello o persino le matrici di adattamento a basso rango (LoRA) comporta costi di upload sostanziali, particolarmente problematici in ambienti wireless a bassa larghezza di banda.
• Limitazioni del Metodo Zeroth-Order (ZO): Sebbene i metodi di Ottimizzazione Zeroth-Order (ZO) come MeZO eliminino la necessità di backpropagation utilizzando passaggi in avanti (forward passes) e perturbazioni pseudo-casuali, essi soffrono di una convergenza lenta e di un'elevata richiesta computazionale. Per ottenere stime del gradiente stabili, gli esistenti metodi ZO-FL richiedono un numero elevato di perturbazioni per ogni step di addestramento, portando a un eccessivo numero di calcoli Forward-Only (FLOPs).

Esiste un critico compromesso: gli attuali metodi ZO sono efficienti in termini di memoria ma computazionalmente costosi, mentre i metodi del primo ordine sono computazionalmente efficienti ma intensivi in termini di memoria.

2. Metodologia: FedSPZO

Gli autori propongono Federated Split-Perturbation Zeroth-order Optimization (FedSPZO), un nuovo framework progettato per ridurre il carico computazionale di ZO-FL preservando al contempo i vantaggi di memoria e comunicazione.

Meccanismo Core: Strategia di Split-Perturbation

FedSPZO sfrutta la struttura composizionale sequenziale delle reti neurali dividendo il modello in due blocchi consecutivi, $f_1$ (il primo blocco, più grande) e $f_2$ (il secondo blocco, più piccolo), tale che $y = f_2(\theta_2; f_1(\theta_1; B))$.

• Budget di Perturbazione Asimmetrici: Invece di applicare lo stesso numero di perturbazioni all'intera rete, FedSPZO assegna un budget di perturbazione più elevato al secondo blocco più piccolo ($f_2$).
  • Blocco 1 ($\theta_1$): Perturbato con $P_1$ direzioni.
  • Blocco 2 ($\theta_2$): Perturbato con $P_2$ direzioni, dove $P_2 = 2 \times P_1 \times P_s$.
• Riutilizzo delle Attivazioni: Il guadagno di efficienza chiave deriva dal riutilizzo delle attivazioni intermedie.
  1. Il client perturba $\theta_1$ in una singola direzione ($+z_1$) ed esegue un passaggio in avanti attraverso $f_1$ per generare l'output intermedio $+y_l$.
  2. Questo singolo $+y_l$ viene poi utilizzato come input per $P_s$ perturbazioni distinte di $\theta_2$ (sia in direzione positiva che negativa).
  3. Il processo viene ripetuto per la direzione negativa di $\theta_1$ ($-z_1$), generando $-y_l$, che viene riutilizzato per un altro set di $P_s$ perturbazioni di $\theta_2$.
• Stima del Gradiente:
  • Il gradiente per $\theta_2$ viene stimato utilizzando le differenze nei loss derivanti dalle $P_2$ perturbazioni, tutte condividendo lo stesso input da $f_1$.
  • Il gradiente per $\theta_1$ viene stimato mediando le differenze di loss attraverso le molteplici perturbazioni di $f_2$, riducendo efficacementamente il rumore introdotto dalla stocasticità delle perturbazioni di $f_2$.

Protocollo di Comunicazione

FedSPZO mantiene un design efficiente nella comunicazione:

• Lato Client: I client eseguono l'addestramento locale per $K$ step. Non caricano i parametri del modello. Invece, caricano solo valori di gradiente scalari ($G_1, G_2$) e seed casuali ($S_1, S_2$) utilizzati per rigenerare i vettori di perturbazione.
• Lato Server: Il server ricostruisce gli esatti modelli del client rigenerando i vettori di perturbazione dai seed ricevuti e applicando gli aggiornamenti scalari. Ciò elimina la necessità per i client di trasmettere i pesi del modello, riducendo l'overhead di upload di ordini di grandezza rispetto al FL basato sui parametri.

3. Contributi Chiave

1. Framework FedSPZO: Un nuovo metodo ZO-FL che partiziona il modello in due blocchi e assegna un budget di perturbazione maggiore al blocco più profondo e piccolo. Ciò sfrutta il riutilizzo delle attivazioni intermedie per aggiornare l'intera rete con meno valutazioni forward.
2. Efficienza Computazionale: Il metodo raggiunge una riduzione della computazione fino a 3× rispetto ai baseline ZO-FL allo stato dell'arte (specificamente Fang et al., 2022, e Li et al., 2025) mantenendo i vantaggi di memoria e comunicazione di ZO.
3. Valutazione Esaustiva: Esperimenti estesi su modelli RoBERTa-large, OPT-1.3B e LLaMA-3-3.2B su molteplici dataset (SST-2, RTE, WiC, MultiRC, SQuAD, BoolQ) dimostrano che FedSPZO riduce significativamente i GFLOPs totali mantenendo un'accuratezza comparabile ai metodi di backpropagation del primo ordine (con una degradazione minore).
4. Analisi di Ablazione: Gli autori hanno condotto studi sulla suddivisione del modello, i budget di perturbazione e il calcolo del gradiente indipendente per blocco, validando che la strategia di split-perturbation è superiore alla stima del blocco indipendente o ai regimi di perturbazione uniforme.

4. Risultati Sperimentali

La valutazione confronta FedSPZO con i metodi del primo ordine (FedAvg, FedAvg+LoRA) e altri metodi ZO-FL (FedZO, DecomFL).

• Efficienza della Memoria: FedSPZO mantiene un footprint di memoria simile all'inferenza. Per RoBERTa-large con lunghezza del contesto 256, richiede circa 1,75 GB, mentre FedAvg richiede ~4,9 GB e LoRA richiede ~3,9 GB. Ciò rende FedSPZO fattibile per dispositivi edge dove LoRA e il FL standard sono impraticabili.
• Overhead di Comunicazione: FedSPZO riduce i costi di upload di più di tre ordini di grandezza rispetto a LoRA. Mentre LoRA carica matrici a basso rango (~centinaia di MB), FedSPZO carica solo gradienti scalari e seed (kilobyte o megabyte).
• Costo Computazionale:
  • Rispetto a FedAvg(LoRA): FedSPZO richiede una computazione totale superiore (circa 17× di più) a causa del tasso di convergenza più lento inerente ai metodi ZO.
  • Rispetto ad Altri Metodi ZO: FedSPZO è significativamente più efficiente. Riduce la computazione di 2,1× fino a 3× rispetto a DecomFL e FedZO su vari modelli e dataset.
• Accuratezza: FedSPZO raggiunge un'accuratezza comparabile a FedAvg(LoRA), con solo lievi degradazioni (ad esempio, <1% su SST-2, ~4% su RTE per RoBERa). Si comporta leggermente peggio di FedAvg completo (backpropagation), che funge da limite superiore, ma il divario è considerato minore nel contesto dei vincoli di risorse.
• Tempo di Addestramento: In un ambiente edge simulato (Jetson Orin Nano), FedSPZO (2,6 ore per RoBERTa/SST-2) è più lento di LoRA (0,45 ore) ma drasticamente più veloce di DecomFL (6 ore) e FedZO (166 ore).

5. Significato e Rivendicazioni

Il paper posiziona FedSPZO come un compromesso pragmatico per ambienti con risorse limitate.

• Per i Dispositivi Edge: È presentato come una scelta preferibile quando la memoria e la larghezza di banda della comunicazione sono i colli di bottiglia primari, scenari in cui LoRA e il backpropagation standard falliscono.
• Bilanciamento: Gli autori riconoscono che FedSPZO non elimina il costo computazionale di ZO, ma lo mitiga significativamente. Offre una via percorribile per il fine-tuning di LLM su dispositivi dove l'archiviazione delle attivazioni per la backpropagation è impossibile e la trasmissione di aggiornamenti completi del modello è troppo costosa.
• Prospettive Future: Gli autori osservano che, sebbene FedSPZO migliori l'efficienza computazionale rispetto ai metodi ZO esistenti, rimane comunque indietro rispetto ai metodi del primo ordine in termini di velocità pura. Il lavoro futuro mira a esplorare lo ZO su acceleratori "inference-only" con precisione inferiore per colmare ulteriormente questo divario.

Il paper conclude che FedSPZO riesce a decomporre gli alti costi di memoria/comunicazione del FL del primo ordine dalla alta componente computazionale dei tradizionali metodi ZO, abilitando il fine-tuning di LLM in scenari precedentemente ritenuti impraticabili.