Riepilogo Tecnico: Differenza di Energia tra Elementi di Risorsa per l'Apprendimento Federato Non Coerente Over-the-Air

1. Enunciato del Problema

L'Apprendimento Federato Over-the-Air (OTA-FL) mira a ridurre la latenza di uplink e il consumo di banda sfruttando la sovrapposizione delle forme d'onda per calcolare aggregati (ad esempio, somme ponderate degli aggiornamenti del modello) direttamente nell'aria. Tuttavia, gli schemi OTA-FL convenzionali si basano su un'aggregazione analogica coerente. Questi metodi richiedono:

• Informazioni sullo Stato del Canale (CSI) istantanea ai trasmettitori.
• Inversione o troncamento del canale.
• Allineamento di fase coerente preciso tra i dispositivi.

Nei sistemi wireless pratici con molti client, canali in fading, offset degli oscillatori e trasmissioni ripetute ad alta dimensionalità, mantenere questi requisiti è difficile. Un passaggio diretto alla ricezione non coerente (rilevamento di energia) presenta un ostacolo fondamentale: le misurazioni di energia sono invarianti rispetto ai cambi di segno. Poiché gli aggiornamenti dell'Apprendimento Federato (FL) sono quantità reali con segno, un ricevitore non coerente standard non può recuperare la somma lineare con segno richiesta per l'aggregazione del modello, portando a un problema di "perdita del segno".

Le alternative non coerenti esistenti o quantizzano gli aggiornamenti in segni (voto di maggioranza), perdendo informazioni continue, o si basano su modelli complessi di recupero cieco o su asintotiche massive-MIMO che differiscono dallo stimatore minimale e senza memoria desiderato per il FL standard.

2. Metodologia: Differenza di Energia tra Elementi di Risorsa (REED)

Il documento propone la Differenza di Energia tra Elementi di Risorsa (REED), un primitivo di aggregazione non coerente progettato per recuperare somme con segno continue senza CSI istantanea o allineamento di fase.

Meccanismo Principale

REED risolve il problema della perdita del segno separando le componenti positive e negative di un aggiornamento scalare prima della trasmissione:

1. Decomposizione: Per un aggiornamento reale $u_k$, il client lo decompone nelle parti positiva e negativa: $u_k = [u_k]_+ - [u_k]_-$.
2. Mappatura: Queste due componenti non negative sono mappate su energie di trasmissione su una coppia abbinata di elementi di risorsa (RE) ortogonali.
3. Trasmissione: I client trasmettono i simboli $a_{k,+}$ e $a_{k,-}$ sui due RE. La potenza di trasmissione è scalata da un guadagno di aggregazione comune $\eta$ e normalizzata dalla potenza media del canale su scala temporale lenta $\mu_k^2$. Vengono applicati dither di fase casuali per garantire l'indipendenza.
4. Ricezione: Il server esegue il rilevamento di energia non coerente su entrambi gli RE, ottenendo $E_+ = |y_+|^2$ e $E_- = |y_-|^2$.
5. Stima: La somma con segno è stimata sottraendo le due misurazioni di energia:
   $$\hat{u} = \frac{E_+ - E_-}{\eta}$$

Proprietà Teoriche

Sotto fading di Rayleigh e calibrazione della potenza media del canale su scala temporale lenta abbinata:

• Non Distorsione: Lo stimatore è non distorto per la somma con segno desiderata ($E[\hat{u}] = \sum u_k$).
• Varianza Esatta: Il documento deriva un'espressione esatta in forma chiusa per la varianza. La varianza consiste in "rumore proprio non coerente" (indotto dal fading e dalla divisione della massa) e termini di rumore del ricevitore. Crucialmente, la varianza separa questi componenti, permettendo un'analisi precisa.
• Nessuna CSI Istantanea: Lo schema richiede solo la calibrazione della potenza media del canale a lungo termine, eliminando la necessità di CSIT istantanea o compensazione di fase.

3. Integrazione con l'Apprendimento Federato

Gli autori integrano REED nell'algoritmo standard FedAvg con la partecipazione completa dei client.

• Protocollo: In ogni round, i client eseguono passi SGD locali per generare incrementi del modello. Questi incrementi sono scalati per coordinata e trasmessi tramite REED. Il server aggrega gli incrementi e aggiorna il modello globale.
• Analisi di Convergenza: Il documento dimostra un limite di stazionarietà per l'ottimizzazione non convessa liscia.
  • L'errore di aggregazione REED è modellato come una perturbazione additiva a media zero con un secondo momento limitato.
  • Sotto un budget energetico medio per client, il guadagno di aggregazione $\eta$ è schedulato come $\Theta(1/\beta)$ (dove $\beta$ è il passo di apprendimento locale).
  • Questa schedulazione garantisce che la perturbazione indotta da REED scalii come $O(\beta^2)$.
  • Di conseguenza, il sistema raggiunge il tasso di stazionarietà canonico $O(1/\sqrt{T})$, corrispondendo al comportamento di convergenza del FedAvg ideale nonostante il rumore non coerente.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sui dataset MNIST e Fashion-MNIST utilizzando una rete neurale convolutiva (CNN) con 10 client. La configurazione ha confrontato REED con:

1. FedAvg Pulito: Aggregazione digitale ideale senza rumore.
2. Baseline Coerente CSIT: Uno schema oracolo con CSI istantanea perfetta e allineamento di fase.

Risultati Chiave:

• Regimi IID: In impostazioni di dati Indipendenti e Identicamente Distribuiti (IID), REED corrisponde da vicino alle prestazioni sia di FedAvg Pulito che della baseline Coerente CSIT. Il divario di prestazioni è trascurabile (ad esempio, < 0,3 punti percentuali su Fashion-MNIST).
• Regimi Eterogenei: Sotto forte eterogeneità dei dati (split Dirichlet con $\alpha=0.3$), emerge un divario di prestazioni.
  • Su MNIST, il divario rimane moderato (~0,6 punti percentuali).
  • Su Fashion-MNIST, il divario è più significativo (~3,17 punti percentuali), accompagnato da una varianza più elevata tra le esecuzioni.
• Conclusione sull'Eterogeneità: Il degrado nelle impostazioni eterogenee è attribuito all'interazione tra il rumore di aggregazione REED e l'aumento della deriva dei client. Il documento nota esplicitamente che, sebbene REED rimanga stabile e convergente, comporta una penalità di accuratezza non trascurabile nei regimi fortemente eterogenei rispetto agli schemi coerenti.

5. Significato e Affermazioni

Il documento posiziona REED come un primitivo di aggregazione senza CSI che colma un vuoto specifico tra l'AirComp continuo coerente e l'aggregazione non coerente di segni/maggioranza.

• Contributo Primario: REED abilita l'aggregazione continua con segno senza CSI istantanea, inversione del canale o allineamento di fase, utilizzando solo la calibrazione della potenza su scala temporale lenta.
• Rigor Teorico: Fornisce una legge esatta di distorsione scalare e un limite di secondo momento vettoriale, dimostrando che il tasso di convergenza canonico di FedAvg è preservato sotto vincoli energetici.
• Posizionamento Modesto: Gli autori affermano esplicitamente che REED non è un sostituto senza perdita per l'AirComp coerente in tutti i regimi statistici. Il suo valore risiede nell'offrire un'alternativa semplice, robusta e teoricamente fondata per scenari in cui mantenere CSI istantanea e coerenza di fase è impraticabile, accettando una distorsione controllata che è minima in ambienti benigni (IID) ma visibile sotto forte eterogeneità.

Il lavoro dimostra che l'OTA-FL non coerente è fattibile per aggiornamenti continui, a condizione che il sistema sia progettato con una comprensione delle specifiche caratteristiche del rumore introdotte dalla stima della differenza di energia.