Benchmarking Wireless Representations: High-Dimensional vs. Compressed Embeddings for Efficiency and Robustness

Riepilogo Tecnico: Benchmark delle Rappresentazioni Wireless

Enunciato del Problema
I recenti progressi nei modelli fondazionali (FM) per le comunicazioni wireless, come il Large Wireless Model (LWM), hanno dimostrato il potenziale degli embedding appresi ad alta dimensionalità di fungere da estrattori di caratteristiche universali. Questi modelli, pre-addestrati su dati sintetici tramite modellazione di canali mascherati, mirano a ridurre la dipendenza da ampi dataset etichettati e a migliorare la robustezza rispetto ai dati fuori distribuzione. Tuttavia, i compromessi pratici derivanti dal dispiegamento di questi embedding ad alta dimensionalità nei sistemi reali rimangono poco esplorati. Nello specifico, manca un'analisi sistematica del rapporto costo-beneficio delle rappresentazioni apprese ad alta dimensionalità rispetto ad alternative compatte a bassa dimensionalità e a baseline di dati grezzi. Le preoccupazioni chiave includono il sovraccarico computazionale, la latenza di trasmissione e la robustezza al rumore associati all'espansione della dimensionalità del canale.

Metodologia
Questo lavoro stabilisce un benchmark sistematico che confronta tre tipi distinti di rappresentazioni del canale wireless attraverso diversi compiti a valle:

1. Embedding Appresi ad Alta Dimensionalità: Derivati dal LWM, un'architettura basata su transformer pre-addestrata sulle Informazioni sullo Stato del Canale (CSI). Questo include sia embedding "Channel" (a livello di patch) ad alta granularità, sia un embedding "CLS" globale.
2. Rappresentazioni Latenti Compressate: Generate da autoencoder (AE) compatti addestrati a ricostruire CSI rumorosi. Sono stati testati due rapporti di compressione (1:16 e 1:32), producendo vettori latenti a bassa dimensionalità.
3. Baseline di Dati Grezzi: La matrice complessa CSI originale, appiattita per l'elaborazione.

La valutazione è stata condotta su tre compiti a valle progettati per testare capacità complementari:

• Classificazione LoS/NLoS: Un compito di classificazione binaria per valutare la preservazione delle caratteristiche di propagazione fisica.
• Selezione del Fascio (Beam Selection): Un compito di classificazione multiclasse che valuta la capacità di catturare relazioni geometriche spaziali per il beamforming.
• Allocazione della Potenza: Un nuovo compito di regressione in un contesto Multi-User MIMO (MU-MIMO), volto a massimizzare l'efficienza spettrale sotto vincoli di potenza. Questo compito ha utilizzato una strategia di training ibrida che prevede un riscaldamento supervisionato (utilizzando etichette di Discesa del Gradiente Proiettata) seguito da apprendimento non supervisionato per massimizzare la somma dei tassi.

Le prestazioni sono state misurate utilizzando Efficienza dei Dati (prestazioni vs dimensione del campione di training), Robustezza al Rumore (prestazioni vs Rapporto Segnale-Rumore) e Complessità Computazionale (parametri, FLOPs e tempo di inferenza).

Contributi Chiave

• Benchmark Sistematico: Il documento fornisce un confronto completo degli embedding di modelli fondazionali rispetto a rappresentazioni di autoencoder compatti e dati grezzi, andando oltre le valutazioni su singoli compiti per abbracciare un framework multi-compito.
• Introduzione dell'Allocazione della Potenza: Gli autori introducono l'allocazione della potenza in un sistema MU-MIMO come nuovo compito a valle per valutare le rappresentazioni in un contesto di gestione delle risorse a livello di sistema, un compito non precedentemente utilizzato per il benchmark di queste specifiche rappresentazioni.
• Caratterizzazione del Sovraccarico di Risorse: Lo studio quantifica esplicitamente la latenza, il numero di parametri e i costi di trasmissione associati agli embedding ad alta dimensionalità, evidenziando le implicazioni pratiche dell'uso di modelli fondazionali nei sistemi wireless.

Risultati Sperimentali

• Efficienza dei Dati: Nel compito di classificazione LoS/NLoS, gli embedding LWM ad alta dimensionalità (in particolare gli embedding del canale) hanno dimostrato prestazioni superiori nei regimi a pochi esempi, saturando prima della baseline CSI grezza. Tuttavia, con dati sufficienti, tutte le rappresentazioni hanno converguto verso livelli di prestazioni simili.
• Robustezza al Rumore: Le rappresentazioni compresse degli autoencoder hanno dimostrato costantemente una robustezza al rumore superiore rispetto agli embedding LWM. Nei regimi a basso SNR, gli embedding LWM hanno subito un degrado delle prestazioni più marcato, spesso performando peggio sia dell'autoencoder che della baseline grezza nei compiti di selezione del fascio.
• Prestazioni Specifiche per Compito:
  • Selezione del Fascio: Le rappresentazioni apprese non hanno offerto alcun vantaggio chiaro rispetto alla baseline grezza o agli autoencoder. L'embedding CLS globale ha performato peggio delle altre rappresentazioni sia nei regimi a basso che ad alto volume di dati.
  • Allocazione della Potenza: L'approccio basato su autoencoder ha mostrato una maggiore efficienza dei dati e stabilità nel training, superando sia la baseline che il LWM e raggiungendo un'efficienza spettrale vicina all'ottimale.
• Complessità Computazionale: Il LWM ha comportato un sovraccarico significativo. Nonostante abbia meno FLOPs per la generazione degli embedding rispetto ad alcuni autoencoder, la sua architettura transformer ha portato a tempi di inferenza più lunghi (circa 10,98 ms contro 0,73 ms per gli AE) e a un footprint di memoria più ampio. Inoltre, l'alta dimensionalità degli embedding LWM aumenta i requisiti di memoria per i modelli a valle e la larghezza di banda di trasmissione.

Significato e Affermazioni
Il documento conclude che, sebbene gli embedding ad alta dimensionalità provenienti da modelli fondazionali offrano vantaggi distinti nei regimi a pochi dati per compiti specifici come la classificazione LoS/NLoS, introducono un significativo sovraccarico di latenza e parametri che potrebbe ostacolare il dispiegamento pratico. Al contrario, le rappresentazioni latenti compatte apprese tramite autoencoder forniscono una soluzione più equilibrata, dimostrando una migliore robustezza al rumore, prestazioni stabili attraverso compiti diversificati e costi computazionali e di trasmissione significativamente ridotti.

Gli autori affermano che la progettazione delle rappresentazioni è centrale nel determinare l'efficienza e la robustezza dei sistemi wireless basati sull'apprendimento. Sostengono che la "ricchezza" degli embedding ad alta dimensionalità deve essere attentamente soppesata rispetto ai vincoli di risorse dei dispiegamenti reali. I risultati suggeriscono che per molte applicazioni pratiche, in particolare quelle che richiedono robustezza al rumore e bassa latenza, le rappresentazioni basate su autoencoder compatti possono essere un'alternativa più praticabile rispetto ai modelli fondazionali su larga scala.