Robust Beam Codebooks for mmWave/THz Systems: Toward a Stochastic RL Approach

Titolo: Codebook di Fascio Robusti per Sistemi mmWave/THz: Verso un Approccio di Apprendimento per Rinforzo Stocastico

1. Il Problema

I sistemi MIMO massivi a onde millimetriche (mmWave) e terahertz (THz) dipendono spesso da codebook di beamforming predefiniti per l'accesso iniziale e la trasmissione dati. Tuttavia, questi approcci convenzionali presentano limiti critici in scenari reali:

• Condizioni NLoS (Non-Line-of-Sight): I codebook a singolo lobo non riescono a sfruttare la diversità dei multipercorsi, portando a perdite di guadagno.
• Vincoli Hardware: I trasceivers reali soffrono di imperfezioni (es. quantizzazione dei phase shifter, rumore di fase, disallineamenti) che degradano le prestazioni dei codebook ideali.
• Costo di Calibrazione: I metodi basati su modelli richiedono una conoscenza precisa della geometria dell'array e della calibrazione, spesso irrealistica in ambienti dinamici.
• Fragilità dell'RL Deterministico: Sebbene l'Apprendimento per Rinforzo (RL) offra un'alternativa data-driven senza necessità di CSI esplicito, la robustezza degli algoritmi RL esistenti (spesso deterministici) di fronte a rumore di feedback e guasti hardware è scarsamente esplorata.

2. Metodologia

Gli autori propongono un framework di RL multi-agente per apprendere codebook di fascio direttamente dal feedback ambientale, senza conoscenza a priori del canale.

• Formulazione MDP (Markov Decision Process):
  • Stato: I valori di fase attuali degli $M$ phase shifter.
  • Azione: Aggiustamenti di fase continui mappati su valori discreti quantizzati tramite K-Nearest Neighbors (KNN) per rispettare i vincoli hardware.
  • Ricompensa: Un meccanismo ternario $\{-1, 0, +1\}$ basato sul miglioramento relativo del guadagno rispetto a una soglia adattiva, progettato per filtrare il rumore statico.
• Architettura Multi-Agente:
  • Gli utenti vengono raggruppati in cluster basati sulle caratteristiche angolari (utilizzando fasci di sensing casuali per evitare l'effetto "near-far").
  • Ogni cluster viene assegnato a un agente RL specifico per l'apprendimento parallelo, riducendo la complessità computazionale.
• Algoritmi Confrontati:
  • DDPG & TD3: Politiche deterministiche. Aggiungono rumore di esplorazione esterno (es. Ornstein-Uhlenbeck) che è rigido e decresce secondo un programma fisso.
  • SAC (Soft Actor-Critic): Politica stocastica. Massimizza una funzione obiettivo duale: ricompensa cumulata ed entropia della politica. Questo incoraggia l'agente a imparare una distribuzione di probabilità sulle azioni ottimali invece di un singolo punto.

3. Contributi Chiave

Il lavoro introduce un nuovo framework di robustezza e stress-test per valutare l'RL in condizioni fisiche realistiche:

1. Modellazione delle Imperfezioni: Introduzione di un metodo rigoroso che modella gli impairments hardware come disallineamenti di fase fissi ma sconosciuti ($\Delta\theta$) e il rumore di feedback come AWGN scalato con il segnale.
2. Analisi Comparativa: Stress-test di tre algoritmi off-policy (DDPG, TD3, SAC) in scenari con rumore di feedback fino al 40% e variazioni di fase fino a 0.20 rad.
3. Dimostrazione della Superiorità Stocastica: Evidenziazione del fatto che le politiche stocastiche (SAC) sono intrinsecamente più robuste rispetto a quelle deterministiche grazie alla regolarizzazione dell'entropia, che agisce come filtro naturale per il rumore a media zero.
4. Definizione dei Limiti Operativi: Identificazione dei limiti superiori di rumore di feedback tollerabili per il beamforming data-driven in scenari THz pratici.

4. Risultati

Le simulazioni sono state condotte su dataset DeepMIMO per scenari LoS (60 GHz) e NLoS (28 GHz):

• Prestazioni di Base: In condizioni ideali, SAC supera costantemente DDPG e TD3. In uno scenario NLoS con 16 fasci, SAC raggiunge l'80.0% del limite teorico (EGC), contro il 78.5% di DDPG e il 78.0% di TD3.
• Robustezza agli Impairments Hardware:
  • SAC mantiene il guadagno più elevato anche con deviazioni di fase crescenti.
  • Le politiche deterministiche tendono a collassare su ottimi locali quando la "vera" configurazione ottimale si sposta leggermente a causa del rumore hardware.
• Robustezza al Rumore di Feedback:
  • Con un rumore di feedback del 40%, SAC mantiene circa il 78% delle prestazioni senza rumore nello scenario NLoS.
  • Al contrario, DDPG perde quasi il 36% del guadagno iniziale. Le politiche deterministiche tendono a sovrastimare le azioni subottimali a causa di picchi positivi nel segnale di feedback rumoroso.
• Meccanismo di Adattamento: L'analisi mostra che SAC adatta dinamicamente la sua temperatura di entropia ($\alpha$), riducendola rapidamente (di tre ordini di grandezza) per passare dall'esplorazione allo sfruttamento, filtrando efficacemente il rumore ad alta frequenza. Al contrario, il rumore di esplorazione fisso di DDPG/TD3 impedisce la convergenza in ambienti rumorosi.

5. Significato e Implicazioni

Questo studio dimostra che l'approccio stocastico (SAC) è fondamentale per il dispiegamento pratico di sistemi mmWave/THz resilienti.

• Indipendenza dall'Hardware: Il metodo proposto elimina la necessità di calibrazione manuale e conoscenza precisa della geometria dell'array, rendendo i sistemi adattabili a hardware imperfetto.
• Affidabilità Operativa: La capacità di mantenere alte prestazioni di beamforming anche con feedback corrotti e imperfezioni hardware rende l'RL basato su SAC una soluzione promettente per ambienti dinamici e complessi, dove i metodi tradizionali fallirebbero.
• Futuro della Ricerca: Il lavoro stabilisce che la regolarizzazione dell'entropia non è solo un trucco di ottimizzazione, ma un requisito di sicurezza per la resilienza dei sistemi di comunicazione di prossima generazione.