DRL-based Power Allocation in LiDAL-Assisted RLNC-NOMA OWC Systems

Sintesi Tecnica: Allocazione della Potenza Basata su DRL in Sistemi OWC LiDAL-Assistiti RLNC-NOMA

Enunciato del Problema
Le Comunicazioni Wireless Ottiche (OWC) che utilizzano l'Accesso Multiplo Non Ortogonale (NOMA) offrono una soluzione promettente per la connettività indoor ad alta velocità, consentendo a più utenti di condividere lo spettro ottico tramite il dominio della potenza. Tuttavia, le prestazioni dei sistemi OWC basati su NOMA sono significativamente degradate da informazioni sullo stato del canale (CSI) imperfette e da errori di decodifica residui, in particolare in scenari indoor densi di utenti che coinvolgono la mobilità degli utenti. Le strategie tradizionali di allocazione della potenza (PA) spesso si basano su ipotesi di canale statiche o distribuzioni probabilistiche standard (ad esempio, Rayleigh, Gaussiana), che non riescono a catturare la realtà dinamica degli ambienti indoor caratterizzati da ombreggiamento, errori di quantizzazione e movimento degli utenti. Inoltre, l'ottimizzazione dinamica della PA continua per massimizzare il throughput del sistema è computazionalmente proibitiva, poiché il problema è spesso NP-difficile. I metodi euristici esistenti (ad esempio, Algoritmi Genetici) possono convergere verso ottimi locali, mentre gli algoritmi standard di Apprendimento per Rinforzo (RL) faticano con spazi stato-azione grandi e continui a causa della "maledizione della dimensionalità" e di una convergenza lenta.

Metodologia
Per affrontare queste sfide, gli autori propongono un sistema OWC RLNC-NOMA assistito da LiDAL integrato con un framework di Apprendimento per Rinforzo Profondo (DRL). La metodologia comprende tre componenti fondamentali:

1. Modello di Sistema (LiDAL e RLNC):

   • Integrazione LiDAL: Viene impiegato un sistema di Rilevamento e Localizzazione della Luce (LiDAL) per sfruttare le informazioni spaziotemporali. Catturando passivamente la presenza e la posizione degli utenti, il LiDAL fornisce dati ausiliari per affinare la stima della CSI. Il sistema modella la CSI imperfetta come una funzione del Limite Inferiore di Cramer–Rao (CRLB) degli errori di localizzazione e della distanza in Linea di Vista (LOS), riconoscendo che la non linearità della sorgente ottica e i vincoli di sicurezza oculare ridisegnano l'accuratezza della localizzazione in modo diverso rispetto ai sistemi RF.
   • Integrazione RLNC: Il Codificatore di Rete Lineare Casuale (RLNC) è integrato nel framework NOMA. Il punto di accesso ottico codifica i pacchetti di dati come combinazioni lineari casuali su segnali NOMA sovrapposti. Ciò consente ai ricevitori di ricostruire le informazioni originali in modo affidabile una volta ricevute un numero sufficiente di combinazioni indipendenti, mitigando così la propagazione degli errori causata da una Cancellazione Interferenza Successiva (SIC) imperfetta.

2. Formulazione dell'Ottimizzazione:
   Gli autori formulano un problema di ottimizzazione complesso volto a massimizzare la somma media del tasso del sistema garantendo l'equità tra gli utenti e soddisfacendo i vincoli sul tasso di dati minimo ($\gamma_{min}$). Il problema consiste nel determinare i coefficienti di allocazione della potenza ottimali ($\alpha$) per gli utenti raggruppati sotto specifici Punti di Accesso (AP) ottici, soggetto a vincoli sulla potenza totale, sull'ordinamento della potenza (per la SIC) e sui requisiti di tasso minimo.

3. Soluzione DRL (Algoritmo NAF):
   Per risolvere in modo efficiente il problema di ottimizzazione non convesso e dinamico, gli autori propongono un framework di Apprendimento per Rinforzo Profondo basato sull'algoritmo Normalized Advantage Function (NAF).

   • Architettura dell'Agente: L'agente NAF utilizza un'architettura di rete neurale profonda con tre testate: una funzione valore-stato $V(s)$, una funzione azione-media $\mu(s)$ (politica) e una funzione vantaggio quadratica $A(s, a)$. Questa struttura consente l'ottimizzazione diretta delle azioni negli spazi continui.
   • Processo di Apprendimento: L'agente interagisce con l'ambiente (modellato come un Processo Decisionale di Markov) dove lo stato include i guadagni del canale stimati, i coefficienti di rumore di posizione e i fattori di potenza correnti. La ricompensa è definita come la somma media del tasso, penalizzata se i vincoli vengono violati. L'algoritmo NAF utilizza una rete target e una rete di valutazione con aggiornamenti soft per stabilizzare l'apprendimento e accelerare la convergenza rispetto ai metodi tradizionali attore-critico come il Deep Deterministic Policy Gradient (DDPG).

Contributi Chiave

• Modellazione di Sistema: Il documento modella un innovativo sistema OWC RLNC-NOMA assistito da LiDAL che sfrutta congiuntamente informazioni basate sulla posizione per una stima CSI migliorata e RLNC per una trasmissione dati robusta in presenza di errori di decodifica residui.
• Innovazione Algoritmica: Viene introdotto un modello DRL basato su NAF per risolvere il problema di allocazione della potenza continua in ambienti dinamici e ad alta dimensionalità. Questo approccio supera i limiti degli algoritmi RL tradizionali (come Q-learning) e dei metodi attore-critico (come DDPG) riguardo alla velocità di convergenza e alla stabilità negli spazi di azione continui.
• Analisi delle Prestazioni: Lo studio fornisce una valutazione completa dell'accuratezza della stima della posizione degli utenti e del suo impatto sulle prestazioni della rete. Mette a confronto l'algoritmo NAF proposto con DDPG, l'Allocazione della Potenza basata sul Rapporto di Guadagno (GRPA) e la ricerca esaustiva.

Risultati
I risultati delle simulazioni, condotti in uno spazio di studio indoor con 8 AP ottici e fino a 32 utenti, dimostrano quanto segue:

• Convergenza ed Efficienza: L'algoritmo NAF converge significativamente più velocemente del DDPG (tempo di convergenza circa il 56% più rapido) e richiede meno tempo di addestramento per iterazione (0,27 s contro 0,44 s per il DDPG). Sebbene abbia richieste di memoria leggermente superiori a causa della sua struttura di vantaggio quadratica, offre un chiaro vantaggio implementativo rispetto alla ricerca esaustiva, che è computazionalmente non fattibile per scenari densi.
• Prestazioni della Somma del Tasso: L'allocazione della potenza basata su NAF raggiunge una somma media del tasso di 1,882 Gbps. Ciò rappresenta un miglioramento del 4,6% rispetto allo schema GRPA convenzionale e un miglioramento del 1,64% rispetto all'agente DDPG.
• Ottimalità: Le prestazioni dell'algoritmo NAF corrispondono strettamente a quelle del metodo di ricerca esaustiva, considerato l'ottimo globale all'interno della griglia discreta, validando la near-ottimalità della politica appresa.
• Equità e Robustezza: Il metodo proposto garantisce un'alta equità tra gli utenti (indice di equità di Jain), paragonabile alla ricerca esaustiva, e dimostra robustezza contro gli errori di stima della posizione. L'algoritmo assegna efficacemente una potenza più elevata agli utenti con errori di stima della posizione più alti per mantenere l'affidabilità del sistema.

Significato
Il documento afferma che il framework proposto offre una soluzione pratica ed efficiente per l'ottimizzazione dell'allocazione della potenza in sistemi OWC indoor realistici e densi di utenti. Integrando LiDAL e RLNC, il sistema affronta le doppie sfide della CSI imperfetta e degli errori di decodifica residui. L'adozione dell'approccio DRL basato su NAF fornisce un'alternativa a bassa complessità e ad alte prestazioni rispetto alla ricerca esaustiva computazionalmente proibitiva e ai metodi DRL a convergenza più lenta. I risultati suggeriscono che questo approccio è robusto alle incertezze intrinseche negli ambienti indoor dinamici, rendendolo un candidato valido per le reti wireless ottiche ad alta velocità di prossima generazione.