RL-Based Delay Minimization for Computation Offloading in IRS- and RHS-Enhanced MEC Systems

Sintesi Tecnica: Minimizzazione del Ritardo Basata su RL per l'Offloading Computazionale in Sistemi MEC Potenziati da IRS e RHS

Definizione del Problema
Il documento affronta la sfida di minimizzare il ritardo complessivo di esecuzione dei task nei sistemi di Mobile Edge Computing (MEC) operanti in condizioni di canale wireless sfavorevoli. Sebbene il MEC porti le risorse computazionali più vicine agli utenti, le prestazioni sono spesso limitate da una trasmissione uplink inaffidabile. Per superare questo limite, gli autori propongono un sistema potenziato da due tecnologie emergenti: le Superfici Riflettenti Intelligenti (IRS) e le Superfici Olografiche Riconfigurabili (RHS).

Nel framework proposto, una Stazione Base (BS) dotata di una RHS serve molteplici utenti con singola antenna. Un'IRS è dispiegata per assistere la comunicazione uplink. Gli utenti utilizzano una strategia di offloading parziale, in cui i task vengono suddivisi tra l'elaborazione locale e l'offloading verso il server MEC. La sfida principale consiste in un problema di ottimizzazione congiunta che coinvolge tre variabili decisionali continue e accoppiate:

1. Spostamenti di Fase dell'IRS (Phase Shifts): Per ottimizzare il percorso del segnale riflesso.
2. Ampiezze delle Antenne della RHS: Per controllare il beamforming attivo alla BS.
3. Rapporti di Offloading dei Task: Determinare la frazione di ogni task elaborata localmente rispetto a quella inviata in offloading.

Il problema è caratterizzato come altamente non convesso e ad alta dimensionalità, rendendo intrattabili i metodi di ottimizzazione convenzionali per ambienti di rete dinamici.

Metodologia
Per risolvere il problema di ottimizzazione formulato, gli autori sviluppano un framework di Reinforcement Learning (RL) basato sul Deep Deterministic Policy Gradient (DDPG). Il sistema è modellato come un Processo Decisionale di Markov (MDP) con i seguenti componenti:

• Spazio degli Stati ($S$): Include l'Informazione sullo Stato del Canale (CSI) istantanea per i link utente-BS, utente-IRS e IRS-BS, nonché le risorse computazionali disponibili presso il server MEC.
• Spazio delle Azioni ($A$): Consiste in variabili di controllo continue: la matrice degli spostamenti di fase dell'IRS, la matrice di controllo dell'ampiezza della RHS e il vettore dei rapporti di offloading dei task per tutti gli utenti.
  la funzione di ricompensa ($r$) è definita come il negativo della somma del ritardo totale di sistema (ritardo di calcolo locale + ritardo di calcolo edge). Per garantire la fattibilità, viene aggiunta una penalità alla funzione di ricompensa per le violazioni del vincolo delle risorse computazionali totali del server MEC.
• Algoritmo: L'algoritmo DDPG utilizza un'architettura actor-critic. La rete actor genera azioni continue, mentre la rete critic le valuta. L'addestramento è stabilizzato tramite buffer di esperienza (experience replay buffers) e reti target con aggiornamenti soft.

Contributi Chiave
Il documento delinea quattro contributi primari:

1. Framework Innovativo: Proposta di un framework MEC assistito congiuntamente da IRS e RHS specificamente progettato per la minimizzazione del ritardo.
2. Formulazione del Problema: Formulazione matematica di un problema di ottimizzazione congiunta che copre gli spostamenti di fase dell'IRS, le ampiezze della RHS e le decisioni di offloading dei task sotto vincoli fisici e di risorse.
3. Soluzione Algoritmica: Sviluppo di una soluzione basata su DDPG in grado di gestire lo spazio delle azioni continuo ad alta dimensionalità inerente al problema.
4. Validazione delle Prestazioni: Dimostrazione attraverso simulazioni che il design integrato proposto supera significativamente gli approcci convenzionali nella riduzione del ritardo di esecuzione dei task.

Risultati della Simulazione
Le simulazioni numeriche sono state condotte utilizzando Python e PyTorch con un sistema composto da una BS con 16 elementi RHS, un'IRS con 20 elementi riflettenti e molteplici utenti. Le scoperte chiave includono:

• Convergenza: L'algoritmo proposto basato su DDPG dimostra un chiaro trend di convergenza, con il ritardo di sistema che diminuisce nel corso delle iterazioni e si stabilizza a un valore inferiore rispetto a un baseline senza offloading.
• Impatto dell'IRS: Confrontando gli scenari con e senza l'assistenza dell'IRS, si osserva che l'IRS riduce significativamente il ritardo di sistema migliorando le condizioni del canale e la propagazione del segnale.
• Scalabilità: Aumentare il numero di elementi IRS da 8 a 80 ha portato a una riduzione del ritardo di circa il 10%, evidenziando l'efficacia della scalabilità della superficie riflettente.

Significatività e Rivendicazioni
Gli autori affermano che l'approccio proposto affronta efficacemente i limiti dei framework di ottimizzazione statica nelle condizioni di rete dinamiche e variabili nel tempo. Integrando l'IRS (per il potenziamento dell'uplink) e la RHS (per l'efficiente downlink/beamforming) con il DDPG, il sistema ottiene una riduzione sinergica della latenza. Il documento conclude che questo design integrato rappresenta una soluzione promettente per i sistemi MEC di prossima generazione, offrendo riduzioni significative della latenza rispetto agli schemi convenzionali.

Il lavoro futuro, come indicato dagli autori, è inteso ad estendere questo framework a scenari più dinamici, inclusa la mobilità degli utenti, ambienti multi-cella e strategie avanzate di allocazione delle risorse.