Riepilogo Tecnico: Soluzione in tre fasi basata sul Deep Learning per l'ottimizzazione del beamforming ISAC

1. Definizione del problema

Il documento affronta la sfida dell'ottimizzazione del beamforming in un sistema ISAC (Integrated Sensing and Communication) Full-Duplex (FD). In questo scenario, una stazione base (BS) dotata di array lineari uniformi (ULA) comunica simultaneamente con più utenti a singola antenna e svolge il rilevamento radar su più bersagli utilizzando le stesse risorse spazio-temporali.

L'obiettivo principale è massimizzare la somma del tasso di comunicazione di tutti gli utenti rispettando due vincoli critici:

1. Vincolo di potenza di trasmissione: Il budget totale di potenza non deve superare un limite massimo ($P_{max}$).
2. Vincolo di tasso di rilevamento: Ogni bersaglio deve raggiungere un tasso di rilevamento minimo ($\Gamma_{sen}^{req}$), che funge da proxy per la probabilità di rilevamento del bersaglio.

Gli autori identificano i limiti degli approoli di Deep Learning (DL) esistenti per il beamforming. La mappatura diretta delle informazioni sullo stato del canale (CSI) ai vettori di beamforming soffre di:

• Alta dimensionalità: Lo spazio delle variabili di ottimizzazione cresce rapidamente con il numero di antenne e utenti, aumentando la complessità computazionale e la difficoltà di addestramento.
• Mancanza di interpretabilità: L'ottimizzazione diretta dei vettori rende difficile comprendere o controllare il comportamento sottostante del beamforming (ad esempio, direzionalità e schemi di interferenza).
• Complessità: I metodi tradizionali di ottimizzazione convessa diventano computazionalmente proibitivi in scenari ad alta dimensione e non convessi.

2. Metodologia: Il framework in tre fasi

Per superare queste limitazioni, gli autori propongono una soluzione in tre fasi che decompone il problema di ottimizzazione del beamforming in tre moduli distinti. Questo framework trasforma il problema da un'ottimizzazione diretta dei vettori a un processo più strutturato che prevede l'estrazione delle caratteristiche, l'ottimizzazione del beampattern e la ricostruzione del vettore.

Modulo 1: Estrazione delle caratteristiche CSI basata su apprendimento non supervisionato

• Obiettivo: Comprimere i dati CSI ad alta dimensionalità e variabile in caratteristiche latenti di dimensioni fisse, preservando le informazioni essenziali.
• Tecnica: Viene impiegato un Autoencoder (AE).
  • Input: Il dataset CSI include i canali downlink ($h_k$), i canali uplink ($g_{l,t}$), i canali radar ($g_{l,r}$) e i canali di auto-interferenza residua ($H_{SI}$). Queste matrici complesse vengono vettorializzate e separate nelle parti reali e immaginarie per formare un vettore di input reale.
  • Processo: L'encoder mappa la CSI ad alta dimensione in un vettore di caratteristiche latenti a bassa dimensione ($f$). Il decoder tenta di ricostruire la CSI originale da $f$.
  • Addestramento: La rete viene addestrata in modo non supervisionato minimizzando l'errore quadratico medio (MSE) tra la CSI originale e quella ricostruita.
  • Utilizzo: Durante la fase di test/ottimizzazione, viene utilizzato solo l'encoder per estrarre le caratteristiche dai nuovi input CSI.

Modulo 2: Ottimizzazione del beampattern basata su Reinforcement Learning (RL)

• Obiettivo: Cercare il beampattern ottimale (distribuzione della potenza sugli angoli) basandosi sulle caratteristiche estratte, piuttosto che cercare direttamente i vettori di beamforming.
• Tecnica: Viene utilizzato un algoritmo Advantage Actor-Critic (A2C).
  • Stato ($s_t$): Composto dalle caratteristiche CSI estratte ($f_t$) e dalla somma del tasso di comunicazione nel time slot precedente ($R_{com}^{t-1}$).
  • Azione ($a_t$): Invece di produrre vettori di beamforming complessi, l'agente produce campioni di beampattern. Lo spazio delle azioni consiste in $A$ valori di guadagno discreti campionati nel dominio angolare (da -90° a 90°) per tre beampattern specifici:
    1. Beampattern di comunicazione ($p_w$)
    2. Beampattern di rilevamento ($p_v$)
    3. Beampattern di ricezione ($p_u$)
  • Ricompensa ($r$): Una funzione a tratti che premia la somma dei tassi di comunicazione se vengono rispettati sia i vincoli di comunicazione che di rilevamento. Assegna 0 se il rilevamento è soddisfatto ma la comunicazione no, e -1 se viene violato uno qualsiasi dei due vincoli.
  • Vantaggio: L'ottimizzazione nel dominio del beampattern riduce la dimensione dello spazio delle azioni (fissata a $A$) indipendentemente dal numero di antenne o utenti, migliorando la stabilità dell'addestramento e la generalizzazione.

Modulo 3: Ricostruzione del beamforming basata su apprendimento supervisionato

• Obiettivo: Ricostruire i vettori di beamforming di trasmissione e ricezione effettivi a partire dai beampattern ottimizzati generati dall'agente RL.
• Tecnica: Una rete neurale profonda (DNN) supervisionata approssima la funzione inversa $G^{-1}$.
  • Processo: Poiché l'inversa analitica della mappatura beampattern-vettore è intrattabile (a causa della complessa superficie di risposta), una DNN viene addestrata per apprendere questa mappatura.
  • Dataset: Generato creando casualmente vettori di beamforming, normalizzandoli per soddisfare i vincoli di potenza, calcolando i loro beampattern corrispondenti e accoppiandoli come (Input: Beampattern, Output: Vettore di Beamforming).
  • Utilizzo: Nella fase di test, la rete di ricostruzione pre-addestrata prende l'output del beampattern dall'agente RL e genera istantaneamente i vettori di beamforming corrispondenti per l'implementazione.

3. Contributi chiave

Il documento dichiara i seguenti contributi:

1. Formulazione del problema: Viene formulato un problema di ottimizzazione congiunta per un sistema ISAC full-duplex per massimizzare la somma del tasso di comunicazione sotto vincoli di rilevamento e potenza. Il problema viene trasformato dall'ottimizzazione del vettore di beamforming all'ottimazione del beampattern tramite vettori di risposta dell'array.
2. Framework in tre fasi: La progettazione di un nuovo framework che decompone il problema in:
   • Estrazione delle caratteristiche CSI non supervisionata (usando AE).
   • Ottimizzazione del beampattern basata su RL (usando A2C).
   • Ricostruzione del beamforming supervisionata (usando DNN).
3. Prestazioni e Interpretabilità: La soluzione proposta migliora la generalizzazione attraverso l'estrazione delle caratteristiche, migliora la stabilità dell'addestramento ottimizzando nel dominio del beampattern e offre una migliore interpretabilità rispetto all'ottimizzazione diretta dei vettori.

4. Risultati Numerici

Le simulazioni sono state condotte in uno scenario con $N_t = N_r = 4$ antenne, $K=2$ utenti e $L=1$ bersaglio. I risultati evidenziano che:

• Dimensione delle caratteristiche: Una dimensione delle caratteristiche latenti di 16 ha offerto il miglior compromesso tra compressione e prestazioni. Dimensioni più piccole (es. 4) hanno causato perdita di informazioni, mentre dimensioni più grandi (es. 64) hanno portato a overfitting o convergenza più lenta.
• Risoluzione del beampattern: Un numero di campioni di 720 punti ha fornito le prestazioni più elevate, sebbene 360 offrissero un buon equilibrio tra velocità di convergenza e ricompensa.
• Studio di Ablazione:
  • Caso 0 (Baseline): RL diretto sulla CSI verso i vettori di beamforming. È convergito intorno a 170 episodi con una ricompensa di ~800.
  • Caso 1 (Solo estrazione delle caratteristiche): È convergito più velocemente (~130 episodi) con prestazioni comparabili, provando l'efficienza della compressione delle caratteristiche.
  • Caso 2 (Solo ottimizzazione del beampattern): Ha appreso più lentamente ma ha infine superato la baseline (ricompensa >850), validando che i beampattern sono più intuitivi per gli agenti RL da ottimizzare.
  • Caso 3 (Full Three-Stage): Ha ottenuto le migliori prestazioni (ricompensa >900), combinando l'efficienza dell'estrazione delle caratteristiche con i benefici strutturali dell'ottimizzazione del beampattern.

5. Significato e Rivendicazioni

Il documento conclude che la soluzione proposta in tre fasi supera gli algoritmi RL di base che ottimizzano direttamente i vettori di beamforming. La significatività risiede nel passaggio dall'ottimizzazione di vettori ad alta dimensione e non interpretabili all'ottimizzazione di beampattern strutturati e intuitivi. Decoupling (disaccoppiamento) dell'ottimizzazione del beampattern dalla generazione dei vettori di beamforming permette al framework di ottenere:

• Riduzione della complessità: Minore dimensionalità nello spazio delle azioni del RL.
• Migliore stabilità: Dinamiche di addestramento più stabili.
• Interpretabilità: La rappresentazione intermedia del beampattern consente una migliore comprensione del comportamento di filtraggio spaziale del sistema.

Gli autori affermano che questo approccio è particolarmente vantaggioso all'aumentare del numero di antenne e utenti, dove l'ottimizzazione convessa tradizionale diventa troppo complessa e la mappatura diretta del DL diventa difficile da addestrare e interpretare.