Enhancing User Throughput in Multi-panel mmWave Radio Access Networks for Beam-based MU-MIMO Using a DRL Method

Questo articolo propone un approccio basato sull'apprendimento per rinforzo profondo (DRL) per ottimizzare la selezione dei fasci nelle reti di accesso radio mmWave multi-pannello, sfruttando le caratteristiche spaziali e le statistiche d'uso per migliorare l'efficienza spettrale e ridurre la latenza fino a 7 volte rispetto alle soluzioni tradizionali.

L'essenziale

📡 Il Problema: Il Caos nella "Foglia di Pioggia" di Onde

Immagina che le reti 5G di nuova generazione (quelle che usano le onde millimetriche o mmWave) siano come un gigantesco faro che deve illuminare centinaia di persone in una piazza affollata.

Il problema è che questo faro non può illuminare tutto e tutti allo stesso tempo con la stessa intensità. Deve usare dei "fasci di luce" (chiamati beam) molto stretti e precisi per colpire ogni singolo utente.
Inoltre, questo faro non ha una sola lente, ma più pannelli (come se avesse tre o quattro teste che girano in direzioni diverse).

La sfida:
Se il faro sceglie il fascio di luce sbagliato, o se due fasci si scontrano creando confusione (interferenza), la connessione diventa lenta, si blocca o i dati arrivano in ritardo.
I metodi tradizionali (quelli "vecchi") funzionano così: "Cerco la persona che vede la luce più forte e le mando il fascio lì".
Ma questo è come guidare guardando solo il cruscotto: vedi la strada sotto il cofano, ma non sai se c'è traffico a 100 metri di distanza o se un'altra auto sta per incrociarti. Spesso, il fascio con la luce più forte non è quello che porta più dati velocemente a tutti.

🧠 La Soluzione: L'Autista Intelligente (DRL)

Gli autori di questo studio (dalla Nokia e dall'Università Aalto) hanno insegnato al faro a diventare un autista esperto usando l'Intelligenza Artificiale (in particolare una tecnica chiamata Deep Reinforcement Learning o DRL).

Invece di seguire una regola fissa ("scegli la luce più forte"), l'AI impara a guidare provando, sbagliando e imparando, proprio come un bambino che impara a andare in bicicletta.

Ecco i tre "superpoteri" che l'AI ha imparato a usare, che i vecchi metodi ignoravano:

1. La Popolarità del Fascio (Storia): L'AI sa che alcuni fasci sono stati usati molto spesso di recente. Se un fascio è già "in giro" e funziona bene, è meglio riutilizzarlo subito invece di aspettare che si attivi un nuovo fascio (che richiederebbe tempo e causerebbe ritardi). È come scegliere la corsia dell'autostrada dove sai che il traffico scorre, invece di cambiare corsia ogni 5 secondi.
2. La Forza del Segnale (RSRP): Certo, guarda ancora quanto è forte la luce, ma non è l'unico fattore.
3. La "Distanza" tra i Fasci (Correlazione Spaziale): Questo è il punto geniale. Immagina che ogni pannello del faro abbia i suoi fasci. Se due fasci (uno dal pannello A e uno dal pannello B) puntano in direzioni troppo simili, si "toccano" e creano disturbo. L'AI calcola matematicamente quanto questi fasci sono "amici" o "nemici" tra loro. Sceglie combinazioni di fasci che non si disturbano a vicenda, permettendo di servire più persone contemporaneamente senza che i segnali si mescolino.

🚀 I Risultati: Più Velocità, Meno Attese

Grazie a questo "autista intelligente", i risultati sono stati impressionanti:

• Più Velocità (Throughput): La rete è riuscita a inviare fino al 16% di dati in più. È come se, invece di 100 auto che passano in un'ora, ne passassero 116, tutte fluide.
• Meno Ritardi (Latenza): Questo è il risultato più incredibile. I ritardi sono diminuiti di 3 o 7 volte.
  • Perché? Perché l'AI non fa aspettare i dati in coda. Se un utente ha un fascio "sub-ottimale" (la luce non è fortissima, ma va bene), l'AI lo serve subito invece di fargli aspettare il "fascio perfetto" che potrebbe arrivare tra un minuto. È la differenza tra ordinare un caffè e dover aspettare che il barista trovi la tazza perfetta, oppure bere subito quello che c'è, ma farlo arrivare in 2 secondi invece che in 10.

🎯 In Sintesi

Immagina il vecchio metodo come un postino che consegna le lettere solo alla casa con il numero più alto visibile dalla strada, ignorando se ci sono altre case vicine che potrebbero ricevere la posta più velocemente.

Il nuovo metodo basato sull'AI è come un sistema di consegne con droni che:

1. Guarda il traffico in tempo reale.
2. Sa quali percorsi sono stati usati di recente.
3. Calcola se due droni possono volare vicini senza scontrarsi.
4. Decide istantaneamente la rotta migliore per consegnare tutto il più velocemente possibile.

Il risultato? Una rete 5G che non solo è più veloce, ma è anche molto più "gentile" con i ritardi, rendendo lo streaming video, i giochi online e le videochiamate molto più fluidi, anche quando la rete è affollata.

Sommario tecnico

Titolo: Miglioramento del Throughput Utente nelle Reti di Accesso Radio mmWave Multi-Pannello per Beam-based MU-MIMO tramite un Metodo DRL

1. Il Problema

Le comunicazioni in banda millimetrica (mmWave), specialmente quelle che sfruttano il Multi-User Multiple-Input Multiple-Output (MU-MIMO) con beamforming ibrido, affrontano sfide significative nell'ottimizzazione del throughput degli utenti e nella minimizzazione della latenza.

• Complessità Dinamica: La selezione e la gestione dei fasci (beam) in scenari multi-pannello sono estremamente complesse a causa dell'elevato numero di combinazioni possibili.
• Limiti degli Approcci Tradizionali: I metodi legacy si basano spesso sulla selezione del fascio con la massima potenza del segnale ricevuto (RSRP). Tuttavia, in configurazioni multi-pannello, questa strategia non massimizza l'efficienza spettrale perché ignora:
  • Le statistiche di utilizzo storico dei fasci (popolarità).
  • Le correlazioni incrociate spaziali tra i fasci di pannelli diversi (che possono causare interferenza se attivati simultaneamente).
  • Il trade-off tra la qualità del collegamento istantanea e l'efficienza a lungo termine.
• Infeasibilità dell'Ottimizzazione Diretta: Lo spazio di ricerca per la selezione ottimale dei fasci cresce esponenzialmente con il numero di pannelli e fasci, rendendo i metodi di ottimizzazione diretta computazionalmente proibitivi in tempo reale.

2. Metodologia

Gli autori propongono un approccio basato sul Deep Reinforcement Learning (DRL) per gestire la selezione dei fasci in modo adattivo.

• Modellazione come Processo Decisionale di Markov (MDP):
  L'interazione tra l'agente di comunicazione (gNB) e l'ambiente wireless è modellata come un MDP $(S, A, R, P)$.

  • Stato ($S$): Il vettore di stato integra tre dimensioni critiche:
    1. Valori normalizzati di RSRP (Reference Signal Received Power) misurati.
    2. Frequenza di attivazione storica dei fasci (statistiche di utilizzo).
    3. Indicatori di correlazione incrociata ($\rho_{b,j}$) tra i fasci di diversi pannelli, che riflettono la probabilità di interferenza se schedulati insieme.
  • Azione ($A$): La selezione di un fascio specifico da attivare tra i candidati disponibili per ogni pannello.
  • Ricompensa ($R$): Basata sul throughput osservato dell'utente, normalizzato rispetto al massimo throughput tra tutti gli utenti attivi per stabilizzare l'addestramento.

• Algoritmo:
  Viene utilizzato il Double Deep Q-Network (DDQN) per approssimare la funzione valore-azione ($Q^*$). Questo permette all'agente di apprendere una politica di selezione ottimale senza richiedere la conoscenza esplicita delle dinamiche di transizione del canale (model-free), adattandosi a condizioni di mobilità e sparsità del canale.

• Contesto di Sistema:
  Lo studio considera un downlink di rete cellulare con gNB dotati di più pannelli di antenne (USPA - Uniform Squared Planar Array). Ogni pannello ha una singola catena RF, permettendo l'attivazione di un solo fascio per pannello per intervallo di tempo (TTI). Il sistema utilizza un modello di canale 3GPP 3D e scenari di traffico eMBB (Enhanced Mobile Broadband).

3. Contributi Chiave

• Framework di Gestione dei Fasci Multi-Dimensionale: A differenza dei lavori precedenti che consideravano solo RSRP e statistiche di utilizzo (in scenari a pannello singolo), questo lavoro introduce esplicitamente le correlazioni spaziali incrociate tra i pannelli come dimensione fondamentale per la decisione di scheduling.
• Ottimizzazione del Trade-off: Il metodo bilancia intelligentemente la selezione di fasci con forte segnale (RSRP) contro fasci con alta probabilità di schedulazione futura e bassa correlazione spaziale, massimizzando l'efficienza complessiva del sistema.
• Scalabilità: L'approccio DRL risolve la complessità computazionale del problema di ottimizzazione combinatoria, offrendo una soluzione scalabile per reti reali dove l'ottimizzazione esatta è impossibile.
• Integrazione Pratica: La soluzione è progettata per essere implementata lato gNB, integrandosi con le procedure standard 5G NR (beam sweeping, feedback RSRP).

4. Risultati

Le simulazioni di sistema, condotte in uno scenario urbano denso (3GPP) con 210 terminali mobili (MT) e 21 gNB, mostrano risultati superiori rispetto alla baseline (selezione basata sul massimo RSRP):

• Aumento del Throughput: Il metodo basato su DRL ottiene un aumento del throughput fino al 16% rispetto alla baseline. In particolare, la media geometrica del throughput effettivo e complessivo degli utenti mostra miglioramenti significativi (fino al 18,6% in alcuni casi di carico).
• Riduzione della Latenza: Si registra una riduzione della latenza end-to-end di un fattore compreso tra 3x e 7x.
  • Motivo: L'agente DRL impara a schedulare gruppi di utenti con fasci "sub-ottimali" in termini di RSRP ma con bassa correlazione, permettendo allo gNB di allocare risorse immediatamente senza dover attendere l'attivazione di fasci specifici, riducendo così l'attesa nei buffer.
• Efficienza di Schedulazione Spaziale: La CDF del numero di utenti co-schedulati nello spazio dimostra che l'approccio DRL riesce a schedulare più utenti simultaneamente rispetto alla baseline, sfruttando meglio la diversità spaziale.

5. Significato e Impatto

Questo lavoro dimostra l'efficacia dell'apprendimento per rinforzo nell'ottimizzare scenari wireless dinamici e complessi come le reti mmWave multi-pannello.

• Superamento dei Limiti Statistici: Dimostra che l'uso di dati storici e correlazioni spaziali, appresi tramite DRL, è superiore alle decisioni basate solo su misurazioni istantanee (RSRP).
• Qualità dell'Esperienza Utente (QoE): La drastica riduzione della latenza e l'aumento del throughput sono fondamentali per le applicazioni 5G/6G ad alta densità e bassa latenza.
• Futuro della Gestione delle Reti: Il paper valida l'uso di agenti intelligenti per la gestione autonoma delle risorse radio, aprendo la strada a future integrazioni con tecniche di beamforming digitale e informazioni aggiuntive sullo stato del canale.

In sintesi, la proposta trasforma la gestione dei fasci da un processo reattivo basato su regole statiche a un processo proattivo e adattivo guidato dall'intelligenza artificiale, risolvendo il collo di bottiglia dell'efficienza spettrale nelle reti di nuova generazione.