⚡ electrical engineering

Distributed Precoding for Cell-free Massive MIMO in O-RAN: A Multi-agent Deep Reinforcement Learning Framework

Questo articolo propone un framework di apprendimento per rinforzo profondo distribuito e multi-agente per il massive MIMO cell-free in O-RAN che determina in modo efficiente le matrici di precodifica per massimizzare la capacità aggregata e soddisfare i requisiti di velocità degli utenti, riducendo al contempo in modo significativo l'overhead di segnalazione rispetto agli schemi centralizzati e superando i metodi distribuiti esistenti.

Autori originali: Mohammad Hossein Shokouhi, Vincent W. S. Wong

Pubblicato 2026-05-04

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Mohammad Hossein Shokouhi, Vincent W. S. Wong

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina una rete wireless massiccia come una gigantesca e affollata sala da concerto. In questa sala, ci sono centinaia di piccoli altoparlanti (chiamati O-RU) sparsi ovunque e migliaia di membri del pubblico (chiamati utenti) che cercano di ascoltare chiaramente le loro canzoni preferite.

Un tempo, la sala da concerto aveva un unico, gigantesco impianto audio al centro. Ma quel sistema faticava quando la sala diventava troppo grande o troppo affollata; alcune persone sentivano la musica perfettamente, mentre altre sul fondo o negli angoli sentivano solo statico.

Questo articolo propone un nuovo modo di gestire il concerto: Cell-Free Massive MIMO. Invece di un unico grande altoparlante, ogni singolo piccolo altoparlante lavora insieme per indirizzare il suono direttamente verso specifici membri del pubblico. L'obiettivo è assicurarsi che tutti sentano la propria canzone forte e chiara, senza che il suono della canzone di una persona copra quella del vicino (questo è chiamato interferenza).

Tuttavia, far coordinare perfettamente centinaia di altoparlanti è incredibilmente difficile. È come cercare di far cantare in perfetta armonia un coro di 1.000 persone senza un direttore che gridi istruzioni a tutti contemporaneamente. Se cercano tutti di parlarsi per coordinarsi, le linee di comunicazione si intasano (troppa overhead di segnalazione). Se semplicemente indovinano, la musica suona disordinata.

Il Problema: Il "Direttore" contro il "Caos"

I ricercatori hanno esaminato due modi esistenti per risolvere questo problema:

Il Direttore Centralizzato: Un super-cervello (un computer centrale) calcola esattamente cosa dovrebbe fare ogni altoparlante. Questo funziona bene per piccoli gruppi, ma se il gruppo diventa troppo grande, il cervello viene sopraffatto e le istruzioni impiegano troppo tempo ad arrivare.
I Cantanti Indipendenti: Ogni altoparlante decide cosa fare da solo. Questo è veloce, ma senza coordinamento, spesso si calpestano i piedi a vicenda, creando un caos di rumore.

La Soluzione: Un Team Intelligente a Più Livelli

Gli autori propongono un nuovo framework che si inserisce in un'architettura di rete moderna chiamata O-RAN (Open Radio Access Network). Pensa all'O-RAN come a un sistema di gestione intelligente che permette a diverse parti della rete di comunicare tra loro in modo efficiente.

La loro soluzione è un framework di Apprendimento per Rinforzo Profondo Multi-Agente (DRL). Ecco come funziona, usando un'analogia creativa:

1. L'"Esperto" e lo "Studente"

Immagina un direttore maestro (l'Algoritmo Iterativo) che conosce il modo perfetto per disporre la musica ma è molto lento e stanco. Deve calcolare matematica complessa per ogni singola nota.

L'Innovazione: Invece di chiedere al maestro di fare i calcoli ogni secondo, i ricercatori hanno addestrato un team di studenti AI (gli Agenti DRL) per osservare il maestro e imparare la sua "intuizione".
L'AI non cerca di calcolare l'intera canzone da zero. Invece, impara a prendere alcune decisioni intelligenti e rapide (come regolare il volume o il timing) basandosi su cosa avrebbe fatto il maestro. Questo è chiamato utilizzare "conoscenza esperta".

2. L'Orologio a Tre Velocità (Multi-Timescale)

L'articolo introduce un modo intelligente per gestire il tempo, come un orologio con tre velocità diverse:

L'Orologio Lento (Loop Non-RT): Una volta ogni tanto (ogni pochi secondi), il "Maestro" (un addestratore AI centrale) aggiorna la strategia generale degli studenti. Insegna loro come gestire i grandi cambiamenti nella folla.
L'Orologio Medio (Loop Near-RT): Ogni pochi millisecondi, gli studenti (eseguiti su un controller centrale) regolano rapidamente i "manopole del volume" e il "timing" per l'intero gruppo in base alla densità attuale della folla.
L'Orologio Veloce (Loop RT): Ogni millisecondo, gli altoparlanti locali (O-RU) fanno piccoli aggiustamenti istantanei ai loro fasci per colpire perfettamente i membri del pubblico in movimento. Usano le "manopole del volume" impostate dagli studenti per farlo istantaneamente.

3. Il "Segreto di Mano" (Coordinazione Distribuita)

Invece che ogni altoparlante gridare a ogni altro altoparlante (il che intasa la rete), gli altoparlanti parlano solo con i loro vicini immediati e un gestore locale.

Condividono solo le informazioni necessarie per evitare di calpestarsi i piedi a vicenda.
È come un gruppo di ballerini che conoscono la coreografia. Non hanno bisogno di chiedere a tutta la stanza cosa fare; guardano semplicemente la persona accanto a loro e la musica, e sanno esattamente dove muoversi.

I Risultati: Cosa Hanno Scoperto?

I ricercatori hanno eseguito simulazioni per vedere quanto bene questo nuovo "coro diretto dall'AI" si è comportato rispetto ai vecchi metodi:

Migliore Qualità del Suono: Il nuovo sistema ha erogato fino al 50% in più di dati totali (throughput) rispetto ai vecchi metodi distribuiti in cui gli altoparlanti agivano da soli.
Buono Quanto il Maestro: Si è comportato quasi quanto il "Direttore Centralizzato" (il metodo perfetto ma lento) ma era molto più veloce.
Meno Traffico: Poiché gli altoparlanti non avevano bisogno di gridare istruzioni al cervello centrale costantemente, il traffico di rete (overhead di segnalazione) è stato ridotto fino al 99,8%. È come sostituire mille telefonate con un singolo messaggio di testo.
Adattabile: Se un utente ha improvvisamente bisogno di una connessione più veloce (come passare dall'ascolto di un podcast alla visione di un film in 4K), il sistema si adatta automaticamente per soddisfare tale esigenza senza bloccarsi.
Robusto: Anche se gli altoparlanti non riescono a sentire perfettamente il pubblico (a causa del rumore o di una "stima del canale imperfetta"), il sistema AI è sorprendentemente bravo a indovinare le mosse giuste, spesso superando i metodi matematici tradizionali in ambienti rumorosi.

In Sintesi

Questo articolo presenta un modo intelligente e scalabile per gestire una rete wireless massiccia. Invece di affidarsi a un cervello centrale lento e sovraccarico o a un gruppo caotico di altoparlanti indipendenti, hanno creato un team di agenti AI che imparano dalla matematica esperta ma agiscono rapidamente e localmente. Coordinano appena abbastanza per evitare il rumore, assicurando che tutti nella "sala da concerto" ricevano un segnale chiaro e di alta qualità, anche quando la folla è enorme e si muove velocemente.

1. Enunciato del Problema

Il documento affronta la sfida della precodificazione nei sistemi Cell-free Massive MIMO integrati nell'architettura Open Radio Access Network (O-RAN).

Contesto: Nel cell-free massive MIMO, multiple Unità Radio Open (O-RU) servono collaborativamente gli utenti per garantire una copertura uniforme e un'alta capacità. La precodificazione è fondamentale per indirizzare i fasci e mitigare l'interferenza tra utenti.
La Sfida:
- Gli schemi centralizzati (ad es., Zero-Force Regularizzato Centralizzato, C-RZF) offrono alte prestazioni ma soffrono di problemi di scalabilità, alta complessità computazionale e eccessivo carico di segnalazione sull'interfaccia E2 (tra O-DU e RIC).
- Gli schemi completamente distribuiti (ad es., RZF Distribuito) riducono il carico ma spesso portano a prestazioni subottimali a causa dell'elevata interferenza tra O-RU e della mancanza di coordinamento globale.
- Approcci ML esistenti: L'uso diretto dell'Apprendimento per Rinforzo Profondo (DRL) per determinare le matrici di precodificazione spesso fallisce negli dispiegamenti densi a causa degli spazi di stato/azione ad alta dimensionalità, portando a problemi di convergenza. Inoltre, molti metodi esistenti si concentrano esclusivamente sulla massimizzazione della capacità aggregata senza garantire i requisiti di velocità dati minima per gli utenti individuali.
Obiettivo: Sviluppare un framework di precodificazione distribuito, scalabile e a bassa latenza che garantisca i requisiti di velocità minima degli utenti, massimizzi la capacità aggregata e minimizzi il carico di segnalazione all'interno della gerarchia O-RAN.

2. Metodologia

Gli autori propongono un framework ibrido multi-temporale che combina conoscenza esperta derivata da algoritmi di ottimizzazione iterativa con l'Apprendimento per Rinforzo Profondo Multi-Agente (DRL). La soluzione sfrutta l'architettura gerarchica O-RAN (Non-RT RIC, Near-RT RIC e O-DU).

A. Formulazione Matematica

Problema di Ottimizzazione: Gli autori formulano un problema di ottimizzazione non convesso per massimizzare la capacità aggregata soggetto a vincoli di velocità minima ( $R_{min}$ ) e vincoli di potenza di trasmissione.
Trasformazione: Il problema è riformulato come un equivalente problema WMMSE (Minimum Mean Square Error Ponderato).
Soluzione Iterativa: Viene utilizzato un approccio di Discesa del Coordinamento a Blocchi (BCD) per aggiornare iterativamente:
1. Filtri di ricezione ( $U$ )
2. Matrici di pesi ( $W$ )
3. Matrici di precodificazione ( $V$ )
Insight Chiave: Nei sistemi cell-free, le matrici di precodificazione sono accoppiate tra le O-RU. Tuttavia, i filtri di ricezione ( $U$ ) e i pesi ( $W$ ) dipendono dalla somma dei canali efficaci che esibiscono "indurimento del canale", rendendoli meno sensibili alle fluttuazioni rapide rispetto alle matrici di precodificazione istantanee.

B. Il Framework DRL Multi-Agente Proposto

Invece di utilizzare il DRL per prevedere direttamente matrici di precodificazione ad alta dimensionalità (che è computazionalmente costoso e difficile da addestrare), il framework utilizza il DRL per apprendere le variabili intermedie a bassa dimensionalità ( $U$ e $W$ ) derivate dall'algoritmo iterativo.

Architettura Multi-Agente:
- Agenti: Un agente DRL è assegnato a ciascun utente.
- Osservazione: Ogni agente osserva i canali di interferenza efficaci ( $\Xi_{k,i}$ ) da un sottoinsieme di utenti interferenti ( $I_k$ ) che condividono profili di fading su larga scala simili.
- Azione: L'agente produce il filtro di ricezione ( $U_k$ ) e il fattore di Cholesky della matrice di pesi ( $L_k$ , dove $W_k = L_k L_k^H$ ). Questo riduce significativamente la dimensionalità dello spazio delle azioni.
- Algoritmo: Viene utilizzata un'estensione multi-agente dell'algoritmo Soft Actor-Critic (SAC) per massimizzare una combinazione di ricompensa (capacità) ed entropia della politica.

C. Dispiegamento Multi-Temporale O-RAN

Il framework è distribuito tra i diversi componenti O-RAN in base alle loro scale temporali operative:

Loop Non-RT (>1 sec):
- Componente: Non-RT RIC (rApps).
- Compito: Addestramento dei modelli DRL (reti Attore e Critico) e aggiornamento dei parametri.
Loop Near-RT (10 ms – 1 sec):
- Componente: Near-RT RIC (xApps).
- Compito: Gli agenti determinano $U_k$ e $W_k$ per ciascun utente in base alle statistiche di canale correnti. Questi vengono inviati alle O-DU.
Loop Real-Time (RT) (<1 ms):
- Componente: O-DU (dApps).
- Compito: Utilizzando $U_k$ e $W_k$ ricevuti, insieme alle Informazioni di Stato del Canale (CSI) istantanee e a un moltiplicatore di Lagrange appreso ( $\xi_l$ ) per i vincoli di potenza, le O-DU calcolano le matrici di precodificazione finali ( $V_{k,l}$ ) utilizzando un'equazione di aggiornamento in forma chiusa.
- Comunicazione Inter-O-DU: Viene proposta una nuova interfaccia D2 per consentire alle O-DU di scambiare le informazioni necessarie su canale/precodificazione per le O-RU accoppiate, minimizzando il carico sull'interfaccia E2.

3. Contributi Chiave

Nuova Formulazione di Ottimizzazione: Formulazione di un problema di precodificazione non convesso per cell-free massive MIMO con trasmissione congiunta coerente, riformulato come problema WMMSE e risolto tramite BCD.
DRL Guidato da Esperti: Proposta di un framework ibrido in cui il DRL apprende variabili intermedie a bassa dimensionalità ( $U, W$ ) invece di matrici di precodificazione ad alta dimensionalità. Questo sfrutta la teoria dell'ottimizzazione per guidare il processo di apprendimento, migliorando convergenza e stabilità.
Implementazione Gerarchica O-RAN: Progettazione di un dispiegamento pratico attraverso i loop Non-RT, Near-RT e RT, utilizzando dApps per la precodificazione in tempo reale e xApps/rApps per ottimizzazione e addestramento.
Adattabilità Dinamica: Il framework si adatta dinamicamente ai cambiamenti nei requisiti di velocità dati minima degli utenti ( $R_{min}$ ) aggiornando i moltiplicatori di Lagrange in tempo reale senza riaddestramento.
Riduzione della Segnalazione: Introduzione di un meccanismo distribuito che riduce drasticamente il carico di segnalazione sull'interfaccia E2 rispetto agli schemi centralizzati.

4. Risultati delle Prestazioni

Sono state condotte estese simulazioni confrontando il framework proposto con C-RZF, D-RZF, WMMSE e vari baseline DRL (E2E-DRL, DRL-WMMSE).

Capacità Aggregata:
- Supera il D-RZF fino al 24,4%.
- Supera il WMMSE fino al 35,8%.
- Supera il DRL End-to-End fino al 50,2%.
- Raggiunge prestazioni comparabili al RZF Centralizzato (C-RZF) ma con complessità significativamente inferiore.
Carico di Segnalazione:
- Riduce il carico di segnalazione sull'interfaccia E2 fino al 99,81% rispetto al C-RZF. Questo perché vengono scambiati solo variabili intermedie a bassa dimensionalità, non matrici di canale complete.
Scalabilità:
- La complessità computazionale scala efficientemente con il numero di utenti e O-RU, a differenza dei metodi centralizzati che scalano cubicamente.
- La latenza di inferenza per ciclo Near-RT è di 6,38 ms, ben al di sotto dell'obiettivo di 10 ms.
Robustezza:
- Mobilità: Il framework mantiene le prestazioni anche ad alte velocità degli utenti (fino a 45 km/h), con degradazione minima (<4%).
- CSI Imperfetta: In presenza di gravi errori di stima del canale, il metodo proposto basato sull'apprendimento supera il metodo analitico centralizzato (C-RZF).
- Equità: Regolando $R_{min}$ , il framework può bilanciare tra la massimizzazione della capacità aggregata e la garanzia di equità per gli utenti al bordo della cella.

5. Significato

Questo documento colma il divario tra ottimizzazione teorica e dispiegamento pratico nelle reti wireless di prossima generazione.

Praticità: Dimostra come l'architettura flessibile di O-RAN possa ospitare soluzioni AI/ML complesse (DRL) rispettando vincoli di tempo reale rigorosi.
Efficienza: Risolve la "maledizione della dimensionalità" nel DRL per sistemi wireless utilizzando conoscenze di dominio (algoritmi iterativi) per ridurre lo spazio di apprendimento.
Preparazione al Futuro: Il framework è progettato per gestire condizioni di rete dinamiche (mobilità degli utenti, requisiti QoS variabili) e informazioni di canale imperfette, rendendolo un candidato valido per le reti cell-free 6G.

In sintesi, il documento presenta una soluzione robusta, scalabile ed efficiente per la precodificazione cell-free massive MIMO che sfrutta la sinergia tra teoria dell'ottimizzazione e apprendimento per rinforzo multi-agente all'interno dell'ecosistema O-RAN.