Reinforcement Learning-Enabled Agent for Transmitter Optimization in Digital-Analog Radio-over-Fiber Fronthaul

Sintesi Tecnica: Agente basato su Reinforcement Learning per l'ottimizzazione del trasmettitore in sistemi Digital-Analog Radio-over-Fiber Fronthaul

Definizione del Problema
Il Digital-Analog Radio-over-Fiber (DA-RoF) è emerso come una soluzione di fronthaul valida per il 6G e le architetture Cloud-RAN avanzate, offrendo un equilibrio tra l'efficienza spettrale della trasmissione analogica e la robustezza della trasmissione digitale. Tuttavia, le prestazioni dei sistemi DA-RoF dipendono criticamente dall'ottimizzazione congiunta di diversi parametri del trasmettitore strettamente accoppiati: il fattore di arrotondamento (RF), il fattore di scala (SF), il fattore di modellazione geometrica (GS) e i coefficienti di tap della pre-equalizzazione. Questi parametri influenzano collettivamente il rumore di quantizzazione, il rapporto picco-media (PAPR), la distorsione non lineare e l'interferenza intersimbolica (ISI) indotta dalla larghezza di banda.

I metodi di ottimizzazione convenzionali, come la configurazione fissa, la regolazione empirica o la ricerca esaustiva su griglia (grid search), sono computazionalmente proibitivi e spesso producono risultati subottimali sotto l'effetto di imperfezioni hardware pratiche e condizioni di link variabili. Inoltre, gli approoli di deep learning end-to-end esistenti sono inadatti al DA-RoF perché il sistema si basa su operazioni di arrotondamento non differenziabili, e l'implementazione di reti neurali complesse presso le unità radio remote (RRU) è economicamente proibitiva. È necessario un metodo di ottimizzazione model-free e hardware-efficient che possa apprendere autonomamente i parametri ottimali senza richiedere un modello di canale differenziabile o ulteriore complessità lato ricevitore.

Metodologia
Gli autori propongono un'architettura di agente per fronthaul DA-RoF basata su Reinforcement Learning (RL) progettata per operare interamente sul lato trasmettitore (Centralized Unit/Distributed Unit). La metodologia principale prevede:

1. Formulazione MDP: Il problema di ottimizzazione dei parametri del trasmettitore è formulato come un Processo Decisionale di Markov (MDP).

   • Stato: Definito dai valori correnti di RF, SF, del fattore GS e dei coefficienti di pre-equalizzazione.
   • Azione: Variazioni discrete (incrementi o decrementi) applicate a tali parametri.
   • Ricompensa (Reward): Derivata dal rapporto segnale-rumore (SNR) del segnale wireless recuperato, calcolato tramite il feedback dell'Error Vector Magnitude (EVM) dal ricevitore. La funzione di ricompensa incoraggia il superamento delle soglie di SNR specifiche per la modulazione e il miglioramento monotono.
   • Ambiente: Il link fisico DA-RoF IMDD (Intensity-Modulation Direct-Detection), inclusi gli imperfezioni come la non linearità dell'amplificatore e i limiti di larghezza di banda.

2. Selezione dell'Algoritmo: Gli autori impiegano una Dueling Deep Q-Network (DQN). Questa architettura separa la stima del valore dello stato dal vantaggio dell'azione, il che è particolarmente efficace per lo spazio di parametri discreti e accoppiati del DA-RoF, dove molte azioni locali possono produrre ricompense immediate simili ma differire nell'impatto a lungo termine. L'agente è model-free, affidandosi esclusivamente al feedback end-to-end dell'SNR piuttosto che a un modello analitico del canale.

3. Architettura di Sistema: L'agente risiede nella CU/DU. Esso interagisce con il link fronthaul regolando i parametri del trasmettitore e ricevendo il feedback dell'SNR dalle Unità Remote (RU). Fondamentalmente, le RU non richiedono modifiche hardware o moduli DSP aggiuntivi; forniscono semplicemente il feedback, garantendo una bassa complessità all'estremità della rete (edge).

Contributi Chiave

• Formulazione MDP per DA-RoF: Il documento formula l'ottimizzazione congiunta di RF, SF, fattore GS e coefficienti di pre-equalizzazione come un MDP, affrontando la natura non separabile di questi parametri.
• Agente RL Hardware-Friendly: Il framework proposto implementa l'agente di apprendimento esclusivamente al trasmettitore, mantenendo una bassa complessità del ricevitore e la compatibilità con le attuali implementazioni fronthaul IMDD.
• Ottimizzazione Model-Free: Il sistema raggiunge l'ottimizzazione senza richiedere un modello di canale differenziabile o una ricerca esaustiva su griglia, utilizzando una dueling-DQN per apprendere le policy ottimali attraverso tentativi ed errori.

Risultati Sperimentali
Il framework proposto è stato validato su un testbed sperimentale DA-RoF IMDD utilizzando un link di 1 km in fibra monomodale standard (SSMF). Le principali scoperte includono:

• Miglioramento dell'SNR: L'agente addestrato ha ottenuto un miglioramento medio dell'SNR di circa 2,7 dB rispetto a un baseline di ricerca su griglia.
• Prestazioni per Ordini: Il sistema ha supportato con successo formati di modulazione ad alto ordine, raggiungendo gli SNR finali di:
  • 35,8 dB per 1-order DA-RoF (1024-QAM)
  • 42,9 dB per 2-order DA-RoF (4096-QAM)
  • 53,8 dB per 3-order DA-RoF (16384-QAM)
  • 63,2 dB per 4-order DA-RoF (65536-QAM)
• Convergenza: L'agente ha dimostrato una rapida convergenza, raggiungendo gli stati ottimali entro 32 passi di interazione, significativamente più velocemente dei metodi di ricerca esaustiva che richiederebbero decine di migliaia di misurazioni.
• Adattamento dei Parametri: L'agente ha appreso autonomamente ad regolare RF e SF per bilanciare il rumore di quantizzazione e il PAPR, ha utilizzato il GS per mitigare la non linearità di ampiezza e ha ottimizzato i tap di pre-equalizzazione per compensare l'ISI indotta dalla larghezza di banda.
• Robustezza: I parametri ottimizzati hanno mantenuto alte prestazioni attraverso varie ampiezze di pilotaggio elettrico e potenze ottiche ricevute, dimostrando una forte capacità di generalizzazione.

Significatività e Rivendicazioni
Il documento afferma che il framework basato su RL proposto fornisce una soluzione online, scalabile e hardware-efficient per l'ottimizzazione dei parametri nei sistemi fronthaul DA-RoF. Eliminando la necessità di complessi DSP lato ricevitore o di una ricerca esaustiva, il metodo affronta i vincoli pratici delle reti di accesso sensibili ai costi. I risultati validano che il controllo intelligente e model-free può gestire efficacemente l'accoppiamento complesso dei parametri del trasmettitore, aprendo la strada all'implementazione di formati di modulazione ad alto ordine e di reti di accesso radio intelligenti di prossima generazione. Gli autori posizionano questo lavoro come un passo verso sistemi fronthaul hardware-adaptive capaci di supportare capacità oltre il Terabit e distribuzioni ultra-dense.