💻 computer science

Deep Reinforcement Learning-Based Dynamic Mode Selection and Power allocation for Clustered Vehicular Networks

Questo articolo propone un framework di Proximal Policy Optimization (PPO) multi-agente con condivisione dei parametri per la selezione dinamica della modalità e l'allocazione della potenza in reti veicolari clusterizzate, il quale supera significativamente i baseline tradizionali migliorando l'affidabilità, riducendo la latenza e abbassando la potenza di trasmissione attraverso l'apprendimento adattivo delle condizioni locali della rete.

Autori originali: Eugenia Rudo Nyanhete, Elijah Mwangi, Karim Djouani

Pubblicato 2026-08-03

📖 8 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Eugenia Rudo Nyanhete, Elijah Mwangi, Karim Djouani

Articolo originale sotto licenza CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate un mondo in cui la vostra auto non si limita a guidare da sola, ma parla anche con tutte le altre auto, i semafori e i segnali stradali che la circondano. Questo è il futuro delle "Reti Veicolari", una conversazione digitale ad alta velocità che avviene sulle nostre strade per prevenire incidenti e gestire il traffico. Ma ecco la parte complicata: queste auto si muovono velocemente, le strade sono affollate e le "onde radio" che usano per comunicare sono come un'autostrada trafficata con poche corsie. Se tutti urlano contemporaneamente, nessuno sente nulla. Per risolvere questo problema, gli ingegneri utilizzano il "clustering", che è come raggruppare le auto in piccole squadre guidate da un "capitano della squadra" (il Cluster Head) per organizzare la conversazione. La grande domanda che i ricercatori stanno cercando di rispondere è: come decide questo capitano il modo migliore per parlare? Dovrebbe urlare direttamente ai membri del team (una modalità "sidelink" o D2D a corto raggio) o dovrebbe chiamare una torre centrale (una modalità cellulare o C-V2X) per inoltrare il messaggio? E quanto forte dovrebbe urlare? Se urla troppo forte, sovrasta i vicini; se urla troppo piano, il suo messaggio si perde.

Questo articolo approfondisce esattamente questo problema, chiedendosi come questi capitani delle auto possano prendere decisioni intelligenti in frazioni di secondo per mantenere la rete affidabile senza sprecare energia. Gli autori propongono una soluzione utilizzando il "Deep Reinforcement Learning" (Apprendimento per Rinforzo Profondo), che è essenzialmente un programma per computer che impara per tentativi ed errori, proprio come un personaggio di un videogioco che migliora di livello giocando migliaia di volte. Invece di seguire un libro di regole rigido, l'IA impara ad adattarsi al caos del traffico, alle interferenze e alle distanze variabili. Lo studio suggerisce che, lasciando che questi capitani IA imparino dal loro ambiente, possono prendere decisioni migliori rispetto ai metodi tradizionali basati su regole, garantendo che i messaggi di sicurezza arrivino in modo rapido e affidabile risparmiando l'energia della batteria.

I Capitani Intelligenti della Strada

Nello studio, i ricercatori hanno allestito una simulazione di un'autostrada virtuale per testare la loro idea. Hanno immaginato un tratto di strada lungo 2 chilometri con auto che sfrecciano a velocità fino a 31 metri al secondo (circa 70 mph). In questo mondo digitale, le auto non si limitano a guidare; si formano e si sciolgono continuamente in gruppi, o "cluster", in base alla vicinanza tra loro. Ogni cluster ha un leader, il "Cluster Head", il cui compito è decidere come comunica il gruppo.

I ricercatori hanno insegnato a questi leader un nuovo modo di pensare utilizzando un tipo specifico di IA chiamato Proximal Policy Optimization (PPO). Pensate al PPO come a uno studente molto disciplinato che impara provando diverse strategie e ricevendo feedback. In questo caso, lo "studente" è il Cluster Head. Ogni volta che prende una decisione, riceve un punteggio (una "ricompensa"). Se sceglie la modalità di comunicazione e il livello di potenza corretti per far passare un messaggio in modo rapido e affidabile, ottiene un punteggio alto. Se causa un ritardo o spreca energia, ottiene un punteggio basso. Con il tempo, l'IA impara l'equilibrio perfetto, adattandosi al fatto che le auto sono sempre in movimento e il "rumore" degli altri veicoli è in costante mutamento.

La Grande Sfida della Comunicazione

Per vedere se questo metodo di apprendimento IA funziona davvero, i ricercatori hanno messo il loro "studente" PPO contro cinque altre strategie, o "baseline", che rappresentano come potremmo risolvere il problema senza un cervello capace di apprendere:

Gli Indovinatori della Distanza: Queste strategie guardano solo quanto sono distanti le auto tra loro. Se la distanza media è inferiore a 400 metri, urlano direttamente tra di loro; altrimenti, chiamano la torre. Non si curano della qualità effettiva della connessione o delle interferenze.
Gli Schedulatori di Potenza: Sono simili agli indovinatori della distanza, ma cercano di essere un po' più intelligenti su quanto forte urlare in base alla distanza.
La Squadra "Chiama Sempre la Torre": Questa strategia ignora completamente la comunicazione diretta e instrada sempre i messaggi attraverso la rete cellulare.
Il Chiacchiericcio Casuale: Questa strategia sceglie una modalità di comunicazione e un livello di potenza completamente a caso, solo per vedere cosa succede.

I risultati di questa gara digitale sono stati molto rivelatori. L'IA PPO non ha solo vinto; ha mostrato un modo completamente diverso di giocare.

Affidabilità: La Rete di Sicurezza
Il compito più importante di queste reti è la sicurezza. Il documento ha misurato l' "affidabilità", ovvero la percentuale di messaggi che arrivano con successo. L'IA PPO è stata una campionessa in questo campo. Nelle simulazioni con 25 auto, ha raggiunto un'affidabilità del 100,0%. Anche con 100 auto sulla strada, è rimasta incredibilmente alta al 99,750%. Al contrario, gli "Indovinatori della Distanza" (i metodi non basati sull'apprendimento) hanno faticato. Con 50 auto, la loro affidabilità è scesa all'87,297%, e con 100 auto era intorno al 94,971%. La strategia "Chiama Sempre la Torre" è andata ancora peggio, scendendo al 67,469% con 100 auto. La strategia casuale è stata la peggiore di tutte, fallendo nel consegnare i messaggi in modo costante. Il documento suggerisce che l'IA ha imparato a evitare le "zone morte" dove l'urlo diretto fallisce e la "congestione" dove chiamare la torre è troppo lento, trovando un punto di equilibrio che le semplici regole hanno mancato.

Potenza: Il Risparmiatore di Batteria
È qui che la storia diventa davvero interessante. Di solito, per ottenere una maggiore affidabilità, bisogna urlare più forte (usare più potenza). Gli "Indovinatori della Distanza" e le strategie "Chiama Sempre la Torre" urlavano a un volume fisso e alto di 18 dBm (un'unità specifica di potenza) per cercare di far passare i loro messaggi.
L'IA PPO, tuttavia, ha imparato a sussurrare. Ha ottenuto la sua affidabilità quasi perfetta utilizzando molta meno potenza. Per 25 auto, ha utilizzato una media di 10,013 dBm. Per 100 auto, è scesa a 9,612 dBm. Si tratta di un risparmio enorme — fino a 8,39 dB in meno di potenza rispetto alle baseline a potenza fissa. Il documento mostra che l'IA non è stata solo fortunata; ha imparato che urlare più forte non è sempre la soluzione. Scegliendo la modalità giusta al momento giusto, ha risparmiato energia senza sacrificare la sicurezza.

Velocità ed Efficienza: Il Compromesso
Il documento ha esaminato anche la "latenza" (quanto tempo impiega un messaggio ad arrivare) e l' "efficienza spettrale" (quanti dati possono essere infilati nelle onde radio). Qui, le regole semplici hanno avuto un leggero vantaggio. Le strategie basate sulla distanza sono state a volte un briciolo più veloci (circa 7,45 ms contro gli 8,702 ms dell'IA con 100 auto) e hanno fatto passare un po' più di dati.
Tuttavia, gli autori sottolineano che questa velocità è arrivata a un costo terribile: un'affidabilità e un uso di potenza molto inferiori. Le regole semplici erano come un velocista che corre veloce ma inciampa sui propri piedi, mentre l'IA era un maratoneta che mantenevava un passo costante e affidabile. Il documento conclude che per applicazioni critiche per la sicurezza, la capacità dell'IA di garantire che il messaggio arrivi (affidabilità) risparmiando al contempo energia è molto più preziosa rispetto al guadagnare una frazione di millisecondo in velocità.

Cosa Significa per il Futuro della Strada

Lo studio suggerisce che il futuro del traffico intelligente non consiste nel seguire regole rigide come "se sei vicino, urla; se sei lontano, chiama". Si tratta invece di dare alla rete un cervello che possa percepire l'ambiente. L'IA PPO ha imparato a gestire il caos disordinato del mondo reale, fatto di auto in movimento e interferenze, in un modo che le semplici formule matematiche non potevano fare.

Sebbene i risultati si basino su simulazioni al computer e non su test di guida nel mondo reale, le conclusioni sono solide. Il documento dimostra che le politiche adattive basate sull'apprendimento possono superare i metodi tradizionali basati solo sulla distanza. Dimostra che, insegnando alla rete a bilanciare affidabilità, velocità e potenza, possiamo costruire un futuro più sicuro ed efficiente per le nostre strade. Gli autori osservano che, sebbene il loro metodo sia un grande passo avanti, il lavoro futuro dovrà testare queste idee in scenari ancora più complessi, come reti multi-città e con informazioni imperfette, per garantire che siano pronti per il mondo reale. Ma per ora, l'approccio del "capitano di squadra intelligente" sembra essere una strategia vincente per mantenere le nostre auto connesse in comunicazione in modo sicuro ed efficiente.

Definizione del Problema

Le reti veicolari affrontano sfide significative nel soddisfare i rigorosi requisiti di affidabilità e latenza a causa dell'elevata mobilità, delle condizioni di canale che variano rapidamente e delle opzioni di comunicazione eterogenee. Negli ambienti urbani densi e autostradali, l'interferenza da parte di altri veicoli e infrastrutture, combinata con risorse radio scarse, inibisce la trasmissione efficiente delle informazioni. Inoltre, la natura dinamica del movimento dei veicoli porta a frequenti cambiamenti di topologia, rendendo difficile la previsione delle Informazioni sullo Stato del Canale (CSI).

Sebbene esistano tecniche di Gestione delle Risorse Radio (RRM) come l'allocazione della potenza, l'allocazione dello spettro e la selezione della modalità, queste vengono spesso affrontate separatamente o si affidano a regole euristiche statiche. Gli approcci esistenti mancano spesso della capacità di ottimizzare congiuntamente le modalità di comunicazione (Sidelink diretto/D2D rispetto a C-V2X assistito da rete cellulare) e i livelli di potenza in un ambiente clusterizzato e variabile nel tempo. Esiste una specifica lacuna in termini di framework di apprendimento unificati che possano eseguire un processo decisionale integrato e adattivo per reti veicolari clusterizzate pur soddisfacendo diversi vincoli di Qualità del Servizio (QoS).

Metodologia

Gli autori propongono una soluzione che formula la selezione dinamica della modalità nelle reti veicolari clusterizzate come un problema decisionale sequenziale multi-agente. Il sistema opera in uno scenario autostradale dove i veicoli scambiano Messaggi di Consapevolezza Cooperativa (CAM) e comunicano con le Unità Stradali (RSU).

Modello di Sistema:

Clustering: Viene impiegato un algoritmo di clustering dei veicoli basato su DBSCAN. I veicoli sono raggruppati in cluster e un Capo del Cluster (CH) viene selezionato in base alla prossimità e alla velocità relativa per coordinare le comunicazioni.
Modalità di Comunicazione: Ogni coppia di veicoli all'interno di un cluster può scegliere tra comunicazione diretta Veicolo-Veicolo (V2V) ( $\sigma=0$ ) o comunicazione Cellular Vehicle-to-Everything (C-V2X) ( $\sigma=1$ ).
Allocazione delle Risorse: Il sistema supporta il network slicing per la Comunicazione Ultra-Affidabile a Bassa Latenza (URLLC) e la Banda Mobile Potenziata (eMBB). I sottocanali (Resource Blocks) vengono allocati in base ai requisiti dello slice.
Obiettivo di Ottimizzazione: L'obiettivo è massimizzare i tassi di dati per il C-V2X, minimizzare la potenza di trasmissione e massimizzare la probabilità di successo della trasmissione dei CAM, soggetti a vincoli di tassi di dati minimi, probabilità di outage e limiti di potenza.

Algoritmo Proposto:
Lo studio introduce un framework di Proximal Policy Optimization (PPO) con condivisione dei parametri Multi-Agente.

Agenti: I Capi del Cluster agiscono come agenti.
Spazio degli Stati ( $S$ ): Include il posizionamento fisico (corsia, velocità, posizione), lo stato del canale (guadagni su larga scala tra CH-RSU e CH-Membri del Cluster) e l'interferenza precedente, il carico attuale e il tempo rimanente per soddisfare le soglie di latenza.
Spazio delle Azioni ( $A$ ): Include aggiornamenti fisici (regolazione della velocità, sorpasso, cambio corsia) e aggiornamenti del canale (selezione dello slice, selezione della modalità e selezione della potenza di trasmissione).
Design della Ricompensa: È progettata una funzione di ricompensa guidata dalla QoS che tiene conto congiuntamente di latenza, affidabilità, efficienza spettrale e potenza di trasmissione. Fondamentalmente, la ricompensa penalizza esplicitamente le soluzioni con potenza eccessivamente alta per incoraggiare l'efficienza energetica. La ricompensa include termini per mantenere la stabilità della velocità, soddisfare i budget di latenza, soddisfare le soglie di capacità e garantire che il SINR rimanga al di sopra delle soglie di outage effettive.

Contributi Chiave

Il documento delinea quattro contributi primari:

Formulazione del Problema: La selezione dinamica della modalità nelle reti veicolari clusterizzate con opzioni V2X eterogenee è formulata come un problema decisionale sequenziale multi-agente sotto vincoli di mobilità, interferenza e QoS.
Sviluppo dell'Algoritmo: È sviluppato un framework PPO con condivisione dei parametri, che consente agli agenti Capo del Cluster di apprendere politiche di comunicazione adattive per ambienti con topologie variabili nel tempo.
Design della Ricompensa: Viene introdotto un nuovo design della ricompensa guidata dalla QoS che bilancia latenza, affidabilità, efficienza spettrale e potenza, scoraggiando esplicitamente le soluzioni ad alta potenza che ottengono l'affidabilità in modo inefficiente.
Valutazione delle Prestazioni: Il metodo proposto viene valutato rispetto a euristiche consapevoli della mobilità e baseline fisse, dimostrando un rapporto superiore tra affidabilità e potenza attraverso diverse densità di traffico.

Risultati

L'approccio PPO proposto è stato valutato in una simulazione autostradale con modellazione realistica di canale e interferenza, confrontandolo con cinque baseline:

Soglia di distanza (distanza media).
Soglia di distanza (distanza massima).
Soglia di distanza con programmazione della potenza.
Sempre V2I (modalità fissa).
Selezione casuale.

Risultati Chiave:

Selezione dell'Algoritmo: Tra gli algoritmi di Deep Reinforcement Learning (DDPG, MADDPG, PPO), il PPO ha dimostrato la convergenza dell'apprendimento più rapida e stabile attraverso varie densità di traffico (da 25 a 100 veicoli).
Affidabilità: La policy PPO ha raggiunto un'affidabilità quasi perfetta (99,3% - 100%) in tutte le densità di traffico. Ciò rappresenta un miglioramento di circa 4 o 12 punti percentuali rispetto alla più forte baseline non basata su apprendimento (metodi della soglia di distanza).
Latenza: Rispetto alla policy casuale, il PPO ha ridotto la latenza di almeno il 69,4%.
Efficienza della Potenza: La policy PPO ha ridotto significativamente la potenza di trasmissione, ottenendo riduzioni fino a 8,39 dB rispetto alle baseline a potenza fissa (che operavano a 18 dBm). Il PPO ha operato a livelli di potenza media tra 9,6 e 11,2 dBm.
Compromessi (Trade-offs): Sebbene alcune baseline euristiche abbiano ottenuto una latenza leggermente inferiore e un'efficienza spettrale più alta ad alte densità (es. N=100), lo hanno fatto a scapito di un consumo di potenza significativamente maggiore e di un'affidabilità sensibilmente inferiore. La policy PPO ha dato priorità a un punto operativo orientato all'affidabilità, sacrificando parte dell'efficienza spettrale per garantire prestazioni di consegna costanti a una potenza molto inferiore.

Significato e Rivendicazioni

Il documento afferma che la selezione della modalità adattiva basata sull'apprendimento proposta offre un rapporto affidabilità-potenza superiore rispetto alle strategie tradizionali basate sulla geometria o a modalità fisse. La significatività risiede nel dimostrare che gli agenti possono apprendere ad adattarsi all'interferenza variabile nel tempo e alla mobilità senza fare affidamento su modelli di canale precisi.

Gli autori concludono che, sebbene le baseline euristiche possano favorire l'uso aggressivo del V2V e la trasmissione a piena potenza per massimizzare le metriche di throughput istantaneo, esse non riescono a fornire le stesse garanzie di affidabilità. Al contrario, l'agente PPO impara a sfruttare informazioni contestuali più ricche (condizioni di interferenza e dinamiche del cluster) per prendere decisioni di comunicazione efficaci. Lo studio suggerisce che tali policy basate sull'apprendimento sono essenziali per migliorare la resilienza in condizioni di traffico e di rete che cambiano rapidamente, sebbene siano necessari lavori futuri per affrontare l'informazione sullo stato del canale imperfetta e gli scenari multi-cella per l'implementazione nel mondo reale.