Sintesi Tecnica: Offloading Dinamico dei Task in Reti Vehicular Edge

Definizione del Problema

Il documento affronta la sfida critica dell'offloading dinamico dei task all'interno delle reti di Vehicular Edge Computing (VEC). Con l'espansione dell'Internet of Vehicles (IoV), applicazioni quali la guida autonoma, il gaming immersivo e la comunicazione olografica richiedono una Qualità del Servizio (QoS) rigorosa, specificamente latenze end-to-end tra 10 e 100 ms, un'elevata larghezza di banda e affidabilità.

La difficoltà principale risiede nell'elevata mobilità dei veicoli e nella natura dinamica delle risorse di rete. Quando un veicolo si sposta tra le aree di copertura delle Unità a Bordo Strada (RSU), i task in corso possono fallire o richiedere la ritrasmissione se il tempo di sosta (dwell time) all'interno del raggio d'azione di una RSU non viene predetto accuratamente. Le strategie di scheduling esistenti si basano spesso su assunzioni semplificate, come velocità costanti o mobilità a percorso singolo, non riuscendo a tenere conto dei complessi modelli di movimento bidirezionali e multipath del traffico reale. Inoltre, i veicoli dispongono di risorse computazionali limitate a bordo, rendendo necessari processi decisionali di offloading efficienti che bilancino i deadlines dei task rispetto al consumo energetico e alla latenza.

Metodologia

1. Modellazione del Sistema e della Mobilità

Gli autori modellano l'ambiente VEC come una rete di $V$ veicoli mobili e $R$ RSU collegate a un cloud centrale.

• Modello di Mobilità: Il movimento dei veicoli è modellato utilizzando un Processo di Rinnovamento di Markov (MRP). Ciò consente di prevedere le traiettorie dei veicoli e, soprattutto, il tempo di sosta ($\Delta^r_v$) che un veicolo trascorre all'interno della copertura di una specifica RSU. La durata attesa della sosta viene calcolata sulla base delle probabilità di transizione e delle distribuzioni temporali tra le RSU.
• Modello dei Task: I task sono definiti da dimensione dei dati di input ($d_{r,t}$), carico computazionale ($c_{r,t}$) e scadenze ($\delta_{r,t}$). Un task può essere eseguito localmente presso la RSU o offloadato a un veicolo specifico.
• Funzione di Utilità: Viene progettata una funzione di utilità per task che premia il rispetto dei deadline e penalizza il consumo energetico:
  $$U_{r,t} = w_d \max\left(0, 1 - \frac{D_{r,t}}{\delta_{r,t} + \epsilon}\right) - w_e \frac{E_{r,t}}{E_{max}}$$
  dove $D_{r,t}$ è il ritardo totale (trasmissione + esecuzione) ed $E_{r,t}$ è il costo energetico.

2. Formulazione del Problema

Il problema dell'offloading dei task è inizialmente formulato come un problema di Programmazione Lineare Intera (ILP) volto a massimizzare l'utilità complessiva del sistema pur soddisfacendo i vincoli su:

• Assegnazione (ogni task deve essere elaborato esattamente una volta).
• Conformità ai deadline.
• Tempo di sosta (i task offloadati devono completarsi prima che il veicolo lasci l'area di copertura della RSU).
• Capacità computazionale sia delle RSU che dei veicoli.

Gli autori osservano che questo ILP è NP-difficile (NP-hard) e che risolverlo direttamente tramite l'ottimizzazione convenzionale è computazionalmente proibitivo per reti dinamiche su larga scala, a causa della crescita esponenziale delle variabili decisionali e della necessità di adattamento in tempo reale.

3. Framework Proposto: A3C-Based DRL

Per superare i limiti dell'ottimizzazione statica, il documento propone un framework di Apprendimento per Rinforzo Profondo (DRL) utilizzando l'algoritmo Asynchronous Advantage Actor-Critic (A3C).

• Processo Decisionale di Markov (MDP): Il problema viene mappato in una tupla MDP $(S, A, P, R, \gamma)$.
  • Spazio degli Stati ($S$): Include posizioni dei veicoli, velocità, risorse computazionali/di storage disponibili presso RSU e veicoli, task in coda e tempi di sosta previsti.
  • Spazio delle Azioni ($A$): Decisioni di offloadare un task a un veicolo specifico o di elaborarlo localmente.
  • Funzione di Ricompensa ($R$): Derivata dalla funzione di utilità, bilancia la riduzione del ritardo e l'efficienza energetica.
• Architettura A3C: Il framework impiega molteplici agenti worker paralleli (che rappresentano veicoli/RSU) che interagiscono con l'ambiente in modo asincrono. Ogni worker mantiene reti locali di policy e di valore, accumulando gradienti basati sui vantaggi calcolati prima di aggiornare una rete globale condivisa. Questo approccio asincrono accelera l'apprendimento e migliora la stabilità in ambienti dinamici rispetto ai metodi sincroni.

Contributi Chiave

1. Modellazione Consapevole della Mobilità: L'integrazione di un Processo di Rinnovamento di Markov per prevedere accuratamente i tempi di sosta e i percorsi di viaggio dei veicoli, andando oltre le semplificate assunzioni di velocità costante.
2. Formulazione ILP: Sviluppo di una formulazione matematica ILP per il problema dell'offloading dei task che incorpora esplicitamente i deadline dei task, i tempi di sosta dei veicoli e i vincoli di risorse.
3. Scheduling Basato su A3C: Progettazione di un framework di apprendimento per rinforzo profondo utilizzando A3C per risolvere il problema di scheduling NP-difficile. L'approccio sfrutta l'apprendimento parallelo per adattarsi alle condizioni dinamiche di rete e ottimizzare il compromesso tra latenza ed energia.
4. Valutazione Esaustiva: Simulazioni estese che confrontano l'approccio A3CRL proposto con quattro algoritmi di base: DDPG, DDQN, SA-PSO (Simulated Annealing Particle Swarm Optimization) e GA (Genetic Algorithm).

Risultati delle Prestazioni

Le simulazioni sono state condotte in un ambiente Python con numeri variabili di veicoli (10–50), task (50–250) e velocità dei veicoli (30–70 km/h). Il framework A3CRL proposto ha dimostrato prestazioni superiori in tutte le metriche:

• Ritardo di Servizio: A3CRL ha ottenuto una riduzione del ritardo di servizio fino al 19% rispetto al secondo miglior metodo (DDQN) variando la densità dei veicoli, e fino al 29% variando il carico dei task.
• Consumo Energetico: Il framework ha migliorato l'efficienza energetica fino al 35% (rispetto alle variazioni di densità dei veicoli) e al 40% (rispetto alle variazioni del carico dei task) rispetto ai baseline, grazie alla sua funzione obiettivo orientata all'energia e all'allocazione efficiente dei task.
• Tasso di Offloading con Successo: A3CRL ha mantenuto la più alta percentuale di task completati con successo, mostrando miglioramenti fino al 13% rispetto alla seconda migliore strategia. Ciò è attribuito alla capacità dell'algoritmo di selezionare veicoli con link stabili e risorse sufficienti basandosi sui tempi di sosta previsti.
• Convergenza: In termini di convergenza dell'addestramento, A3CRL ha raggiunto una ricompensa media più alta (11.64 contro 11.21 di DDQN) con una varianza inferiore (0.39 contro 0.46), indicando un apprendimento più stabile ed efficace.

Significato e Rivendicazioni

Il documento afferma che il framework basato su A3C proposto offre una soluzione scalabile, adattiva ed efficiente per lo scheduling dei task in tempo reale nelle reti VEC. Integrando la previsione della mobilità (tempo di sosta) direttamente nel processo decisionale di scheduling, il framework affronta i limiti dei metodi esistenti che spesso trascurano la natura dinamica del movimento dei veicoli o si affidano a strategie greedy che non riescono a scalare.

Gli autori sottolineano che, sebbene le tecniche di ottimizzazione tradizionali (come l'ILP) siano teoricamente solide, sono impraticabili per ambienti IoV su larga scala e dinamici a causa dell'overhead computazionale. L'approccio DRL proposto colma efficacemente questo divario, consentendo ad agenti intelligenti di apprendere politiche di offloading ottimali attraverso l'interazione con l'ambiente. I risultati suggeriscono che l'apprendimento per rinforzo profondo, specificamente l'A3C, possiede un grande potenziale per gestire le complessità dell'offloading dei task su larga scala nelle reti vehicular edge.

Il documento si conclude con modestia, notando che il lavoro futuro indagherà l'ottimizzazione multi-obiettivo, le strategie di offloading cooperativo e la validazione sperimentale per migliorare ulteriormente la robustezza in ambienti dinamici reali.