A Linear Mapping-Enhanced PPO Framework for Dynamic Load Balancing in Smart City Edge Systems

Sintesi Tecnica: Un framework PPO potenziato da mappatura lineare per il bilanciamento del carico dinamico in sistemi Edge di Smart City

Problematica
L'integrazione dell'Edge Computing Mobile (MEC) nelle infrastrutture delle smart city mira a ridurre la latenza e migliorare l'efficienza della larghezza di banda elaborando i dati più vicino alle sorgenti IoT. Tuttavia, la natura stocastica ed eterogenea dell'offloading dei task dai dispositivi IoT urbani (ad esempio, telecamere del traffico, reti intelligenti) crea squilibri di carico significativi tra i Server Edge (ES). In un deployment tipico in cui ogni ES ospita più Macchine Virtuali (VM), l'arrivo casuale di task può causare il sovraccarico di alcuni server mentre altri rimangono sottoutilizzati. Questo squilibrio degrada la qualità del servizio e aumenta la latenza del sistema. Le soluzioni esistenti presentano limitazioni: gli algoritmi di scheduling statici mancano di adattabilità ai carichi di lavoro dinamici; i metodi di ottimizzazione tradizionali (ad esempio, l'Ottimizzazione a Sciame di Particelle - PSO) soffrono di ritardi iterativi non adatti ai vincoli in tempo reale; e gli approoli standard di Deep Reinforcement Learning (DRL) faticano a gestire il disallineamento tra le variazioni continue dello stato e gli spazi di azione fissi, in particolare quando il numero di task fluttua significativamente.

Metodologia
Gli autori propongono un framework Linear Mapping-Enhanced Proximal Policy Optimization (LME-PPO) per affrontare queste sfide. L'approccio è strutturato come segue:

1. Modellazione del Sistema: Il sistema di gestione delle risorse della smart city è modellato come un Processo Decisionale di Markov (MDP).

   • Spazio degli Stati ($S$): Definito dal numero di task in attesa nelle code di $M$ server edge.
   • Spazio delle Azioni ($A$): Rappresenta la matrice di scheduling dei task attraverso tutti gli ES.
   • Funzione di Ricompensa: Progettata per minimizzare la varianza tra i tempi di esecuzione dei singoli ES e il tempo di esecuzione medio dell'intero sistema, promuovendo così il bilanciamento del carico.
   • Vincoli: Il modello tiene conto dei limiti di capacità delle code, delle variazioni della frequenza della CPU tra le VM e dei tempi massimi di esecuzione consentiti.

2. Framework LME-PPO:

   • Architettura Actor-Critic: Il sistema utilizza un algoritmo PPO standard con reti Actor e Critic (due reti neurali completamente connesse a due strati).
   • Livello di Mappatura Lineare: Un'innovazione centrale di questo lavoro. Poiché il PPO tipicamente produce valori continui, ma l'allocazione dei task richiede interi discreti, gli autori introducono un livello di mappatura lineare. La rete Actor produce un vettore di proporzioni di allocazione relativa ($m_t$). Questo vettore viene mappato in conteggi di task interi effettivi ($N_t$) basandosi sul numero totale di task che arrivano nell'attuale slot temporale ($n$) utilizzando la formula: $N_i = n \times \frac{m_i}{\sum m_i}$. Questo meccanismo assicura che lo spazio delle azioni si adatti dinamicamente all'attuale carico di lavoro, prevenendo l'instabilità dell'addestramento causata da spazi di azione fissi.
   • Scheduling Interno dei Task: All'interno di ogni ES, viene impiegato un Algoritmo di Allocazione dei Task Bilanciato per il Carico per distribuire i task tra più VM. Basandosi sul Teorema 1 e sul Teorema 2, l'algoritmo dà priorità all'assegnazione dei task alle VM con frequenze CPU inferiori per eguagliare i tempi di esecuzione, garantendo il tempo di completamento minimo possibile per la coda.

3. Utilità a Lungo Termine: Il framework ottimizza l'utilità scontata a lungo termine piuttosto che la performance del singolo slot, utilizzando la Stima dell'Vantaggio Generalizzato (GAE) per bilanciare le ricompense immediate con gli stati futuri del sistema.

Contributi Chiave

1. Modellazione di Sistema Stocastico: Il documento modella il processo di allocazione dei task come un sistema stocastico con un framework DRL che incorpora lo scheduling a livello di VM all'interno di ogni ES, catturando le caratteristiche computazionali chiave per un bilanciamento del carico preciso.
2. Potenziamento tramite Mappatura Lineare: Gli autori introducono un livello di mappatura lineare all'interno del framework PPO per risolvere il conflitto tra l'output continuo della rete di policy e la natura discreta e variabile nel tempo dei conteggi di arrivo dei task. Ciò garantisce un apprendimento stabile e assegnazioni di task intere fattibili.
3. Algoritmo di Allocazione Bilanciato per il Carico: Un algoritmo specifico è ideato per lo scheduling interno dell'ES che minimizza il tempo di completamento assegnando intelligentemente i task alle VM in base alle loro frequenze CPU e allo stato attuale della coda.
4. Valutazione Completa: Lo studio fornisce un confronto rigoroso rispetto a Particle Swarm Optimization (PSO) e baseline greedy, dimostrando l'efficacia del framework in ambienti dinamici.

Risultati Sperimentali
Il framework LME-PPO proposto è stato valutato utilizzando un simulatore Python/PyTorch con 20 server edge. Le principali scoperte includono:

• Convergenza: L'algoritmo converge più velocemente con meno ES (200 episodi per 20 ES) e dimostra una stabilità superiore rispetto agli algoritmi SAC e TD3.
• Riduzione della Latenza: L'approccio LME-PPO ha ottenuto un tempo di esecuzione medio del sistema significativamente inferiore (circa 3,7 ms) rispetto agli algoritmi PSO (4,5 ms) e Greedy (5,7 ms) su 100 episodi.
• Bilanciamento del Carico: Sotto diverse condizioni di carico di lavoro (basso, normale, alto), LME-PPO ha mantenuto costantemente il tempo di computazione medio più basso e la distribuzione dei tempi di esecuzione più bilanciata tra gli ES. Al contrario, gli algoritmi Greedy e PSO hanno mostrato tempi di esecuzione più elevati e maggiori fluttuazioni a causa dell'accumulo di task.
• Scalabilità: Il framework ha mantenuto prestazioni stabili attraverso diverse configurazioni di rete (300, 400, 500 neuroni) e fattori di sconto, con un fattore di sconto di 0,99 che ha fornito la migliore performance a lungo termine.

Significatività e Rivendicazioni
Il documento afferma che il framework LME-PPO fornisce una soluzione robusta e scalabile per gli ambienti di prossima generazione delle smart city. Colmando il divario tra le policy di controllo continuo e i requisiti di esecuzione discreti attraverso la mappatura lineare, l'approccio gestisce efficacementamente l'elevata variabilità dell'offloading dei task IoT. Gli autori sostengono che il loro metodo non solo raggiunge un bilanciamento del carico superiore, ma riduce anche significativamente la latenza media del sistema, offrendo un'alternativa pratica ai metodi euristici e di ottimizzazione tradizionale in scenari di edge computing dinamici. Il lavoro evidenzia la necessità di affrontare sia il bilanciamento del carico inter-server che lo scheduling dei task intra-server (livello VM) per massimizzare l'utilizzo delle risorse. Il lavoro futuro suggerisce di esplorare architetture decentralizzate e modelli di carico di lavoro più eterogenei.