Adaptive constrained reinforcement learning for energy-aware scheduling under changing load

Sintesi Tecnica: Apprendimento per Rinforzo Adattivo e Vincolato per la Pianificazione Consapevole dell'Energia

Definizione del Problema
Gli scheduler consapevoli dell'energia devono bilanciare due obiettivi contrastanti: minimizzare il consumo energetico e mantenere la reattività (rispettare i target di latenza o gli Obiettivi di Livello di Servizio, SLO). L'approccio dominante nella letteratura recente utilizza l'Apprendimento per Rinforzo (RL) per apprendere questo compromesso scalarizzando gli obiettivi in un unico peso di ricompensa (ad esempio, una somma pesata di energia e penalità di latenza).

Gli autori identificano un fallimento strutturale critico in questo approccio scalarizzato: lo scivolamento del punto operativo (operating-point drift). Un peso di ricompensa fisso corrisponde a un determinato compromesso, ma il punto operativo risultante (l'effettivo equilibrio tra energia e latenza) non è stabile; esso si sposta al variare del carico di lavoro.

• Sotto carico leggero: un peso fisso spesso lascia il processore in funzione a una velocità superiore al necessario, sprecando energia perché il budget di latenza è sottoutilizzato.
• Sotto carico pesante: lo stesso peso non riesce a fornire velocità sufficiente, causando uno scivolamento silenzioso oltre il target di latenza e accumulando violazioni.
  Di conseguenza, nessun singolo peso fisso può mantenere un target di violazione specifico attraverso una gamma di carichi variabili.

Metodologia: CLASP
Il documento introduce CLASP (Constrained Lagrangian Adaptive Scheduling Policy), uno scheduler che tratta il tasso di violazione della latenza come un vincolo esplicito piuttosto che come una componente della ricompensa. Il metodo affronta due sfide principali nell'applicazione dell'RL vincolato alla pianificazione: la sensibilità degli aggiornamenti delle variabili duali e la non stazionarietà dei carichi di lavoro.

1. Formulazione Vincolata: Il problema è modellato come un Processo Decisionale di Markov Vincolato (CMDP). L'obiettivo è minimizzare la potenza attesa soggetto a un vincolo per cui il tasso di violazione a lungo termine rimanga al di sotto di un target $\epsilon$ (ad esempio, il 5%).
2. Controllo Duale Adattivo (PID): Invece di utilizzare la classica ascesa del gradiente per aggiornare il moltiplicatore di Lagrange (il "prezzo" sulle violazioni), CLASP impiega un controllore Proporzionale-Integrale-Derivativo (PID). Questo controllore regola il prezzo $\lambda$ in base all'errore tra il tasso di violazione osservato e il target. Ciò stabilizza la variabile duale, prevenendo le oscillazioni comuni negli aggiornamenti ingenui e permettendo al prezzo di assestarsi sul valore richiesto dal carico corrente.
3. Condizionamento del Prezzo: Per gestire carichi di lavoro non stazionari, la politica appresa è condizionata dalla pressione attuale del vincolo (il prezzo $\lambda$) e da una stima del carico. Lo spazio degli stati è aumentato con un bin discretizzato del prezzo corrente. Ciò consente a una singola politica di adattare il proprio comportamento (ad esempio, diventando più conservativa o aggressiva) in base al segnale del prezzo, coprendo efficacemente l'intero intervallo di punti operativi richiesti dai diversi carichi.

Contributi Chiave

• Identificazione dello Scivolamento: Gli autori quantificano lo scivolamento del punto operativo degli scheduler scalarizzati, dimostrando che nessun peso fisso in una serie di test effettuati può mantenere un target di violazione del 5% attraverso carichi che vanno da leggeri a quasi saturi.
• Aggiornamenti Duali Stabilizzati: L'integrazione di un controllore PID per il moltiplicatore di Lagrange riesce a smorzare le oscillazioni e permette al prezzo di convergere al livello necessario per il carico corrente.
• Condizionamento della Politica: Il documento dimostra che condizionare la politica sul valore duale è essenziale affinché una singola politica funzioni correttamente attraverso carichi variabili, risolvendo il problema della non stazionarietà senza necessità di riaddestramento.

Risultati
Gli esperimenti sono stati condotti in un ambiente simulato a server singolo con velocità regolabile (che modella il DVFS) e arrivi di job distribuiti secondo una distribuzione di Poisson.

• Tracciamento del Target: CLASP ha tracciato con successo un target di violazione del 5% attraverso carichi di arrivo da 1,5 a 3,0 job/step. Anche vicino alla saturazione (carico 3,5), dove il target diventa difficile da soddisfare, CLASP è degradato con grazia verso il 6,9%, mentre le politiche a peso fisso hanno subito scivolamenti significativi (ad esempio, un peso bilanciato è passato dal 3% al 31% di violazioni).
• Efficienza Energetica: Rispetto a un baseline "run-fastest" (che è sempre conforme ma inefficiente dal punto di vista energetico), CLASP ha utilizzato circa il 50% in meno di potenza modellata in media. Con carichi leggeri, i risparmi sono stati fino al 70%; con carichi pesanti, i risparmi erano intorno al 20%.
• Adattamento Non Stazionario: In esperimenti con spostamenti improvvisi del carico di lavoro, il controllore PID ha regolato il prezzo online, riportando il tasso di violazione al target dopo brevi transitori.
• Studi di Ablazione: Rimuovere il controllore PID (fissando il prezzo) ha causato un comportamento troppo conservativo con carichi bassi e violazioni dei vincoli con carichi alti. Rimuovere il condizionamento del prezzo ha causato il fallimento della politica nell'adattarsi ai diversi livelli di prezzo, portando a un significativo scivolamento. Entrambi i componenti sono stati confermati come necessari.

Significatività e Rivendicazioni
Il documento sostiene che la difficoltà centrale nell'apprendere scheduler consapevoli dell'energia non sia trovare un buon compromesso, ma mantenere stabile il compromesso scelto al variare delle condizioni.

• Cambio di Paradigma: Il lavoro propone un passaggio dal "regolare un peso" (che codifica un compromesso fragile) al "tracciare un risultato" (un tasso di violazione limitato).
• Controllabilità: Rendendo l'obiettivo del servizio un vincolo esplicito e controllando il suo prezzo tramite feedback, il punto operativo diventa una quantità controllata piuttosto che una quantità emergente e soggetta a scivolamento.
• Generalizzabilità: Gli autori suggeriscono che questo schema — sostituire le ricompense scalari con formulazioni basate su vincoli utilizzando prezzi controllati tramite feedback — è applicabile ovunque una politica appresa debba rispettare un obiettivo di servizio sotto condizioni variabili, come il controllo dell'ammissione alla rete o la gestione dell'energia dei dispositivi edge.

Limitazioni
Gli autori notano che i risultati si basano su una simulazione a tempo discreto su un singolo server con un agente Q-learning tabulare. I valori di potenza sono modellati, non misurati su hardware. Lo studio isola il meccanismo di vincolo, ed è necessario lavoro futuro per validare questi risultati su testbed hardware e per estendere l'approccio al Deep RL, a job eterogenei e ad ambienti multi-server.