Riepilogo Tecnico: CloudCons

Definizione del Problema

I data center cloud soffrono attualmente di una bassa utilizzazione delle risorse (media globale del CPU usage del 15%-20%) a causa dell'over-provisioning conservativo richiesto per garantire gli SLA (Service Level Agreements). Sebbene il paradigma "forecast-then-optimize" (previsione e successiva ottimizzazione) sia emerso per affrontare questo problema anticipando le future richieste per un consolidamento proattivo delle risorse, i metodi di valutazione esistenti sono insufficienti. Gli attuali benchmark si concentrano esclusivamente sulle metriche di errore di previsione (es. MAE, MSE), fallendo nel verificare se una superiore accuratezza della previsione si traduca in una migliore utilità decisionale per i task di consolidamento a valle. Inoltre, l'emergere dei modelli foundation per le serie temporali (es. Moirai, Chronos, TimesFM) promette una generalizzazione zero-shot, ma la loro efficacia pratica nel contesto specifico del consolidamento delle risorse cloud rimane non verificata. I benchmark esistenti mancano anche di diversità multi-fonte, di una copertura completa dei modelli (spesso omettendo i modelli foundation o i baseline di deep learning) e di un framework di valutazione olistico che colmi il divario tra errore di previsione e qualità decisionale.

Metodologia

Gli autori propongono CloudCons, un benchmark end-to-end completo progettato per valutare i modelli di previsione all'interno del contesto specifico del consolidamento delle risorse cloud. Il framework consiste in tre moduli core:

1. Dataset Multi-Cloud: Gli autori hanno costruito dataset di alta qualità elaborando tracce di carichi di lavoro reali provenienti da tre grandi provider: Huawei Cloud (Huawei2025), Microsoft Azure (Azure2019) e Google Borg (Borg2019-d e Borg2019-e). Questi dataset sono stati puliti, interpolati e aggregati in molteplici granularità (5 min, 30 min, 1 ora). I carichi di lavoro esibiscono caratteristiche diverse, tra cui ritmi diari sincronizzati, burst stocastici di tipo pulsante e rumore ad alta frequenza.
2. Workflow Forecast-then-Optimize: Il benchmark simula un processo in due fasi:
   • Fase I (Demand Forecasting): I modelli generano sequenze di domanda futura ($H$ passi avanti) basate sull'utilizzo storico. La valutazione copre uno spettro di modelli:
     • Statistici: AutoARIMA, AutoETS, AutoTheta.
     • Deep Learning: DeepAR, TFT, DLinear, PatchTST (addestrati da zero su ciascun dataset).
     • Foundation Models: Moirai 2, Chronos 2, TimesFM 2.5, Sundial, TOTO, FlowState-9.1M, Kairos 50M (valutati in un setting zero-shot).
   • Fase II (Resource Optimization): Le domande previste servono come input per algoritmi di ottimizzazione per generare decisioni di consolidamento (posizionamento delle VM sulle Physical Machines). Il problema è formulato come un problema di bin-packing dinamico. I metodi di ottimizzazione includono Euristiche (First Fit Decreasing, Best Fit Decreasing), Meta-euristiche (Ant Colony Optimization) e Solutori Esatti (Gurobi/MILP).
3. Suite di Valutazione Completa: Andando oltre le singole metriche di errore, il benchmark valuta le prestazioni attraverso cinque dimensioni:
   • Errore di Previsione: MASE e CRPS.
   • Efficienza delle Risorse: Rapporto di utilizzazione (Util).
   • Bilanciamento del Carico: Peak-to-Average Ratio (PAR).
   • Affidabilità del Servizio: Tasso di Violazione (VR) e Severità della Violazione (VS).
   • Quantificazione dell'Incertezza: Prediction Interval Coverage Probability (PICP), Mean Prediction Interval Width (MPIW) e Winkler Score, valutati tramite simulazione Monte Carlo a livello di PM.

Contributi Chiave

• Framework End-to-End: CloudCons integra carichi di lavoro eterogenei del mondo reale in una pipeline unificata che collega la previsione all'ottimizzazione, superando il limite di valutare i modelli di previsione esclusivamente su compiti di predizione.
• Benchmarking Centrato sulla Decisione: Stabilisce un nuovo baseline per valutare l'utilità pratica dei modelli foundation per le serie temporali nel guidare le decisioni di consolidamento, piuttosto che solo la loro accuratezza predittiva.
• Analisi Sistematica della Selezione dei Quantili: Il lavoro fornisce linee guida azionabili su come la selezione dei quantili predittivi agisca come una leva critica per bilanciare il trade-off tra efficienza delle risorse e affidabilità del servizio.

Risultati Sperimentali

Gli esperimenti affrontano tre domande di ricerca:

1. Accuratezza della Previsione (RQ1): I modelli foundation (es. Chronos 2, TimesFM 2.5) dimostrano una superiore accuratezza di previsione zero-shot attraverso diversi e complessi ambienti cloud (Huawei2025, Azure2019), superando i baseline statistici e i modelli di deep learning addestrati da zero. Tuttavia, in ambienti altamente regolarizzati (Borg2019-e), i modelli di deep learning tradizionali come PatchTST raggiungono un'accuratezza comparabile ai modelli foundation.
2. Utilità Decisionale (RQ2): Un risultato cruciale è il disallineamento tra accuratezza della previsione e utilità decisionale. Nonostante le superiori metriche di predizione, i modelli foundation non si traducono intrinsecamente in migliori esiti di consolidamento. In alcuni casi (es. Azure2019), modelli di deep learning come PatchTST e DeepAR superano i modelli foundation nelle metriche di affidabilità (VR, VS) catturando meglio i picchi di carico, anche se il loro errore di previsione complessivo è maggiore. Nei carichi di lavoro altamente regolarizzati, i modelli tradizionali più efficienti nei costi spesso forniscono soluzioni più pragmatiche rispetto ai modelli foundation.
3. Sensibilità dei Quantili (RQ3): La selezione dei quantili predittivi ($\alpha$) impatta significativamente il trade-off tra efficienza e affidabilità.
   • $\alpha \in [0.4, 0.6]$ (Basato sulla mediana): Adatto per applicazioni sensibili ai costi, massimizzando l'utilizzazione delle risorse ma rischiando tassi di violazione più elevati in ambienti volatili.
   • $\alpha \geq 0.8$ (Alto quantile): Critico per servizi mission-critical. Passare a quantili più alti mitiga significativamente i rischi di contesa delle risorse con un impatto limitato sull'utilizzazione in scenari imprevedibili.
   • Incertezza: I modelli foundation come Chronos 2 mostrano un'eccezionale calibrazione probabilistica, mentre altri (es. FlowState) possono mostrare un disallineamento distributivo, portando a margini di sicurezza ingannevoli.

Significato e Claim

Il paper sostiene che CloudCons colmi un vuoto critico nella letteratura spostando il focus della valutazione dall'errore di pura predizione all'utilità decisionale. Gli autori affermano che un'alta accuratezza della previsione non è una condizione sufficiente per un'ottimale consolidamento delle risorse. Di conseguenza, il benchmark offre intuizioni vitali per il deployment nel mondo reale:

• Selezione del Modello: I modelli foundation sono convincenti per ambienti complessi e volatili grazie alla generalizzazione zero-shot, ma i modelli tradizionali rimangono validi e potenzialmente più efficienti per carichi di lavoro stabili e periodici.
• Linee Guida Operative: Lo studio fornisce raccomandazioni concrete per calibrare i quantili predittivi. Gli operatori non dovrebbero affidarsi esclusivamente alle previsioni mediane; devono invece selezionare strategicamente i quantili in base ai loro specifici requisiti di affidabilità (es. utilizzando $\alpha \geq 0.8$ per servizi ad alta affidabilità) per bilanciare il trade-off tra efficienza delle risorse e affidabilità del servizio.

Il lavoro conclude che colmare il divario tra previsione e decision-making richiede metriche di valutazione che riflettano le prestazioni del sistema a valle, piuttosto che solo l'errore statistico.