🤖 AI

CloudCons: A Comprehensive End-to-End Benchmark for Cloud Resource Consolidation

Dit artikel introduceert CloudCons, een uitgebreide end-to-end benchmark die gebruikmaakt van diverse real-world cloud-datasets om aan te tonen dat hoewel foundation models uitblinken in zero-shot voorspellingsnauwkeurigheid, hun superieure prestaties niet automatisch vertalen naar een betere beslissingsutiliteit bij resourceconsolidatie, wat de cruciale rol van predictieve kwantielselectie benadrukt bij het balanceren van efficiëntie en betrouwbaarheid.

Oorspronkelijke auteurs: Xiaobin Zhang, Lefei Shen, Mouxiang Chen, Zhuo Li, Hongkai Li, Han Fu, Jianling Sun, Xiaoxue Ren, Chenghao Liu

Gepubliceerd 2026-06-12

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Xiaobin Zhang, Lefei Shen, Mouxiang Chen, Zhuo Li, Hongkai Li, Han Fu, Jianling Sun, Xiaoxue Ren, Chenghao Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de manager bent van een enorm, druk hotel (het Cloud Data Center). Je doel is om zoveel mogelijk gasten (computerprogramma's, of VM's) in het kleinste aantal hotelkamers (fysieke servers) te passen om geld te besparen, maar je mag een kamer nooit zo volboeken dat gasten niet kunnen slapen (het schenden van de Servicebetrouwbaarheid).

Momenteel zijn de meeste hotelmanagers erg voorzichtig. Ze laten veel kamers leeg voor het geval er onverwacht een gast komt opdagen. Dit wordt "over-provisioning" genoemd, en dit betekent dat het hotel slechts op 15–20% capaciteit draait, wat een enorme verspilling van geld is.

Om dit op te lossen, proberen managers te voorspellen wanneer gasten aankomen en vertrekken, zodat ze mensen efficiënt kunnen verplaatsen. Dit is de "Forecast-then-Optimize" strategie: eerst de toekomst raden, dan de zet doen.

Het Probleem: De "Kristallen Bol" Valstrik

Onlangs is er een nieuwe generatie superintelligente AI "kristallen bollen" (genoemd Foundation Models) gearriveerd. Deze modellen zijn getraind op enorme hoeveelheden data van over de hele wereld. Ze zijn geweldig in het voorspellen van de toekomst op een "zero-shot" manier, wat betekent dat ze het weer in een stad kunnen raden waar ze nog nooit van hebben gehoord zonder eerst die specifieke stad te hoeven bestuderen.

Echter, de onderzoekers achter dit artikel stelden een kritische vraag: "Alleen omdat de kristallen bol accuraat is in het voorspellen van het weer, betekent dat dan ook dat het de hotelmanager helpt om betere beslissingen te nemen?"

Ze ontdekten dat bestaande tests alleen controleerden hoe accuraat de kristallen bol was in het raden van getallen. Ze controleerden niet of die gissingen de manager daadwerkelijk hielpen om geld te besparen of gasten tevreden te houden.

De Oplossing: CloudCons (De Hotelsimulator)

De auteurs bouwden een nieuwe testomgeving genaamd CloudCons. Denk aan het als een hoogtechnologische vluchtsimulator voor hotelmanagers. In plaats van alleen te controleren of de AI het juiste getal raadde, simuleert het het volledige proces:

De Data: Ze voedden de simulator met echte wereldwijde data van drie gigantische "hotels": Huawei Cloud, Microsoft Azure en Google Borg. Deze hotels hebben zeer verschillende soorten gasten:
- Sommigen zijn voorspelbaar (zoals een dagelijkse forens).
- Sommigen zijn chaotisch en grillig (zoals een plotselinge flitsverkoop).
- Sommigen zijn luidruchtig en onrustig (zoals een feestje met willekeurige muziek).
De Test: Ze zetten drie soorten "voorspellers" tegenover elkaar:
- De Ouderwetse: Simpele statistische regels (zoals "als het gisteren regende, regent het vandaag ook").
- De Deep Learners: Complexe AI die specifiek voor dit hotel getraind moet worden.
- De Foundation Models: De nieuwe super-AI's die alles weten over elk hotel.
De Uitkomst: Ze keken niet alleen naar voorspellingsfouten. Ze keken naar het werkelijke resultaat: Hebben we geld bespaard? Hebben we het systeem laten crashen?

De Grote Verrassing

Het artikel onthult een contra-intuïtieve bevinding: De beste zijn in het voorspellen van de toekomst betekent niet automatisch dat je de beste bent in het beheren van het hotel.

De "Super-AI" Paradox: De chique Foundation Models waren inderdaad het meest accuraat in het voorspellen van de getallen. Echter, wanneer de hotelmanager die voorspellingen gebruikte om de kamers te bezetten, bespaarden ze niet altijd meer geld of voorkamen ze minder crashes dan de simpelere, goedkopere modellen.
Het "Overmoedigheids"-risico: In sommige chaotische omgevingen waren de super-AI's zo zelfverzekerd over hun "gemiddelde" voorspelling dat ze de kamers te krap bezetten. Wanneer er een plotselinge piek optrad (een "pulse"), crashte het systeem.
De "Simpele" Winnaar: Voor zeer voorspelbare, regelmatige werklasten waren de ouderwetse statistische modellen eigenlijk net zo goed als de super-AI's, maar dan veel goedkoper in gebruik.

De Geheime Hefboom: De "Veiligheidsmarge"

Het paper ontdekte dat de sleutel tot succes niet alleen ligt in welke AI je gebruikt, maar in hoe je naar haar luistert.

De meeste moderne AI's geven niet alleen één getal (bijv. "50 gasten morgen"). Ze geven een reeks mogelijkheden (bijv. "Het kan 40, 50 of 60 zijn"). De onderzoekers vonden dat de manager kan kiezen welk getal hij vertrouwt:

De "Gokker"-aanpak (Lage Kwantiel): Vertrouw op de onderkant van de voorspelling (bijv. "Het zal 40 zijn"). Dit bezet het hotel heel compact om geld te besparen, maar als er 60 mensen verschijnen, heb je een ramp.
De "Paranoïde" aanpak (Hoge Kwantiel): Vertrouw op de bovenkant van de voorspelling (bijv. "Het zou 60 kunnen zijn"). Dit laat lege kamers over (wat geld verspilt), maar garandeert dat er niemand wordt geweigerd.

De Gouden Regel:

Als je een kostengevoelige dienst draait (waar het besparen van geld de #1 prioriteit is), moet je een voorspelling kiezen die "het midden opzoekt".
Als je een missie-kritieke dienst draait (waar een crash onacceptabel is, zoals een ziekenhuisysteem), moet je de "paranoïde" hoge voorspelling kiezen, zelfs als dat betekent dat er lege kamers overblijven.

Samenvatting

Het artikel betoogt dat we niet alleen moeten streven naar de meest accurate AI-kristallen bol. In plaats daarvan moeten we begrijpen hoe de voorspellingen van die kristallen bol vertalen naar echte beslissingen in de praktijk. Soms is een "goed genoeg" voorspelling gecombineerd met een slimme veiligheidsmarge beter dan een "perfecte" voorspelling die tot een riskante beslissing leidt. De auteurs bieden een gids om die veiligheidsmarge af te stemmen om de balans te vinden tussen geld besparen en de lichten aanhouden.

Technische Samenvatting: CloudCons

Probleemstelling

Cloud datacenters lijden momenteel aan een lage resource-utilisatie (wereldwijde gemiddelde CPU-gebruik van 15%-20%) als gevolg van de conservatieve overprovisioning die nodig is om Service Level Agreements (SLA's) te garanderen. Hoewel het "forecast-then-optimize" paradigma is ontstaan om dit aan te pakken door toekomstige vraag te anticiperen voor proactieve resource-consolidatie, zijn bestaande evaluatiemethoden ontoereikend. Huidige benchmarks richten zich uitsluitend op voorspellingsfoutmetingen (bijv. MAE, MSE), en falen in het verifiëren of superieure voorspellingsnauwkeurigheid vertaalt naar een betere beslissingsnut (decision utility) voor downstream consolidatietaken. Bov�n naast de opkomst van tijdreeks-foundationmodellen (bijv. Moirai, Chronos, TimesFM), die beloven met zero-shot generalisatie te werken, blijft hun praktische effectiviteit in de specifiek context van cloud resource-consolidatie onverifieerd. Bestaande benchmarks missen ook multi-source diversiteit, uitgebreide modeldekking (vaak zonder foundation modellen of deep learning baselines) en een holistisch evaluatiekader dat de kloof tussen voorspellingsfout en beslissingskwaliteit overbrugt.

Methodologie

De auteurs stellen CloudCons voor, een uitgebreide end-to-end benchmark ontworpen om voorspellingsmodellen te evalueren binnen de specifieke context van cloud resource-consolidatie. Het framework bestaat uit drie kernmodules:

Multi-Cloud Datasets: De auteurs hebben hoogwaardige datasets geconstrueerd door real-world workload traces te verwerken van drie grote providers: Huawei Cloud (Huawei2025), Microsoft Azure (Azure2019) en Google Borg (Borg2019-d en Borg2019-e). Deze datasets zijn schoongemaakt, geïnterpoleerd en geaggregeerd in meerdere granulariteiten (5 min, 30 min, 1 uur). De workloads vertonen diverse kenmerken, waaronder gesynchroniseerde diurnale ritmes, stochastische pulsachtige pieken en hoogfrequente ruis.
Forecast-then-Optimize Workflow: De benchmark simuleert een tweestaps proces:
- Fase I (Vraagvoorspelling): Modellen genereren toekomstige vraagsequenties ( $H$ $H$ stappen vooruit) op basis van historisch gebruik. De evaluatie dekt een spectrum aan modellen:
  - Statistisch: AutoARIMA, AutoETS, AutoTheta.
  - Deep Learning: DeepAR, TFT, DLinear, PatchTST (getraind vanaf scratch op elke dataset).
  - Foundation Modellen: Moirai 2, Chronos 2, TimesFM 2.5, Sundial, TOTO, FlowState-9.1M, Kairos 50M (geëvalueerd in een zero-shot setting).
- Fase II (Resource Optimalisatie): Voorspelde vraag dient als input voor optimalisatie-algoritmen om consolidatiebeslissingen te genereren (VM-plaatsing op Physical Machines). Het probleem wordt geformuleerd als een dynamisch bin-packing probleem. Optimalisatiemethoden omvatten Heuristieken (First Fit Decreasing, Best Fit Decreasing), Meta-heuristieken (Ant Colony Optimization) en Exacte Solvers (Gurobi/MILP).
Uitgebreid Evaluatiepakket: Voorbijgaand aan enkelvoudige foutmetingen, evalueert de benchmark prestaties over vijf dimensies:
- Voorspellingsfout: MASE en CRPS.
- Resource Efficiëntie: Utilisatieverhouding (Util).
- Load Balans: Peak-to-Average Ratio (PAR).
- Service Betrouwbaarheid: Violation Rate (VR) en Violation Severity (VS).
- Onzekerheid Kwantificering: Prediction Interval Coverage Probability (PICP), Mean Prediction Interval Width (MPIW), en Winkler Score, beoordeeld via Monte Carlo-simulatie op PM-niveau.

Belangrijkste Bijdragen

End-to-End Framework: CloudCons integreert heterogene real-world workloads in een uniforme pipeline die forecasting en optimalisatie overbrugt, waardoor de beperking van het evalueren van forecasting modellen uitsluitend op voorspellings-taken wordt doorbroken.
Decision-Centric Benchmarking: Het stelt een nieuwe baseline vast voor het beoordelen van het praktische nut van tijdreeks-foundationmodellen bij het aansturen van consolidatiebeslissingen, in plaats van alleen hun voorspellingsnauwkeurigheid.
Systematische Analyse van Quantile Selectie: Het werk biedt bruikbare richtlijnen over hoe de selectie van voorspellende quantielen fungeert als een kritieke hefboom om de trade-off tussen resource-efficiëntie en service-betrouwbaarheid te balanceren.

Experimentele Resultaten

De experimenten adresseren drie onderzoeksvragen:

Voorspellingsnauwkeurigheid (RQ1): Foundation modellen (bijv. Chronos 2, TimesFM 2.5) vertonen superieure zero-shot voorspellingsnauwkeurigheid over diverse en complexe cloud-omgevingen (Huawei2025, Azure2019), waarbij ze statistische baselines en deep learning modellen die vanaf scratch getraind zijn, overtreffen. Echter, in zeer geregulariseerde omgevingen (Borg2019-e) bereiken traditionele deep learning modellen zoals PatchTST een nauwkeurigheid die vergelijkbaar is met foundation modellen.
Beslissingsnut (RQ2): Een cruciaal bevinding is de misalignement tussen voorspellingsnauwkeurigheid en beslissingsnut. Ondanks superieure voorspellingsmetrieken, leiden foundation modellen niet inherent tot betere consolidatie-uitkomsten. In sommige gevallen (bijv. Azure2019) presteren deep learning modellen zoals PatchTST en DeepAR beter op betrouwbaarheidsmetrieken (VR, VS) dan foundation modellen, omdat ze piekbelastingen beter vastleggen, zelfs als hun algemene voorspellingsfout hoger is. In zeer geregulariseerde workloads bieden traditionele, kostenefficiënte modellen vaak meer pragmatische oplossingen dan foundation modellen.
Quantile Sensitiviteit (RQ3): De selectie van voorspellende quantielen ( $\alpha$ $α$ ) heeft een significante impact op de trade-off tussen efficiëntie en betrouwbaarheid.
- $\alpha \in [0.4, 0.6]$ (Mediaan-gebaseerd): Geschikt voor kostengevoelige applicaties; maximaliseert resource-utilisatie maar brengt een hoger risico op schendingen (violations) met zich mee in volatiele omgevingen.
- $\alpha \geq 0.8$ (High-quantile): Cruciaal voor missie-kritieke services. Het verschuiven naar hogere quantielen vermindert de risico's op resource-contention aanzienlijk met een beperkte impact op de utilisatie in onvoorspelbare scenario's.
- Onzekerheid: Foundation modellen zoals Chronos 2 vertonen een uitzonderlijke probabilistische kalibratie, terwijl anderen (bijv. FlowState) een distributionele misalignement kunnen vertonen, wat leidt tot misleidende veiligheidsmarges.

Betekenis en Claims

Het artikel claimt dat CloudCons een kritiek gat in de literatuur vult door de focus van de evaluatie te verschuiven van pure voorspellingsfout naar beslissingsnut. De auteurs stellen dat een hoge voorspellingsnauwkeurigheid geen voldoende voorwaarde is voor optimale resource-consolidatie. Bijgevolg biedt de benchmark vitale inzichten voor real-world implementatie:

Model Selectie: Foundation modellen zijn aantrekkelijk voor complexe, volatiele omgevingen vanwege hun zero-shot generalisatie, maar traditionele modellen blijven levensvatbaar en potentieel efficiënter voor stabiele, periodieke workloads.
Operationele Richtlijnen: De studie biedt concrete aanbevelingen voor het kalibreren van voorspellende quantielen. Operators moeten niet alleen vertrouwen op mediane voorspellingen; in plaats daarvan moeten zij strategisch quantielen selecteren op basis van hun specifieke betrouwbaarheidseisen (bijv. het gebruik van $\alpha \geq 0.8$ voor high-reliability services) om de balans tussen resource-efficiëntie en service-betrouwbaarheid te beheren.

Het werk concludeert dat het overbruggen van de kloof tussen forecasting en besluitvorming evaluatiemetrieken vereist die de downstream systeemprestaties reflecteren, in plaats van slechts statistische fouten.