🤖 AI

CLOUDADV: Decision-Aligned Instance Sizing with Zero-Shot Foundation Models under Drift

Het artikel introduceert CLOUDADV, een interactief adviesysteem dat gebruikmaakt van zero-shot foundation models om kosteneffectieve, drift-resistente aanbevelingen voor de grootte van cloudinstances te genereren, waarbij significante kostenbesparingen en lage overschrijdingspercentages in productieomgevingen worden aangetoond zonder de noodzaak voor per-tenant model hertraining.

Oorspronkelijke auteurs: Jack Bell, Giacomo Carfi, Gerlando Gramaglia, Andrea Simioni, Daniele Fontani, Vincenzo Lomonaco

Gepubliceerd 2026-07-01

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jack Bell, Giacomo Carfi, Gerlando Gramaglia, Andrea Simioni, Daniele Fontani, Vincenzo Lomonaco

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een vloot bestelwagens bezit. Jarenlang heb je de grootste, duurste vrachtwagens mogelijk gehuurd omdat je bang was dat je op een drukke dag te weinig ruimte zou hebben. Maar hier is het probleem: 90% van de tijd rijden deze enorme vrachtwagens halfleeg rond. Je betaalt een fortuin aan benzine en huurkosten die je niet nodig hebt, terwijl de vrachtwagens stilstaan.

Dit is precies wat er in de cloud gebeurt. Bedrijven huren krachtige virtuele computers (VM's) om hun software te draaien, maar ze "over-provisioneren" vaak, wat betekent dat ze veel meer kracht huren dan ze daadwerkelijk gebruiken. Dit verspilt geld en energie.

Maak kennis met CLOUDADV, een nieuw "slim adviseursysteem" ontworpen om engineers te helpen de juiste grootte voor hun cloudcomputers te bepalen zonder een cent te verspillen. Zo werkt het, uitgelegd aan de hand van eenvoudige concepten:

1. Het Probleen: Het "Kristallen Bol"-dilemma

Om de verspilling tegen te gaan, moet je de toekomst voorspellen. Je moet weten: Zal mijn computer volgende week meer kracht nodig hebben? Of kan ik de capaciteit verkleinen?
Traditioneel moest je om deze voorspellingen te maken voor elke individuele computer een eigen "kristallen bol" (een machine learning-model) bouwen. Als het gedrag van de computer veranderde (zoals een plotselinge piek in het verkeer), ging die kristallen bol kapot en moest je hem vanaf nul opnieuw opbouwen. Het was traag, duur en veel werk.

2. De Oplossing: De "Universele Vertaler"

De onderzoekers gebruikten een nieuw type AI genaamd een Zero-Shot Foundation Model (specifiek een model genaamd Chronos-2).

De Analogie: Denk aan een traditioneel model als een specialist die slechts één taal spreekt (bijv. "Ik begrijp alleen de verkeersgegevens van deze specifieke vrachtwagen"). Als je hen een andere vrachtwagen geeft, zijn ze de weg kwijt.
De Nieuwe AI: Het Zero-Shot model is als een Universele Vertaler. Het heeft al miljoenen verschillende verhalen (datapatronen) gelezen. Wanneer je het de gegevens van een nieuwe vrachtwagen laat zien, hoeft het deze niet eerst te "bestuderen". Het begrijpt het patroon direct en kan de toekomst voorspellen, ongeacht hoe het gedrag van de vrachtwagen verandert. Het hoeft niet telkens opnieuw getraind te worden wanneer de situatie verschuift.

3. Hoe CLOUDADV Werkt: De "Beslissingssandwich"

Het systeem geeft niet alleen een getal; het handelt als een zorgvuldige consultant.

Bewijsvoering verzamelen: Het kijkt naar het historisch gebruik van de computer (zoals het controleren van het logboek van de vrachtwagen), voorspelt toekomstige behoeften met behulp van de Universele Vertaler en controleert de prijslijst voor verschillende computerformaten.
De "Begrensde" Context: Het plaatst al deze informatie in een gestructureerde "beslissingsdoos". Het vertelt de AI: "Hier is de historie, hier is de voorspelling, hier zijn de beschikbare opties en hier zijn de veiligheidsregels (bijv. 'ga niet onder 85% capaciteit om slechts een paar dollar te besparen')".
De Aanbeveling: Een Large Language Model (LLM) leest deze doos en stelt een actie voor: "Verkleinen naar een kleiner formaat", "Zo laten als het is", of "Upgraden".
De Veiligheidscontrole: Voordat het systeem de aanbeveling aan de engineer laat zien, controleert het de berekeningen dubbel. Heeft het een computer gesuggereerd die daadwerkelijk bestaat? Is de prijs correct? Zo niet, dan corrigeert het zichzelf.

4. De "Grote Brein" vs. De "Snelle Brein" Test

De onderzoekers wilden weten of een kleinere, goedkopere AI hetzelfde werk kon doen als een enorme, dure AI.

Het Grote Brein (Offline): Ze gebruikten een superkrachtige AI (Claude Opus) om de "gouden standaard" aanbevelingen te genereren.
Het Snelle Brein (Online): Ze testten een kleinere, snellere AI (Qwen3.5) om te zien of deze de adviezen van het Grote Brein in realtime kon evenaren.
De Resultaten: Het Snelle Brein stemde bijna altijd overeen met het Grote Brein (meer dan 85% overeenkomst). Dit betekent dat bedrijven de goedkopere, snellere AI in productie kunnen gebruiken zonder kwaliteitsverlies.

5. De Resultaten: Geld Besparen Zonder Te Crashen

Ze hebben dit getest op zeven echte computers.

De Besparingen: Het systeem suggereerde wijzigingen die de maandelijkige rekening zouden verlagen van $1.503 naar $708. Dat is een besparing van 53% (ongeveer $795 per maand) simpelweg door de juiste grootte te kiezen.
De Veiligheid: Ze controleerden of de kleinere computers zouden crashen. Het resultaat? De "overshoot" (wanneer de computer te vol raakt) kwam zeer zelden voor. Het ergste geval was slechts 1,5% van de tijd.
De Kanttekening: Het systeem is een adviseur, geen robotchauffeur. Het geeft de aanbeveling, maar een menselijke engineer moet kijken en zeggen: "Ja, dat is logisch", voordat de wijziging wordt doorgevoerd. Dit is cruciaal omdat de AI niet op de hoogte kan zijn van een geheime vergadering volgende week waar een bedrijf bijvoorbeeld een nieuw product lanceert.

Samenvatting

CLOUDADV is als een slimme financiële adviseur voor je cloudcomputers. Het gebruikt een "Universele Vertaler" AI om het gebruik te voorspellen zonder dat het telkens opnieuw getraind hoeft te worden bij veranderingen. Het bundelt de gegevens, de voorspelling en de veiligheidsregels in een heldere aanbeveling, controleert het eigen werk en stelt manieren voor om de kosten met bijna de helft te verlagen. Het beste deel? Het werkt zo goed dat een kleinere, goedkopere AI net zo goed het werk kan doen als de dure variant, wat het praktisch bruikbaar maakt voor de echte wereld.

Technische Samenvatting: CLOUDADV

Probleemstelling

Cloud virtuele machines (VM's) zijn frequent overgeprovisioneerd, wat leidt tot aanzienlijke operationele kosten en inefficiëntie van middelen. Huidige provisioning-praktijken vertrouwen vaak op conservatieve, statische dimensionering gebaseerd op de verwachte piekvraag, waardoor middelen gedurende langere perioden onderbenut blijven. Hoewel geautomatiseerde tools voor right-sizing bestaan, vertrouwen deze doorgaans op vaste lookback-vensters en percentielgebaseerde heuristieken, waarbij ze een gebrek hebben aan vooruitziende prognoses of mechanismen voor feedback van engineers. Bovendien vereisen traditionele supervised forecasting-modellen per-VM hertraining, revalidatie en redeployment-cycli wanneer het workload-gedrag afwijkt, wat zorgt voor operationele overhead en latentie. De kernuitdaging die wordt aangepakt, is hoe men kan komen tot decision-aligned instantie-dimensionering—waarbij de prognose een veilige en kosteneffectieve provisioning-actie ondersteunt—onder workload-drift zonder de last van het onderhouden van aparte, herb trainable modellen voor elke tenant of horizon.

Methodologie

De auteurs presenteren CLOUDADV, een interactief, engineer-gericht adviesysteem ontworpen om VM-dimensioneringsaanbevelingen te genereren over dag-, week- en maand-schaal planning-horizons. Het systeem werkt via een gestructureerde pipeline:

Telemetrie en Preprocessing: Het systeem verwerkt CPU-utilisatie en beschikbare geheugeninformatie met intervallen van 1 minuut. Geheugengebruik wordt afgeleid door de beschikbare hoeveelheid geheugen af te trekken van de totale capaciteit van de huidige SKU. Data wordt hersampled naar horizon-specifieke granulariteiten (30 min, 6 uur, 12 uur) en geïmputeerd voor ontbrekende waarden.
Zero-Shot Forecasting: In plaats van per-VM modellen te trainen, maakt CLOUDADV gebruik van zero-shot time-series foundation models (specifiek Chronos-2 en TimesFM 2.5) om probabilistische prognoses te genereren. Deze modellen vereisen geen taakspecifieke training, waardoor ze zich kunnen aanpassen aan workload-drift zonder hertrainings-triggers.
Bounded Decision Context Constructie: Prognoses worden niet direct naar acties gemapt via closed-form regels. In plaats daarvan construeert het systeem een gestructureerde beslissingscontext ( $c_{i,t,H}$ $c_{i, t, H}$ ) die bevat:
- Huidige SKU-metadata en prijsstelling.
- Historische en geforecasted utilisatie-samenvattingen (50e, 95e en effectieve 95e percentielen).
- Een gefilterde lijst van kandidaat-SKU's beperkt tot een buurt van de huidige allocatie (binnen een factor $\delta=2.0$ ).
- Expliciete dimensioneringsheuristieken ( $\Gamma_H$ ) die conservatieve headroom-vereisten afdwingen ( $\tau_{cpu}=0.85, \tau_{mem}=0.80$ ).
Aanbevelingsgeneratie: Een Large Language Model (LLM) aanbevelingslaag verwerkt de bounded context om een gestructureerde aanbeveling te generen (Actie: behouden/verlagen/verhogen, Target SKU, Ratio).
- Referentiemodel: Een model met hogere capaciteit (Claude Opus 4.6) wordt offline gebruikt om referentie-aanbevelingen te generen.
- Productiemodel: Een kleiner model (Qwen3.5-35B) wordt online geëvalueerd om de alignment te beoordelen onder latentie- en kostenrestricties.
- Verificatie: Outputs worden geverifieerd tegen de onderliggende bewijslast om te waarborgen dat identificatoren en numerieke waarden overeenkomen met de opgehaalde context voordat ze aan de engineer worden gepresenteerd.

Belangrijkste Bijdragen

Decision-Aligned Formulering: Het artikel herformuleert cloud instantie-dimensionering als een decision-aligned forecasting probleem, waarbij de prioriteit ligt bij het behoud van de downstream provisioning-beslissing boven de reductie van ruwe forecastfouten.
CLOUDADV Systeemontwerp: De auteurs ontwerpen een interactief systeem dat zero-shot forecasting, gestructureerde evidence retrieval en policy-constrained LLM-aanbevelingsgeneratie integreert.
Deployment-Aware Evaluatie-pipeline: Een nieuw framework wordt geïntroduceerd om de alignment tussen een sterk offline referentiemodel en een kleiner, in productie bruikbaar model te beoordelen met behulp van identieke bounded prompts.
Empirische Evaluatie: Het systeem wordt geëvalueerd op zeven productie-VM's met behulp van gesimuleerde kostenbesparingen, ex-post exceedance rates en forecast nauwkeurigheidsmetingen over meerdere horizons.

Resultaten

Kostenoptimalisatie: In een casestudy van zeven productie-VM's verminderden de referentie-aanbevelingen de gesimuleerde maandelijkse kosten van ongeveer $1.503 naar $708, wat een besparing oplevert van $795/maand (52,9%). Zes van de zeven VM's ontvingen een downgrade-aanbeveling, terwijl één werd behouden.
Veiligheid en Exceedance: Het systeem behield een lage exceedance rate. De hoogst geobserveerde exceedance bij de downgrade-gevallen was 1,5% (voor VM R7). Drie van de vijf downgrade-gevallen met een non-zero exceedance hadden rates onder de 0,2%. Echter, wanneer exceedance optrad, kon dit ernstig zijn (bijv. CPU-overflow tot 85,6 procentpunten bij de 95e percentiel voor R6).
Forecast Nauwkeurigheid: Chronos-2 en TimesFM 2.5 behaalden competitieve prestaties over alle horizons (Dag, Week, Maand) vergeleken met klassieke (ARIMA, Prophet) en supervised (TSMixer) baselines, ondanks het ontbreken van per-VM training.
Model Alignment: De overeenkomst tussen het referentiemodel (Opus 4.6) en het productiemodel (Qwen3.5-35B) was hoog. De exacte SKU-overeenkomst varieerde van 78,6% tot 100,0%, en de overeenkomst op actieniveau varieerde van 85,7% tot 100,0%. De alignment was het sterkst bij de dag- en week-horizons, met een lichte degradatie bij de maand-horizon, met name nabij de beslissingsgrenzen.
Engineer Audit: Een gestratificeerde audit van 17 aanbevelingen (ongeveer 10% van de set) resulteerde in een pass rate van 100%, waarbij 15 gevallen exact overeenkwamen met een door een engineer afgeleide baseline en 2 gevallen acceptabel werden geacht ondanks kleine SKU-variaties.

Betekenis en Claims

Het artikel claimt dat zero-shot foundation models effectief kunnen bijdragen aan decision-aligned provisioning in niet-stationaire cloud-omgevingen. De primaire betekenis ligt in het aantonen dat:

Zero-shot modellen aanbevelingspatronen kunnen induceren die vergelijkbaar zijn met supervised per-VM baselines zonder de operationele last van herhaalde hertraining, revalidatie en redeployment.
Een kleiner, goedkoper productiemodel nauw kan aansluiten bij een sterker referentiemodel wanneer het opereert binnen een bounded, evidence-constrained beslissingscontext.
CLOUDADV een praktisch alternatief biedt voor teams die niet in staat zijn om per-tenant supervised forecasting-pipelines te onderhouden, door middel van vooruitziende, op prognoses gebaseerde aanbevelingen die retrospectieve utilisatie-samenvattingen aanvullen.

De auteurs blijven bescheiden over de generaliseerbaarheid en merken op dat de studie beperkt is tot zeven VM's en dat het systeem bedoeld is als een adviserend mechanisme dat review door een engineer vereist, met name voor geheugengevoelige workloads of systemen die significante veranderingen ondergaan. Ze erkennen dat het systeem kwetsbaar is voor niet-stationariteit buiten de historische context-window (bijv. migraties, lange zakelijke cycli).