CloudFormer: An Attention-based Performance Prediction for Public Clouds with Unknown Workload

Dit paper introduceert CloudFormer, een Transformer-gebaseerd model dat prestatiedegradatie van virtuele machines in publieke clouds met onbekende werklasten nauwkeurig voorspelt door gebruik te maken van een dubbelvertakkingsarchitectuur en een gedetailleerde dataset, waardoor het significant beter presteert dan bestaande methoden.

De kern

CloudFormer: De "Voorspeller" voor de Digitale Wereld

Stel je voor dat een grote, moderne wolkenkrabber (de Cloud) vol zit met verschillende kantoren. In deze wolkenkrabber werken duizenden bedrijven tegelijkertijd. Om ruimte te besparen, zitten ze niet allemaal in hun eigen gebouw, maar delen ze dezelfde fundering, dezelfde liftsystemen en dezelfde stroomvoorziening. In de tech-wereld noemen we deze kantoren Virtuele Machines (VM's).

Het probleem? Soms wordt het te druk. Als één bedrijf een enorme verhuizing doet (een zware taak), kan het de liften blokkeren of de stroom opzuigen. Hierdoor werken de bureaus van de buren ineens trager, zelfs als zij zelf niets verkeerd doen. Dit noemen we interferentie. Voor de eigenaren van die kantoren is dit een nachtmerrie: hun software wordt traag, maar ze weten niet waarom, omdat ze de binnenkant van de wolkenkrabber niet kunnen zien (het is een "black box").

Tot nu toe konden beheerders van deze wolkenkrabbers alleen maar reageren nadat het al te laat was. Ze zagen dat het traag was, en probeerden toen iets te doen. Maar wat als je het probleem kon zien voordat het gebeurde?

Hier komt CloudFormer in beeld.

Wat is CloudFormer eigenlijk?

CloudFormer is een slimme computerprogramma (een kunstmatige intelligentie) dat fungeert als een super-voorspeller. Het kan kijken naar de "ademhaling" van de wolkenkrabber en zeggen: "Hé, over 10 seconden wordt het hier drukker, en die ene kantoor zal waarschijnlijk 20% trager worden."

Maar hoe doet het dit zonder naar binnen te kijken? Het gebruikt een slimme truc: een twee-branch Transformer-model. Laten we dit uitleggen met een analogie uit het dagelijks leven.

De Twee Ogen van CloudFormer

Stel je voor dat CloudFormer twee verschillende soorten brillen draagt om naar de wereld te kijken. Het combineert wat het door beide brillen ziet om een perfect beeld te krijgen.

1. De "Tijdsbril" (Temporal Branch):
   Deze bril kijkt naar hoe dingen veranderen. Het is alsof je naar een video kijkt in plaats van naar een foto.

   • Voorbeeld: Je ziet een lift die plotseling snel omhoog gaat, of een stroompje water dat ineens een piek maakt. Deze bril is goed in het zien van plotselinge pieken, ritmische patronen (zoals een kantoor dat elke ochtend om 9:00 uur druk wordt) of willekeurige chaos. Het houdt de tijd in de gaten.

2. De "Systeembril" (System Branch):
   Deze bril kijkt naar hoe alles met elkaar verbonden is. Het is alsof je een plattegrond van de hele wolkenkrabber bekijkt.

   • Voorbeeld: Deze bril ziet dat als de lift (de CPU) vol zit, de trappen (het geheugen) ook trager worden, en dat de telefoonlijnen (het netwerk) dan ook minder goed werken. Het begrijpt de relaties tussen de verschillende onderdelen, zonder te kijken naar de tijd, maar naar de totale staat van het gebouw.

CloudFormer neemt de informatie van beide brillen, mixt ze samen en zegt: "Oké, de lift gaat snel omhoog (tijd) én de trappen zijn al vol (systeem), dus de kans is groot dat de buren binnenkort vastlopen."

Waarom is dit zo speciaal?

Vroeger waren de voorspellers (de oude methoden) als een simpele wekker. Die konden alleen zeggen: "Het is 8 uur, dus het is druk." Maar ze konden niet zien als er plotseling een storm opkwam of als iemand een extra zware koffer meenam.

CloudFormer is anders omdat:

• Het alles ziet: Het kijkt naar maar liefst 206 verschillende meetpunten (zoals temperatuur, snelheid, geheugengebruik) elke seconde. Dat is als een arts die niet alleen je hartslag meet, maar ook je ademhaling, bloeddruk en spierspanning tegelijkertijd.
• Het leert van onbekenden: Het kan werken met kantoren die het nog nooit heeft gezien. Zelfs als er een nieuw bedrijf intrekt met een heel raar werkpatroon, kan CloudFormer het gedrag voorspellen.
• Het is extreem nauwkeurig: In tests bleek dat CloudFormer slechts 7,8% fout maakte. Dat is als een weerman die zegt: "Het regent morgen", en het regent echt, terwijl de andere weermannen zeggen: "Het regent 28% minder dan normaal" (wat veel minder nuttig is).

De "Trainingschool" (Het Dataset)

Om zo slim te worden, heeft CloudFormer een enorme hoeveelheid data nodig gehad. De onderzoekers bouwden een testomgeving waar ze 11 verschillende soorten "kantoren" (applicaties) lieten werken, soms rustig, soms in een chaos van drukte. Ze hielden alles bij, seconde voor seconde, gedurende maanden. Dit is als een trainingscampus waar de AI duizenden scenario's heeft doorgelopen om te leren hoe het gebouw reageert.

Wat betekent dit voor de toekomst?

Dankzij CloudFormer kunnen cloud-eigenaren in de toekomst:

• Proactief handelen: In plaats van te wachten tot een website crasht, kunnen ze nu al een extra lift (server) bijzetten voordat de drukte begint.
• Energie besparen: Ze weten precies hoeveel kracht er nodig is, waardoor ze geen energie verspillen aan overcapaciteit.
• Betere service: Klanten krijgen altijd een snelle en soepele ervaring, zelfs als het erg druk is in de cloud.

Kortom: CloudFormer is de slimme, tweeoogige voorspeller die de chaos in de digitale wolkenkrabber in de hand houdt, zodat niemand meer vastzit in de lift terwijl de buren rustig kunnen werken.

Technische samenvatting

Probleemstelling

In multi-tenant cloudomgevingen worden virtuele machines (VM's) geconsolideerd op gedeelde fysieke servers om de resource-uitbating te maximaliseren. Hoewel virtualisatie technologieën (zoals Intel VT en AMD-V) isolatie garanderen voor toegewezen CPU-kernen, geheugen en schijfruimte, kunnen ze geen volledige prestatie-isolatie bieden. VM's concurreren om gedeelde resources zoals de laatste niveau cache (LLC), geheugenbandbreedte en netwerkinterfaces. Deze "resource interference" leidt tot ernstige prestatiedegradatie, zelfs voor identieke applicaties.

De uitdagingen zijn tweeledig:

1. Black-box aard: In publieke clouds hebben providers geen toegang tot de broncode of interne runtime-metrics van de VM's. Ze kunnen alleen systeemniveau-metrics observeren vanaf de host (hypervisor).
2. Dynamische werklasten: Prestaties variëren door zowel interferentie van buren als door intrinsieke variatie in de werklast zelf. Bestaande methoden zijn vaak te specifiek voor bepaalde scenario's (bijv. alleen CPU-intensief) of missen fijne tijdsresolutie, waardoor ze niet goed generaliseren naar onbekende en dynamische omgevingen.

Het doel is om een model te ontwikkelen dat de prestatiedegradatie van een VM voorspelt op basis van alleen systeemmetrics, zonder kennis van de interne toestand van de applicatie.

Methodologie: CloudFormer

De auteurs stellen CloudFormer voor, een nieuw deep learning-architectuur gebaseerd op Transformers. Het model is ontworpen om twee fundamenteel verschillende dynamieken gelijktijdig te modelleren:

1. Temporele dynamiek: Hoe werklasten evolueren in de tijd (bijv. plotselinge CPU-pieken).
2. Systeemniveau-interacties: Relaties tussen verschillende systeemmetrics (bijv. hoe LLC-bezetting cache-misses beïnvloedt).

Architectuur:
CloudFormer gebruikt een dubbel-branch (twee takken) Transformer-structuur:

• Temporele Tak (Temporal Branch):
  • Verwerkt de input als een sequentie van tijdstappen.
  • Gebruikt positionele encoding om de volgorde te behouden.
  • Gebruikt Masked Multi-Head Self-Attention om variabele lengte sequenties te hanteren en tijdsafhankelijkheden te vangen.
  • Een leerbaar "class token" vat de globale temporele informatie samen.
• Systeem Tak (System Branch):
  • Aggregeert de input over de tijddimensie (middels gemiddelde) om een statisch profiel van de systeemmetrics te creëren.
  • Geen positionele encoding, omdat systeemmetrics geen inherent volgorde hebben.
  • Gebruikt standaard Self-Attention om cross-metric dependencies te leren (bijv. correlatie tussen CPU-gebruik en netwerkverkeer).
  • Ook hier wordt een "class token" gebruikt voor globale samenvatting.

Fusie en Voorspelling:
De output-tokens van beide takken worden samengevoegd en door een voorspellingskop (MLP) gevoerd. De uiteindelijke output is een continue scalar (tussen 0 en 1) die de prestatiedegradatie aangeeft, waarbij 1 staat voor geen degradatie en 0 voor volledige degradatie.

Dataset: CloudPerfTrace

Een cruciaal onderdeel van dit werk is de introductie van CloudPerfTrace, een uitgebreide dataset die de beperkingen van bestaande benchmarks overbrugt:

• Resolutie: Metingen met een resolutie van één seconde (fijner dan de gebruikelijke minuten of uren).
• Aantal Metrics: 206 verschillende systeemmetrics, verzameld via Linux perf, hypervisor-statistieken en Intel Top-Down Analysis. Dit omvat zowel VM-metrics als hardware-counter's.
• Scenario's: De dataset bevat 11 verschillende cloud-applicaties (bijv. Redis, HBase, Web Search) onder zowel statische als dynamische werklasten (monotoon, periodiek, willekeurig).
• Omvang: In totaal ongeveer 317 dagen aan opgenomen traces, wat een robuuste basis biedt voor het trainen van modellen voor onbekende werklasten.

Resultaten

Het model werd geëvalueerd tegenover state-of-the-art baselines, waaronder Decision Trees, Random Forests, Lineaire Regression, Gamma Regression en LSTM-netwerken. De evaluatie omvatte een strikte "leave-one-application-out" strategie waarbij het model werd getraind op bekende apps en getest op volledig onbekende apps.

• Prestaties: CloudFormer behaalde een Mean Absolute Error (MAE) van 7,8%.
• Vergelijking: Dit is een verbetering van minimaal 28% ten opzichte van de beste bestaande methoden (de volgende beste was Random Forest met een MAE van 10,78%).
• Generalisatie: Het model toonde robuuste prestaties over zowel statische als dynamische scenario's en generaliseerde goed naar applicaties die niet tijdens het trainen waren gezien.
• Ablatie-studie: De studie toonde aan dat beide takken (temporeel en systeem) essentieel en complementair zijn. De systeemtak alleen presteerde al beter dan Random Forests, maar de combinatie leverde de beste resultaten op.

Bijdragen en Significantie

De belangrijkste bijdragen van dit werk zijn:

1. Nieuwe Architectuur: CloudFormer is de eerste Transformer-gebaseerde aanpak die specifiek is ontworpen voor black-box prestatievoorspelling door temporele en systeeminteracties gescheiden maar gefuseerd te modelleren.
2. Uitgebreide Dataset: CloudPerfTrace biedt een ongeëvenaarde combinatie van hoge tijdsresolutie (1s) en hoge feature-dichtheid (206 metrics) voor cloud-prestatieonderzoek.
3. Robuuste Generalisatie: Het bewijst dat het mogelijk is om nauwkeurige voorspellingen te doen voor onbekende werklasten zonder toegang tot broncode, wat essentieel is voor proactief resource-management in publieke clouds.
4. Praktische Toepassing: De nauwkeurige voorspelling van degradatie stelt cloudproviders in staat om VM-plaatsing te optimaliseren, "noisy neighbor"-problemen te mitigeren en Service Level Agreements (SLA's) beter na te komen voordat QoS-problemen optreden.

Samenvattend biedt CloudFormer een krachtige, schaalbare oplossing voor het complexe probleem van prestatie-isolatie in moderne cloudomgevingen, waarbij het de kloof overbrugt tussen beperkte observatie en de noodzaak aan nauwkeurige, proactieve beheerstrategieën.