Technische Samenvatting: Kostengevoelige Duurvoorspelling voor Software-upgrades in Datacenters

Probleemstelling

Software-upgrades zijn essentieel voor het handhaven van serverbetrouwbaarheid in hyperscale datacenters, maar ze brengen unieke planningssuitdagingen met zich mee die verschillen van standaard servicejobs (zoals zoekopdrachten of streaming). In tegenstelling tot servicejobs, die flexibel over servers worden verdeeld om latentie en doorvoer te optimaliseren, zijn software-upgrades gekoppeld aan specifieke servers met vaste vereisten. Het primaire doel is het halen van een strikte Service Level Objective (SLO): ten minste 95% van de geplande upgrades moet binnen een vaste "upgradevenster" worden voltooid.

Huidige productieschedulers (zoals bij Meta) hanteren een conservatieve aanpak waarbij voor alle upgrades vaste, worst-case duur wordt aangenomen om SLO-naleving te waarborgen. Deze strategie resulteert in aanzienlijke inefficiëntie, met een benutting van het upgradevenster die gemiddeld slechts 20–40% bedraagt over datacenters. De kernuitdaging ligt in het misverstand tussen standaard machinelearning-doelen (het maximaliseren van voorspellingsnauwkeurigheid) en systeemdoelen (het halen van SLO's terwijl de doorvoer wordt gemaximaliseerd). Standaard voorspellers minimaliseren vaak symmetrische verliezen, waarbij geen rekening wordt gehouden met de asymmetrische kosten van voorspellingsfouten: onderschatting riskeert het missen van de SLO (wat leidt tot annuleringen en reparatiewerkstromen), terwijl lichte overschatting acceptabel is en vaak de voorkeur heeft omwille van veiligheid.

Methodologie: Het Acela-kader

De auteurs stellen Acela voor, een kostengevoelig kader voor duurvoorspelling dat naadloos is geïntegreerd met bestaande upgrademachines. Acela lost het probleem op via drie belangrijke technische innovaties:

1. Asymmetrische Kostenmodellering via Kwantielregressie

Omdat onderschatting kostbaarder is dan overschatting, gaat Acela verder dan het voorspellen van de conditionele mean (die symmetrische L2-verliezen minimaliseert). In plaats daarvan maakt het gebruik van Quantile Gradient Boosting Trees (QGBT) om conditionele kwantielen te schatten.

• Mechanisme: Door een kwantielparameter $\tau > 0.5$ te selecteren (bijvoorbeeld 0,9), wordt het model getraind om duur iets te overschatten.
• Verliesfunctie: Het systeem minimaliseert de kwantielverliesfunctie, die onderschattingen ($y \ge \hat{y}$) zwaarder straft dan overschattingen ($y < \hat{y}$) wanneer $\tau > 0.5$. Dit brengt het trainingsdoel direct in lijn met de SLO-eis.

2. Aangepaste Score voor Modelselectie

Acela introduceert een aangepaste scorefunctie om het optimale model en de optimale kwantielparameter te selecteren, waarbij voorspellingsnauwkeurigheid wordt gebalanceerd met SLO-naleving. De score wordt gedefinieerd als:
$$\text{score} = \begin{cases} \text{MAE} & \text{als } \text{OPR} \ge \text{SLO} \\ (\alpha \cdot (1 - \text{OPR}) + 1) \cdot \text{MAE} & \text{als } \text{OPR} < \text{SLO} \end{cases}$$
Waarbij:

• MAE: Mean Absolute Error (meet nauwkeurigheid).
• OPR: Overprediction Rate (fractie upgrades waarbij de voorspelde duur > de werkelijke duur).
• SLO: De doeldrempel (95%).
• $\alpha$: Een strafparameter voor onderschatting.

Deze functie geeft prioriteit aan modellen die de SLO halen (OPR $\ge$ 95%). Als de SLO wordt gehaald, minimaliseert het systeem de MAE om excessieve overschatting te voorkomen (wat de doorvoer verlaagt). Als de SLO in gevaar komt, neemt de straf sterk toe.

3. Diversificatie van de Trainingsset (Mitigatie van Stragglers)

Trainingsdata bevat vaak "stragglers" – uitschieters met extreme duur veroorzaakt door hardwarestoringen of reparatiewerkstromen. Het opnemen hiervan kan modellen vertekenen naar extreme overschatting, wat de efficiëntie verlaagt.

• Strategie: Acela diversifieert de trainingsdataset door geknipte versies te maken die upgrades in de 99e en 99,9e percentielen uitsluiten.
• Selectie: Modellen worden getraind op deze geknipte datasets over verschillende kwantielen. Het best presterende model (laagste score) wordt geselecteerd, zodat voorspellingen accuraat zijn voor het merendeel van de gevallen terwijl een veiligheidsmarge wordt behouden zonder te worden beïnvloed door zeldzame storingen.

Integratie

Acela is geïmplementeerd als een verbeteringslaag bovenop de bestaande scheduler van Meta. Het omvat een Data Collection Pipeline (DCP), een Model Training and Selection (MTS)-module en een Prediction Query Service (PQS). De scheduler gebruikt de duurvoorspellingen van Acela om prioriteitsbewuste beslissingen te nemen: wanneer prioriteiten gelijk zijn, worden kortere voorspelde duurdeuren de voorkeur gegeven om de doorvoer te verhogen; wanneer prioriteiten conflicteren, wordt de upgrade met de hogere prioriteit eerst uitgevoerd.

Belangrijkste Bijdragen

Het artikel claimt de volgende bijdragen:

1. Grootschalige Karakterisering: De eerste diepgaande analyse van software-upgrades op schaal van Meta's productiedatacenter, waarbij specifieke uitdagingen worden geïdentificeerd die verschillen van servicejobs.
2. Probleemformalisatie: Het kaderen van software-upgradeplanning als een geconstrueerd optimalisatieprobleem waarbij voorspellingsnauwkeurigheid secundair is aan SLO-naleving en doorvoer.
3. Identificatie van Asymmetrische Kosten: Het benadrukken van de unieke kostenstructuur van upgradescenario's waarbij onderschatting aanzienlijk schadelijker is dan overschatting.
4. Nieuw Kader (Acela): Een nieuw voorspellingskader dat gebruikmaakt van kwantielregressie, aangepaste scoring en verwijdering van stragglers om uitkomsten van planning te optimaliseren.
5. Real-world Implementatie: De eerste ingevoerde oplossing om upgrade-efficiëntie te verbeteren in een productiedatacenter, gevalideerd op miljoenen upgrades.

Evaluatieresultaten

De auteurs hebben Acela geëvalueerd met meer dan 4 miljoen software-upgrades verzameld over drie maanden voor training en een daaropvolgende maand van real-world operaties (bijna 1 miljoen upgrades) voor testen.

Productieresultaten (vs. Heuristische Baseline):

• Benutting: Acela verbeterde de benutting van het upgradevenster met 1,25$\times$ in vergelijking met de conservatieve heuristische baseline.
• Doorvoer: Het aantal geplande software-upgrades steeg met 33%, en het aantal voltooide upgrades nam toe met 41%.
• SLO-naleving: Ondanks het verwerken van aanzienlijk meer upgrades, verlaagde Acela het annuleringspercentage met 2,4$\times$ en slaagde het erin om de 95% voltooings-SLO te halen. De heuristische baseline haalde daarentegen de SLO niet in de geëvalueerde periode.

Simulatie en Ablatiestudies:

• Verliesfuncties: Modellen die symmetrische verliesfuncties gebruikten (L2, L1, Huber) bereikten een lagere Mean Absolute Error (MAE), maar haalden de SLO niet (OPR $\approx$ 50%). De kwantielverliesfunctie van Acela bereikte de beoogde OPR (95%) met een iets hogere MAE, wat aantoont dat nauwkeurigheid alleen onvoldoende is voor dit domein.
• Verwijdering van Stragglers: Het verwijderen van stragglers uit de trainingsset verbeterde de voorspellingsnauwkeurigheid (MAE) met 1,2$\times$ zonder negatieve impact op de OPR, wat de effectiviteit van de data-diversificatiestrategie bevestigt.
• Kwantielgevoeligheid: Gevoeligheidsanalyse toonde aan dat het instellen van de kwantielparameter $\tau$ tussen 0,9 en 0,99 de afweging tussen planningsvolume en annuleringspercentages optimaal balanceert.

Betekenis en Claims

Het artikel positioneert dit werk als de eerste datacenter-grootschalige studie van software-upgrades en de eerste ingevoerde oplossing om upgrade-efficiëntie te verbeteren via duurvoorspelling. De auteurs benadrukken dat hun aanpak het paradigma verschuift van "maximaliseren van voorspellingsnauwkeurigheid" naar "optimaliseren voor systeemdoelen" (SLO-naleving en doorvoer). Door rekening te houden met de asymmetrische kosten van fouten en de specifieke operationele beperkingen van datacenter-upgrades (zoals vaste vensters en bufferlimieten), demonstreert Acela dat kostengevoelige voorspelling de operationele efficiëntie in grote infrastructuur aanzienlijk kan verbeteren zonder betrouwbaarheid in gevaar te brengen.