Technische Samenvatting: Wanneer verslaat Deep RL gekalibreerde baselines?

Probleemstelling

Adaptieve resourcebeheersing – het toewijzen van rekenkracht aan dynamische werklasten onder naleving van kosten- en service-niveaudoelstellingen (SLO's) – is een cruciaal beslissingsprobleem in cloud computing. Hoewel Deep Reinforcement Learning (DRL) steeds vaker op dit domein wordt toegepast, presenteert de bestaande literatuur tegenstrijdige conclusies over de effectiviteit ervan in vergelijking met traditionele regelgebaseerde controllers. Sommige studies claimen aanzienlijke kostenreducties, terwijl andere constateren dat regelgebaseerde methoden concurrerend blijven.

De auteurs schrijven deze inconsistentie toe aan drie systemische gaten in de huidige onderzoekspraktijk:

1. Ongeschaalde Baselines: Vergelijkingen gebruiken vaak slecht afgestelde regelgebaseerde controllers (bijv. eenvoudige drempelwaarde-autoscalers), waarbij de schijnbare RL-winst de zwakte van de baseline weerspiegelt in plaats van algoritmische superioriteit.
2. Rapportage met één Zaadje: DRL-training vertoont hoge variantie over willekeurige zaadjes. Evaluaties gebaseerd op enkele runs vallen vaak binnen de ruismarge, waardoor benchmarkranglijsten onbetrouwbaar worden.
3. Beperkte Werklastd dekking: De meeste studies evalueren op één of twee verkeerspatronen (bijv. dagelijkse cyclus of bursty), wat conclusies oplevert die niet generaliseren naar diverse productieomgevingen of distributieveranderingen.

Methodologie: RLSCALE-BENCH

Om deze gaten aan te pakken, introduceren de auteurs RLSCALE-BENCH, een reproduceerbare benchmark en evaluatieprotocol geïmplementeerd op Kubernetes Horizontal Pod Autoscaling (HPA). De benchmark evalueert zes gangbare DRL-algoritmen tegen een strikt gekalibreerde regelgebaseerde baseline over zes verschillende werklastpatronen en vijf willekeurige zaadjes (totaal 240 evaluatieruns).

Omgeving en Opstelling

• Taak: De agent beheert het aantal pod-replica's voor een service die dynamische verzoekstromen verwerkt.
• Toestandruimte: Een 6-dimensionale vector inclusief CPU-gebruik, geheugengebruik, verzoekfrequentie, p95-latentie, foutpercentage en huidig aantal replica's.
• Actieruimte: Discrete wijzigingen in het aantal replica's $\{-2, -1, 0, +1, +2\}$. Algoritmen met continue acties (SAC, TD3, DDPG) worden ingepakt om continue outputs af te beelden op deze discrete bakken.
• Beloningsfunctie: Een compositie van infrastructuurkosten (USD per replica) en een straf voor SLO-overtredingen (latentiedrempel of foutpercentage > 5%).
• Werklasten: Zes patronen die productiediversiteit omvatten: Constant, Periodiek, Variabel (willekeurige wandeling), Bursty (Poisson-pieken), Ramp (lineaire toename) en Flash (plotselinge 3x piek).

Algoritmen en Baselines

• DRL-agenten: PPO, DQN, A2C (discrete actie); SAC, TD3, DDPG (continue actie). Allemaal delen identieke MLP-architecturen ($[256, 256]$) en een gelijkwaardig trainingsbudget van 50.000 tijdstappen.
• Gekalibreerde Baseline: Een productie-trouwe Kubernetes HPA afgestemd op een CPU-gebruikstarget van 70% met realistische klemgrenzen en beslissingsintervallen.
• Willekeurige Baseline: Een uniform willekeurig beleid dat een ondergrens voor prestaties vaststelt.

Evaluatieprotocol

Modellen worden geëvalueerd op alle zes werklasttypen over 240 beslissingsstappen. Metrieken omvatten totale infrastructuurkosten, totale SLO-overtredingen en gemiddeld aantal replica's, gerapporteerd met gemiddelde $\pm$ standaardafwijking over vijf zaadjes. Een studie naar distributieverandering traint agenten op de "Variabele" werklast en zet ze in op de andere vijf zonder hertraining.

Belangrijkste Resultaten

1. Gekalibreerde Baselines presteren beter dan RL op Kosten

In tegenstelling tot de aanname dat DRL inherent kosten verlaagt, behaalde de gekalibreerde HPA-baseline de laagste infrastructuurkosten over alle zes werklasten. Het handhaafde gemiddeld minder replica's (2,0–3,0) dan RL-agenten (2,7–3,8) terwijl het een redelijke SLO-naleving behaalde.

2. Mismatch tussen Discrete en Continue Acties

Er bestaat een dramatisch prestatieverschil tussen algoritmafamilies vanwege de mismatch in actieruimte:

• Discrete algoritmen (PPO, DQN, A2C) presteerden aanzienlijk beter dan continue algoritmen (SAC, TD3, DDPG) wat betreft SLO-overtredingen, vaak met één tot twee orde van grootte.
• Continue algoritmen leden onder "beloningsaliasing" veroorzaakt door de discretiseringswrapper: vlakke beloningsplateaus binnen bakken leidden tot bijna nul-gradiënten, terwijl bakranden veroorzaakten hoge variantie-sprongen.
• DDPG convergeerde specifiek naar een degeneratief beleid met één replica, wat kosten minimaliseerde maar catastrofale SLO-overtredingen opleverde (300–989 per werklast).

3. Geen enkel Algoritme domineert

Algoritmische rangschikkingen zijn sterk afhankelijk van de werklast. Geen enkel DRL-algoritme behield een consistente rang over alle patronen. Bijvoorbeeld, SAC excelleerde op variabele werklasten maar presteerde slecht op ramp-verkeer, terwijl PPO de meest stabiele rangschikking toonde (2e–3e).

4. Distributieverandering en de "Transferbelasting"

Wanneer getraind op de "Variabele" werklast en ingezet op verschoven distributies:

• PPO generaliseerde goed naar steady-state patronen (Constant, Periodiek, Ramp) met nul overtredingen, maar had moeite met zwaarstaartverkeer (Bursty, Flash), met een reductie van 54% in overtredingen ten opzichte van HPA op bursty-verkeer, maar tegen een 24% hogere kost.
• SAC toonde robuustheid op dynamische werklasten, maar ten koste van systematisch hoger resourcegebruik.
• De gekalibreerde HPA leed aan geen transferbelasting omdat zijn beleid een vaste functie is van het huidige gebruik, waardoor overfitting op een specifieke trainingsdistributie wordt vermeden.

Betekenis en Bijdragen

Het artikel daagt het heersende narratief uit dat deep RL regelgebaseerde controle in resourcebeheer rechttoe rechtaan verslaat. De auteurs betogen dat de bottleneck in RL-gebaseerd resourcebeheer niet de algoritmeselectie is, maar eerder:

1. Baseline Kalibratie: Goed afgestelde regelgebaseerde controllers zijn verrassend sterke concurrenten en mogen niet worden behandeld als stropoppen.
2. Beloning Engineering: De keuze van actieruimte (discrete vs. continue) en beloningsontwerp is cruciaal; mismatchende actieruimtes kunnen leiden tot catastrofale fouten.
3. Evaluatieprotocollen: Benchmarks moeten evaluatie van distributieverandering en rapportage met meerdere zaadjes bevatten om uitdagingen voor implementatie in de echte wereld te weerspiegelen.

Belangrijkste Bijdragen:

• C1: Een protocol voor een benchmark met gelijkwaardig budget en meerdere algoritmen dat implementatieverwarring elimineert.
• C2: Een gekalibreerde HPA-baseline die dient als sterke, realistische comparator.
• C3: Een statistisch rigoureuze evaluatie (240 runs, 5 zaadjes, 6 werklasten) met foutmarges.
• C4: Een generalisatiestudie voor distributieverandering die algoritmische instabiliteit onder implementatieverschuivingen blootlegt.
• C5: Drie tegenintuïtieve bevindingen die aantonen dat gekalibreerde baselines vaak winnen op kosten, discrete acties superieur zijn voor ondeelbare resources, en dat geen enkel RL-algoritme alle werklasten domineert.

De auteurs concluderen dat vooruitgang op dit gebied vereist dat men verder gaat dan algoritmische nieuwheid en zich richt op betere beloning engineering, omgevingkalibratie en evaluatieprotocollen die real-world beperkingen weerspiegelen. Zij maken de volledige benchmarksuite, getrainde modellen en evaluatiegegevens beschikbaar om deze doelen te ondersteunen.