Technische Samenvatting: Een Auto-scaling Aanpak voor Serverless Omgevingen Gebaseerd op een Multi-Expert Consensusmechanisme

Probleemstelling

Serverless computing biedt automatisch resourcebeheer en een betaal-per-gebruik facturatie, maar effectieve autoscaling blijft uitdagend vanwege grillige workloads, cold-start latentie en complexe afhankelijkheden tussen functies. Bestaande benaderingen schalen functies vaak onafhankelijk of vertrouwen op een enkele voorspeller, wat kan leiden tot verminderde robuustheid, kosteninefficiëntie en het over het hoofd zien van structureel kritieke bottlenecks. Wanneer congestie optreedt bij een enkele functie binnen een afhankelijkheidsketen, plant dit zich voort langs executiepaden, wat de end-to-end latentie verslechtert en de operationele kosten verhoogt. Bovendien kunnen agressieve scale-down acties cold starts triggeren, terwijl single-model voorspellers een gebrek aan stabiliteit kunnen vertonen onder variabele workloads.

Methodologie

De auteurs stellen een dependency-aware autoscaling framework voor dat bottleneck-identificatie, vraagvoorspelling op de korte termijn en kostenbewuste controle verenigt in een end-to-end pijplijn. Het systeem werkt via de volgende componenten:

1. Dependency-Aware Bottleneck Identificatie

Applicaties worden gemodelleerd als gerichte afhankelijkheidsgrafen waarbij knopen functies (klassen/bestanden) vertegenwoordigen en randen de invocatie-relaties vertegenwoordigen.

• Grafische Constructie: Een gewogen bipartiete graaf wordt geconstrueerd met behulp van fan-in en fan-out metrieken om de intensiteit van de afhankelijkheid te kwantificeren.
• Bottleneck Rangschikking: Het framework berekent de weighted degree centrality voor elke knoop. Functies met een hoge centraliteit worden geïdentificeerd als structureel invloedrijke bottlenecks die waarschijnlijk de workloaddruk versterken.
• Watch Set: Een "watch set" van top-$k$ hoog-impact functies wordt geconstrueerd. Monitoring, forecasting en scaling beslissingen worden geprioriteerd voor deze subset in plaats van alle functies gelijk te behandelen.

2. Multi-Model Vraagvoorspelling

Voor de geïdentificeerde bottleneck functies wordt de nabije resourcevraag voorspeld met behulp van een lichtgewicht multi-model ensemble.

• Supervised Modellen: Drie complementaire neurale netwerkarchitecturen worden ingezet:
  • MLP (Multilayer Perceptron): Legt niet-lineaire relaties in geaggregeerde kenmerken vast.
  • LSTM (Long Short-Term Memory): Modelleert temporele afhankelijkheden in sequentiële workload data.
  • CNN (Convolutional Neural Network): Extraheert lokale patronen uit sliding windows van tijdreeks-inputs.
• Unsupervised Baselines: Voor comparatieve evaluatie zijn unsupervised methoden (K-Means, SOM, PCA) geïmplementeerd, maar deze blijken onvoldoende voor het genereren van stabiele scaling beslissingen zonder supervisie.

3. Bayesian-Geïnspireerde Consensus Besluitvorming

Om de bias van een enkele voorspeller te mitigeren en de stabiliteit onder workload drift te verbeteren, gebruikt het framework een prestatie-gewogen probabilistisch ensemble geïnspireerd door Bayesian Model Averaging (BMA).

• Weging: Modelgewichten worden afgeleid van validatieprestaties (nauwkeurigheid) en genormaliseerd met een softmax transformatie.
• Aggregatie: De uiteindelijke consensus voorspelling is een gewogen gemiddelde van individuele modeloutputs. Dit vermindert de afhankelijkheid van een enkel model en vlakt extreme afwijkingen af.

4. Kostenbewuste en Cold-Start Bewuste Controle

De controller bevat een kostenvergelijkingsmechanisme om kandidaat scaling acties te filteren vóór uitvoering.

• Kostenmodellering: Operationele kosten worden gemodelleerd als de som van basis resource kosten, waste kosten (over-provisioning) en overload kosten (onder-provisioning/SLA schendingen).
• Cold-Start Bewustzijn: Scale-down acties die voorspellen dat de latentie de SLA drempels zal overschrijden (potentieel het triggeren van cold starts) krijgen hogere overload penalties, wat agressieve deprovisioning ontmoedigt.
• Beslissingslogica: Een kandidaat scaling actie (scale-up, scale-down, of hold) wordt alleen geaccepteerd als de geprojecteerde kosten binnen een tolerantie marge van de huidige kosten liggen, wat economische rechtvaardiging naast prestatiestabiliteit waarborgt.

Belangrijkste Bijdragen

Het paper beschrijft vijf primaire bijdragen:

1. Dependency-Aware Pijplijn: Een end-to-end controller die structurele analyse, forecasting en kostenbewuste actie koppelt, waarmee verder wordt gegaan dan onafhankelijke functie scaling.
2. Graaf-gebaseerde Bottleneck Identificatie: Een methode die gebruik maakt van degree centrality op gerichte afhankelijkheidsgrafen om een watch set van hoog-impact functies te construeren voor gerichte controle.
3. Lichtgewicht Multi-Model Forecasting: Het gebruik van complementaire MLP, LSTM en CNN modellen om diverse workload patronen te vangen terwijl de lage inference overhead behouden blijft.
4. Bayesian-Geïnspireerde Consensus: Een probabilistisch ensemble mechanisme dat voorspellingen fuseert op basis van validatieprestaties om de robuustheid tegen model-specifieke bias te verbeteren.
5. Kosten en Cold-Start Integratie: Een scaling beleid dat expliciet de balans vindt tussen latentie garanties en operationele efficiëntie door acties te filteren via een kostenvergelijkingsstap.

Experimentele Resultaten

Het framework werd geëvalueerd met echte workload traces en een software afhankelijkheidsdataset om serverless invocatie grafen te simuleren.

• Supervised vs. Unsupervised: Supervised learning modellen presteerden aanzienlijk beter dan unsupervised clustering. Het LSTM model behaalde de hoogste nauwkeurigheid (99,06%), gevolgd door MLP (98,75%) en CNN (98,50%). In contrast behaalde de beste unsupervised baseline (K-Means met t-SNE) slechts 49,5% nauwkeurigheid, wat aantoont dat patroonontdekking alleen niet betrouwbaar genoeg is om autoscaling beslissingslogica te herstellen.
• Ensemble Prestaties: Het voorgestelde prestatie-gewogen ensemble bereikte een nauwkeurigheid van 0,9988 (99,88%), waarmee het representatieve hybride baselines (bijv. MLP-LSTM, CNN-LSTM) en traditionele ML modellen overtrof. Het vertoonde ook een lagere Mean Absolute Error (MAE) en Mean Squared Error (MSE) vergeleken met deze baselines.
• Kosten-efficiëntie: De predictieve controller verminderde de totale infrastructuur kosten over meerdere platforms vergeleken met een reactieve threshold-gebaseerde baseline:
  • AWS Lambda: 0,70 \rightarrow \0,47$
  • Google Cloud Run: 9,48 \rightarrow \6,36$
  • Azure Functions: 0,68 \rightarrow \0,45$
  • Generic Container: 6,01 \rightarrow \4,03$
  • Totale Geaggregeerde Besparingen: $5,55 relatief aan de baseline.

Betekenis en Claims

Het paper claimt dat de primaire betekenis van dit werk ligt in het praktische systeem-niveau ontwerp dat drie kritieke dimensies integreert die vaak apart worden behandeld: afhankelijkheidsanalyse, ensemble-gebaseerde voorspelling en kostenbewuste besluitvorming.

De auteurs stellen dat:

1. Structurele Bewustheid Cruciaal Is: Het negeren van functie-afhankelijkheden leidt tot suboptimale scaling; het prioriteren van structureel kritieke bottlenecks levert een stabielere en efficiëntere controle op.
2. Ensemble Robuustheid: Een multi-expert consensusmechanisme, gewogen door prestaties, biedt superieure stabiliteit en nauwkeurigheid vergeleken met monolithische hybride architecturen of single-model voorspellers, vooral onder variabele workloads.
3. Economische Levensvatbaarheid: Door cold-start bewustzijn in het kostenmodel te integreren, bereikt het framework significante kostenreducties zonder de SLA targets in gevaar te brengen, wat bewijst dat proactieve, dependency-aware scaling economisch superieur is aan reactieve benaderingen.

De studie concludeert dat supervised forecasting substantieel beter presteert dan unsupervised clustering voor het genereren van autoscaling acties en dat het voorgestelde framework een robuuste, economisch efficiënte oplossing biedt voor praktische serverless omgevingen.