Performance Evaluation of Automated Multi-Service Deployment in Edge-Cloud Environments with the CODECO Toolkit

Dit artikel evalueert het open-source CODECO-toolkit en toont aan dat het de handmatige inzet van containerized microservices in Edge-Cloud-omgevingen aanzienlijk reduceert terwijl het prestaties en resourcegebruik concurrerend houdt ten opzichte van standaard Kubernetes-werkstromen.

De kern

Hier is een uitleg van het onderzoek, vertaald naar alledaags Nederlands met een paar creatieve vergelijkingen.

De Grote Uitdaging: Een Orkest zonder Dirigent

Stel je voor dat je een enorm orkest hebt. Je hebt violen in Parijs, trompetten in Berlijn en drummers in een grot in Spanje. Iedereen speelt een ander instrument (verschillende hardware: ARM, x86, Raspberry Pi's), en ze moeten perfect samenwerken om een symfonie te spelen (jouw apps en diensten).

In de wereld van computers noemen we dit Edge-Cloud computing. De "Edge" zijn de kleine, lokaal geplaatste instrumenten (zoals slimme camera's of robots), en de "Cloud" is het grote concertzaal-gebouw waar alles wordt gemixt.

Het probleem? Kubernetes (K8s) is de standaard-dirigent die we gebruiken. Hij is geweldig, maar als je hem alleen laat werken in zo'n chaotisch, verspreid orkest, moet je als mens (de technicus) constant tussen de muzikanten lopen om te zeggen: "Jij, speel hier!", "Jij, stop met spelen!" en "Jij, ga naar die andere grot!". Dit is veel handwerk, traag en foutgevoelig.

De Oplossing: CODECO (De Slimme Dirigent)

De auteurs van dit paper hebben CODECO ontwikkeld. Denk aan CODECO niet als een nieuwe dirigent, maar als een super-slimme, zelflerende assistent die de dirigent helpt.

• Wat doet hij? Hij kijkt niet alleen naar wie er speelt, maar ook naar hoe snel de vioolspeler in Parijs is, hoeveel energie de trompettist in Berlijn verbruikt, en of de verbinding tussen de grot en de zaal goed is.
• Het doel: Alles automatisch regelen. Geen mens hoeft meer te lopen om te zeggen wie wat moet doen. De assistent zorgt ervoor dat de muziek (jouw data en apps) op het juiste moment, op de juiste plek en met zo min mogelijk energie klinkt.

Wat hebben ze getest? (De Proef)

De onderzoekers hebben gekeken of deze "assistent" (CODECO) echt beter werkt dan de standaardmanier (alleen K8s). Ze hebben drie dingen gemeten, alsof ze een auto testrijden:

1. Hoeveel handwerk is er nodig? (De "MIP"-metriek)

   • Vergelijking: Zet je een auto op de weg door zelf de wielen te monteren, de motor te bouwen en de brandstof in te vullen? Of druk je op een knop en rijdt hij?
   • Resultaat: CODECO is een knop-druk-systeem. Ze hebben ontdekt dat je met CODECO 75% tot 90% minder handwerk nodig hebt dan met de standaardmethode. In plaats van 42 stappen te doen om een systeem op te zetten, zijn er nu maar 4 nodig. Dat is als het verschil tussen een huis bouwen met een hamer en een huis bouwen met een 3D-printer.

2. Hoe snel start het op? (De "Starttijd")

   • Vergelijking: Hoe lang duurt het voordat de band begint te spelen nadat je de dirigent hebt ingeschakeld?
   • Resultaat: De assistent (CODECO) is iets langzamer dan de simpele dirigent (K8s) omdat hij eerst even nadenkt: "Waar moet dit instrument staan voor de beste klank?" Dit kost een paar seconden extra. Maar voor complexe muziekstukken (grote applicaties) is dit verschil verwaarloosbaar. Het is alsof je een paar seconden extra wacht op een taxi die je precies naar de juiste deur brengt, in plaats van een willekeurige taxi die je ergens anders afzet.

3. Hoeveel energie en ruimte kost het? (De "Voetafdruk")

   • Vergelijking: Hoeveel benzine verbruikt de auto en hoe groot is de kofferbak die hij nodig heeft?
   • Resultaat: De assistent heeft een beetje meer "hersenen" nodig, dus hij gebruikt iets meer geheugen (RAM) en energie (ongeveer 5% meer). Maar dit is een kleine prijs voor alle slimme beslissingen die hij neemt. Het is alsof je een hybride auto hebt die iets zwaarder is, maar wel veel zuiniger rijdt op de lange termijn door slim te schakelen.

De Testlocaties (De "Toneelstukken")

Ze hebben dit getest in heel verschillende omgevingen, zoals:

• Slimme steden: Camera's die verkeer en voetgangers bewaken (Duitsland).
• Energie: Slimme netwerken die stroom besparen in gebouwen (Spanje).
• Robotica: Vrachtwagens die autonoom door fabrieken rijden (Duitsland).
• Hardware: Van krachtige servers tot kleine Raspberry Pi's (kleine computerjes ter grootte van een boek).

Zelfs op die kleine, trage Raspberry Pi's werkte het systeem stabiel. Dat is belangrijk, want in de echte wereld hebben we niet altijd dure supercomputers; vaak werken we met kleine, goedkope apparaten.

Conclusie: Is het de moeite waard?

Ja, absoluut.

Het onderzoek concludeert dat CODECO een fantastische tool is om de chaos van verspreide computersystemen te temmen.

• Je hoeft niet meer als een bezetene te werken om alles aan de praat te houden.
• Het systeem is slimmer en past zich aan aan de situatie (bijvoorbeeld: "De verbinding is slecht, laten we de data lokaal verwerken").
• De kleine prijs die je betaalt (iets meer geheugen en een paar seconden starttijd) is het ruimschoots waard voor de flexibiliteit en de automatisering.

Kortom: CODECO maakt van een rommelig orkest van losse instrumenten een perfect gesynchroniseerd symfonie, zonder dat de dirigent (de mens) de hele tijd hoeft te schreeuwen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "Performance Evaluation of Automated Multi-Service Deployment in Edge-Cloud Environments with the CODECO Toolkit", geschreven in het Nederlands.

Titel

Prestatie-evaluatie van geautomatiseerde multi-service implementatie in Edge-Cloud-omgevingen met de CODECO-toolkit

1. Probleemstelling

Containerized microservices, gecoördineerd door Kubernetes (K8s), zijn de standaard voor latency-gevoelige en rekenintensieve toepassingen. Echter, het automatiseren van de implementatie en het beheer van multi-service applicaties blijft een grote uitdaging in heterogene Edge-Cloud-omgevingen. Deze omgevingen kenmerken zich door:

• Een mix van hardware (ARM vs. x86, van Raspberry Pi tot servers).
• Dynamische werklasten en variabele netwerkcondities.
• De behoefte aan contextbewuste beslissingen (bijv. energie-efficiëntie, QoS, privacy).

Traditionele K8s-workflows vereisen vaak aanzienlijke handmatige tussenkomst voor configuratie, scheduling en lifecycle-beheer, wat leidt tot inefficiëntie en foutgevoeligheid bij schaalvergroting. Er is een behoefte aan een slimme, gedecentraliseerde orchestratie die deze complexiteit kan aanpakken zonder menselijke interventie.

2. Methodologie

De auteurs evalueren CODECO (Cognitive Decentralised Edge Cloud Orchestration), een open-source framework dat native K8s-functionaliteiten uitbreidt met cognitieve en beleidsgestuurde besturing.

• Architectuur: CODECO bestaat uit vijf componenten:
  1. ACM (Automated Configuration Management): Gebruikersinterface en configuratievertaling.
  2. SWM (Scheduling and Workload Migration): Vervangt de standaard K8s-scheduler voor voorspellende en geoptimaliseerde plaatsing.
  3. PDLC (Privacy-preserving Decentralized Learning): De "hersenen" die context (energie, netwerk, QoS) verwerkt via ML en regels.
  4. NetMA (Network Management and Adaptation): Beheert netwerkconnectiviteit en QoS.
  5. MDM (Metadata Manager): Zorgt voor data-observabiliteit.
• Experimenteel Framework (CODEF): Gebruikt voor reproduceerbare experimenten via declaratieve specificaties en geautomatiseerde provisioning (Ansible/Bash).
• Testomgevingen: Experimenten zijn uitgevoerd op zes verschillende infrastructuurconfiguraties (INF1-INF6), variërend van lokale testbeds (KinD), Raspberry Pi-clusters (ARM), tot virtuele machines en cloud-omgevingen (AWS).
• Workloads: Drie soorten applicaties zijn getest:
  1. Minimale "pause" pods (10-150 pods).
  2. Een dummy Frontend-Backend applicatie (1-50 replicas).
  3. De complexe Bookinfo microservice-suite.
• KPI's (Key Performance Indicators):
  1. Tijd: Implementatie- en lifecycle-tijd (opstarten, verwijderen).
  2. Automatisering: Percentage van handmatige interventie (MIP - Manual Intervention Percentage).
  3. Resource Footprint: CPU, geheugen en energieverbruik.

3. Belangrijkste Bijdragen

1. Kwantitatieve Evaluatie: Een uitgebreide benchmark van CODECO tegen een "vanilla" K8s-baseline in diverse Edge-Cloud-scenario's.
2. Reproduceerbaarheid: De implementatie van een experimentele methode die voldoet aan IETF Benchmarking (BMWG) richtlijnen, met openbaar beschikbare scripts en resultaten.
3. Heterogene Validatie: Bewijs dat het framework werkt op uiteenlopende hardware (x86, ARM, GPU, RPi) en K8s-distributies (vanilla, k3s).
4. Inzicht in Overhead: Gedetailleerde analyse van de kosten (tijd en resources) die geautomatiseerde, contextbewuste orchestratie met zich meebrengt.

4. Resultaten

A. Automatisering en Handmatige Interventie

CODECO en het CODEF-framework verminderen de handmatige inspanning drastisch ten opzichte van een volledig handmatige K8s-installatie:

• Cluster-implementatie: MIP daalt van 100% naar 25,3% (reductie van 74,7%).
• K8s-installatie: MIP daalt naar 9,52% (reductie van 90,5%).
• Service-implementatie: MIP daalt naar 18,18% (reductie van 81,8%).
  Dit betekent dat gebruikers slechts een fractie van de stappen zelf hoeven uit te voeren; de rest wordt geautomatiseerd via scripts en declaratieve bestanden.

B. Implementatie- en Opstarttijden

• Installatietijd: De installatie van CODECO-componenten neemt meer tijd in beslag dan vanilla K8s, voornamelijk door de NetMA-component (netwerkbeheer), die verantwoordelijk is voor 34% tot 64% van de installatietijd afhankelijk van de clustergrootte.
• Opstarttijd (Startup Latency):
  • Voor simpele pods is de overhead klein (enkele seconden).
  • Bij complexe applicaties (zoals Bookinfo) is CODECO langzamer dan vanilla K8s (bijv. 11s vs 3,5s in INF6), maar blijft dit binnen acceptabele grenzen (<15s) voor Edge-scenario's.
  • Interessant patroon: Bij de dummy-applicatie nam het relatieve overhead-percentage af naarmate het aantal replicas toenam (van +148% bij 1 replica naar +9,5% bij 50 replicas). Dit suggereert dat de orchestratiekosten minder zwaar wegen bij complexere, schaalbare werklasten.
• Verwijderingstijd (Deletion): CODECO toont vergelijkbare prestaties als K8s bij het verwijderen van services, wat aangeeft dat de overhead voornamelijk ligt in de initiële planning en plaatsing.

C. Resource Footprint (CPU, Geheugen, Energie)

• CPU: In rusttoestand (idle) zorgt CODECO voor een CPU-overhead van ongeveer +7,23% (bij CODEF) tot +4,4% (bij KinD) ten opzichte van vanilla K8s.
• Geheugen: Dit is het grootste nadeel. CODECO verhoogt het geheugengebruik aanzienlijk (bijv. +4,57 GB in een 3-knooppunt cluster bij CODEF, en +11,42 GB bij 20 knooppunten in KinD). Dit komt door de extra componenten en observabiliteit.
• Energie: Door het hogere CPU- en geheugengebruik stijgt het energieverbruik met ongeveer 4,7% (CODEF) tot 10,7% (KinD).
• Edge Hardware: Op beperkte hardware (zoals Raspberry Pi) is CODECO stabiel, maar de absolute latencies zijn hoger door de beperkte rekenkracht. CODECO slaagt er echter in om in sommige gevallen zelfs sneller te verwijderen dan K8s.

5. Betekenis en Conclusie

De studie concludeert dat CODECO een effectieve oplossing is voor het automatiseren van Edge-Cloud-orkestratie. Hoewel er een prijs wordt betaald in de vorm van extra geheugengebruik en een lichte toename in opstarttijd, worden deze kosten ruimschoots gecompenseerd door:

1. Extreme reductie in handmatige arbeid, wat schaalbaarheid en reproduceerbaarheid mogelijk maakt.
2. Contextbewuste beslissingen die op lange termijn efficiënter kunnen zijn (bijv. energiebesparing of QoS-optimalisatie), hoewel dit in deze specifieke "idle"-tests nog niet volledig tot zijn recht kwam.
3. Robuustheid in heterogene omgevingen, inclusief beperkte Edge-apparaten.

De auteurs benadrukken dat CODECO de flexibiliteit en intelligentie van K8s-implementaties verbetert. Toekomstig werk richt zich op het uitbreiden van de evaluatie naar federated multi-cluster omgevingen en het testen onder dynamischere werklasten (bursty traffic) en foutscenario's.

Kortom, CODECO bewijst dat geautomatiseerde, cognitieve orchestratie haalbaar is in Edge-Cloud-omgevingen, mits de extra resource-vereisten (vooral geheugen) worden meegenomen in de infrastructuurplanning.