A monitoring system for collecting and aggregating metrics from distributed clouds

Dit artikel presenteert het ontwerp en de implementatie van een monitoringssysteem dat machine-, container- en applicatiemetrics verzamelt, aggregatie toepast en via diverse API's beschikbaar stelt voor gedistribueerde clouds om deren levensvatbaarheid in realistische scenario's te waarborgen.

De kern

Stel je voor dat je een gigantisch, wervelend universum van computers hebt. In het verleden zaten al deze computers op één grote plek: een centraal datacentrum, zoals een enorme supermarkt waar alles wordt opgeslagen. Maar dat werkt niet meer goed voor alles. Soms wil je data verwerken op de plek waar het ontstaat (bijvoorbeeld in een zelfrijdende auto of een fabriek), omdat wachten tot de data naar de supermarkt en terug reist te lang duurt.

Dit nieuwe model heet Distributed Cloud (Verspreide Cloud). Het is alsof je in plaats van één grote supermarkt, honderden kleine, mobiele kraampjes hebt die je overal neerzet waar mensen ze nodig hebben. Je kunt ze snel opzetten, weer weghalen, en ze zijn perfect afgestemd op wat je op dat moment nodig hebt.

Maar hier zit een probleem: als je honderden mobiele kraampjes hebt die continu veranderen, hoe weet je dan of ze het goed doen? Welke kraampjes zijn vol? Welke zijn kapot? Welke verkopen te veel ijs?

Dit artikel beschrijft een sluipsysteem (een monitoringssysteem) dat precies dat doet: het houdt al deze mobiele kraampjes in de gaten.

Hier is hoe het werkt, vertaald naar alledaagse termen:

1. De Wachtjes op de Kraampjes (De Agents)

Op elk kraampje (elke computer in het netwerk) zit een klein, slim wachtje (een software-agent).

• Wat doet het? Dit wachtje kijkt constant naar drie dingen:
  1. De machine: Is de motor van het kraampje heet? Is de batterij bijna leeg? (Hardware-metrics).
  2. De dozen: Wat gebeurt er in de specifieke dozen (containers) waar de producten liggen? (Container-metrics).
  3. De verkopers: Wat doen de mensen die er werken? (Applicatie-metrics).
• Het geheim: Dit wachtje is heel bescheiden. Het neemt niet alles mee, maar verzamelt alleen de belangrijke feiten.

2. De Stille Fluit (Het Gezondheidscontrole Protocol)

Normaal gesproken zouden deze wachtjes constant bellen naar het hoofdkantoor om te zeggen: "Hier is een update!" Maar dat zou de telefoonlijnen overbelasten.

• De oplossing: Het hoofdkantoor (de Control Plane) roept af en toe een "gezondheidscheck" af. Het vraagt simpelweg: "Hé, ben je nog daar?"
• De slimme truc: Als een kraampje antwoordt met "Ja, ik ben hier!", zegt het er tegelijkertijd bij: "Oh, en hier is ook de update van de laatste keer."
• Dit noemen ze in het artikel piggybacking: je laat je metpakje (de data) meeliften op de rijklaar gemaakte auto (de gezondheidscheck). Zo hoef je niet apart te bellen.

3. Het Hoofdkantoor en de Samenvatting (Aggregatie)

Alle updates komen binnen bij het hoofdkantoor.

• Opslag: Hier worden alle gegevens veilig opgeslagen, net als in een enorme, digitale archiefkast.
• Samenvatting: Het hoofdkantoor doet niet alleen maar opslaan. Het telt ook bij elkaar. Als je 100 kraampjes hebt, wil je niet 100 aparte lijsten zien. Je wilt weten: "Hoeveel ijs hebben we samen verkocht?" Het systeem maakt dus een samenvatting van het hele netwerk.

4. De Raamverkoop (API's)

Hoe krijg jij, de eigenaar van het netwerk, deze informatie?

• De vaste lijst (REST API): Je kunt een vraag stellen: "Geef me de lijst van gisteren." Je krijgt een statisch document terug.
• De live stroom (Streaming API): Dit is als een live-tv-uitzending. Je kunt abonneren op een kanaal. Zodra er iets nieuws gebeurt (bijvoorbeeld: "Kraampje 5 is oververhit!"), krijg je dat bericht direct in je hoofd. Dit is cruciaal voor systemen die direct moeten reageren, zoals een autoscaler die automatisch meer kracht toevoegt als het druk wordt.

Waarom is dit belangrijk?

Stel je voor dat je een leger van drones hebt. Als je niet weet welke drone een lege batterij heeft, crasht er eentje. Met dit systeem weet je precies welke drone wat doet, en kun je beslissingen nemen voordat er iets misgaat.

De toekomstplannen:
De auteurs zeggen: "Dit werkt nu goed voor een klein leger, maar wat als we een heel leger van duizenden drones hebben?" Dan wordt het hoofdkantoor te druk.

• Oplossing voor de toekomst: Laat de drones onderling met elkaar praten (een P2P-netwerk). Ze kunnen dan onderling samenvatten wie het goed doet, en alleen de samenvatting sturen naar het hoofdkantoor. Zo blijft het systeem licht en snel, zelfs als het enorm groot wordt.

Kortom:
Dit artikel beschrijft een slimme manier om een wervelend, veranderend netwerk van computers in de gaten te houden zonder dat het systeem zelf zwaar wordt. Het gebruikt slimme trucs om data te sturen, maakt samenvattingen voor de grote lijnen, en geeft je een live-kijkje in de machinekamer.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "A monitoring system for collecting and aggregating metrics from distributed clouds" in het Nederlands.

Titel: Een monitoringssysteem voor het verzamelen en aggregeren van metrics uit gedistribueerde clouds

1. Het Probleem

De traditionele cloud-modellen worden onvoldoende voor moderne toepassingen die real-time verwerking vereisen van grote datavolumes. Dit heeft geleid tot het ontstaan van Gedistribueerde Clouds (DC), waarbij ad-hoc clouds dynamisch worden gevormd op strategische locaties dicht bij de data-bron.

Hoewel DC-modellen efficiëntie, privacy en lage latentie bieden, ontbreekt er een native oplossing voor observabiliteit. Bestaande monitoringssystemen (zoals Prometheus of Kubernetes-metrics) zijn niet ontworpen voor de dynamische aard van DC's, waar knooppunten (nodes) constant worden toegevoegd of verwijderd. Daarnaast zijn de hardwarebronnen in DC's vaak beperkt, waardoor zware monitoringstools niet haalbaar zijn. Er is een systeem nodig dat:

• Flexibel is om te gaan met fluctuaties in de infrastructuur.
• Lichtgewicht is om resource-gebruik te minimaliseren.
• Metrics verzamelt op verschillende niveaus (machine, container, applicatie) en deze aggregeert voor een totaalbeeld van de DC.

2. Methodologie en Systeemontwerp

De auteurs presenteren het ontwerp en de implementatie van een monitoringssysteem dat is ingebouwd in het open-source DC-platform Constellations (c12s). Het systeem is opgebouwd uit twee hoofdcomponenten: agents op de nodes en een control plane.

A. Architectuur en Componenten:

• Op de Nodes:
  • Collectors: Machine-level collectors (bijv. Node Exporter, Windows Exporter) en container-level collectors (cAdvisor) verzamelen data.
  • Metrics Agent (Starometry): Verantwoordelijk voor het ophalen van metrics van alle niveaus (inclusief dynamische applicatie-metrics) en het tijdelijk opslaan ervan op het bestandssysteem.
• In de Control Plane:
  • Processor (Protostar): Voert gezondheidschecks uit op de nodes. Het gebruikt een "piggyback"-protocol: wanneer een node reageert op een ping, worden de verzamelde metrics meegezonden. Dit vermindert het aantal aparte requests.
  • Metrics Storage: Prometheus wordt gebruikt voor persistente opslag, vanwege de ondersteuning voor het OpenMetrics-formaat.
  • Reader: Biedt API's voor clients om data op te halen.

B. Data-Verzameling en Aggregatie:

• Niveaus: Het systeem verzamelt data op drie niveaus:
  1. Machine-niveau: Hardware en systeemsoftware.
  2. Container-niveau: Geïsoleerde werkomgevingen.
  3. Applicatie-niveau: Aangepaste metrics gegenereerd door gebruikersapplicaties.
• Aggregatie: De processor berekent periodiek DC-niveau metrics (bijv. totale beschikbare CPU/RAM van een hele DC) door de node-niveau metrics op te tellen of te middelen.
• Communicatie: NATS wordt gebruikt als message broker voor communicatie tussen control plane en nodes, en voor de streaming API.

C. Toegang en API's:

• REST API: Biedt endpoints om metrics op te halen per node, DC, container, of applicatie binnen een specifiek tijdsbestek.
• Streaming API: Laat clients toe om te abonneren op topics (bijv. metrics.nodes.* of metrics.dc.X) voor real-time dashboards en autoscaling.

3. Belangrijkste Bijdragen

1. Native DC Monitoring: Het eerste monitoringssysteem dat specifiek is ontworpen voor de dynamische en resource-beperkte aard van Gedistribueerde Clouds.
2. Efficiënt Protocollering: De implementatie van het "piggyback"-principe, waarbij metrics worden meegestuurd met gezondheidschecks, minimaliseert netwerkverkeer en overhead.
3. Flexibiliteit: Ondersteuning voor zowel statische machine-metrics als dynamische, door de gebruiker gedefinieerde applicatie-metrics.
4. Open-Source Implementatie: De volledige stack (Starometry, Protostar, c12s) is geschreven in Go en beschikbaar gesteld, wat reproduceerbaarheid en adoptie bevordert.
5. Aggregatiestrategie: Een mechanisme om van individuele node-data naar een holistisch DC-overzicht te komen, essentieel voor workload-schedulers.

4. Resultaten en Evaluatie

• Implementatie: Het systeem is succesvol geïmplementeerd en getest in laboratoriumomstandigheden met gesimuleerde nodes in virtuele machines.
• Validatie: De correctheid van de data-overdracht en de API-functionaliteit is geverifieerd.
• Beperkingen: De huidige implementatie is gecentraliseerd rond de control plane. In zeer grote DC's (duizenden nodes) kan dit leiden tot overbelasting van de control plane.
• Toekomstige Werk: De auteurs plannen de implementatie van een peer-to-peer aggregatielaag binnen DC's om de centralisatie te verminderen, evenals het toevoegen van data-compressie en verliesreductiestrategieën (zoals dynamische sampling).

5. Significance (Betekenis)

Dit paper is significant omdat het een cruciaal ontbrekend onderdeel levert voor de adoptie van Gedistribueerde Clouds in de praktijk. Zonder betrouwbare observabiliteit kunnen DC's niet effectief worden beheerd, geschaald of geoptimaliseerd.

• Voor Systeembeheerders: Het biedt inzicht in de staat van de infrastructuur en applicaties.
• Voor Automatisering: Het levert de noodzakelijke input voor workload-schedulers en auto-scalers, die beslissingen nemen op basis van real-time metrics.
• Voor AI/ML: De verzamelde datasets kunnen dienen als trainingsdata voor machine learning-modellen die gericht zijn op infrastructuurbeheer.

Het paper markeert een stap in de richting van een volwassen ecosysteem voor DC's, waarbij monitoring niet als een nagedachte, maar als een integraal onderdeel van de architectuur wordt beschouwd.