💻 informatica

Dynamic Sampling for Telemetry in Microservices: A Reinforcement Learning and Entropy-Based Approach

Dit artikel introduceert RADAR, een op reinforcement learning en entropie gebaseerde agent die de telemetrie-sampling van microservices dynamisch optimaliseert om het resourceverbruik drastisch te verminderen terwijl de kritieke observeerbaarheid en datakwaliteit behouden blijven.

Oorspronkelijke auteurs: Renan Martins Alves, Jéferson Campos Nobre, Juliano Araujo Wickboldt

Gepubliceerd 2026-10-19

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Renan Martins Alves, Jéferson Campos Nobre, Juliano Araujo Wickboldt

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Moderne software bestaat vaak niet als één enkel, massief programma, maar als een zwerm kleine, onafhankelijke services die via een netwerk met elkaar communiceren. Deze aanpak, bekend als microservices, stelt bedrijven in staat om onderdelen van hun applicaties snel bij te werken en op of af te schalen naar behoefte. Deze flexibiliteit brengt echter een verborgen kostenpost met zich mee: het wordt ongelooflijk moeilijk om te zien wat er binnen het systeem gebeurt wanneer er iets misgaat. Om dit op te lossen, gebruiken engineers een techniek genaamd distributed tracing (gedistribueerde sporing). Stel je voor dat een klant een bestelling plaatst op een website; die ene aanvraag kan door een dozijn verschillende services springen, waarbij de voorraad wordt gecontroleerd, belastingen worden berekend en betalingen worden verwerkt. Distributed tracing volgt die aanvraag van begin tot eind en maakt een gedetailleerde kaart van de reis. Deze kaart is essentieel voor het vinden van bugs en het begrijpen van prestatieproblemen, maar het genereert een enorme hoeveelheid gegevens. Als een systeem miljoenen aanvragen verwerkt, zou het verzamelen van elke individuele trace het netwerk overbelasten, enorme hoeveelheden rekenkracht verbruiken en opslaggereedschappen op een onhoudbare snelheid vullen.

De uitdaging is dan om genoeg gegevens te verzamelen om de problemen te zien, zonder te verdrinken in de ruis van routinematige, succesvolle operaties. Traditionele methoden vertrouwen vaak op eenvoudige regels, zoals het alleen registreren van één op de honderd aanvragen, of wachten tot er een fout optreedt voordat er wordt begonnen met registreren. Deze benaderingen zijn vaak te rigide; ze kunnen zeldzame maar kritieke fouten missen, of ze verspillen middelen aan het registreren van alledaalverkeer dat geen nieuwe inzichten biedt. Onderzoekers aan de Federal University of Rio Grande do Sul in Brazilië hebben een nieuwe manier ontwikkeld om dit dilemma aan te pakken. Ze creëerden een systeem genaamd RADAR, dat fungeert als een intelligente, zelfregulerende filter voor deze gegevens. In plaats van vaste regels te gebruiken, leert RADAR welke traces het waard zijn om te bewaren door constant verschillende combinaties van samplingregels te testen en de resultaten te observeren.

Het kernidee achter RADAR is om het verzamelen van gegevens te behandelen als een leerproces. Het systeem gebruikt een methode genaamd reinforcement learning (versterkend leren), waarbij een computeragent beslissingen neemt, ziet wat er gebeurt en zijn strategie aanpast om over tijd betere resultaten te behalen. In dit geval is het doel van de agent om de "informatiewaarde" van de gegevens die het bewaart te maximaliseren, terwijl het de hoeveelheid opgeslagen gegevens minimaliseert. Om de informatiewaarde te meten, gebruikten de onderzoekers een concept uit de informatietheorie genaamd entropie. In eenvoudige termen meet entropie hoe divers of onvoorspelbaar een set gegevens is. Een verzameling traces die allemaal identiek zijn, heeft een lage entropie en een lage waarde, omdat ze je niets nieuws vertellen. Een verzameling die veel verschillende, zeldzame en ongebruikelijke paden bevat, heeft een hoge entropie en een hoge waarde, omdat het de complexe gedragingen en potentiële fouten van het systeem onthult. RADAR gebruikt deze maatstaf van diversiteit als een beloningssignaal. Wanneer de agent een set regels selecteert die een grote verscheidenheid aan unieke gedragingen vastlegt zonder te veel gegevens te verzamelen, ontvangt het een hoge beloning en leert het die keuze te herhalen.

Om dit idee te testen, bouwden de onderzoekers een gesimuleerde webshop die draait op een cluster van computers, wat de complexe omgeving van een real-world applicatie nabootst. Ze introduceerden diverse soorten verkeer, inclus inclusief normaal browsen en specifieke scenario's die ontworpen zijn om fouten of ongebruikelijk gedrag te triggeren. Vervolgens lieten ze de RADAR-agent enkele uren draaien, zodat het kon experimenteren met verschillende regels. Sommige regels richtten zich op het vastleggen van trage aanvragen, andere op fouten, en andere op specifieke zakelijke gebeurtenissen zoals hoogwaardige aankopen. De agent zou schakelen tussen deze regels en observeren hoeveel traces werden verzameld en hoe divers ze waren. In de loop van de tijd leerde de agent de perfecte balans te vinden. Het ontdekte dat het niet nodig was om elke aanvraag te registreren om het systeem te begrijpen. In plaats daarvan, door te focussen op de meest diverse en informatieve paden, kon het een helder beeld van de gezondheid van het systeem behouden terwijl het het volume aan gegevens drastisch verminderde.

De resultaten van dit experiment waren opmerkelijk. Vergeleken met een systeem dat elke enkele trace registreert, verminderde RADAR de hoeveelheid gegevens die over het netwerk werd verzonden met 97,4 procent. Het verminderde ook de rekenkracht die nodig is om die gegevens te verwerken met 99,0 procent. Deze besparingen zijn significant omdat ze betekenen dat het systeem veel goedkoper en sneller kan draaien. Toch waren de onderzoekers voorzichtig om ervoor te zorgen dat deze efficiëntie niet ten koste ging van het missen van belangrijke informatie. Ze vergeleken de door RADAR verzamelde gegevens met de volledige dataset om te zien of het de zeldzame en kritieke gebeurtenissen had vastgelegd. Ze ontdekten dat RADAR ongeveer 85,6 procent van de zeldzame trace-patronen behield—die unieke, eenmalige gebeurtenissen die vaak het begin van een serieus probleem signaleren. Bovendien nam de gemiddelde diversiteit van de gehouden gegevens met ongeveer 25 procent toe, wat betekent dat de resterende gegevens veel nuttiger waren voor diagnose dan een willekeurige steekproef zou zijn geweest.

Deze aanpak vertegenwoordigt een verschuiving van statische, door mensen gedefinieerde regels naar dynamisch, autonoom beheer. Traditionele systemen vereisen dat engineers handmatig beslissen welke regels toe te passen, een taak die moeilijk wordt naarmate het systeem verandert en groeit. RADAR daarentegen past zich continu aan aan de huidige staat van het systeem. Het hoeft niet vooraf te worden verteld hoe een fout eruitziet; het leert simpelweg te herkennen dat een diverse set gedragingen waardevoller is dan een repetitieve een. Het systeem werkt volledig binnen de standaardtools die moderne software engineers gebruiken, waardoor het compatibel is met bestaande infrastructuur zonder dat er ingrijpende wijzigingen in de applicatiecode nodig zijn.

De studie demonstreert dat het mogelijk is om de last van het monitoren van complexe systemen drastisch te verminderen zonder het vermogen op te offeren om te zien wat er misgaat. Door een wiskundige maatstaf voor diversiteit te gebruiken om het verzamelproces te sturen, hebben de onderzoekers aangetoond dat een intelligente agent de ruis kan wegfilteren en het signaal kan behouden. Hoewel het experiment in een gecontroleerde omgeving werd uitgevoerd, suggereren de resultaten een levensvatbaar pad voor het beheer van de groeiende complexiteit van cloud-gebaseerde applicaties. Het werk benadrukt dat de toekomst van systeemmonitoring mogelijk niet ligt in het verzamelen van méér gegevens, maar in het verzamelen van slimmere gegevens, geleid door agenten die de waarde van informatie in realtime begrijpen.

Technisch Overzicht: Dynamische Bemonstering voor Telemetrie in Microservices (RADAR)

1. Probleemstelling

De overgang naar microservices-architecturen heeft de schaalbaarheid van applicaties vergroot, maar de observabiliteit van systemen aanzienlijk bemoeilijkt. In gedistribueerde omgevingen doorloopt een enkele gebruikersaanvraag meerdere onafhankelijke services, waardoor gedistribueerde tracing essentieel is voor debugging en diagnose van fouten. Het verzamelen van volledige traces op schaal is echter vaak onhaalbaar vanwege de prohibitieve kosten in netwerkbandbreedte, CPU-verwerking en opslag.

Traditionele bemonsteringsstrategieën (sampling) kampen met duidelijke beperkingen:

Head-based sampling: Beslist om data te verwerpen aan het begin van een transactie, waardoor zeldzame fouten of anomalieën die later in de flow manifesteren, vaak worden gemist.
Tail-based sampling: Maakt geïnformeerde beslissingen mogelijk op basis van de volledige trace, maar vertrouwt op rigide, handmatig geconfigureerde regels die niet kunnen adapteren aan de dynamische belasting en gedragsvariaties die typerend zijn voor cloudomgevingen.
Bestaande geavanceerde oplossingen: Benaderingen zoals Hindsight (reactieve anomalie-triggers) of clustering-gebaseerde methoden lijden vaak aan rigide triggerdefinities, een gebrek aan compatibiliteit met moderne standaarden zoals OpenTelemetry, of vereisen invasieve instrumentatie.

De centrale uitdaging die wordt aangepakt, is hoe het volume van verzamelde traces aanzienlijk kan worden verminderd terwijl de hoge informatiewaarde behouden blijft die nodig is voor effectieve observabiliteit, zonder te vertrouwen op statische heuristieken of vooraf gedefinieerde datalabeling.

2. Methodologie: Het RADAR-framework

De auteurs stellen RADAR voor (Reinforcement Learning Agent for Dynamic And Relevant trace sampling), een autonome agent die is geïntegreerd in het OpenTelemetry-ecosysteem. RADAR past bemonsteringsbeleid dynamisch aan door Reinforcement Learning (RL) te combineren met Shannon-entropie.

2.1 Systeemarchitectuur

RADAR werkt als een gesloten feedbackloop die het MAPE-K (Monitor, Analyze, Plan, Execute, Knowledge) autonome model instantieert:

Monitor: Een OpenTelemetry Collector ontvangt traces van een gedistribueerde applicatie en exporteert deze naar een Tracing Backend (Jaeger) en een Database (Elasticsearch).
Analyze: Een Metrics Extractor bevraagt de database om statistische kenmerken te berekenen, specifiek de Shannon-entropie van de verzamelde traces en het totale volume.
Plan: Een Reinforcement Learning Agent gebruikt deze statistieken om een beloning (reward) te berekenen en een nieuwe subset van bemonsteringsbeleid te selecteren uit een vooraf gedefinieerde catalogus.
Execute: Een Rules Manager vertaalt de beslissing van de agent naar een bijgewerkte configuratie voor de OpenTelemetry Collector, waarbij de nieuwe regels via Kubernetes op de live omgeving worden toegepast.

2.2 Probleemformalisering

De adaptieve bemonsteringsuitdaging wordt niet geformaliseerd als een traditioneel Markov Decision Process (MDP), maar als een combinatorisch Multi-Armed Bandit probleem.

Statloze omgeving: De agent observeert geen veranderende systeemtoestand (bijv. de huidige CPU-belasting), maar selecteert acties op basis van de geschiedenis van beloningen.
Actieruimte ( $A$ ): Een discrete, combinatorische ruimte waar de agent een binaire vector selecteert die de activatie ($1$) of deactivatie ($0$) van $N$ onafhankelijke bemonsteringsbeleid regels vertegenwoordigt (bijv. regels gebaseerd op latentie, foutcodes of zakelijke attributen).
Algoritme: Het systeem past het REINFORCE policy-gradient algoritme aan om de optimale waarschijnlijkheidsverdeling voor het selecteren van regelcombinaties te leren.

2.3 Beloningsfunctie (Reward Function)

De kerninnovatie is een beloningsfunctie ( $R$ ) die informatierijkdom afweegt tegen operationele kosten:
$R = \alpha \cdot H(X) - \beta \cdot P(n)$

$H(X)$ (Entropie): Shannon-entropie berekend over de frequentieverdeling van unieke trace-representaties. Een hogere entropie duidt op een diverse set van executiepaden (inclusclusief zeldzame/anomale paden) in plaats van repetitieve, triviale paden.
$P(n)$ (Volume Penalty): Een sigmoid-vormige functie die het aantal verzamelde traces ( $n$ ) bestraft naarmate dit de drempelwaarde ( $C$ ) nadert. Dit zorgt ervoor dat het systeem binnen de de budgetten voor resources blijft.
$\alpha$ en $\beta$ : Hyperparameters die de afweging tussen informatie-diversiteit en de besparing van resources controleren.

2.4 Entropieberekening

Om entropie te berekenen zonder menselijk toezicht, worden traces (hiërarchische span-trees) omgezet in deterministische tekstuele representaties. Dit proces omvat:

Sorteren: Spans hiërarchisch en temporeel sorteren.
Ruisfiltering: Het verwijderen van attributen met een hoge cardinaliteit (bijv. dynamische IP's, poorten) die irrelevant zijn voor de structurele gedrag.
Kwantisering: Het discretiseren van continue waarden (bijv. latentie) in buckets om te voorkomen dat natuurlijke netwerkjitter de entropie kunstmatig opblaast.

3. Belangrijkste Bijdragen

Het artikel identificeert drie primaire bijdragen:

Het RADAR-framework: Een praktische implementatie van een RL-agent geïntegreerd in OpenTelemetry die bemonsteringsbeleid tijdens runtime aanpast zonder handmatige interventie of voorafgaande datalabeling.
Entropie-gebaseerde Beloningsmetriek: Een methodologie voor het kwantificeren van de relevantie van gedistribueerde traces. Het geeft prioriteit aan traces met een grotere informatiediversiteit (hoge entropie) en verwerpt redundante verzoeken, waardoor de operationele kosten effectief worden afgewogen tegen de informatiewaarde.
Experimentele Microservices Omgeving: De creatie van "Minimal Boutique", een controleerbare, gecontaineriseerde testomgeving gebaseerd op de Google Online Boutique architectuur. Deze beschikt over fault injection en stochastische load generatie om de convergentie van de agent en de systeemprestaties te evalueren.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op een Kubernetes-cluster die een online winkel simuleert, waarbij RADAR werd vergeleken met een volledige verzameling baseline (100% sampling) en een vaste rate baseline (20% sampling).

4.1 Efficiëntie van Resources

Bandbreedte: RADAR verminderde het netwerkbandbreedteverbruik met 97,4% vergeleken met volledige verzameling (een daling van ~344 Kbit/s naar ~9 Kbit/s).
CPU-gebruik: RADAR verminderde het CPU-gebruik met 99,0% vergeleken met volledige verzameling (een daling van ~1,99% naar ~0,02%).
Geheugen: RADAR verbruikte 58,0% minder geheugen dan de volledige collector.
Vergelijking met Vaste Bemonstering: RADAR presteerde beter dan een vaste 20% sampling rate, waarbij vergelijkbare of betere resourcebesparingen werden behaald terwijl een hogere datakwaliteit werd behouden.

4.2 Observabiliteit en Datakwaliteit

Toename in Entropie: De gemiddelde entropie van de opgeslagen informatie nam met ongeveer 25% toe (van 5,76 naar 7,63), wat wijst op een verschuiving naar het vastleggen van meer diverse en informatieve traces.
Preservering van Zeldzame Traces: Cruciaal is dat RADAR ongeveer 85,6% van de zeldzame trace-patronen (traces die slechts één keer voorkomen) behield die in de volledige baseline werden geïdentificeerd, ondanks het feit dat slechts ~13% van het totale trace-volume werd verzameld.
Convergentie: De agent vertoonde een stabiele convergentie naar optimale beleidsregels, ongeacht het aantal beschikbare regels (getest met 3, 6, 9 en 12 regels), waarbij de beloningsfunctie over tijd werd gemaximaliseerd.

5. Betekenis en Claims

Het artikel beweert dat RADAR de haalbaarheid valideert van het autonoom en efficiënt orchestreren van telemetry middels entropie. De betekenis ligt in:

Proactief vs. Reactief: In tegenstelling tot reactieve systemen (zoals Hindsight) die vertrouwen op vooraf gedefinieerde anomalie-triggers, ontdekt RADAR proactief relevante traces door middel van entropie-maximalisatie, waardoor scenario's worden gevangen die mogelijk geen statische regels zouden triggeren.
Draagbaarheid: Door volledig in de user space te opereren via OpenTelemetry, vermijdt RADAR de complexiteit en privileges die vereist zijn voor kernel-level instrumentatie (bijv. eBPF) of invasieve compiler-modificaties.
Dynamische Balans: De aanpak biedt een superieure dynamische balans tussen operationele kosten en informatiewaarde vergeleken met handmatige tail-sampling configuraties, die moeilijk te onderhouden zijn in dynamische cloudomgevingen.

6. Beperkingen en Toekomstig Werk

De auteurs erkennen enkele beperkingen:

Externe Validiteit: Experimenten werden uitsluitend uitgevoerd op "Minimal Boutique", een aangepaste omgeving. Prestaties op complexere topologieën of onvoorziene workloads moeten nog worden gevalideerd.
Baseline Vergelijking: De studie heeft RADAR niet vergeleken met een statische configuratie die dezelfde regelcatalogus gebruikt met vaste waarschijnlijkheden, wat de waarde van het geleerde beleid beter had kunnen isoleren.
Gevoeligheid voor Hyperparameters: Parameters van de beloningsfunctie werden gekozen via handmatige experimenten in plaats van een systematische sensitiviteitsanalyse.
Operationele Overhead: De kosten van de Kubernetes rolling updates die door beleidswijzigingen worden getriggerd, zijn niet gekwantificeerd.

Toekomstige onderzoeksrichtingen omvatten het evolueren van regel-verwerping naar probabilistische activatiepercentages, het uitbreiden van het model naar een volledige MDP door de clustertoestand te integreren, het integreren van zakelijke metrieken in de beloningsfunctie, en het valideren van de aanpak op onafhankelijke industrie-benchmarks.