Anomaly Detection and Root Cause Analysis for Microservice Systems
Deze thesis bevordert geautomatiseerde anomaliedetectie en oorzaakanalyse voor microservicesystemen door vijf belangrijke beperkingen aan te pakken via nieuwe end-to-end frameworks (BARO, EventADL en TORAI) die diverse observability-data benutten zonder dat daarvoor service call-grafieken vereist zijn, naast de introductie van de RCAEval-benchmark en systematische evaluatie om toekomstig onderzoek te standaardiseren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je het internet voor als een enorme, bruisende stad waar elke app die je gebruikt een andere wijk is. In de oude dagen waren deze wijken allemaal onderdeel van één grote, ommuurde stad (een "monoliet"). Als de bakkerij in brand vloog, kon de hele stad in duisternis gehuld raken, maar wist je tenminste precies waar je moest kijken. Tegenwoordig hebben we die stad echter vervangen door duizenden kleine, onafhankelijke dorpjes die "microservices" worden genoemd. Ze praten constant met elkaar om jouw online winkelen of het streamen van video mogelijk te maken. Het probleem? Als één klein dorpje een glitch heeft, kan dit een rimpeleffect veroorzaken dat de hele stad laat crashen, wat zorgt voor trage laadtijden of totale black-outs. Om deze digitale stad draaiende te houden, moeten ingenieurs optreden als superintelligente detectives. Ze moeten het moment spotten waarop er iets misgaat (genaamd "anomaliedetectie") en vervolgens uitzoeken welke exacte dorpje de problemen heeft veroorzaakt (genaamd "root cause analysis" of oorzaakanalyse). Maar met miljoenen datapunten die elke seconde rondvliegen — zoals verkeerstellingen, energieverbruik en foutmeldingen — is het voor mensen onmogelijk om handmatig de naald in de hooiberg te vinden.
Deze scriptie, geschreven door Qui Luan Pham, pakt de uitdaging aan om een geautomatiseerd detectiesysteem te bouwen voor deze digitale steden. De auteur voert aan dat de meeste huidige detectietools gebrekkig zijn omdat ze "het opsporen van het probleem" en "het vinden van de schuldige" als twee aparte taken behandelen, waarbij vaak wordt aangenomen dat de eerste taak perfect is uitgevoerd. In werkelijkheid raken geautomatiseerde detectoren vaak in de war door ruis of krijgen ze de timing net niet goed, wat het hele onderzoek in de war stuurt. Het artikel wijst ook uit dat veel bestaande tools afhankelijk zijn van het hebben van een perfecte kaart van hoe de dorpjes met elkaar verbonden zijn, wat in de echte wereld vaak onmogelijk is. Om dit op te lossen, heeft de auteur drie nieuwe, slimmere detectietools en een enorme, gestandaardiseerde "trainingsgrond" ontwikkeld om ze te testen.
De Drie Nieuwe Detectietools
De scriptie introduceert drie verschillende methoden, elk ontworpen om verschillende soorten aanwijzingen en verschillende niveaus van rommeligheid in de data aan te pakken.
1. BARO: De Metrische Detective
Beschouw "metrieken" als de vitale functies van het systeem: de hartslag (CPU-gebruik), de ademhalingssnelheid (latentie) en de lichaamstemperatuur (foutpercentages). De eerste tool, BARO, is ontworpen om deze vitale functies te lezen. Eerdere detectives keken naar de hartslag, riepen "Hartaanval!" en probeerden dan onmiddellijk de oorzaak te vinden, uitgaande van de aanname dat het alarm 100% accuraat was. BARO is anders. Het weet dat alarmen onbetrouwbaar kunnen zijn. Het gebruikt een speciale statistische techniek genaamd "Multivariate Bayesian Online Change Point Detection" om te kijken hoe alle vitale functies samen bewegen. Als de hartslag omhoog schiet maar de ademhaling rustig blijft, kan het slechts een vals alarm zijn. Maar als alles tegelijkertijd verandert, weet het dat er een echt probleem is. Zelfs als het alarm een paar seconden te vroeg of te laat afgaat, heeft BARO een "Robust Scorer" die nog steeds kan uitzoeken welk dorpje de schuldige is. Het is als een detective die niet in paniek raakt als een getuige onzeker is over de tijd van het misdrijf; ze kunnen de zaak nog steeds oplossen.
2. EventADL: De Event-Detective
Hoewel vitale functies geweldig zijn, zitten de echte aanwijzingen soms in de "events" (gebeurtenissen) — de specifieke acties die mensen ondernemen, zoals "Gebruiker X heeft een bestand verwijderd" of "Server Y is herstart". De meeste eerdere tools negeerden deze event-logs of behandelden ze als rommelige, ongestructureerde tekst. EventADL is de eerste tool die events behandelt als een gestructureerd verhaal. Het leerde door het analyseren van 520 echte incidenten bij een groot cloudbedrijf. Het zoekt naar patronen in wie wat deed met welke resource. Het kan bijvoorbeeld een patroon opmerken waarbij een specifieke beveiligingsgroep wordt verwijderd, gevolgd door het direct falen van het opstarten van een server. Het bouwt een "verhaalkaart" (een Intervention Graph) om precies te laten zien hoe één actie tot de ramp leidde. Deze tool is "open-box", wat betekent dat hij niet alleen zegt "er is iets mis"; hij legt het verhaal uit van waarom het gebeurde, wat het voor menselijke ingenieurs veel gemakkelijker maakt om de resultaten te vertrouwen en op te lossen.
3. TORAI: De Multimodale Detective
In de echte wereld ontbreken soms stukjes op de kaart. Sommige dorpjes zijn "blinde vlekken" — misschien zijn ze oud, of worden ze beheerd door een derde partij, en kunnen we hun interne logs of traces niet zien. De meeste tools falen volledig als ze niet over een volledige kaart beschikken. TORAI is de ultieme detective die werkt, zelfs met een kapotte kaart. Het combineert alle beschikbare aanwijzingen: vitale functies (metrieken), actie-logs (events) en de weinige traces die het wel heeft. Het groepeert services op basis van hoe "ernstig" hun symptomen zijn en gebruikt een methode genaamd "causal ranking" om de grondoorzaak te achterhalen, zelfs als het niet alle verbindingen kan zien. Het is als een detective die een mysterie kan oplossen, zelfs als de helft van de getuigen ontbreekt, door de weinige aanwijzingen die overblijven samen te voegen.
De Trainingsgrond: RCAEval
Om te bewijzen dat deze nieuwe detectives daadwerkelijk beter waren dan de oude, heeft de auteur niet alleen een paar tests uitgevoerd. Ze hebben RCAEval gebouwd, de eerste gestandaardiseerde "trainingsgrond" voor dit vakgebied. Voorheen gebruikten elke onderzoeker hun eigen verschillende datasets en regels, waardoor het onmogelijk was om te vergelijken wie er daadwerkelijk de beste was. RCAEval biedt een enorme bibliotheek van 735 verschillende faalscenario's verspreid over drie verschillende digitale steden, samen met 15 verschillende "baseline" detectiemethoden om tegen te strijden. Het is also$ het creëren van een gestandaardiseerde olympische baan zodat elke loper eerlijk beoordeeld kan worden.
Wat de Testsen Lieten Zien
De auteur heeft BARO, EventADL en TORAI rigoureuze tests onderworpen op deze benchmark-systemen.
- BARO presteerde consequent beter dan bestaande methoden bij het vinden van de grondoorzaak, zelfs wanneer het initiële alarm enigszins onnauwkeurig was. Het bewees dat het robuust zijn tegen timingfouten cruciaal is.
- EventADL liet zien dat het kijken naar gestructureerde events een gamechanger is, waarbij het zeer hoge nauwkeurigheid behaalde in zowel het detecteren van anomalieën als het verklaren ervan.
- TORAI demonstreerde dat je geen perfecte kaart nodig hebt om het mysterie op te lossen; het kon de grondoorzaak vinden, zelfs wanneer delen van het systeem onzichtbaar waren.
De paper vond echter ook dat niet alle bestaande methoden gelijk zijn aan elkaar. De auteur voerde een uitgebreide studie uit naar 21 verschillende "causale inferentie"-methoden (tools die proberen oorzaak en gevolg te achterhalen). Ze ontdekten dat veel van deze populaire tools moeite hebben wanneer het systeem te groot wordt (meer dan 200 services) of wanneer de data rommelig is. Sommige methoden waren ongelooflijk traag en deden er uren over om een probleem op te lossen dat binnen seconden opgelost zou moeten zijn, terwijl andere volledig faalden als de data niet perfect was.
De Kern van het Verhaal
Deze scriptie suggereert dat de toekomst van het repareren van digitale steden ligt in het combineren van verschillende soorten aanwijzingen (metrieken, events en traces) en het bouwen van tools die robuust genoeg zijn om met imperfecte data om te gaan. De auteur heeft niet alleen nieuwe tools uitgevonden; de auteur heeft ook de infrastructuur gebouwd om ze eerlijk te testen. Hoewel de paper niet beweert elk probleem in de wereld te hebben opgelost, biedt het een solide, reproduceerbare fundering die het vakgebied verplaatst van "gokken" naar "weten". Het laat zien dat we, met de juiste statistische trucs en een bereidheid om naar alle soorten data te kijken, systemen kunnen bouwen die zichzelf veel sneller detecteren en herstellen dan ooit tevoren.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.