Intelligent Root Cause Analysis and Incident Diagnostics for Microsoft Fabric and Power BI through Telemetry Correlation and Kusto Query Language

Stel je voor dat je de kapitein bent van een enorm, hoogtechnologisch ruimteschip genaamd "The Analytics Enterprise." Dit schip wordt aangedreven door twee supercomplexe motoren: Microsoft Fabric en Power BI. Deze motoren vliegen niet alleen; ze verwerken bergen data om de bemanning te helpen bij het nemen van grote beslissingen. Maar soms hapert het schip. Een dashboard wordt leeg, een rapport duurt eeuwig om te laden, of een datapijplijn komt tot stilstand.

Wanneer dit gebeurt, is de oude manier van repareren als het sturen van een monteur met een zaklamp en een notitieblok om door de machinekamer te dwalen. De monteur moet de brandstofleidingen, de bedrading, de koelsystemen en de navigatiecomputers één voor één controleren, waarbij hij gokt waar het probleem zit. Het is traag, vermoeiend, en als de monteur geen expert is, repareert hij misschien het verkeerde onderdeel.

Dit is precies waar het artikel van Shujath Baig Mirza over gaat. De auteur stelt dat voor enorme platforms zoals Microsoft Fabric en Power BI, het ronddwalen met een zaklamp (handmatige investigatie) te traag en foutgevoelig is. In plaats daarvan stelt het artikel een slim detectivesysteem voor dat fungeert als een superkrachtige GPS voor de machinekamer van het schip.

De Gereedschapskist van de Slimme Detective

Het nieuwe systeem gebruikt twee hoofdinstrumenten om mysteries op te lossen:

1. Telemetry Correlation (Het "Alziende Oog"):
   Denk aan het ruimteschip dat miljoenen kleine camera's en microfoons (logs, metrieken en traces) overal heeft. In de oude dagen moesten ingenieurs elke camerabeelden afzonderlijk bekijken. Het nieuwe systeem voegt al deze beelden samen tot één grote, gesynchroniseerde film. Het kan zien dat een flikkering in de brandstofleiding plaatsvond op exact hetzelfde moment als een vreemd geluid in de navigatiecomputer. Het legt de verbanden die mensen zouden missen omdat ze naar te veel schermen tegelijk kijken.

2. Kusto Query Language (Het "Magische Sprekendboek"):
   Dit is de taal die de detective gebruikt om vragen te stellen aan het ruimteschip. In plaats van telkens een nieuwe, ingewikkelde vraag vanaf nul te schrijven wanneer er iets kapot gaat, gebruikt de detective een set vooraf geschreven, herbruikbare "spreuken" (templates). Deze spreuken zijn ontworpen om te weten hoe de onderdelen van het schip van elkaar afhankelijk zijn. Als de motor uitvalt, controleert de spreuk automatisch de brandstof, de bedrading en het koelsysteem in de juiste volgorde, waardoor de lijst met verdachten direct wordt ingekort.

Het Grote Experiment: Een Gesimuleerde Crash

Om te zien of deze slimme detective echt werkt, heeft de auteur niet alleen geraden; hij heeft een gecontroleerde simulatie uitgevoerd. Hij creëerde een nepversie van de Microsoft Fabric- en Power BI-omgeving en maakte deze op vier specifieke manieren expres kapot:

• Data Refresh Failures: Zoals proberen de brandstoftank te vullen terwijl de pomp geblokkeerd is.
• Query Performance Regressions: Zoals de navigatiecomputer die in slow motion blijft hangen.
• Semantic Model Inconsistencies: Zoals een kaart die de verkeerde coördinaten heeft.
• Capacity Throttling Events: Zoals de motor die oververhit raakt omdat te veel mensen tegelijk gebruik van hem proberen te maken.

Voor elke "crash" vergeleek de auteur twee teams:

• Team Manual: Ingenieurs die de oude methode met de zaklamp en het notitieblok gebruiken.
• Team Intelligent: Ingenieurs die het nieuwe slimme detectivesysteem met het magische sprekendboek gebruiken.

De Resultaten: Snelheid en Slimheid

De simulatie liet enkele duidelijke verschillen zien. Het slimme detectivesysteem werkte niet alleen een beetje beter; het werkte significant beter.

• De Werkelijke Dader Vinden:
  Wanneer het schip kapot ging, raadde Team Manual de juiste oorzaak ongeveer 71,2% van de tijd bij data refresh failures, 68,9% voor trage queries, 73,5% voor kaartfouten en 65,7% voor oververhitting.
  Team Intelligent had echter de juiste oorzaak gevonden in respectievelijk 92,5%, 90,3%, 94,1% en 91,8% van de gevallen. Ze waren veel minder geneigd om het verkeerde onderdeel van de motor de schuld te geven.

• Tijd tot Reparatie:
  Tijd is geld (en vertrouwen) in de ruimtevaart. Team Manual deed er gemiddeld 47,8 minuten over om te begrijpen waarom de brandstofpomp geblokkeerd was, 52,1 minuten voor de trage navigatie, 39,6 minuten voor de kaartfouten en een enorme 58,9 minuten voor de oververhitte motor.
  Team Intelligent loste het mysterie van de brandstofpomp op in slechts 18,4 minuten, de trage navigatie in 21,7 minuten, de kaartfouten in 15,2 minuten en de oververhitting in 23,5 minuten. Ze verkortten de diagnosetijd met meer dan de helft!

• Minder Gokwerk:
  Team Manual moest gemiddeld 18,6 verschillende onderzoekshandelingen (queries) uitvoeren om het probleem met de brandstofpomp te vinden. Team Intelligent had slechts 6,2 controles nodig. Ze verspilden geen tijd aan het zoeken op de verkeerde plaatsen.

Wat Dit Betekent (En Wat Niet)

Het artikel suggereert dat we door dit slimme, verbonden aanpak te gebruiken, kunnen stoppen met het vertrouwen op individuele experts die hun weg door een crisis proberen te gokken. In plaats daarvan kunnen we een systeem gebruiken dat automatisch de punten verbindt en direct naar het probleem wijst. Dit maakt de hele operatie betrouwbaarder en minder stressvol voor de bemanning.

Er zijn echter een paar belangrijke zaken in acht te nemen:

• Het is een Simulatie: Deze resultaten kwamen voort uit een zorgvuldig gecontroleerde, gesimuleerde omgeving. Het artikel beweert niet dat dit al getest is op een echt, live ruimteschip met miljoenen echte gebruikers. De auteurs suggereren dat hoewel de resultaten er geweldig uitzien, testen in de echte wereld de volgende stap is.
• Het is een Detective, Geen Reparateur: Het systeem is erg goed in het vinden van het probleem en het vertellen wat het is. Het lost het probleem nog niet automatisch op (remediatie); het is een briljante gids, maar je hebt nog steeds een monteur nodig om de sleutel vast te houden.
• Het is Niet Magisch voor Alles: Het systeem vertrouwt op het vinden van patronen en timing. Als een probleem zeer subtiel is of op een vreemde, vertraagde manier optreedt die niet in de patronen past, is het systeem misschien niet perfect.

Kortom, het artikel laat zien dat voor complexe dataplatforms zoals Microsoft Fabric en Power BI, het vervangen van de "zaklamp en gokmethode" door een "slimme, verbonden detective"-methode suggereert dat we problemen sneller, nauwkeuriger en met minder stress kunnen vinden. Het is een veelbelovende stap richting het soepel laten vliegen van onze dataschepen.