Intelligent Root Cause Analysis and Incident Diagnostics for Microsoft Fabric and Power BI through Telemetry Correlation and Kusto Query Language

Stellen Sie sich vor, Sie sind der Kapitän eines gewaltigen, hochtechnologischen Raumschiffs namens „The Analytics Enterprise“. Dieses Schiff wird von zwei superkomplexen Triebwerken angetrieben: Microsoft Fabric und Power BI. Diese Triebwerke fliegen nicht nur; sie berechnen Berge von Daten, um der Crew bei wichtigen Entscheidungen zu helfen. Doch manchmal stottert das Schiff. Ein Dashboard wird leer, ein Bericht braucht ewig zum Laden oder eine Datenpipeline kommt zum Stillstand.

Wenn das passiert, ist die alte Art, Dinge zu reparieren, so, als würde man einen Mechaniker mit einer Taschenlampe und einem Notizblock in den Maschinenraum schicken, um dort herumzuwandern. Er muss die Brennstoffleitungen, die Verkabelung, die Kühlsysteme und die Navigationscomputer einzeln überprüfen und dabei raten, wo das Problem liegt. Es ist langsam, ermüdend und wenn der Mechaniker kein Experte ist, behebt er vielleicht das falsche Problem.

Genau das beschreibt das Paper von Shujath Baig Mirza. Der Autor argumentiert, dass für riesige Plattformen wie Microsoft Fabric und Power BI das Herumwandern mit einer Taschenlampe (manuelle Untersuchung) zu langsam und zu fehleranfällig ist. Stattdessen schlägt das Paper ein smartes Detektivsystem vor, das wie ein superpowered GPS für den Maschinenraum des Schiffes fungiert.

Das Werkzeugset des smarten Detektivs

Das neue System nutzt zwei Hauptwerkzeuge, um Rätsel zu lösen:

1. Telemetrie-Korrelation (Das „allsehende Auge“):
   Stellen Sie sich vor, das Raumschiff hätte überall Millionen winziger Kameras und Mikrofone (Logs, Metriken und Traces). In den alten Tagen mussten Ingenieure jedes Kamerabild separat betrachten. Das neue System verwebt all diese Feeds zu einem einzigen, synchronisierten Film. Es kann sehen, dass ein Flackern in der Brennstoffleitung exakt zur gleichen Zeit auftrat wie ein seltsames Geräusch im Navigationscomputer. Es verbindet die Punkte, die Menschen übersehen könnten, weil sie gleichzeitig auf zu viele Bildschirme schauen.

2. Kusto Query Language (Das „magische Zauberbuch“):
   Dies ist die Sprache, die der Detektiv nutzt, um dem Raumschiff Fragen zu stellen. Anstatt jedes Mal, wenn etwas kaputtgeht, eine neue, komplizierte Frage von Grund auf neu zu formulieren, nutzt der Detektiv einen Satz vorgefertigter, wiederverwendbarer „Zaubersprüche“ (Templates). Diese Sprüche sind darauf ausgelegt, zu wissen, wie die Teile des Schiffes voneinander abhängen. Wenn das Triebwerk ausfällt, prüft der Spruch automatisch den Brennstoff, die Verkabelung und das Kühlsystem in der richtigen Reihenfolge und grenzt die Liste der Verdächtigen sofort ein.

Das große Experiment: Ein simulierter Absturz

Um zu sehen, ob dieser smarte Detektiv tatsächlich funktioniert, hat der Autor nicht nur geraten; er hat eine kontrollierte Simulation durchgeführt. Er erschuf eine künstliche Version der Microsoft Fabric- und Power BI-Umgebung und verursachte absichtlich vier spezifische Arten von Defekten:

• Fehler bei der Datenaktualisierung (Data Refresh Failures): Als würde man versuchen, den Tank zu füllen, aber die Pumpe ist blockiert.
• Leistungseinbußen bei Abfragen (Query Performance Regressions): Als würde der Navigationscomputer in Zeitlupe feststecken.
• Inkonsistenzen im semantischen Modell (Semantic Model Inconsistencies): Als hätte die Karte die falschen Koordinaten.
• Kapazitätsbeschränkungen (Capacity Throttling Events): Als würde das Triebwerk überhitzen, weil zu viele Menschen gleichzeitig versuchen, es zu nutzen.

Für jeden dieser „Abstürze“ verglich der Autor zwei Teams:

• Team Manuell: Ingenieure, die die alte Methode mit Taschenlampe und Notizblock anwenden.
• Team Intelligent: Ingenieure, die das neue smarte Detektivsystem mit dem magischen Zauberbuch nutzen.

Die Ergebnisse: Geschwindigkeit und Klugheit

Die Simulation zeigte einige sehr deutliche Unterschiede. Das smarte Detektivsystem arbeitete nicht nur ein bisschen besser; es arbeitete signifikant besser.

• Den wahren Übeltäter finden:
  Als das Schiff ausfiel, traf Team Manuell die richtige Ursache nur in etwa 71,2 % der Fälle bei Fehlern der Datenaktualisierung, 68,9 % bei langsamen Abfragen, 73,5 % bei Kartenfehlern und 65,7 % bei Überhitzung.
  Team Intelligent hingegen traf die korrekte Ursache in 92,5 %, 90,3 %, 94,1 % bzw. 91,8 % der Fälle. Sie waren viel weniger wahrscheinlich dazu geneigt, das falsche Teil des Motors zu beschuldigen.

• Zeit bis zur Behebung:
  Zeit ist Geld (und Vertrauen) in der Raumfahrt. Team Manuell brauchte im Durchschnitt 47,8 Minuten, um herauszufinden, warum die Brennstoffpumpe blockiert war, 52,1 Minuten für die langsame Navigation, 39,6 Minuten für die Kartenfehler und ganze 58,9 Minuten für die Überhitzung des Motors.
  Team Intelligent löste das Rätsel der blockierten Brennstoffpumpe in nur 18,4 Minuten, die langsame Navigation in 21,7 Minuten, die Kartenfehler in 15,2 Minuten und die Überhitzung in 23,5 Minuten. Sie halbierten die Diagnosezeit um mehr als die Hälfte!

• Weniger Raterei:
  Team Manuell musste im Durchschnitt 18,6 verschiedene investigative Prüfungen (Queries) durchführen, nur um das Problem der Brennstoffpumpe zu finden. Team Intelligent benötigte nur 6,2 Prüfungen. Sie verschwendeten keine Zeit mit der Suche an den falschen Stellen.

Was dies bedeutet (und was nicht)

Das Paper legt nahe, dass wir durch die Verwendung dieses smarten, vernetzten Ansatzes aufhören können, uns auf einzelne Experten zu verlassen, die sich in einer Krise durch Raten durchschlagen müssen. Stattdessen können wir ein System nutzen, das automatisch die Punkte verbindet und direkt auf das Problem zeigt. Dies macht den gesamten Betrieb zuverlässiger und weniger stressig für die Crew.

Es gibt jedoch einige wichtige Punkte zu beachten:

• Es ist eine Simulation: Diese Ergebnisse stammen aus einer sorgfältig kontrollierten, simulierten Umgebung. Das Paper behauptet nicht, dass dies bereits an einem echten, lebenden Raumschiff mit Millionen echter Nutzer getestet wurde. Die Autoren deuten an, dass die Ergebnisse zwar großartig aussehen, der Test in der realen Welt jedoch der nächste Schritt ist.
• Es ist ein Detektiv, kein Reparateur: Das System ist sehr gut darin, das Problem zu finden und Ihnen zu sagen, was es ist. Es repariert das Triebwerk jedoch noch nicht automatisch (Remediation). Es ist ein brillanter Wegweiser, aber Sie brauchen immer noch einen Mechaniker, der den Schraubenschlüssel hält.
• Es ist keine Magie für alles: Das System beruht darauf, Muster und Zeitabläufe zu finden. Wenn ein Problem sehr subtil ist oder auf eine seltsame, verzögerte Weise auftritt, die nicht in die Muster passt, könnte das System nicht perfekt sein.

Kurz gesagt zeigt das Paper, dass für komplexe Datenplattformen wie Microsoft Fabric und Power BI der Austausch der „Taschenlampe-und-Raten“-Methode durch eine „smarte, vernetzte Detektiv“-Methode darauf hindeutet, dass wir Probleme schneller, genauer und mit weniger Stress finden können. Es ist ein vielversprechender Schritt, um unsere Datenschiffe reibungslos fliegen zu lassen.