Intelligent Root Cause Analysis and Incident Diagnostics for Microsoft Fabric and Power BI through Telemetry Correlation and Kusto Query Language

Imaginez que vous êtes le capitaine d'un immense vaisseau spatial de haute technologie appelé « The Analytics Enterprise ». Ce vaisseau est propulsé par deux moteurs super complexes : Microsoft Fabric et Power BI. Ces moteurs ne se contentent pas de voler ; ils traitent des montagnes de données pour aider l'équipage à prendre de grandes décisions. Mais parfois, le vaisseau bafouille. Un tableau de bord devient vide, un rapport met une éternité à charger, ou un pipeline de données s'arrête net.

Lorsque cela arrive, l'ancienne méthode pour réparer les choses revient à envoyer un mécanicien avec une lampe de poche et un carnet de notes pour errer dans la salle des machines. Il doit vérifier les tuyaux de carburant, le câblage, les systèmes de refroidissement et les ordinateurs de navigation un par un, en devinant où se trouve le problème. C'est lent, c'est fatigant, et si le mécanicien n'est pas un expert, il pourrait réparer la mauvaise chose.

C'est exactement ce dont parle l'article de Shujath Baig Mirza. L'auteur soutient que pour de grandes plateformes comme Microsoft Fabric et Power BI, errer avec une lampe de poche (investigation manuelle) est trop lent et sujet aux erreurs. Au lieu de cela, l'article propose un système de détective intelligent qui agit comme un GPS super puissant pour la salle des machines du vaisseau.

La boîte à outils du détective intelligent

Le nouveau système utilise deux outils principaux pour résoudre les mystères :

1. La Corrélation de Télémétrie (L'œil de toute chose) :
   Considérez le vaisseau spatial comme ayant des millions de petites caméras et de microphones (journaux, métriques et traces) partout. Dans l'ancien temps, les ingénieurs devaient regarder chaque flux de caméra séparément. Le nouveau système assemble tous ces flux en un seul film géant et synchronisé. Il peut voir qu'un vacillement dans le tuyau de carburant s'est produit exactement au même moment qu'un bruit étrange dans l'ordinateur de navigation. Il relie les points que les humains pourraient manquer parce qu'ils regardent trop d'écrans à la fois.

2. Le Kusto Query Language (Le grimoire de sorts magiques) :
   C'est le langage que le détective utilise pour poser des questions au vaisseau spatial. Au lieu d'écrire une nouvelle question compliquée à partir de zéro chaque fois que quelque chose casse, le détective utilise un ensemble de « sorts » (modèles) pré-écrits et réutilisables. Ces sorts sont conçus pour savoir comment les pièces du vaisseau dépendent les unes des autres. Si le moteur tombe en panne, le sort vérifie automatiquement le carburant, le câblage et le système de refroidissement dans le bon ordre, réduisant instantanément la liste des suspects.

La grande expérience : Un crash simulé

Pour voir si ce détective intelligent fonctionne réellement, l'auteur ne s'est pas contenté de deviner ; il a lancé une simulation contrôlée. Il a créé une version fictive de l'environnement Microsoft Fabric et Power BI et l'a délibérément cassée de quatre manières spécifiques :

• Échecs de rafraîchissement des données : Comme essayer de remplir le réservoir de carburant mais la pompe est bloquée.
• Régressions de performance de requête : Comme l'ordinateur de navigation qui se retrouve au ralenti.
• Incohérences de modèles sémantiques : Comme si la carte avait les mauvaises coordonnées.
• Événements de limitation de capacité (Throttling) : Comme si le moteur surchauffait parce que trop de personnes essaient de l'utiliser en même temps.

Pour chaque « crash », l'auteur a comparé deux équipes :

• L'Équipe Manuelle : Des ingénieurs utilisant l'ancienne méthode de la lampe de poche et du carnet de notes.
• L'Équipe Intelligente : Des ingénieurs utilisant le nouveau système de détective intelligent avec le grimoire de sorts magiques.

Les résultats : Vitesse et intelligence

La simulation a montré des différences assez claires. Le système de détective intelligent n'était pas seulement un peu meilleur ; il était significativement meilleur.

• Trouver le véritable coupable :
  Quand le vaisseau tombait en panne, l'Équipe Manuelle devinait la bonne cause profonde environ 71,2 % du temps pour les échecs de rafraîchissement de données, 68,9 % pour les requêtes lentes, 73,5 % pour les erreurs de carte et 65,7 % pour la surchauffe.
  L'Équipe Intelligente, cependant, a trouvé la bonne cause fondamentale 92,5 %, 90,3 %, 94,1 % et 91,8 % du temps, respectivement. Ils étaient beaucoup moins susceptibles de blâmer la mauvaise partie du moteur.

• Temps de réparation :
  Le temps, c'est de l'argent (et de la confiance) dans le voyage spatial. L'Équipe Manuelle a mis en moyenne 47,8 minutes pour comprendre pourquoi la pompe à carburant était bloquée, 52,1 minutes pour la navigation lente, 39,6 minutes pour les erreurs de carte et pas moins de 58,9 minutes pour la surchauffe du moteur.
  L'Équipe Intelligente a résolu le mystère de la pompe à carburant en seulement 18,4 minutes, la navigation lente en 21,7 minutes, les erreurs de carte en 15,2 minutes et la surchauffe en 23,5 minutes. Ils ont réduit le temps de diagnostic de plus de moitié !

• Moins de suppositions :
  L'Équipe Manuelle a dû effectuer en moyenne 18,6 vérifications d'investigation (requêtes) différentes juste pour trouver le problème de la pompe à carburant. L'Équipe Intelligente n'en a eu besoin que de 6,2. Ils n'ont pas perdu de temps à chercher dans les mauvais endroits.

Ce que cela signifie (Et ce que cela ne signifie pas)

L'article suggère qu'en utilisant cette approche intelligente et connectée, nous pouvons cesser de compter sur des experts individuels pour deviner leur chemin à travers une crise. Au lieu de cela, nous pouvons utiliser un système qui connecte automatiquement les points et pointe directement vers le problème. Cela rend toute l'opération plus fiable et moins stressante pour l'équipage.

Cependant, il y a quelques points importants à garder à l'esprit :

• C'est une simulation : Ces résultats proviennent d'un environnement simulé soigneusement contrôlé. L'article ne prétend pas que cela a été testé sur un vrai vaisseau spatial en direct avec des millions de vrais utilisateurs pour le moment. Les auteurs suggèrent que bien que les résultats soient excellents, tester cela dans le monde réel est la prochaine étape.
• C'est un détective, pas un réparateur : Le système est très bon pour trouver le problème et vous dire ce qu'il est. Il ne répare pas automatiquement le moteur (remédiation) pour l'instant. C'est un guide brillant, mais vous avez toujours besoin d'un mécanicien pour serrer la clé.
• Ce n'est pas de la magie pour tout : Le système repose sur la recherche de modèles et de synchronisation. Si un problème est très subtil ou se produit de manière étrange, avec un délai qui ne correspond pas aux modèles, le système pourrait ne pas être parfait.

En bref, l'article montre que pour les plateformes de données complexes comme Microsoft Fabric et Power BI, remplacer la méthode « lampe de poche et suppositions » par une méthode de « détective intelligent et connecté » suggère que nous pouvons trouver les problèmes plus rapidement, plus précisément et avec moins de stress. C'est une étape prometteuse pour maintenir nos vaisseaux de données en vol fluide.