PromCopilot: Simplifying Prometheus Metric Querying in Cloud Native Online Service Systems via Large Language Models

Cet article présente PromCopilot, un cadre basé sur les grands modèles de langage et les graphes de connaissances qui simplifie l'interrogation de Prometheus en traduisant le langage naturel en requêtes PromQL, et introduit le premier jeu de données de référence pour cette tâche.

L'essentiel

🚀 PromCopilot : Le Traducteur Magique pour les Gardiens du Système

Imaginez que vous gérez une ville immense et complexe (votre système informatique en ligne). Cette ville est remplie de millions de capteurs : ils mesurent la température des bâtiments (CPU), le niveau d'eau dans les réservoirs (mémoire), le trafic sur les routes (réseau), etc.

Pour surveiller cette ville, les ingénieurs utilisent un outil appelé Prometheus. Mais pour poser une question à ce système, ils ne peuvent pas simplement dire : "Dis-moi quelle rue est la plus encombrée ?". Ils doivent écrire un code très précis et complexe, un peu comme un langage de sorcier appelé PromQL.

C'est là que PromCopilot entre en scène.

1. Le Problème : Le Mur de la Langue des Sorciers 🧙‍♂️

Jusqu'à présent, pour obtenir une information, un ingénieur devait :

1. Connaître par cœur le code secret (PromQL).
2. Savoir exactement où se trouve chaque bâtiment dans la ville.
3. Passer des heures à chercher dans des manuels pour trouver le bon nom de rue ou de bâtiment.

C'est comme si vous deviez écrire un poème en latin ancien pour demander à un serveur de café de vous faire un cappuccino. C'est lent, difficile et source d'erreurs.

2. La Solution : PromCopilot, le Traducteur Universel 🗣️

Les auteurs de l'article ont créé PromCopilot. C'est un assistant intelligent qui permet aux ingénieurs de poser leurs questions en langage naturel (français, anglais, etc.), comme s'ils parlaient à un humain.

• L'ingénieur dit : "Quel serveur a le plus de mémoire libre parmi ceux qui hébergent le service de commande ?"
• PromCopilot répond : Il génère instantanément le code complexe (PromQL) exact pour obtenir cette réponse.

3. Comment ça marche ? La Carte au Trésor et le Détective 🗺️🕵️‍♂️

Pour que ce système fonctionne, PromCopilot ne se contente pas de deviner. Il utilise deux outils magiques :

• La Carte au Trésor (Le Graphique de Connaissances) :
  Imaginez une carte géante et dynamique qui relie tous les éléments de la ville : les serveurs, les applications, les bases de données, et même les capteurs de température. Cette carte sait exactement qui dépend de qui. Si le service "Commandes" est sur le serveur "A", la carte le sait.

  • Analogie : C'est comme avoir un plan de la ville à jour en temps réel, montrant chaque tuyau et chaque câble.

• Le Détective (L'Intelligence Artificielle / LLM) :
  C'est un cerveau très fort (comme GPT-4) qui comprend le langage humain.

  • L'astuce : Au lieu de laisser le détective deviner au hasard, PromCopilot lui montre d'abord la Carte au Trésor.
  • Le détective lit la question, regarde la carte pour trouver les bons noms de rues et de bâtiments, et ensuite écrit le code secret.

Le processus en 3 étapes :

1. Écoute : PromCopilot entend la question de l'ingénieur.
2. Recherche : Il consulte la Carte au Trésor pour trouver les bons noms de serveurs et de capteurs (par exemple, il sait que "mémoire libre" correspond à un capteur précis nommé node_memory_MemAvailable_bytes).
3. Traduction : Il combine la question et les infos de la carte pour écrire le code parfait.

4. Les Résultats : Une Révolution de Productivité 📉⏱️

Les chercheurs ont testé PromCopilot avec de vrais ingénieurs et des centaines de questions.

• Précision : PromCopilot a réussi à traduire correctement environ 69 % des questions complexes en code parfait. C'est énorme, car les méthodes précédentes (sans la carte) échouaient presque tout le temps (moins de 5 % de réussite !).
• Vitesse : Les ingénieurs ont fini leurs tâches 4 fois plus vite avec PromCopilot. Au lieu de chercher pendant 6 minutes, ils ont trouvé la réponse en 1 minute.
• Fiabilité : Même quand le code n'était pas parfait à 100 %, il était si proche de la vérité que les ingénieurs pouvaient le corriger en une seconde.

5. Pourquoi c'est important ? 🌟

Aujourd'hui, les systèmes informatiques sont devenus si vastes qu'aucun humain ne peut tout connaître par cœur. PromCopilot agit comme un super-pouvoir :

• Il libère les ingénieurs de la corvée d'apprendre des codes obscurs.
• Il leur permet de se concentrer sur ce qui compte vraiment : garder le système stable et rapide.
• Il transforme une tâche de "sorcière" en une simple conversation.

En résumé 🎁

PromCopilot, c'est comme donner un GPS vocal à un chauffeur de course. Au lieu de devoir mémoriser chaque virage et chaque panneau (le code complexe), le chauffeur dit simplement : "Emmène-moi au serveur le plus rapide". Le GPS (PromCopilot) consulte sa carte (le graphique de connaissances) et trace la route parfaite (le code PromQL) instantanément.

C'est une étape de plus vers des systèmes informatiques plus simples à gérer, même pour les plus complexes.

Résumé technique

Voici un résumé technique détaillé de l'article "PromCopilot: Simplifying Prometheus Metric Querying in Cloud Native Online Service Systems via Large Language Models", présenté en français.

1. Problématique

Dans les systèmes de services en ligne modernes (cloud natif, microservices), la surveillance des métriques est essentielle pour assurer la fiabilité et la stabilité. Prometheus est devenu le standard de facto pour cette surveillance, utilisant son langage de requête spécifique, PromQL.

Cependant, l'utilisation de PromQL présente plusieurs défis majeurs pour les ingénieurs :

• Complexité syntaxique : PromQL est un langage de domaine spécifique (DSL) complexe nécessitant une maîtrise approfondie des opérateurs, fonctions et agrégations.
• Dépendance au contexte système : Une requête correcte ne dépend pas seulement de la syntaxe, mais aussi d'une connaissance profonde du contexte du système (noms des métriques, étiquettes spécifiques, dépendances entre composants, déploiement des pods, etc.).
• Coût temporel : Les ingénieurs doivent souvent naviguer manuellement à travers de multiples outils et documents pour identifier les bonnes métriques et les relations entre les composants avant de pouvoir écrire une requête.
• Limites des approches existantes : Les techniques de génération de code (Text-to-SQL) ou les modèles de langage (LLM) génériques échouent souvent car ils manquent de connaissances privées sur le système spécifique et peinent à effectuer des raisonnements multi-sauts (ex: "trouver les nœuds où le service X est déployé, puis obtenir la mémoire disponible").

L'objectif de l'article est de simplifier ce processus en permettant aux ingénieurs d'interagir avec les données de métriques via du langage naturel (tâche appelée Text-to-PromQL).

2. Méthodologie : PromCopilot

Les auteurs proposent PromCopilot, un cadre basé sur les LLMs qui combine le raisonnement d'un Graphe de Connaissances (Knowledge Graph - KG) et la puissance générative des LLMs. L'approche repose sur un paradigme RAG (Retrieval-Augmented Generation) enrichi par un graphe de connaissances.

Le processus se déroule en deux phases principales :

A. Construction du Graphe de Connaissances du Contexte Système

Pour pallier le manque de connaissances privées des LLMs, PromCopilot construit dynamiquement un graphe de connaissances décrivant le système :

• Schéma : Le graphe contient deux types d'entités :
  1. Composants système : Nœuds, Déploiements, Pods, Services, Conteneurs, APIs, etc. (basés sur Kubernetes).
  2. Données de métriques : Noms de métriques et paires Valeur-Étiquette (Label-Value).
• Sources de données : Le graphe est construit automatiquement à partir de :
  • Prometheus : Métadonnées des métriques (noms, types, descriptions, étiquettes).
  • Kubernetes : Métadonnées des ressources et leurs relations hiérarchiques.
  • Traces (Distributed Tracing) : Relations d'appels entre services et APIs.
  • Documentation : Descriptions textuelles des services et APIs.

B. Génération de Requêtes (Pipeline de 4 étapes)

1. Analyse de la question (Question Parsing) : Un LLM analyse la question en langage naturel pour extraire :
   • Les chemins de relation des composants (ex: Service -> Pod -> Nœud).
   • Les paires Métrique-Composant (ex: "mémoire disponible" liée à "Nœud").
2. Récupération des connaissances des composants (System Component Knowledge Retrieval) :
   • Le système utilise les chemins extraits pour interroger le graphe de connaissances via un algorithme de recherche en largeur (BFS).
   • Il identifie les instances réelles de composants (ex: les noms exacts des pods et nœuds) correspondant aux chemins décrits dans la question.
3. Récupération des connaissances des métriques (Metric Knowledge Retrieval) :
   • Identification des métriques candidates basées sur les types de composants et les descriptions.
   • Sélection des paires étiquette-valeur pertinentes (certaines liées aux composants, d'autres sémantiques) pour filtrer les données.
4. Génération de la requête (Query Generation) :
   • La question originale, les chemins de raisonnement extraits du graphe et les détails des métriques sont injectés dans le LLM (via un prompt structuré avec Chain-of-Thought et Few-Shot Learning).
   • Le LLM génère la requête PromQL finale.

3. Contributions Clés

1. PromCopilot : Premier cadre de travail pour la tâche Text-to-PromQL, utilisant une inférence synergique entre un graphe de connaissances et des LLMs pour gérer le contexte complexe des systèmes cloud natifs.
2. Premier Jeu de Données de Référence (Benchmark) : Les auteurs ont construit manuellement le premier jeu de données public pour cette tâche, contenant 280 paires Question-Réponse (questions en langage naturel et requêtes PromQL correspondantes) basées sur le système microservices TrainTicket.
3. Évaluation Rigoureuse : Une série d'expériences incluant des comparaisons avec des approches de base (Basic Prompt, Few-Shot Learning) et une étude pilote avec des ingénieurs de l'industrie.

4. Résultats Expérimentaux

L'évaluation a été réalisée sur le jeu de données de 280 questions en utilisant deux LLMs principaux : GPT-4-Turbo et DeepSeek-Coder-V2-236B.

• Performance Globale (Accuracy) :
  • PromCopilot atteint une précision de requête (QueryAcc) de 69,1 % avec GPT-4-Turbo, surpassant largement les approches de base (2,6 %) et le Few-Shot Learning (37,4 %).
  • La précision sur la sélection des métriques (MetricAcc) est très élevée (91,3 %), démontrant l'efficacité de la récupération de connaissances.
• Récupération de Connaissances :
  • Le rappel (Recall) pour la récupération des métriques est de 90,3 %.
  • Le rappel pour la récupération des chemins de raisonnement (composants) est de 90,8 %.
• Étude Pilote (Utilisateurs) :
  • Gain de temps : Les ingénieurs ont terminé les tâches en 101,65 secondes en moyenne avec PromCopilot, contre 382,63 secondes avec d'autres outils (gain de temps d'environ 73 %).
  • Satisfaction : Les participants ont noté l'utilité et la justesse de l'outil avec des scores moyens élevés (3,5/4 et 3,75/4 sur une échelle de Likert).
• Analyse des Échecs : La majorité des erreurs (59 %) proviennent de la génération finale par le LLM (mauvaise utilisation des fonctions ou des étiquettes), et non de la récupération de connaissances, suggérant que l'amélioration des modèles spécifiques à PromQL pourrait encore augmenter les performances.

5. Signification et Impact

• Innovation : C'est la première étude à aborder spécifiquement la génération de requêtes PromQL via le langage naturel, comblant un vide dans la recherche AIOps (Artificial Intelligence for IT Operations).
• Praticité : PromCopilot démontre que l'intégration d'un graphe de connaissances contextuel est cruciale pour que les LLMs fonctionnent dans des environnements industriels complexes où les données sont dynamiques et privées.
• Productivité : L'outil réduit considérablement la charge cognitive et le temps de développement pour les ingénieurs DevOps/SRE, permettant une surveillance plus réactive des systèmes.
• Extensibilité : Bien que conçu pour Prometheus et Kubernetes, l'architecture de PromCopilot offre une voie pour étendre ce type d'assistance à d'autres langages de requête de métriques et architectures de systèmes.

En résumé, PromCopilot représente une avancée significative vers l'automatisation intelligente de la surveillance des systèmes cloud natifs, transformant des requêtes complexes en interactions conversationnelles simples et efficaces.