PromCopilot: Simplifying Prometheus Metric Querying in Cloud Native Online Service Systems via Large Language Models

Die Arbeit stellt PromCopilot vor, ein Framework, das auf einem Wissensgraphen und einem großen Sprachmodell (LLM) basiert, um natürliche Sprache automatisch in PromQL-Abfragen für die Überwachung cloud-nativer Systeme zu übersetzen und dabei erstmals einen Benchmark für diese Aufgabe bereitstellt.

Das Wesentliche

Stellen Sie sich vor, Sie sind ein Koch in einer riesigen, hochmodernen Küche (das ist Ihr Cloud-System). In dieser Küche gibt es tausende von Zutaten, tausende von Geräten und hunderte von Köchen, die gleichzeitig arbeiten. Um sicherzustellen, dass das Essen (der Dienst) perfekt schmeckt und nicht anbrennt, müssen Sie ständig auf die Temperatur der Öfen, den Verbrauch des Stroms und die Geschwindigkeit der Tellerübertragung achten.

In der IT-Welt nennt man diese Daten Metriken. Das Werkzeug, das diese Daten sammelt, heißt Prometheus. Aber um die Daten zu lesen, müssen Sie eine sehr komplizierte Sprache sprechen, die PromQL. Das ist wie wenn Sie, um zu fragen, wie viel Mehl noch da ist, nicht einfach sagen können: "Wie viel Mehl haben wir?", sondern eine komplexe Formel wie sum(rate(mehl_verbrauch[5m])) by (topf_id) tippen müssten.

Das Problem? Nur wenige Köche (Ingenieure) beherrschen diese komplizierte Sprache perfekt, und es dauert ewig, die richtigen Formeln zu finden, wenn man nicht genau weiß, welcher Topf zu welchem Ofen gehört.

Hier kommt PromCopilot ins Spiel.

Was ist PromCopilot?

Stellen Sie sich PromCopilot als einen super-intelligenten Küchen-Assistenten vor, der mit einem riesigen Gedächtnis und einem magischen Verstand (einem sogenannten "Large Language Model" oder LLM) ausgestattet ist.

Die große Innovation dieses Papiers ist, dass dieser Assistent nicht nur "dumm" Fragen beantwortet, sondern ein digitales Abbild der gesamten Küche hat. Wir nennen das eine Wissensgraph.

Wie funktioniert das? (Die Magie dahinter)

1. Der Wissensgraph (Die Landkarte):
   Bevor der Assistent überhaupt eine Frage hört, hat er sich eine detaillierte Landkarte der Küche gemalt. Er weiß:

   • "Der 'Bestell-Service' läuft auf 50 verschiedenen Robotern (Pod)."
   • "Diese Roboter stehen auf 6 verschiedenen Tischen (Nodes)."
   • "Der 'Mehl-Verbrauch' wird nur auf dem 'Topf-1' gemessen, nicht auf dem 'Topf-2'."
     Diese Landkarte verbindet alles miteinander, genau wie ein Seilnetz, das alle Teile der Küche verbindet.

2. Die Frage (Natürliche Sprache):
   Ein Ingenieur kommt und fragt ganz einfach: "Welcher Roboter hat noch am meisten freien Speicherplatz, auf dem der Bestell-Service läuft?"
   Früher müsste der Ingenieur wissen, wie man PromQL schreibt und welche Roboter zum Bestell-Service gehören. Mit PromCopilot reicht der einfache Satz.

3. Die Zusammenarbeit (Synergie):
   Der Assistent (PromCopilot) macht nun drei Dinge:

   • Verstehen: Er zerlegt die Frage in Teile: "Ah, du willst den 'Speicherplatz' (Metrik) wissen, aber nur für die 'Roboter' (Komponenten), die zum 'Bestell-Service' gehören."
   • Suchen im Netz: Er schaut auf seine Landkarte (den Wissensgraphen). Er findet heraus: "Okay, der Bestell-Service läuft auf Roboter A, B und C. Diese stehen auf Tisch 1 und Tisch 2."
   • Übersetzen: Er nimmt diese Informationen und den einfachen Satz und wandelt sie in die perfekte, komplizierte PromQL-Formel um, die der Computer versteht.

Warum ist das so wichtig?

• Kein Gedächtnistraining mehr: Ingenieure müssen nicht mehr stundenlang nach Dokumenten suchen, um zu wissen, welche Metrik zu welchem Service gehört. Der Assistent weiß es sofort.
• Fehlervermeidung: Wenn man die komplizierte Formel selbst tippt, macht man leicht einen Tippfehler. Der Assistent macht das automatisch korrekt.
• Geschwindigkeit: In einem Test haben Ingenieure mit PromCopilot Fragen in 100 Sekunden beantwortet. Ohne das Tool brauchten sie fast 400 Sekunden. Das ist wie der Unterschied zwischen einem Fahrrad und einem Sportwagen.

Das Ergebnis

Die Forscher haben das System getestet und eine Art "Prüfungsheft" mit 280 Fragen erstellt. Das Ergebnis war beeindruckend:

• PromCopilot hat in fast 70 % der Fälle die perfekte Antwortformel geliefert.
• Zum Vergleich: Wenn man nur einen normalen KI-Assistenten ohne die Landkarte (Wissensgraph) benutzt, lag die Erfolgsrate nur bei etwa 2,6 %. Das zeigt, wie wichtig die "Landkarte" ist.

Zusammenfassung

PromCopilot ist wie ein Dolmetscher, der nicht nur die Sprache übersetzt, sondern auch die Kontexte versteht. Er nimmt die komplizierte, technische Welt der Cloud-Überwachung und macht sie für jeden Ingenieur so einfach wie ein Gespräch mit einem Kollegen. Statt sich durch Formeln zu kämpfen, kann man einfach fragen, was man wissen will, und bekommt sofort die richtige Antwort.

Das ist ein großer Schritt hin zu einer Zukunft, in der wir uns nicht mehr um die Technik der Überwachung kümmern müssen, sondern uns auf das Ergebnis konzentrieren können: Stabile und zuverlässige Online-Dienste.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „PromCopilot" auf Deutsch:

Titel: PromCopilot: Vereinfachung der Prometheus-Metric-Abfragen in Cloud-Nativen Online-Service-Systemen mittels Large Language Models

1. Problemstellung

Moderne Online-Service-Systeme (z. B. Suchmaschinen, E-Commerce, soziale Netzwerke) sind aufgrund von Cloud-Computing, Containern und Microservices extrem komplex. Um deren Zuverlässigkeit und Stabilität zu gewährleisten, sind Metrik-Monitoring-Systeme wie Prometheus unverzichtbare Infrastrukturen.

• Herausforderung: Ingenieure müssen diese Systeme überwachen, indem sie Abfragen in einer domänenspezifischen Sprache (DSL) schreiben, in diesem Fall PromQL (Prometheus Query Language).
• Schwierigkeiten: Das manuelle Schreiben von PromQL-Abfragen ist zeitaufwendig und fehleranfällig. Es erfordert nicht nur tiefes Verständnis der PromQL-Syntax (Operatoren, Funktionen, Aggregationen), sondern auch ein detailliertes Wissen über den spezifischen Kontext des Systems (z. B. welche Metriknamen verwendet werden, wie Komponenten wie Pods, Services und Nodes miteinander verbunden sind und wo sie deployed sind).
• Limitationen bestehender Ansätze: Herkömmliche Ansätze wie Few-Shot-Learning oder Fine-Tuning basieren oft auf historischen Daten. Da sich Microservice-Architekturen jedoch dynamisch ändern (z. B. durch Skalierung), sind historische Abfragen oft nicht mehr repräsentativ für den aktuellen Systemzustand. Zudem fehlt generischen Large Language Models (LLMs) das spezifische Wissen über private Metriken und Systemkomponenten.

2. Methodik: Der PromCopilot-Ansatz

Das Paper stellt PromCopilot vor, ein Framework, das natürliche Sprache in korrekte PromQL-Abfragen übersetzt (Text-to-PromQL). Der Kern des Ansatzes liegt in der synergetischen Verknüpfung von Large Language Models (LLMs) und einem Wissensgraphen (Knowledge Graph, KG).

Der Prozess gliedert sich in zwei Hauptphasen:

A. Konstruktion des System-Kontext-Wissensgraphen
Um den komplexen Kontext des Systems für das LLM zugänglich zu machen, wird ein Wissensgraph automatisch aus verschiedenen Quellen extrahiert und fusioniert:

• Quellen: Prometheus (Metadaten der Metriken), Kubernetes (Ressourcen- und Abhängigkeitsmetadaten), Traces (Service-Abhängigkeiten) und Dokumentationen.
• Schema: Der Graph enthält zwei Haupttypen von Entitäten:
  1. Systemkomponenten: Nodes, Deployments, Pods, Services, Container, APIs etc.
  2. Metrikdaten: Metriken und Label-Wert-Paare.
• Verknüpfung: Metriken werden über Labels mit spezifischen Systemkomponenten verknüpft, und Komponenten sind über Abhängigkeiten (z. B. ein Service läuft auf einem Pod, der auf einem Node liegt) verbunden.

B. Generierung der PromQL-Abfrage (Vier Schritte)

1. Frageanalyse (Question Parsing): Das LLM analysiert die natürliche Sprachfrage und extrahiert:
   • Komponenten-Relations-Pfade: Pfade, die beschreiben, wie Komponenten zusammenhängen (z. B. Service -> Pod -> Node), auch wenn konkrete Namen fehlen (Platzhalter).
   • Metrik-Komponenten-Paare: Welche Metrik (z. B. "verfügbarer Speicher") auf welcher Komponentenebene (z. B. "Node") gesucht wird.
2. Wissensabruf (Retrieval):
   • Systemkomponenten-Wissen: Basierend auf den extrahierten Pfaden werden im Wissensgraphen konkrete Instanzen (z. B. welche Pods gehören zu welchem Service) mittels Breitensuche (BFS) und Ähnlichkeitssuche (BM25) gefunden. Dies löst das Problem der Multi-Hop-Reasoning (mehrfache Verknüpfungen).
   • Metrik-Wissen: Basierend auf den Metrik-Komponenten-Paaren werden relevante Metriken und deren Labels im Graphen gesucht und priorisiert.
3. Abfragegenerierung (Query Generation): Das extrahierte Wissen (Metriknamen, Labels, Systemstruktur) wird zusammen mit der ursprünglichen Frage als Kontext an das LLM übergeben. Das LLM generiert daraufhin die syntaktisch korrekte PromQL-Abfrage unter Verwendung von Chain-of-Thought (CoT) und Few-Shot-Prompts.

3. Wichtige Beiträge

• PromCopilot Framework: Ein neuartiger Ansatz, der Wissensgraphen und LLMs kombiniert, um kontextsensitive DSL-Abfragen zu generieren, ohne auf historische Abfragen angewiesen zu sein.
• Erster Text-to-PromQL Benchmark: Die Autoren haben den ersten öffentlichen Datensatz für diese Aufgabe erstellt, der 280 manuell konstruierte Frage-Antwort-Paare (natürliche Sprache zu PromQL) auf Basis des Open-Source-Systems TrainTicket umfasst.
• Systematische Evaluation: Umfassende Experimente zur Validierung der Genauigkeit und Effektivität des Ansatzes.

4. Ergebnisse

Die Evaluation wurde mit GPT-4-Turbo und DeepSeek-Coder-V2-236B als Backbone-LLMs durchgeführt und verglichen mit Baselines (Basic Prompt und Few-Shot-Learning).

• Genauigkeit (Query Accuracy): PromCopilot erreichte eine Genauigkeit von 69,1% (mit GPT-4-Turbo) und 66,9% (mit DeepSeek-Coder-V2). Dies ist ein signifikanter Sprung gegenüber den Baselines (z. B. 37,4% für Few-Shot mit GPT-4).
• Metrik- und Pfad-Retrieval: Der Ansatz zeigt eine hohe Präzision beim Abruf von Wissen:
  • Recall für Metriken: 90,3%.
  • Recall für Reasoning Paths (Systemkontext): 90,8%.
• Ablationsstudie: Das Entfernen entweder des Metrik-Wissens oder des Systemkomponenten-Wissens führte zu einem drastischen Einbruch der Genauigkeit (QueryAcc fiel von 69,1% auf 27,8% bzw. 12,2%), was die Notwendigkeit beider Wissensquellen unterstreicht.
• User-Study: In einer Pilotstudie mit 8 erfahrenen Ingenieuren reduzierte PromCopilot die Zeit zur Erstellung einer Abfrage von durchschnittlich 382 Sekunden (andere Tools) auf 101 Sekunden. Die Teilnehmer bewerteten die Nützlichkeit und Korrektheit positiv (Durchschnittswerte > 3,5 auf einer 4-Punkte-Skala).

5. Bedeutung und Ausblick

• Innovation: PromCopilot ist die erste Arbeit, die sich spezifisch mit Text-to-PromQL befasst und zeigt, dass LLMs allein nicht ausreichen; sie benötigen strukturierten Kontext (Wissensgraph), um in dynamischen Cloud-Native-Umgebungen korrekt zu arbeiten.
• Praktischer Nutzen: Das Tool senkt die Einstiegshürde für Ingenieure, beschleunigt die Fehlerdiagnose und Performance-Optimierung und macht komplexe Monitoring-Abfragen für weniger erfahrene Nutzer zugänglich.
• Zukunft: Die Autoren planen, das Framework auf andere Monitoring-Plattformen (jenseits von Prometheus) und Architekturen zu erweitern sowie spezialisierte LLMs für PromQL zu fine-tunen, um die Fehlerquote bei der Generierung weiter zu senken.

Zusammenfassend demonstriert PromCopilot, wie die Kombination aus strukturiertem Domänenwissen (Wissensgraph) und generativer KI (LLMs) komplexe technische Aufgaben in der Software-Engineering-Praxis effizient lösen kann.