PromCopilot: Simplifying Prometheus Metric Querying in Cloud Native Online Service Systems via Large Language Models

Il paper introduce PromCopilot, un framework basato su modelli linguistici di grandi dimensioni che semplifica il monitoraggio dei sistemi cloud nativi trasformando le domande in linguaggio naturale in query PromQL, sfruttando un grafo della conoscenza per comprendere il contesto del sistema e ottenendo un'accuratezza del 69,1% nel primo benchmark creato per questo compito.

L'essenziale

Ecco una spiegazione semplice e creativa del paper PromCopilot, pensata per chiunque, anche senza competenze tecniche.

🌟 Il Problema: La Libreria Senza Indice

Immagina di essere in una libreria gigantesca (il sistema informatico di un'azienda moderna) che contiene milioni di libri. Ogni libro è un dato su come sta andando il lavoro: quanta energia consuma un computer, quanti clienti entrano in un negozio online, o se una macchina sta surriscaldando.

Per trovare un libro specifico, però, non puoi semplicemente dire alla bibliotecaria: "Vorrei sapere quale macchina sta usando meno energia tra quelle che servono il servizio ordini".
No, devi usare un linguaggio segreto e complicatissimo (chiamato PromQL). Devi conoscere esattamente il titolo esatto del libro, il numero di scaffale, e la formula matematica per combinarli. Se sbagli anche solo una virgola, la bibliotecaria non ti capisce o ti dà il libro sbagliato.

Per gli ingegneri, scrivere queste "formule segrete" è come cercare di scrivere un romanzo usando solo geroglifici: è lento, stressante e richiede anni di studio.

🤖 La Soluzione: PromCopilot, il Traduttore Magico

Gli autori di questo studio hanno creato PromCopilot, un assistente intelligente che fa da ponte tra il linguaggio umano e quello segreto dei computer.

Ecco come funziona, passo dopo passo, con un'analogia:

1. La Mappa del Tesoro (Il Grafo della Conoscenza)

Prima di tutto, PromCopilot non si limita a "indovinare". Costruisce una mappa interattiva (un Knowledge Graph) di tutto il sistema.

• L'analogia: Immagina che invece di avere solo i libri, la biblioteca abbia un GPS super avanzato che sa esattamente dove si trova ogni libro, chi lo ha scritto, e come è collegato agli altri libri. Sa che il "Libro Ordini" è collegato al "Libro Server 1" e al "Libro Server 2".
• Questa mappa viene aggiornata in tempo reale: se arriva un nuovo libro o cambia un scaffale, la mappa si aggiorna subito.

2. L'Interrogazione (La Domanda in Italiano)

Tu, ingegnere, fai la tua domanda in linguaggio naturale:

"Quale nodo ha più memoria libera dove è ospitato il servizio ordini?"

3. Il Detective (L'Intelligenza Artificiale + La Mappa)

Qui entra in gioco il vero genio di PromCopilot. Non si affida solo all'Intelligenza Artificiale (LLM) da sola, perché l'AI potrebbe allucinare nomi di libri che non esistono.
Invece, usa un metodo ibrido:

1. Analisi: L'AI legge la tua domanda e capisce cosa cerchi (il "servizio ordini" e la "memoria libera").
2. Caccia al Tesoro: L'AI guarda la Mappa del Tesoro (il Grafo) per trovare i collegamenti reali.
   • Domanda: "Dove è il servizio ordini?"
   • Mappa: "Ah, il servizio ordini è ospitato sui Pod A, B e C, che a loro volta sono sui Nodi 1 e 2."
3. Traduzione: Ora che l'AI ha i nomi esatti e i collegamenti veri, traduce la tua domanda in quella "formula segreta" (PromQL) perfetta.

🏆 I Risultati: Funziona davvero?

Gli autori hanno creato un campo di prova (un dataset con 280 domande reali) per testare il loro assistente.

• Senza PromCopilot: Gli ingegneri o le AI generiche sbagliano spesso perché non conoscono la mappa interna del sistema.
• Con PromCopilot: Il sistema ha raggiunto un 69% di precisione nel creare la formula perfetta. È un risultato enorme, considerando che prima era quasi impossibile farlo automaticamente.

Inoltre, hanno fatto una prova con 8 ingegneri esperti:

• Senza PromCopilot: Ci volevano 382 secondi (quasi 6 minuti) per trovare la risposta.
• Con PromCopilot: Ci volevano 101 secondi (poco più di 1 minuto e mezzo).
• Risultato: Gli ingegneri hanno lavorato 3 volte più velocemente e si sono sentiti molto più sicuri.

💡 In Sintesi

PromCopilot è come avere un tutor personale che conosce ogni angolo della tua azienda digitale.

• Tu gli chiedi qualcosa in italiano.
• Lui consulta la mappa segreta dei dati.
• Lui scrive la formula magica per te.

Non serve più essere esperti di linguaggi complicati per capire come sta andando il tuo sistema. Basta fare la domanda giusta, e PromCopilot fa il resto, rendendo la gestione di sistemi complessi molto più semplice e veloce.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del paper "PromCopilot: Simplifying Prometheus Metric Querying in Cloud Native Online Service Systems via Large Language Models" in lingua italiana.

1. Il Problema

I moderni sistemi di servizi online (basati su architetture cloud-native, microservizi e container) sono diventati estremamente complessi, generando enormi quantità di dati di monitoraggio (metriche). Per garantire affidabilità e stabilità, gli ingegneri utilizzano sistemi di monitoraggio come Prometheus, che richiede l'uso di un linguaggio specifico (DSL) chiamato PromQL per interrogare e analizzare questi dati.

Tuttavia, scrivere manualmente query PromQL presenta diverse sfide critiche:

• Alta barriera di ingresso: Richiede una profonda conoscenza della sintassi di PromQL e delle funzioni disponibili.
• Contesto di sistema complesso: Per scrivere una query corretta, l'ingegnere deve comprendere il contesto specifico del sistema (es. quali nodi ospitano un certo servizio, le dipendenze tra i componenti, i nomi specifici delle metriche e delle etichette).
• Costo temporale: La ricerca manuale delle informazioni di contesto (nomi delle metriche, ID dei nodi, deployment) attraverso vari strumenti è lenta e soggetta a errori.
• Limitazioni delle soluzioni esistenti: I metodi basati su few-shot learning o su dati storici falliscono perché i sistemi cloud-native cambiano dinamicamente (es. scaling dei servizi), rendendo i dati storici spesso non più validi per lo stato corrente. Inoltre, le query richiedono un ragionamento multi-hop (es. "trova i nodi dove è deployato il servizio X, poi trova la memoria disponibile su quei nodi"), che i modelli LLM generici non riescono a gestire senza conoscenza contestuale precisa.

2. Metodologia: PromCopilot

Il paper propone PromCopilot, un framework basato su Large Language Models (LLM) e Grafi della Conoscenza (Knowledge Graph - KG) per trasformare domande in linguaggio naturale in query PromQL (text-to-PromQL).

L'approccio si articola in due fasi principali:

A. Costruzione del Grafo della Conoscenza del Contesto di Sistema

Per fornire agli LLM la conoscenza privata e specifica del sistema, PromCopilot costruisce un grafo della conoscenza che descrive il contesto complesso.

• Schema: Il grafo include entità di "componenti di sistema" (Node, Pod, Service, Container, API, ecc., derivati da Kubernetes) ed entità di "dati metrici" (Metric, Label-Value Pair).
• Relazioni: Definisce dipendenze (es. un Pod ospita un Container), gerarchie (un Service espone più API) e invocazioni tra servizi.
• Fonti Dati: Il grafo viene costruito automaticamente estraendo dati da:
  • Prometheus: Metadati delle metriche (nomi, descrizioni, etichette).
  • Kubernetes: Metadati delle risorse e le loro relazioni.
  • Traces: Dati di tracciamento distribuito per mappare le chiamate tra servizi.
  • Documentazione: Descrizioni dei servizi e delle API.

B. Generazione della Query (Pipeline di PromCopilot)

Il processo di trasformazione da domanda naturale a PromQL avviene in quattro passaggi:

1. Analisi della Domanda (Question Parsing): Un LLM analizza la domanda naturale per estrarre:
   • Percorsi di relazione dei componenti: Identifica le entità e le relazioni coinvolte (es. "Service -> Pod -> Node"), utilizzando placeholder per nomi non esplicitati.
   • Coppie Metrica-Componente: Identifica quale metrica è richiesta e a quale tipo di componente si riferisce.
2. Recupero della Conoscenza dei Componenti (System Component Knowledge Retrieval): Utilizzando i percorsi estratti, il sistema esegue una ricerca nel Grafo della Conoscenza (tramite algoritmo BFS) per trovare le istanze reali dei percorsi di ragionamento (es. quali Pod specifici appartengono a quel Service e su quali Node sono deployati).
3. Recupero della Conoscenza delle Metriche (Metric Knowledge Retrieval):
   • Recupera le metriche candidate basandosi sul tipo di componente e sulla descrizione semantica.
   • Recupera le coppie Label-Value rilevanti collegando le metriche ai componenti trovati nel passaggio precedente.
4. Generazione della Query (Query Generation): L'LLM riceve la domanda originale insieme alle conoscenze recuperate (percorsi di ragionamento e dettagli delle metriche) come contesto arricchito. Utilizzando tecniche di Chain-of-Thought (CoT) e few-shot learning (con esempi fissi, non storici), l'LLM genera la query PromQL finale.

3. Contributi Chiave

1. PromCopilot: Il primo framework proposto per il task text-to-PromQL, che combina in modo sinergico un Grafo della Conoscenza (per la precisione contestuale) e gli LLM (per la capacità di linguaggio e generazione).
2. Dataset di Benchmark: Costruzione del primo dataset pubblico per text-to-PromQL, contenente 280 coppie domanda-query PromQL, basato sul sistema open-source TrainTicket. Il dataset include anche dati di metriche, trace e registri di deployment reali.
3. Validazione Sperimentale: Una serie completa di esperimenti che dimostrano l'efficacia del framework rispetto a baseline (prompting base e few-shot learning tradizionale).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti utilizzando GPT-4-Turbo e DeepSeek-Coder-V2-236B come LLM di base.

• Accuratezza della Query (QueryAcc): PromCopilot ha raggiunto un'accuratezza del 69.1% con GPT-4-Turbo e del 66.9% con DeepSeek-Coder-V2. Questo è significativamente superiore alle baseline (il miglior baseline a few-shot ha raggiunto solo il 37.4% con GPT-4).
• Recupero della Conoscenza:
  • Accuratezza nel recupero delle metriche (MetricAcc): 91.3%.
  • Recall nei percorsi di ragionamento (Reasoning Paths): 90.8%.
• Studio Utente (Pilot Study): In uno studio con 8 ingegneri esperti, PromCopilot ha ridotto il tempo medio di completamento delle query da 382 secondi (con altri strumenti) a 101 secondi, migliorando l'efficienza di oltre il 70%. Gli utenti hanno valutato positivamente sia l'utilità che la correttezza dello strumento.
• Analisi degli Errori: La maggior parte degli errori (59%) si verifica nella fase di generazione della query da parte dell'LLM (uso errato di label o funzioni), non nel recupero delle informazioni, il che conferma l'efficacia del modulo di recupero del knowledge graph.

5. Significato e Impatto

• Democratizzazione del Monitoraggio: PromCopilot riduce drasticamente la barriera di ingresso per l'uso di Prometheus, permettendo agli ingegneri di interrogare dati complessi in linguaggio naturale senza dover memorizzare sintassi complesse o cercare manualmente metadati di sistema.
• Superamento dei Limiti dei Dati Storici: A differenza di approcci precedenti basati su dati storici, PromCopilot si basa su un grafo della conoscenza aggiornato in tempo reale, rendendolo adatto a sistemi cloud-native dinamici dove i componenti cambiano frequentemente.
• Nuovo Paradigma per AIOps: Il lavoro stabilisce un nuovo standard per l'integrazione di Knowledge Graph e LLM nei compiti di AIOps (Artificial Intelligence for IT Operations), dimostrando che il ragionamento multi-hop è essenziale per la generazione di query in domini tecnici complessi.
• Risorsa per la Comunità: La pubblicazione del primo dataset di benchmark text-to-PromQL fornisce una base fondamentale per la ricerca futura in questo settore.

In sintesi, PromCopilot rappresenta un passo avanti significativo nell'automazione delle operazioni di monitoraggio, trasformando l'interazione con i dati osservabili da un compito manuale e tecnico a un processo guidato dal linguaggio naturale, supportato da una conoscenza contestuale strutturata.