PromCopilot: Simplifying Prometheus Metric Querying in Cloud Native Online Service Systems via Large Language Models

O artigo apresenta o PromCopilot, um framework baseado em Modelos de Linguagem Grande (LLMs) e grafos de conhecimento que simplifica a geração de consultas PromQL a partir de linguagem natural para monitoramento de sistemas online em nuvem, alcançando 69,1% de precisão em um novo conjunto de dados de benchmark.

O essencial

Imagine que você é o capitão de um navio gigante e moderno, cheio de máquinas complexas, turbinas e sistemas elétricos que nunca param de funcionar. Para manter esse navio seguro, você precisa de painéis de controle cheios de luzes, medidores e gráficos que mostram a velocidade do vento, a temperatura dos motores e o nível de combustível.

No mundo digital, esses "navios" são os sistemas online (como sites de compras, bancos ou redes sociais) e os "painéis de controle" são ferramentas de monitoramento chamadas Prometheus.

Aqui está a história do PromCopilot, explicada de forma simples:

1. O Problema: O "Dicionário" que Ninguém Entende

Para ver os dados do seu navio (ou do seu site), os engenheiros precisam escrever perguntas em uma linguagem muito específica e difícil, chamada PromQL. É como se, para saber a temperatura do motor, você precisasse escrever uma frase em latim com regras gramaticais estritas, em vez de apenas dizer: "Qual a temperatura do motor?".

• A dificuldade: Escrever essas frases em PromQL exige saber exatamente o nome de cada peça, onde ela está instalada e como se chama. Se o engenheiro errar uma vírgula ou o nome de um sensor, a pergunta não funciona. É como tentar pedir uma pizza em um restaurante onde você precisa saber o código de barras de cada ingrediente para fazer o pedido.

2. A Solução: O PromCopilot (Seu "Tradutor Mágico")

Os autores criaram o PromCopilot, que funciona como um assistente inteligente que traduz a linguagem humana para essa linguagem de computador difícil.

Imagine que o PromCopilot tem dois cérebros trabalhando juntos:

1. O "Mapa do Tesouro" (Grafo de Conhecimento): Antes de tudo, o sistema cria um mapa gigante e detalhado de todo o navio. Ele sabe que o "Serviço de Pedidos" está instalado no "Pod 1", que o "Pod 1" está no "Nó 3", e que o "Nó 3" tem um sensor de memória. É como ter um manual de instruções 3D que mostra como tudo está conectado.
2. O "Tradutor Inteligente" (IA de Linguagem): Quando um engenheiro pergunta em português: "Qual nó tem mais memória livre onde o serviço de pedidos está rodando?", o PromCopilot não chuta. Ele olha no "Mapa do Tesouro", encontra o caminho correto (Serviço -> Pod -> Nó) e descobre os nomes técnicos reais. Depois, ele usa sua inteligência para montar a frase correta em PromQL.

3. Como Funciona na Prática?

Vamos usar uma analogia de pedir uma comida em um restaurante:

• Sem PromCopilot: Você chega no balcão e precisa dizer: "Quero o prato com o código #992, feito com o ingrediente #445, cozido na panela #12, servido pelo garçom #03". Se você não souber os códigos, não come nada.
• Com PromCopilot: Você chega e diz: "Quero o prato do dia, mas sem cebola".
  • O PromCopilot (o garçom inteligente) olha no cardápio (o Mapa de Conhecimento) para ver o que é "prato do dia".
  • Ele verifica quem é o chef responsável e quais ingredientes estão disponíveis.
  • Ele traduz seu pedido simples para a ordem técnica que a cozinha precisa: "Preparar prato #992, retirar ingrediente #445".

4. O Que Eles Descobriram?

Os pesquisadores testaram essa ideia criando um "simulador" com 280 perguntas reais que engenheiros fariam.

• O Resultado: O PromCopilot conseguiu traduzir corretamente cerca de 69% das perguntas complexas.
• Comparação: Se você apenas pedisse para uma Inteligência Artificial comum (sem o "Mapa do Tesouro"), ela acertaria muito pouco (cerca de 2,6%), porque ela não conhece os nomes específicos das peças do seu sistema. Com o mapa e a IA trabalhando juntos, a precisão saltou muito.
• Velocidade: Engenheiros que usaram a ferramenta terminaram suas tarefas em 100 segundos, enquanto os que usaram métodos antigos levavam quase 6 minutos.

5. Por Que Isso é Importante?

Hoje, os sistemas são tão complexos que nenhum humano consegue decorar onde cada peça está ou como se chama cada sensor. O PromCopilot tira o peso das costas dos engenheiros, permitindo que eles foquem em resolver problemas e não em decorar códigos.

Resumo da Ópera:
O PromCopilot é como ter um tradutor universal que conecta a linguagem simples do dia a dia com a linguagem técnica e complicada dos computadores, usando um "mapa mental" do sistema para garantir que a tradução seja sempre precisa. Isso torna a vida dos engenheiros muito mais fácil e os sistemas mais seguros.

Resumo técnico

1. Problema

Em sistemas de serviços online modernos (baseados em nuvem, microsserviços e contêineres), a complexidade e a escala tornam o monitoramento de métricas essencial para garantir confiabilidade e estabilidade. O Prometheus é o padrão de facto para monitoramento nesse ecossistema, utilizando uma linguagem de consulta específica de domínio chamada PromQL.

No entanto, escrever consultas PromQL manualmente apresenta desafios significativos para engenheiros:

• Alta Curva de Aprendizado: Exige domínio profundo da sintaxe complexa do PromQL (operadores, funções, vetores de intervalo).
• Dependência de Contexto: Uma consulta correta não depende apenas da sintaxe, mas do conhecimento profundo do sistema (ex: nomes de métricas personalizados, rótulos específicos, topologia de implantação, dependências entre serviços e nós).
• Ineficiência: Engenheiros gastam muito tempo pesquisando documentação e ferramentas para mapear conceitos de negócios (ex: "qual nó tem mais memória disponível para o serviço de pedidos?") para entidades técnicas (IDs de nós, nomes de métricas exatas).
• Limitações de Soluções Existentes: Técnicas de Text-to-SQL ou geração de código genéricas falham porque não possuem o contexto privado do sistema. Abordagens baseadas em Few-Shot Learning ou ajuste fino (fine-tuning) com dados históricos são limitadas, pois a topologia de sistemas em nuvem é dinâmica e os dados históricos podem não refletir o estado atual.

2. Metodologia: PromCopilot

O PromCopilot é um framework baseado em Grandes Modelos de Linguagem (LLMs) que converte perguntas em linguagem natural em consultas PromQL. A inovação central é o uso de Raciocínio Sinérgico entre um Grafo de Conhecimento (Knowledge Graph - KG) e um LLM.

O processo é dividido em duas fases principais:

A. Construção do Grafo de Conhecimento do Contexto do Sistema

O sistema constrói automaticamente um grafo que descreve o contexto complexo do sistema, integrando dados de múltiplas fontes:

• Esquema do KG: Define entidades de componentes do sistema (Nós, Pods, Serviços, APIs, etc.) e entidades de dados de métricas (Nomes de Métricas, Pares de Rótulo-Valor).
• Fontes de Dados:
  • Prometheus: Metadados de métricas (nomes, descrições, rótulos).
  • Kubernetes: Metadados de recursos e suas relações hierárquicas (ex: um Pod pertence a um Deployment).
  • Traces (Rastreamento): Relações de invocação entre serviços e APIs.
  • Documentação: Descrições de serviços e APIs para entender a intenção do usuário.
• Atualização: O grafo é atualizado periodicamente para refletir o estado dinâmico do sistema.

B. Geração de Consultas (Pipeline de 4 Etapas)

Dada uma pergunta em linguagem natural, o PromCopilot executa:

1. Análise da Pergunta (Parsing): O LLM extrai:
   • Caminhos de Relação de Componentes: Sequências de entidades e relações implícitas na pergunta (ex: Serviço -> Pod -> Nó), usando placeholders para nomes não mencionados.
   • Pares Métrica-Componente: Qual métrica é desejada e em qual tipo de componente ela se aplica.
2. Recuperação de Conhecimento de Componentes: O sistema busca no Grafo de Conhecimento instâncias de caminhos que correspondam aos caminhos extraídos (usando busca em largura e similaridade de nomes para lidar com variações de nomenclatura).
3. Recuperação de Conhecimento de Métricas:
   • Identifica métricas candidatas baseadas nos componentes recuperados.
   • Recupera pares de rótulo-valor relevantes (tanto relacionados a componentes quanto semânticos) para filtrar os dados corretamente.
4. Geração da Consulta (Query Generation): O LLM recebe a pergunta original, o contexto recuperado (caminhos de raciocínio e detalhes das métricas) e gera a consulta PromQL final.

3. Contribuições Principais

1. Framework PromCopilot: Primeira proposta de um sistema Text-to-PromQL que utiliza um Grafo de Conhecimento para fornecer contexto específico do sistema ao LLM, superando a falta de conhecimento privado dos modelos genéricos.
2. Primeiro Dataset de Benchmark: Construção manual do primeiro conjunto de dados de referência para a tarefa Text-to-PromQL, contendo 280 pares de perguntas-consultas baseados no sistema de benchmark TrainTicket (microsserviços). O dataset inclui métricas, traces e registros de implantação reais.
3. Validação Experimental: Estudo abrangente comparando o PromCopilot com baselines (Prompt Básico e Few-Shot Learning) e uma análise de usabilidade com engenheiros da indústria.

4. Resultados Experimentais

Os experimentos foram conduzidos utilizando GPT-4-Turbo e DeepSeek-Coder-V2-236B como LLMs base.

• Precisão na Geração (QueryAcc):
  • O PromCopilot alcançou 69.1% de precisão com GPT-4-Turbo e 66.9% com DeepSeek-Coder.
  • Isso representa uma melhoria significativa em relação às abordagens baselines (que atingiram apenas 37.4% e 42.6%, respectivamente).
• Recuperação de Conhecimento:
  • Alta precisão na recuperação de métricas (Recall de 90.3%).
  • Alto Recall na recuperação de caminhos de raciocínio (Recall de 90.8%), garantindo que o LLM tenha acesso às informações necessárias, mesmo que a precisão absoluta dos caminhos recuperados seja menor (devido à necessidade de cobrir todas as possibilidades).
• Estudo de Usabilidade (Pilot Study):
  • Engenheiros completaram tarefas 3.75 vezes mais rápido usando o PromCopilot (101s vs 382s) comparado a outras ferramentas.
  • A pontuação média de "Utilidade" foi de 3.75/4.0, indicando alta aceitação.
• Análise de Falhas: A maioria dos erros (59%) ocorreu na etapa de geração final do LLM (uso incorreto de rótulos ou funções), e não na recuperação de conhecimento, sugerindo que o problema principal é a falta de fine-tuning específico do LLM para PromQL, e não a falta de contexto.

5. Significado e Impacto

• Acessibilidade: Democratiza o uso de sistemas de monitoramento complexos, permitindo que engenheiros com menos experiência em PromQL realizem análises profundas através de linguagem natural.
• Eficiência Operacional: Reduz drasticamente o tempo de diagnóstico de falhas e otimização de desempenho em ambientes de nuvem.
• Inovação em AIOps: Demonstra que a combinação de Grafos de Conhecimento (para contexto estruturado e dinâmico) com LLMs (para raciocínio e geração) é uma abordagem superior para tarefas de Text-to-DSL em domínios técnicos complexos, superando a dependência de dados históricos estáticos.
• Reprodutibilidade: O artigo disponibiliza o dataset, o código e o grafo de conhecimento, preenchendo uma lacuna crítica na pesquisa de monitoramento de sistemas em nuvem.

Em resumo, o PromCopilot resolve o gargalo da complexidade sintática e contextual do PromQL, transformando a interação com dados de monitoramento em um processo intuitivo e eficiente, validado tanto por métricas automáticas quanto por feedback de engenheiros profissionais.