LLM-Augmented Knowledge Base Construction For Root Cause Analysis

Este estudo avalia três metodologias de Grandes Modelos de Linguagem (Fine-Tuning, RAG e uma abordagem híbrida) para construir uma base de conhecimento de Análise de Causa Raiz a partir de tickets de suporte, demonstrando que a solução gerada acelera a resolução de falhas e melhora a resiliência em redes de comunicação.

O essencial

Imagine que a internet e as redes de comunicação são como uma gigantesca cidade de trânsito. Nela, carros (dados) viajam o tempo todo. Às vezes, o trânsito para, um semáforo quebra ou um carro fica sem gasolina. Quando isso acontece, precisamos de um detetive muito rápido para descobrir o que deu errado e consertar, antes que todo mundo fique preso.

Esse detetive é o que chamamos de Análise de Causa Raiz (RCA). O problema é que, hoje em dia, a cidade é tão grande e complexa que os detetives humanos ficam sobrecarregados. Eles têm que ler milhares de diários de bordo (chamados de "tickets de suporte") escritos em uma linguagem técnica e confusa. É como tentar encontrar uma agulha em um palheiro, mas o palheiro é feito de papel e a agulha muda de cor a cada minuto.

Este artigo apresenta uma nova ferramenta chamada TelcoInsight, que usa Inteligência Artificial (especificamente Grandes Modelos de Linguagem, ou LLMs) para ajudar esses detetives. Pense no LLM como um estagiário superinteligente que leu todos os livros do mundo, mas precisa ser treinado para entender o dia a dia dessa cidade específica.

Os autores testaram três maneiras de treinar esse estagiário:

1. O "Estagiário que Decora o Manual" (Fine-Tuning)

Nesta abordagem, eles pegam o modelo de IA e o forçam a estudar apenas os diários de bordo antigos da empresa. É como dar ao estagiário uma pilha de casos resolvidos e dizer: "Estude isso de cor e vamos ver se você consegue resolver novos problemas baseando-se apenas no que aprendeu".

• Vantagem: Ele aprende a gíria e os termos técnicos da empresa muito bem.
• Desvantagem: Se aparecer um problema novo que nunca foi escrito nos livros dele, ele pode inventar uma solução errada (alucinar) porque não tem acesso a informações externas.

2. O "Estagiário com uma Biblioteca ao Lado" (RAG - Geração Aumentada por Recuperação)

Aqui, o estagiário não precisa decorar tudo. Em vez disso, quando surge um problema, ele vai até uma biblioteca digital (um banco de dados com todos os casos antigos), procura casos parecidos, lê o que aconteceu e usa essa informação para montar a resposta.

• Vantagem: Ele sempre tem acesso às informações mais recentes e reais.
• Desvantagem: Às vezes, ele pode ter dificuldade em conectar os pontos de forma criativa ou entender o contexto profundo se a biblioteca não tiver o caso exato.

3. O "Super-Herói Híbrido" (Abordagem Híbrida)

Esta foi a grande vencedora do estudo! Eles combinaram as duas técnicas anteriores. O estagiário decorou o manual (aprendeu a linguagem e os padrões da empresa) E leva a biblioteca no bolso (pode consultar casos antigos em tempo real).

• O resultado: Ele entende a gíria local, mas também consulta o histórico para garantir que a solução é baseada em fatos reais. É como ter um detetive experiente que, ao mesmo tempo, consulta um computador superpoderoso para confirmar cada pista.

O que eles descobriram?

Os pesquisadores usaram métricas (como uma "nota de qualidade") para ver qual método funcionava melhor.

• O Método Híbrido ganhou de longe. Ele criou um "Livro de Regras" (Base de Conhecimento) muito mais preciso e útil.
• Eles também descobriram que, ao usar esse sistema, conseguiram agrupar problemas parecidos. Imagine que você tem 100 reclamações sobre "carro que não liga". O sistema percebe que 80 delas são a mesma coisa (bateria fraca) e cria uma única regra para resolver todas, em vez de criar 80 regras diferentes. Isso economiza muito tempo.

Por que isso é importante?

Antes, consertar a rede dependia muito da memória e da sorte de um engenheiro humano. Agora, com o TelcoInsight, a empresa pode:

1. Consertar mais rápido: A IA sugere a solução baseada em milhares de casos passados.
2. Evitar erros humanos: A IA não fica cansada e não esquece detalhes.
3. Proteger segredos: Tudo roda dentro da empresa (localmente), então os dados sensíveis dos clientes não vazam para a internet pública.

Em resumo: Os autores criaram um "copiloto" para os engenheiros de rede. Esse copiloto é treinado para ler os diários antigos da empresa e, quando surge um problema, ele sugere a melhor solução possível, combinando o conhecimento interno com a consulta rápida ao histórico. Isso torna a internet mais estável e evita que fiquemos presos no trânsito digital.

Resumo técnico

Resumo Técnico: Construção de Base de Conhecimento Aumentada por LLM para Análise de Causa Raiz

1. Problema e Motivação

A confiabilidade das redes de comunicação é crítica, mas a complexidade crescente torna a Análise de Causa Raiz (RCA) rápida e precisa um desafio significativo.

• Desafio Atual: Os métodos tradicionais de RCA dependem de análise manual de grandes volumes de dados heterogêneos (tickets de suporte, logs, métricas), o que é demorado, propenso a erros humanos e difícil de escalar.
• Limitações de IA Tradicional: Abordagens anteriores de IA/ML (aprendizado de máquina clássico) muitas vezes falham em capturar nuances semânticas, contexto e linguagem natural presentes em tickets de suporte técnicos.
• Oportunidade e Risco: Embora os Modelos de Linguagem de Grande Escala (LLMs) ofereçam potencial para processar dados não estruturados, existem preocupações sobre privacidade de dados (especialmente em telecomunicações), alucinações de modelos e a falta de conhecimento específico de domínio.
• Objetivo: Desenvolver um sistema automatizado que extraia insights de tickets de suporte resolvidos para construir uma Base de Conhecimento de RCA estruturada (regras de associação), permitindo diagnósticos mais rápidos e precisos de incidentes futuros, garantindo privacidade e segurança.

2. Metodologia: Framework TelcoInsight

Os autores propõem o TelcoInsight, um framework que utiliza LLMs para automatizar a construção da base de conhecimento. O estudo compara três abordagens distintas:

• A. Pré-processamento e Engenharia de Prompt:

  • Chunking (Fragmentação): Devido aos limites de tokens dos LLMs (ex: 4.096 tokens), os dados textuais longos são divididos em pedaços gerenciáveis usando um algoritmo que preserva o contexto do prompt.
  • Prompts Específicos: Foram desenhados prompts para guiar o LLM em três etapas: (1) Identificar anomalias e sintomas; (2) Extrair causa raiz e solução; (3) Consolidar resultados em regras de associação estruturadas.

• B. Abordagens de Modelagem:

  1. Ajuste Fino (Fine-Tuning): Adaptação de modelos pré-treinados (LLaMA 3, Gemma) usando LoRA (Low-Rank Adaptation) e quantização (16 bits) em um conjunto de dados de tickets resolvidos. O objetivo é ensinar o modelo a "falar a linguagem" da rede e entender terminologia específica da empresa.
  2. Geração Aumentada por Recuperação (RAG): O sistema recupera tickets históricos relevantes de uma base de dados vetorial (usando similaridade de cosseno com embeddings Word2Vec/BERT) e injeta esse contexto no prompt do LLM antes da geração. Isso permite acesso a conhecimento externo sem re-treinar o modelo.
  3. Abordagem Híbrida: Combina o Fine-Tuning (para compreensão de domínio e vocabulário técnico) com o RAG (para recuperação dinâmica de evidências recentes e específicas). O modelo ajustado gera a análise, mas é guiado por evidências recuperadas da base de conhecimento.

• C. Métricas de Avaliação:

  • Utilização de métricas léxicas (Cosine Similarity, BLEU, ROUGE, METEOR) e semânticas (BERTScore) para avaliar a qualidade e a fidelidade das regras geradas em comparação com as soluções humanas.

3. Contribuições Principais

1. Framework TelcoInsight: Uma arquitetura completa para automatizar a construção de bases de conhecimento de RCA a partir de tickets de suporte.
2. Metodologia de Adaptação de LLM: Desenvolvimento de fluxos de trabalho que incluem prompts específicos, ajuste fino com LoRA e integração de RAG para lidar com nuances de RCA.
3. Comparação Abrangente: Avaliação empírica de três abordagens (Fine-Tuning, RAG, Híbrido) em um conjunto de dados industrial real.
4. Validação de Segurança e Privacidade: Demonstração de que o processamento pode ser feito localmente (on-premise), mitigando riscos de exposição de dados sensíveis de clientes.

4. Resultados e Descobertas

O estudo foi realizado em um conjunto de dados real de 1.049 tickets de suporte de uma operadora de telecomunicações, cobrindo 13 classes de problemas de rede.

• Desempenho da Abordagem Híbrida:

  • A abordagem Híbrida superou consistentemente as outras duas em quase todas as métricas, especialmente no BERTScore (similaridade semântica) e Cosine Similarity.
  • Exemplo: Com o modelo Mistral-7B, a abordagem Híbrida atingiu um BERTScore de 0,933, comparado a 0,844 (Fine-Tuning puro) e 0,933 (RAG puro, mas com variações em outras métricas).
  • Motivo: O Fine-Tuning puro carecia de conhecimento externo (levando a alucinações em casos raros), enquanto o RAG puro às vezes falhava em capturar a terminologia específica do domínio. O Híbrido uniu o melhor dos dois mundos.

• Impacto dos Prompts:

  • O uso de prompts estruturados aumentou significativamente o desempenho. A similaridade de cosseno subiu de 0,208 (sem prompt) para 0,589 (com prompt) no modelo LLAMA3-8B.

• Análise por Tipo de Anomalia:

  • O método Híbrido mostrou robustez em tipos de anomalias comuns.
  • Em tipos de anomalias raras (poucos tickets), o desempenho caiu ligeiramente devido à falta de exposição durante o ajuste fino e terminologia altamente especializada, sugerindo a necessidade de técnicas de aumento de dados no futuro.

• Compressão de Regras:

  • O uso de um limiar de similaridade (ex: 70%) permitiu agrupar anomalias semelhantes, reduzindo o número de regras em até 50% (de 1048 para 620 regras) sem perda significativa de precisão, facilitando a manutenção da base de conhecimento.

• Custo Computacional:

  • A abordagem RAG/Híbrida adicionou um atraso de aproximadamente 4 segundos no tempo de resposta devido ao processo de recuperação de dados, mas o consumo de memória GPU permaneceu consistente.

5. Significado e Conclusão

O artigo demonstra que a construção de bases de conhecimento para RCA em redes de telecomunicações pode ser significativamente acelerada e aprimorada através de LLMs, desde que adotada uma abordagem híbrida.

• Valor Prático: O framework TelcoInsight permite transformar dados não estruturados (tickets) em regras de associação acionáveis e estruturadas, melhorando a resiliência da rede e a garantia de serviço (Service Assurance).
• Segurança: A solução valida a viabilidade de usar LLMs em ambientes corporativos sensíveis, mantendo os dados locais e protegidos.
• Futuro: Os autores sugerem que, para lidar com classes de anomalias raras, futuras pesquisas devem focar em aumento de dados sintéticos, engenharia de prompts adaptativa e mecanismos de "humano no loop" para validação.

Em suma, a abordagem Híbrida (Fine-Tuning + RAG) é identificada como a mais eficaz para equilibrar a compreensão de domínio, a precisão semântica e a capacidade de generalização em cenários reais de análise de causa raiz.