Resumo Técnico: Estagnados, Enviesados e Confusos: Revelando Falhas de Raciocínio em LLMs para Análise de Causa Raiz Baseada em Nuvem

Definição do Problema

A Análise de Causa Raiz (RCA) é crítica para manter a confiabilidade em sistemas modernos baseados em nuvem e microserviços. No entanto, a natureza distribuída e interdependente desses sistemas complica o diagnóstico, particularmente para a propagação de falhas de múltiplos saltos (multi-hop), onde os sintomas aparecem distantes de suas causas reais. Embora os Grandes Modelos de Linguagem (LLMs) ofereçam promessa para automatizar a RCA por meio de raciocínio geral e uso de ferramentas, sua utilidade prática permanece incerta.

Abordagens existentes sofrem de dois principais hiatos metodológicos:

1. Raciocínio Obscurecido: Muitos frameworks inserem LLMs dentro de pipelines de múltiplos agentes complexos ou fluxos de trabalho pesadamente projetados. Esse emaranhamento torna difícil isolar se as falhas decorrem das capacidades de raciocínio do LLM ou de escolhas de design periféricas (ex: dependências entre agentes, heurísticas específicas do sistema).
2. Falta de Avaliação de Raciocínio: Trabalhos anteriores tipicamente avaliam apenas a precisão da saída final ou dependem de julgamentos humanos de granularidade grosseira. Não há uma avaliação sistemática, reproduzível e automatizada da qualidade dos rastros de raciocínio intermediários, o que é essencial para compreender a propagação de falhas de múltiplos saltos.

Consequentemente, há uma falta de compreensão empírica sobre as capacidades de raciocínio isoladas de LLMs em RCA, os fatores que influenciam seu desempenho e as falhas de raciocínio específicas que eles exibem.

Metodologia

Os autores apresentam uma avaliação empírica controlada projetada para isolar o comportamento de raciocínio do LLM de fatores de confusão. O estudo utiliza um cenário experimental simplificado que destaca o LLM enquanto mantém a complexidade do raciocínio de múltiplos saltos.

Estrutura Experimental

• Datasets: Dois conjuntos de dados de microserviços do mundo real foram utilizados: GAIA (derivado da aplicação MicroSS) e OpenRCA (derivado da aplicação Online Boutique). Estes fornecem dados de telemetria multimodais (logs, métricas, traços).
• Processamento de Entrada:
  • Extração de Alertas: A telemetria bruta é processada usando fusão de características. Logs são analisados (Drain), traços são analisados para anomalias (Isolation Forest) e métricas são sinalizadas usando a regra 3-sigma.
  • Unificação de Alertas: Os alertas são unificados via estratégias baseadas em tempo ou elementos para criar uma representação de entrada consistente.
  • Grafo de Conhecimento (KG): Um KG explícito e tipado é construído a partir da documentação arquitetural e manifestos, codificando entidades (serviços, hosts) e relacionamentos (fluxo de controle, fluxo de dados). Este serve como a verdade fundamental (ground truth) para a topologia do sistema.
• Workflows de Agentes: Seis LLMs de código aberto (incluindo Llama 3.2/3.3, Qwen 3, Command R+ e DeepSeek-R1) foram avaliados sob três paradigmas distintos:
  1. Straight-Shot (Não-agêntico): O LLM recebe todas as entradas e retorna um diagnóstico em uma única passagem.
  2. ReAct: O LLM intercala raciocínio com chamadas de ferramentas (loop Pensamento-Ação-Observação).
  3. Plan-and-Execute: O LLM gera um plano de alto nível, executa etapas sequencialmente e replaneja com base nos resultados.
• Ferramentas: Os LLMs foram providos com ferramentas determinísticas e semanticamente minimalistas para inspeção de dados e travessia de grafos (ex: recuperação de vizinhanças de $r$-saltos). O acesso direto ao KG bruto ou execução de código foi restrito para garantir que o raciocínio fosse a variável primária.

Métricas de Avaliação

• Qualidade de Saída: Medida via Precisão de Localização (LA), Precisão de Tipo (TA), Precisão de Hipótese (HA) e Validade de Caminho de Propagação (PA) no top-$k$ ($k=1, 3$).
• Qualidade de Raciocínio: Uma abordagem inovadora de LLM-como-Juiz foi empregada para anotar rastros de inferência. Uma taxonomia de 16 Falhas de Raciocínio (RFs) foi desenvolvida através de codificação aberta e refinamento iterativo (envolvendo anotação humana e de LLM). As falhas foram categorizadas em:
  • Procedimentais: Problemas no loop de decisão-para-ação (ex: falha em atualizar crença, repetição).
  • Específicas de RCA: Erros de domínio (ex: interpretação de métricas, confusão de proveniência).
  • Gerais: Falácias lógicas, elos causais não suportados e contradições internas.
• Escala: O estudo executou 48.000 cenários de falha simulados, totalizando 228 dias de tempo de execução.

Principais Resultados

1. Eficácia de Agentes de LLM (RQ1)

• Não existe uma solução única para todos: O desempenho do modelo é específico para a tarefa. O Qwen 3 (32B) alcançou a maior precisão de hipótese geral, enquanto o Llama 3.3 destacou-se na reconstrução do caminho de propagação. Modelos menores (ex: Llama 3.2, Qwen 3 4B) tiveram desempenho competitivo em fluxos simples, mas degradaram significativamente em configurações agênticas complexas.
• Retornos Decrescentes de Fluxos de Trabalho Agênticos: Contrário à hipótese de que fluxos de trabalho agênticos melhoram o desempenho, o Straight-Shot frequentemente igualou ou superou o ReAct e o Plan-and-Execute em LA, TA e HA. Para modelos menores, o aumento da complexidade do fluxo de trabalho levou a quedas de desempenho, às vezes caindo abaixo do acaso (random guessing).
• Validade do Caminho: Fluxos de trabalho agênticos melhoraram a Validade de Caminho de Propagação (PA) para modelos capazes (ex: Llama 3.3), sugerindo um melhor embasamento no contexto do sistema, mas este benefício foi condicional à capacidade do modelo de planejar e executar chamadas de ferramentas de forma confiável.
• Erros de Execução: Modelos pequenos sofreram altas taxas de falha de execução (ex: 87,3% para Qwen 3 4B no Plan-and-Execute) devido a limites de recursão e erros de replanejamento, restringindo severamente a utilidade de ponta a ponta.

2. Sensibilidade a Modalidades de Alerta (RQ2)

• Métricas são Críticas para Localização: A retenção de dados de métricas causou a maior queda na precisão de localização (LA), indicando que os LLMs dependem fortemente de anomalias métricas para identificar locais de falha.
• Logs são Críticos para Tipagem de Falha: A exclusão de logs degradou principalmente a atribuição de tipo de falha (TA), sugerindo que alertas textuais fornecem pistas semânticas essenciais para a classificação de erros.
• Traços como Distrações: Surpreendentemente, excluir traços muitas vezes melhorou a precisão. Os autores descobriram que alertas de traços eram frequentemente ruidosos e volumosos, fazendo com que os LLMs focassem em relações de chamada enquanto ignoravam outras dependências críticas (ex: deployment). Remover os traços levou a uma análise mais focada e fundamentada no KG.

3. Falhas de Raciocínio (RQ3)

• Falhas Onipresentes: Falhas de raciocínio foram generalizadas em todos os modelos.
• Instabilidade Procedimental: Falhas procedimentais (ex: falha em atualizar crença, especulação excessiva) variaram significamente por modelo e workflow, com modelos menores mostrando maior instabilidade sob controle agêntico.
• Lacunas Específicas de RCA: Falhas relacionadas ao conhecimento de domínio (ex: interpretação de métricas, proveniência) foram consistentes entre os modelos, indicando uma falta de capacidades de raciocínio inerentes à RCA.
• Fraquezas Gerais: Falhas gerais por hipótese (ex: fabricação de evidências, insuficiência de evidência) tiveram a maior prevalência média, sugerindo que as afirmações de hipótese são frequentemente fracamente suportadas.

4. Impacto das Falhas na Correção (RQ4)

• Preditores Negativos: A presença de falhas de raciocínio específicas — particularmente viés de ancoragem (RF-13), repetição/estagnação de progresso (RF-12), seleção arbitrária de evidências (RF-07) e falha em atualizar a crença (RF-09) — esteve fortemente associada à redução da correção (Diferença de Risco < -0,15).
• Interação de Workflow: Embora os fluxos de trabalho agênticos tenham mostrado menores diferenças de risco absolutas por falha (sugerindo que o raciocínio iterativo pode diluir o impacto de erros únicos), a coocorrência de múltiplas falhas e o erro precoce composto nos rastros agênticos contribuíram para a perda líquida de precisão.
• Diferenças de Modelo: Modelos orientados ao "pensamento" (ex: Qwen) mostraram menor prevalência de falhas transversais em comparação com outros, sugerindo que o estilo de treinamento influencia a coerência do raciocínio mais do que a estrutura do workflow isoladamente.

Significância e Contribuições

O artigo afirma ser a primeira investigação empírica das capacidades de raciocínio isoladas de agentes de RCA baseados em LLM e seus modos específicos de falha. Suas principais contribuições são:

1. Um Framework de Avaliação Controlada: Uma metodologia que isola o raciocínio do LLM da complexidade do framework, permitindo a avaliação transparente das capacidades de raciocínio independentemente do emaranhamento de múltiplos agentes.
2. Uma Taxonomia de Falhas de Raciocínio: Uma taxonomia rotulada de 16 falhas comuns de raciocínio de RCA, categorizadas em tipos procedimentais, específicos de RCA e gerais, derivadas de um processo rigoroso de elicitação de métodos mistos.
3. Avaliação de Raciocínio Automatizada: Um sistema de LLM-como-Juiz capaz de avaliar a qualidade do raciocínio de RCA de forma automática e reproduzível, validado por verificações de confiabilidade humana.
4. Insights Empíricos: Resultados extensos (48.000 amostras) quantificando a sensibilidade dos LLMs às modalidades de entrada e identificando falhas de raciocínio específicas que predizem a correção final.

Os autores concluem que, embora configurações simplificadas não trivializem a tarefa de RCA, os LLMs de código aberto atuais lutam com o raciocínio de múltiplos saltos, particularmente em fluxos de trabalho agênticos complexos. O progresso na RCA automatizada provavelmente exigirá a melhoria de capacidades de raciocínio específicas (ex: verificações de suficiência de evidência, diversificação de hipóteses) e o fornecimento de orientação de domínio explícita, em vez de depender apenas de estruturas agênticas. O trabalho fornece uma base para o desenvolvimento de agentes de RCA que não sejam apenas automatizados, mas também interpretáveis e alinhados com as demandas práticas do diagnóstico de falhas.