Efficient Black-Box Fault Localization for System-Level Test Code Using Large Language Models

Título: Localização de Falhas Eficiente em Código de Teste de Nível de Sistema via Modelos de Linguagem de Grande Escala (LLMs) em Ambiente Black-Box

1. O Problema

A localização de falhas (Fault Localization - FL) é uma etapa crítica na depuração de software. Tradicionalmente, técnicas automatizadas de FL dependem da execução repetida de casos de teste (execuções que passam e falham) para identificar regiões de código suspeitas. No entanto, no contexto de código de teste de nível de sistema (scripts de teste complexos que validam o comportamento completo do sistema), essa abordagem enfrenta desafios significativos:

• Custo de Execução: A execução de testes de nível de sistema é cara, demorada e complexa devido às múltiplas interações com o Sistema Sob Teste (SUT) e dependências externas.
• Falhas Não Determinísticas: Muitos falhas são difíceis de reproduzir, tornando a coleta de múltiplos traços de execução inviável.
• Ambiente Black-Box: Em muitas equipes de QA industriais, os testadores não têm acesso ao código-fonte do SUT, apenas aos scripts de teste e aos logs de execução.
• Foco Incorreto: Quando um teste falha, os desenvolvedores frequentemente assumem que o defeito está no SUT, ignorando que a falha pode originar-se no próprio script de teste (ex: lógica de asserção incorreta, parâmetros errados). Isso leva a um desperdício de tempo na depuração do sistema incorreto.

O artigo identifica uma lacuna na pesquisa: enquanto há avanços em FL para o SUT e em reparo de testes, não existem técnicas automatizadas eficazes para localizar falhas dentro do próprio código de teste de nível de sistema sem necessidade de execução repetida.

2. Metodologia Proposta

Os autores propõem uma abordagem estática e totalmente baseada em LLMs para Localização de Falhas em Código de Teste (TCFL - Test Code Fault Localization). A técnica não executa o teste; em vez disso, utiliza um único log de falha para estimar o traço de execução e reduzir o espaço de busca.

A metodologia divide-se em duas fases principais:

Fase 1: Estimativa do Traço de Execução (Static Trace Estimation)
O objetivo é determinar quais linhas do código de teste foram executadas com base apenas no log de falha, sem rodar o código. São propostos três algoritmos inovadores:

1. Correspondência Fonte-Log (Source-to-Log Matching): Identifica instruções de log estáticas no código (ex: print, logging.info com partes de string fixas) e as correlaciona com mensagens no log de execução usando expressões regulares. Isso determina quais instruções de log foram executadas e quais não.
2. Algoritmo "Fill-in-the-Gaps" (T1): Inferência de linhas não mapeadas assumindo um fluxo linear. Se uma instrução de log é executada e a próxima não, as linhas intermediárias são inferidas como executadas (ou não), dependendo da configuração conservadora ou otimista.
3. Algoritmo Baseado em CFG (T2): Utiliza Grafos de Fluxo de Controle (CFG) para entender caminhos condicionais (if/else). Se um caminho lógico não é compatível com o log de execução, os blocos de código associados são removidos do traço estimado.
4. Refinamento por Local de Chamada (Call Site Refinement - CSR): Remove definições de funções que não possuem locais de chamada (call sites) dentro do traço estimado, eliminando código morto.

Fase 2: Prompt Engineering e Localização com LLM

• O código de teste é "poda" (pruned), mantendo apenas as linhas estimadas como executadas.
• Um prompt estruturado é enviado ao LLM contendo:
  • A mensagem de erro extraída do log.
  • O código de teste podado (reduzindo o número de tokens).
  • Instruções para classificar as localizações mais suspeitas (função, bloco ou linha).
• O LLM atua como um especialista em software, analisando padrões semânticos e lógicos para identificar a causa raiz da falha.

3. Principais Contribuições

1. Definição do Problema TCFL: Estabelecimento formal do problema de localização de falhas em scripts de teste de nível de sistema como um domínio distinto do FL tradicional em SUT.
2. Abordagem Black-Box e Estática: Primeira técnica que localiza falhas em testes complexos sem acesso ao código do SUT e sem necessidade de reexecutar os testes, resolvendo o problema de falhas não reproduzíveis.
3. Algoritmos de Estimativa de Traço: Desenvolvimento de três algoritmos que estimam com alta precisão quais partes do código foram executadas, permitindo a poda eficiente do espaço de busca.
4. Eficiência e Escalabilidade: Demonstração de que a poda do código de entrada reduz significativamente o tempo de inferência e o uso de tokens do LLM, mantendo a precisão.
5. Avaliação Industrial: Validação em um conjunto de dados real de 785 casos de teste defeituosos de nível de sistema (Python) fornecidos por um parceiro industrial, onde os LLMs não foram pré-treinados (evitando vazamento de dados).

4. Resultados Experimentais

Os resultados foram avaliados em diferentes granularidades (função, bloco, linha) e comparados com o estado da arte (FlexFL, IRFL, FauxPy).

• Precisão da Estimativa de Traço:

  • A combinação dos algoritmos (interseção de T1 e T2) alcançou um F1 Score de ~90% na estimativa correta das linhas executadas.
  • A poda do código removeu até 34% das linhas irrelevantes sem perda de informações críticas.

• Desempenho de Localização (TCFL):

  • Nível de Bloco (Top-3): Ofereceu o melhor equilíbrio prático, alcançando uma taxa de acerto (Hit@3) de 81%.
  • Nível de Função: Alcançou a maior precisão (82,1% para Top-1).
  • Eficiência: A técnica proposta reduziu o tempo de inferência do LLM em 34% e o uso de tokens em 93% em comparação com o método mais recente guiado por LLM (FlexFL), mantendo ou superando a precisão.

• Comparação com Baselines:

  • O TCFL superou ou empatou com técnicas tradicionais e baseadas em LLMs em todas as métricas (Precisão, Recall, MAP, MRR), especialmente em cenários de granularidade fina (bloco e linha), onde métodos baseados em recuperação de informação (IRFL) falharam devido à falta de contexto.

5. Significado e Impacto

• Praticidade Industrial: A técnica é diretamente aplicável em pipelines de CI/CD industriais, onde o tempo de depuração é crítico e o acesso ao código-fonte do produto pode ser restrito.
• Redução de Custos: Ao eliminar a necessidade de múltiplas execuções de testes caros e reduzir o consumo de tokens de LLMs comerciais, a abordagem torna a depuração automatizada economicamente viável em grande escala.
• Mudança de Paradigma: Demonstra que é possível realizar depuração eficaz em ambientes complexos e "caixa-preta" utilizando apenas logs de falha e inteligência artificial, focando a atenção do desenvolvedor no script de teste antes de investigar o sistema inteiro.
• Futuro: Abre caminho para ferramentas de reparo automático de testes e identificação de vulnerabilidades em scripts de teste, utilizando traços de execução estimados.

Em resumo, o artigo apresenta uma solução robusta e eficiente para um problema negligenciado na engenharia de software: a falha frequente e difícil de diagnosticar nos próprios scripts de teste de nível de sistema, utilizando LLMs de forma inteligente e estática.