Bug-Report-Driven Fault Localization: Industrial Benchmarking and Lesson Learned at ABB Robotics

1. Declaração do Problema

Na manutenção de software industrial, identificar a localização de uma falha (localização de falhas) é um gargalo demorado e dispendioso. Os desenvolvedores frequentemente dependem de relatórios de bugs textuais (títulos e descrições) durante a fase de triagem, sem acesso a rastros de execução, logs dinâmicos ou contexto completo do código. Embora a Aprendizagem de Máquina (ML) e os Modelos de Linguagem Grandes (LLMs) tenham mostrado promessa em contextos de código aberto, sua aplicabilidade em ambientes industriais confidenciais e proprietários permanece pouco explorada.

O desafio central abordado é: Os modelos de Processamento de Linguagem Natural (NLP), usando apenas o texto dos relatórios de bugs, podem prever com precisão os componentes específicos de software (subpastas) onde uma correção é necessária, sem acesso ao código-fonte ou artefatos de tempo de execução?

2. Metodologia

Fonte de Dados e Contexto

• Conjunto de Dados: Dados proprietários da ABB Robotics (Västerås, Suécia), abrangendo cinco anos de relatórios de bugs resolvidos.
• Volume: 660 relatórios de bugs únicos vinculados a commits de código verificados.
• Rótulos: O alvo foi definido no nível de subpasta (componente) e não no nível de arquivo individual. Essa abstração alinha-se aos fluxos de trabalho dos desenvolvedores, reduz a esparsidade de rótulos e respeita a coerência arquitetural.
• Restrições: O estudo foi conduzido sob estrita confidencialidade (execução local/on-premise), sem acesso ao código-fonte, grafos de chamada ou rastros de execução durante a inferência.

Pipeline Experimental

O estudo enquadrou a localização de falhas como um problema de classificação e classificação de texto multirrótulo. O pipeline incluiu:

1. Pré-processamento: Normalização de texto (minúsculas, remoção de camelCase, lematização, remoção de palavras de parada) e remoção de metadados não textuais (por exemplo, gravidade, responsável) para garantir um cenário "apenas texto".
2. Extração de Recursos:
   • ML Tradicional: Vetores TF-IDF (Frequência de Termo–Frequência Inversa de Documento) e Embeddings de Sentença (usando all-mpnet-base-v2).
   • Transformers: Tokenização nativa para RoBERTa-Base e Distil-RoBERTa.
3. Aumento de Dados: Para lidar com o desequilíbrio de classes e dados limitados, os autores aplicaram substituição de sinônimos (baseada em WordNet) e troca aleatória de palavras ao conjunto de treinamento. As estratégias incluíram aumentar todo o conjunto versus mirar apenas rótulos sub-representados.
4. Modelos Avaliados:
   • Tradicionais: Regressão Logística (LR), Máquina de Vetores de Suporte (SVM), Floresta Aleatória (RF).
   • Aprendizado Profundo: RoBERTa-Base e Distil-RoBERTa ajustados finamente.
5. Métricas de Avaliação: Métricas centradas na classificação foram usadas para simular a tomada de decisão dos desenvolvedores:
   • Precisão Top-$k$ (Hit@k) para $k \in \{1, 3, 5, 10\}$.
   • Recall@k, Precisão Média Média (MAP) e Rank Recíproco Médio (MRR).

3. Principais Contribuições

1. Benchmark Industrial: Uma avaliação em grande escala da localização de falhas apenas com texto em um sistema industrial real e proprietário, contrastando com estudos anteriores dependentes de dados de código aberto ou artefatos auxiliares (como rastros de pilha).
2. Comparação de Modelos: Uma comparação controlada entre modelos leves e interpretáveis (LR, SVM, RF) e LLMs baseados em Transformers ajustados finamente sob restrições industriais idênticas.
3. Evidência Empírica sobre LLMs: Achados que desafiam a suposição de que LLMs superam universalmente os métodos clássicos em ambientes industriais específicos de domínio e com restrições de dados.
4. Orientação Acionável: Recomendações práticas para adoção industrial, identificando quando modelos simples são suficientes versus quando modelos complexos agregam valor marginal.
5. Reprodutibilidade: Um pacote de replicação público (excluindo dados proprietários) contendo scripts, configurações e hiperparâmetros.

4. Principais Resultados

Comparação de Desempenho (RQ1 & RQ2)

• Modelos Tradicionais vs. LLMs: Contrariando as expectativas, modelos tradicionais usando recursos TF-IDF superaram consistentemente ou igualaram os modelos RoBERTa ajustados finamente.
  • Melhor Desempenho: Regressão Logística (LR) com TF-IDF e aumento de Troca Aleatória alcançou o maior MRR (0,6655) e empatou pela melhor Precisão Top-1 (52,63%).
  • Floresta Aleatória (RF): Com aumento de Substituição Completa de Sinônimos, a RF alcançou o maior MAP (0,6171) e Recall@1 (42,65%).
  • SVM: Desempenhou melhor na Precisão Top-5 (85,53%) e Recall@5 (78,51%) sem aumento.
• Desempenho de LLM: Nem RoBERTa-Base nem Distil-RoBERTa superaram as melhores linhas de base TF-IDF. O Distil-RoBERTa generalizou ligeiramente melhor que o RoBERTa-Base, mas ainda ficou atrás dos modelos lineares.
• Importância dos Recursos: Recursos TF-IDF superaram significativamente os Embeddings de Sentença para modelos tradicionais. Isso sugere que, neste domínio específico, pistas lexicais precisas e terminologia específica de domínio são mais preditivas do que a similaridade semântica generalizada.

Impacto do Aumento de Dados

• O aumento teve um efeito dependente do modelo. Melhorou substancialmente o desempenho da Floresta Aleatória, mas ofereceu ganhos marginais ou ligeiramente negativos para LR e SVM (provavelmente porque as perturbações diluíram palavras-chave discriminativas).
• Os LLMs se beneficiaram do aumento, mas não fecharam a lacuna com as melhores linhas de base TF-IDF.

Destaques Quantitativos

• Precisão Top-1: ~53% (significando que o componente recomendado primeiro estava correto em mais da metade dos casos).
• Precisão Top-5: Até ~86% (os desenvolvedores podem encontrar o componente correto entre as 5 principais recomendações na vasta maioria dos casos).
• MAP/MRR: ~0,61–0,66, indicando alta qualidade de classificação.

5. Significado e Implicações

• Custo-Efetividade e Implantabilidade: O estudo demonstra que modelos leves e executáveis localmente (LR/SVM com TF-IDF) são suficientes para a localização de falhas industrial. Eles não exigem acesso ao código-fonte, APIs externas ou recursos computacionais mínimos, tornando-os ideais para ambientes confidenciais.
• Desafiando o "Hype dos LLMs": Em contextos industriais específicos de domínio e com restrições de dados, com alto desequilíbrio de classes, modelos complexos de Transformer não fornecem necessariamente uma vantagem de desempenho sobre modelos clássicos bem ajustados. A natureza de "caixa preta" e o custo computacional dos LLMs podem não ser justificados quando modelos mais simples alcançam resultados comparáveis ou superiores.
• Adoção Prática: Os resultados sugerem um caminho pragmático de adoção:
  1. Comece com LR ou SVM usando TF-IDF para triagem rápida.
  2. Introduza Floresta Aleatória com aumento se o desequilíbrio de rótulos se tornar um fator limitante.
  3. Integre listas classificadas diretamente em rastreadores de bugs para estreitar o espaço de busca, atuando como uma ferramenta de assistência em vez de um localizador totalmente automatizado.
• Validade: Embora limitado a um único sistema (ameaça à validade externa), a configuração rigorosa local e as restrições realistas fornecem um benchmark altamente credível para a adoção de IA industrial.

Em conclusão, o artigo fornece evidências empíricas de que relatórios de bugs históricos podem ser sistematicamente aproveitados para localização de falhas escalável, de baixo custo e assistida por IA, validando o uso de modelos interpretáveis e apenas de texto como um complemento robusto às práticas tradicionais de depuração na indústria.