TriagerX: Dual Transformers for Bug Triaging Tasks with Content and Interaction Based Rankings

Resumo Técnico: TriagerX

1. O Problema

O triagem de bugs (bug triaging) é o processo de atribuir relatórios de defeitos aos desenvolvedores ou equipes mais adequadas para resolvê-los. Embora existam diversas abordagens automatizadas (IR, ML, Deep Learning), a adoção industrial permanece limitada devido a:

• Desempenho inconsistente: Modelos tradicionais (baseados em TF-IDF) falham em capturar semântica contextual.
• Limitações dos PLMs (Modelos de Linguagem Pré-treinados): Embora modelos como BERT e RoBERTa superem métodos tradicionais, eles podem atender a tokens menos relevantes e falhar ao não considerar o histórico de interações dos desenvolvedores com bugs similares.
• Falta de adaptação dinâmica: Métodos existentes muitas vezes ignoram a temporalidade das contribuições (ex: um desenvolvedor que contribuiu recentemente para um bug similar é mais provável de resolver o novo bug do que alguém que contribuiu há um ano).
• Desafios industriais: Necessidade de recomendações não apenas para desenvolvedores, mas também para componentes (que atuam como proxies para atribuição de equipe), especialmente em cenários de rotatividade de pessoal.

2. Metodologia: A Arquitetura TriagerX

O TriagerX é um framework híbrido que combina duas abordagens de ranqueamento em um sistema unificado, utilizando uma arquitetura de dois transformadores (Dual Transformers). O sistema consiste em três componentes principais:

A. Ranqueador Baseado em Conteúdo (CBR - Content-Based Ranker)

• Arquitetura Dual: Diferente de baselines que usam um único transformador, o CBR ensembla dois modelos PLM pré-treinados (especificamente DeBERTa e RoBERTa na versão base).
• Extração de Recursos Multi-camada: Em vez de usar apenas o token [CLS] da última camada, o modelo concatena as representações das últimas três camadas ocultas de ambos os transformadores. Isso captura características sintáticas e semânticas mais ricas e complementares.
• Classificador CNN: As representações concatenadas são processadas por classificadores baseados em Redes Neurais Convolucionais (CNN) em vez de Redes Neurais Fully Connected (FCN) simples. As CNNs capturam padrões locais e hierárquicos de forma mais eficiente.
• Fine-Tuning (KPFT): Utiliza Knowledge Preservation Fine-Tuning, congelando as camadas iniciais dos PLMs para preservar conhecimento linguístico geral e treinando apenas as camadas finais para a tarefa específica.

B. Ranqueador Baseado em Interação (IBR - Interaction-Based Ranker)

• Recuperação de Bugs Similares: Utiliza redes Siamese BERT (SBERT) para encontrar bugs historicamente similares ao novo relatório com base na similaridade de embeddings.
• Pontuação de Interação Temporal: Calcula uma pontuação para cada desenvolvedor baseada em suas interações passadas (commits, PRs, discussões) com bugs similares.
• Decaimento Exponencial: Aplica uma função de decaimento exponencial ($e^{-\lambda t}$) para ponderar as interações. Contribuições recentes têm muito mais peso do que contribuições antigas, refletindo a dinâmica real de engajamento dos desenvolvedores.
• Pontos de Interação: Diferentes tipos de interação recebem pesos distintos (ex: um commit vale mais que um comentário).

C. Agregador de Ranqueamento (RAgg - Rank Aggregator)

• Combina as pontuações do CBR (baseadas em texto) e do IBR (baseadas em interação) usando uma Agregação de Ranqueamento Ponderada (WRA).
• A fórmula final é: $FS(d_i) = NPS(d_i) + W_f \cdot NIS(d_i)$, onde $W_f$ é um hiperparâmetro otimizado para balancear a importância da interação histórica dependendo do repositório (ex: repositórios com muitas interações históricas exigem um $W_f$ maior).

3. Principais Contribuições

1. Arquitetura Dual-Transformer: Propõe o uso de um ensemble de dois PLMs menores (DeBERTa + RoBERTa) que, juntos, superam modelos PLM grandes únicos, oferecendo melhor precisão com menos parâmetros totais.
2. Ranking Híbrido (Conteúdo + Interação): É o primeiro método a integrar um ranqueador baseado em interações temporais e contextuais com uma abordagem impulsionada por PLMs, corrigindo falhas de classificação puramente baseadas em texto.
3. Validação Industrial Real: O sistema foi implantado no ambiente de desenvolvimento do parceiro industrial (IBM, projeto OpenJ9), demonstrando viabilidade prática, baixa latência e alta taxa de aceitação.
4. Recomendação de Componentes: O framework foi estendido para recomendar componentes de software, auxiliando na atribuição de equipes em cenários de alta rotatividade de desenvolvedores.

4. Resultados e Desempenho

O TriagerX foi avaliado em cinco conjuntos de dados (Google Chromium, Mozilla Core, Mozilla Firefox, OpenJ9 e TypeScript) e superou consistentemente todas as baselines (incluindo LBT-P, DBRNN-A, MDN e grandes PLMs com classificadores FCN/CNN).

• Precisão Top-1:
  • No conjunto de dados OpenJ9, o TriagerX superou a baseline de ponta (LBT-P) em 54% e modelos grandes de PLM em 58% na precisão Top-1.
  • No conjunto TypeScript, houve uma melhoria de 26% sobre as baselines de literatura e 10% sobre os modelos grandes de PLM.
• Eficiência de Recursos:
  • O ensemble de modelos base (271M parâmetros) superou modelos Large individuais (ex: DeBERTa-Large com 405M parâmetros) em precisão, mas com menor consumo de memória GPU e tempo de inferência.
• Desempenho Industrial:
  • Na implantação real no OpenJ9, o sistema alcançou uma taxa de sucesso de 82,5% (baseada na participação implícita dos desenvolvedores recomendados) e 66,7% para issues que exigiam contribuições de código.
  • A latência de inferência foi de 3-4 segundos em hardware CPU padrão, atendendo às necessidades de tempo real.

5. Significado e Impacto

O trabalho demonstra que a combinação de semântica profunda (via ensemble de PLMs) e contexto comportamental temporal (via IBR) é superior a abordagens isoladas.

• Solução para Desbalanceamento de Dados: O uso de amostragem ponderada e a abordagem híbrida mitigam o viés de modelos que favorecem apenas desenvolvedores muito ativos.
• Viabilidade Industrial: O sucesso na implantação no IBM OpenJ9 prova que modelos complexos de IA podem ser integrados em fluxos de trabalho de desenvolvimento existentes (GitHub Workflows) sem sobrecarga operacional significativa.
• Mitigação de "Cold Start": A capacidade de recomendar componentes (equipes) ajuda a lidar com a entrada de novos desenvolvedores que ainda não possuem histórico de contribuições, permitindo que a equipe os atribua manualmente até que o modelo aprenda seu perfil.

Em resumo, o TriagerX estabelece um novo estado da arte (SOTA) em triagem de bugs, oferecendo uma solução robusta, escalável e validada industrialmente que supera as limitações de modelos puramente baseados em texto ou em estatísticas simples de atividade.