Enhancing Software Maintenance: A Learning to Rank Approach for Co-changed Method Identification

Resumo Técnico: Melhorando a Manutenção de Software via uma Abordagem de Aprendizado para Classificação para Identificação de Métodos Co-alterados

Definição do Problema
À medida que os sistemas de software crescem em complexidade, identificar com precisão todas as modificações necessárias para implementar uma mudança específica torna-se cada vez mais difícil. Um desafio crítico é detectar "métodos co-alterados" — métodos que evoluem frequentemente juntos ao longo do tempo, indicando muitas vezes um forte acoplamento evolutivo mesmo na ausência de dependências explícitas de código. As abordagens existentes sofrem de limitações significativas:

1. Problemas de Granularidade: A análise ao nível de commit pode perder co-alterações que abrangem múltiplos commits dentro de um único Pull Request (PR) ou incluir mudanças coincidentes.
2. Limitações de Escopo: A detecção baseada em clones negligencia relações entre códigos não clonados.
3. Déficits de Priorização: A mineração de regras de associação gera conjuntos de resultados grandes e não ordenados com altas taxas de falsos positivos, carecendo de mecanismos para priorizar os candidatos mais relevantes.
4. Rigidez Heurística: Os métodos de classificação existentes dependem de funções de pontuação fixas que falham em combinar adaptativamente características heterogêneas (históricas, estruturais, semânticas).

Para abordar essas lacunas, os autores propõem o CoRanker, um framework que desloca a granularidade da detecção do nível de commit para o nível de Pull Request (PR) e emprega uma abordagem de Aprendizado para Classificação (Learning-to-Rank - LtR) para prever e classificar prováveis métodos co-alterados.

Metodologia
O CoRanker é um framework de aprendizado supervisionado projetado para classificar métodos candidatos com base em sua probabilidade de serem co-alterados com um método de consulta. A metodologia envolve quatro etapas principais:

1. Coleta de Dados e Seleção de Projetos:

   • O estudo utiliza 150 projetos Java de código aberto do GitHub, totalizando 41,5 milhões de linhas de código (LOC) e 634.216 PRs.
   • Os projetos foram selecionados com base na atividade (ativos por >2 anos, atualizados nos últimos 6 meses), volume (>200 PRs mesclados) e integridade estrutural (representando sistemas de software reais).

2. Extração de Características (Features):
   O modelo utiliza dez características derivadas do código-fonte e do histórico de controle de versão para representar a relação entre um método de consulta ($M_q$) e um método candidato ($M_c$):

   • Características Históricas: Número de co-alterações (frequência de modificação conjunta em PRs) e similaridade de Autores (similaridade de Jaccard dos conjuntos de contribuidores).
   • Características Estáticas/Estruturais: Similaridade semântica (via embeddings CodeBERT), similaridade de caminho de arquivo, dependência de código (relações de chamada), similaridade de hierarquia (superclasse compartilhada), pontuação de clone de código (via NiCad), similaridade de pacote, similaridade de tipo de argumento e similaridade de nome de argumento.
   • Tratamento de Redundância: A "similaridade de pacote" foi removida devido à alta correlação com a "similaridade de caminho" para garantir a generalização.

3. Preparação e Rotulagem de Dados:

   • O conjunto de dados é construído usando uma abordagem de separação temporal para evitar vazamento de dados (data leakage). As características são extraídas de uma janela histórica (ex: 12 meses) e os rótulos são gerados com base nas ocorrências de co-alteração em uma janela subsequente (ex: 6 meses).
   • Os rótulos representam a frequência de co-alterações entre pares de métodos no período de rotulagem.
   • Listas de classificação são construídas para cada método de consulta, excluindo listas onde todos os candidatos possuem histórico de co-alteração zero.

4. Treinamento e Avaliação do Modelo:

   • Algoritmos: O estudo avalia nove modelos de LtR em categorias point-wise (Regressão Linear, MART, Random Forest, DNN), pair-wise (RankNet, LambdaMART) e list-wise (Coordinate Ascent, AdaRank, ListNet).
   • Baselines (Linhas de Base): O CoRanker é comparado contra seis baselines: classificação por suporte (baseada em frequência), proximidade de arquivo, detecção de clone de código (NiCad), FCP2Vec e duas configurações do StarCoder 2 (Escalar e Binária, tanto em configurações zero-shot quanto conscientes de histórico).
   • Métricas: O desempenho é medido usando Ganho Cumulativo Descontado Normalizado (NDCG@k) e Precisão@k para $k \in \{1, 3, 5, 10\}$.

Principais Resultados

• Desempenho do Modelo: O modelo Random Forest (RF) emergiu como o algoritmo de LtR superior, superando outros modelos de LtR em 2,5%–12,8% em NDCG@5. Ele alcançou um NDCG@5 médio de 0,8394 e Precisão@5 de 0,7418.
• Comparação com Baselines: O CoRanker (usando RF) superou significativamente todos os seis baselines, com melhorias em NDCG@5 variando de 4,7% a 573,5%. Notavelmente, superou o melhor baseline (classificação por suporte) por 4,7% em NDCG@5 e 10,2% em NDCG@1.
• Desempenho de LLMs: Embora o StarCoder 2 (15B de parâmetros) tenha sido avaliado, ele consistentemente subperformou em comparação ao modelo de RF baseado em características. Mesmo com o contexto histórico fornecido nos prompts, os LLMs falharam em igualar o baseline heurístico de classificação por suporte, sugerindo que os atuais modelos de código pré-treinados têm dificuldade em capturar padrões de acoplamento evolutivo sem engenharia de características explícita.
• Importância das Características: A análise de importância por permutação revelou que o Número de co-alterações é a característica dominante (importância ~0,38). A similaridade de caminho e a similaridade de autores também contribuíram positivamente. Por outro lado, a similaridade de nome de argumento teve um impacto levemente negativo, e a similaridade semântica (CodeBERT) mostrou contribuição mínima.
• Dinâmicas Temporais: Modelos treinados com dados históricos mais longos (90–180 dias) demonstraram desempenho mais consistente do que aqueles treinados em períodos mais curtos (30 dias). No entanto, a precisão da previsão começou a declinar após 60 dias de dados de teste, sugerindo a necessidade de retreinamento bimestral do modelo para manter o desempenho ideal.

Significância e Contribuições
O artigo reivindica as seguintes contribuições:

1. Proposta de Framework: Introdução do CoRanker, um framework de aprendizado para classificação que integra características heterogêneas para priorizar métodos co-alterados no nível de PR, superando as limitações de abordagens de nível de commit e heurísticas.
2. Avaliação Empírica de Larga Escala: Um estudo abrangente em 150 projetos Java reais, fornecendo um conjunto de dados robusto e um pacote de replicação.
3. Validação de Desempenho: Demonstração de que modelos de LtR, especificamente Random Forest, superam significativamente os baselines existentes e as abordagens baseadas em LLM na identificação de métodos co-alterados.
4. Insights de Características: Evidência empírica de que, embora a frequência histórica de co-alteração seja o principal preditor, a integração de características estruturais e semânticas via modelos de aprendizado melhora substancialmente a qualidade da recomendação no ranking inicial.
5. Diretrizes de Implementação Prática: Insights sobre os requisitos operacionais de tal ferramenta, incluindo a necessidade de retreinamento periódico (a cada 2–3 meses) e a viabilidade de integrar o sistema em IDEs ou pipelines de CI com baixo overhead de tempo de execução (inferência <1 segundo por consulta).

Os autores concluem que o CoRanker oferece uma ferramenta prática para equipes de software gerenciarem dependências complexas, reduzirem o risco de perder modificações necessárias e melhorarem a qualidade geral da manutenção de software. Eles reconhecem limitações quanto ao escopo (apenas Java/GitHub) e a falta de estudos com usuários, propondo como trabalho futuro a generalização para outras linguagens e a integração direta em ambientes de desenvolvimento.