From Code Changes to Quality Gains: An Empirical Study in Python ML Systems with PyQu

Título: Da Mudança de Código aos Ganhos de Qualidade: Um Estudo Empírico em Sistemas ML em Python com PyQu

1. Problema e Motivação

Com o avanço da Inteligência Artificial Generativa para geração de código e a adoção massiva de Sistemas de Aprendizado de Máquina (MLS) baseados em Python, a qualidade do software tornou-se uma preocupação crítica. Embora esses sistemas cresçam em complexidade, existe uma lacuna significativa no entendimento de como mudanças específicas de código afetam a qualidade geral do sistema.

• Limitações Atuais: Trabalhos anteriores focam em quais mudanças ocorrem, mas não estabelecem uma relação clara entre essas mudanças e a melhoria da qualidade.
• Falta de Ferramentas: Não existem ferramentas automatizadas robustas que possam mapear mudanças de código para atributos de qualidade (como manutenibilidade, confiabilidade, etc.) em sistemas ML.
• Objetivo: Preencher essa lacuna identificando quais mudanças de código realmente melhoram a qualidade em MLS e criando uma ferramenta para detectar essas melhorias.

2. Metodologia

Os autores conduziram um estudo empírico em larga escala, estruturado em três fases principais:

A. Mineração e Construção do Dataset

• Corpo de Estudo: 3.340 repositórios open-source de ML em Python, contendo mais de 3,7 milhões de commits e 2,7 trilhões de linhas de código.
• Extração de Candidatos: Foram filtrados commits que indicavam intenção de melhoria de qualidade (palavras-chave como "refactor", "enhance", "improve quality") e que envolviam bibliotecas ML (TensorFlow, PyTorch, Scikit-learn, etc.).
• Filtragem: Restrição a commits que modificam até 5 arquivos Python para garantir foco e relevância. O resultado foi um conjunto de 15.597 commits candidatos.

B. Desenvolvimento e Avaliação do PyQu

Foi desenvolvido o PyQu, uma ferramenta que utiliza métricas de software de baixo nível para avaliar a qualidade.

• Atributos de Qualidade (QAs) Analisados:
  1. Compreensibilidade (Understandability)
  2. Confiabilidade (Reliability)
  3. Manutenibilidade (Maintainability)
  4. Usabilidade (Usability)
  5. Modularidade (Modularity)
• Métricas de Baixo Nível: O PyQu extrai métricas como Complexidade Ciclomática (CC), Volume de Halstead, Coesão, Acoplamento, conformidade com PEPs, consistência de tipos e documentação.
• Abordagem de Classificação: Em vez de heurísticas ponderadas subjetivas, o PyQu utiliza Modelos de Aprendizado de Máquina (ML) (como Random Forest, CatBoost, LightGBM) para classificar se uma mudança de código (baseada nas diferenças nas métricas antes e depois) melhora ou não a qualidade.
• Validação Manual: Um conjunto de dados de referência (ground truth) foi criado com 1.728 commits manualmente anotados por especialistas, garantindo alta concordância (Kappa de Cohen = 0,87).

C. Identificação de Mudanças que Melhoram a Qualidade

Após validar o PyQu, os autores aplicaram a ferramenta no dataset completo e realizaram uma análise temática manual para categorizar as mudanças que resultaram em melhoria de qualidade.

3. Contribuições Principais

1. Ferramenta PyQu: Introdução de uma nova ferramenta que detecta commits que melhoram a qualidade com alta precisão, utilizando métricas de baixo nível e modelos de ML. O código e o dataset são públicos.
2. Primeiro Estudo em Larga Escala: É o primeiro estudo a sistematicamente identificar e mapear mudanças de código que melhoram a qualidade em MLS baseados em Python.
3. Taxonomia de Mudanças: Identificação de 61 tipos distintos de mudanças de código, agrupadas em 13 categorias, mapeadas para os atributos de qualidade que melhoram.
4. Descobertas Novas: 25 dos 61 tipos de mudanças (41%) são novas descobertas, não sendo detectadas por ferramentas de detecção de mudanças de código de última geração (como PyRef, Python RefMiner e R-CPatMiner).
5. Dataset de Referência: Disponibilização de um dataset com 1.728 commits verificados manualmente, anotados com o atributo de qualidade melhorado.

4. Resultados Principais

Eficácia do PyQu (RQ1 e RQ2)

• Desempenho: O PyQu alcançou uma acurácia média, precisão e recall de 0,84, com um F1-score médio de 0,85.
• Generalização: A ferramenta demonstrou alta capacidade de generalização para códigos não vistos, com uma diferença mínima entre a acurácia de treino e teste (Δ Acurácia ≤ 0,05) e pontuações ROC-AUC ≥ 0,84 para todos os atributos de qualidade.
• Robustez: Os modelos evitaram overfitting, provando que aprendem padrões reais de melhoria de qualidade.

Taxonomia de Mudanças (RQ3)

A análise revelou 61 tipos de mudanças, destacando-se as seguintes categorias e descobertas:

• Reestruturação de Imports: Mudanças como "Substituir Imports Locais por Escopo Global" e "Substituir Imports Relativos por Explícitos" melhoram a confiabilidade e manutenibilidade.
• Simplificação de Código: Uso de funções nativas (ex: enumerate), simplificação de condições e substituição de verificações de atributos por verificações de tipo explícitas.
• Migração para APIs Suportadas: Atualização de APIs obsoletas (ex: substituir loss.data[0] por loss.item() no PyTorch) para evitar problemas de autograd.
• Uso de Recursos Otimizados: Substituição de loops manuais por métodos de bibliotecas otimizadas (ex: np.mean()).
• Melhoria de Documentação: Adição de anotações de tipo (novamente descoberta) e nomes descritivos para camadas de Redes Neurais (DNN).
• Reorganização de Estrutura: Técnicas clássicas como "Extrair Classe", "Extrair Método" e "Mover Método" foram validadas como melhorando a modularidade e manutenibilidade.
• Limpeza de Código: Remoção de código morto, imports não utilizados e variáveis redundantes.

Comparação com Ferramentas Existentes: As ferramentas atuais de detecção de mudanças capturaram apenas uma fração das mudanças identificadas (PyRef: 14,8%, Python RefMiner: 31%, R-CPatMiner: 8,2%), evidenciando que o PyQu revela práticas de melhoria de qualidade anteriormente ignoradas.

5. Significado e Implicações

• Para Praticantes e Pesquisadores: O PyQu oferece uma base automatizada para avaliar a qualidade de código em projetos ML, permitindo decisões informadas sobre quais refatorações realizar. A taxonomia de 61 mudanças serve como um guia de melhores práticas.
• Para Criadores de Ferramentas e IDEs: Os resultados permitem a integração de avaliações automáticas de qualidade em ambientes de desenvolvimento (IDEs), ajudando os desenvolvedores a manterem sistemas ML de alta qualidade.
• Avanço Acadêmico: O estudo estabelece uma nova linha de base para a avaliação de qualidade em ML, movendo-se além da simples detecção de mudanças para a compreensão causal entre mudanças de código e ganhos de qualidade.

Em resumo, o trabalho demonstra que é possível quantificar e automatizar a identificação de melhorias de qualidade em sistemas complexos de ML, fornecendo um conjunto robusto de ferramentas e conhecimentos para a comunidade de engenharia de software.