Verifier Warnings Do Not Improve Comprehensibility Prediction

Resumo Técnico: Avisos de Verificadores Não Melhoram a Predição de Compreensibilidade

Título Original: Verifier Warnings Do Not Improve Comprehensibility Prediction
Autores: Nadeeshan De Silva, Martin Kellogg e Oscar Chaparro (William & Mary; NJIT)
Evento: EASE 2026

1. O Problema (Contexto e Motivação)

A compreensão de código é uma das tarefas mais custosas para desenvolvedores de software. Para evitar a degradação da qualidade, pesquisadores buscam prever a compreensibilidade do código (o esforço necessário para entendê-lo) usando modelos de Aprendizado de Máquina (ML).

Até o momento, esses modelos utilizam principalmente características sintáticas (ex: linhas de código, complexidade ciclomática) e características do desenvolvedor (ex: anos de experiência). Um estudo de meta-análise recente (Feldman et al., 2024) sugeriu que existe uma correlação entre o número de avisos (warnings) emitidos por ferramentas de verificação formal e a dificuldade humana de entender o código. A hipótese era que esses avisos poderiam servir como um "sinal semântico" de complexidade acidental, melhorando a precisão dos modelos de ML. Este trabalho testa se essa correlação se traduz em ganho real de performance preditiva.

2. Metodologia

Os autores realizaram um experimento de controle-tratamento utilizando dois dos maiores conjuntos de dados de compreensibilidade de Java disponíveis (DS1 e DS2).

• Configuração de Controle ($C$): Modelos treinados apenas com características sintáticas (84 métricas, como loops, parâmetros e comentários) e características do desenvolvedor (experiência e nível acadêmico).
• Configuração de Tratamento ($T$): Os mesmos modelos, mas com a adição de uma nova característica semântica: a soma de avisos de verificadores (verifier warning sum). Foram utilizados quatro verificadores de ponta: Checker Framework (CF), OpenJML (OJ), JaTyC e Infer.
• Modelos de ML: Foram testados seis algoritmos: Naïve Bayes (NB), K-Nearest Neighbors (KNN), Regressão Logística (LR), Multilayer Perceptron (MLP), Random Forest (RF) e Support Vector Machine (SVM).
• Métricas de Avaliação: O desempenho foi medido através de métricas de classificação ponderadas ($wF1$e$wAUC$) para cinco diferentes proxies de compreensibilidade humana (ex: entendimento percebido, nível de legibilidade e acerto em questões de verificação).
• Protocolo de Validação: Utilizaram validação cruzada aninhada (nested cross-validation) para mitigar vieses e otimizar hiperparâmetros.

3. Principais Contribuições

• Avaliação Empírica Rigorosa: O estudo fornece uma análise sistemática sobre a utilidade de informações semânticas de ferramentas de verificação formal para modelos de predição de compreensão de código.
• Análise de Importância de Atributos: Além de comparar modelos, os autores realizaram análises estatísticas profundas (Correlação de Kendall, Informação Mútua e valores SHAP) para entender por que a característica de avisos falhou em melhorar os modelos.
• Análise de Verificadores Individuais: Investigaram se o uso de avisos de ferramentas específicas (em vez da soma total) traria benefícios, oferecendo uma visão granular sobre quais ferramentas capturam melhor a semântica relevante.

4. Resultados

Os resultados refutaram a hipótese inicial: a inclusão da soma de avisos dos verificadores não melhorou significativamente a performance dos modelos.

• Performance Geral: Entre as 30 combinações de modelos e métricas, a maioria (56,6% a 66,7%) apresentou declínio ou nenhum ganho ao adicionar os avisos. Os ganhos observados foram marginais e, em sua maioria, não estatisticamente significativos.
• Dificuldade das Métricas: Métricas subjetivas como o Nível de Legibilidade (Readability Level - RL) foram as mais difíceis de prever, independentemente das características utilizadas.
• Análise de Verificadores: Embora ferramentas como JaTyC e CF tenham mostrado melhorias mínimas e isoladas em métricas específicas (como legibilidade), elas não foram consistentes o suficiente para validar a abordagem.
• Conclusão Estatística: As análises de SHAP e Informação Mútua confirmaram que a soma de avisos possui um sinal de aprendizado muito fraco para os modelos de ML, agindo quase como um ruído ou uma característica de baixa importância.

5. Significância e Implicações

O trabalho tem implicações importantes para a área de Engenharia de Software:

1. Limitação de Atributos Atuais: Demonstra que a combinação de características sintáticas e do desenvolvedor já é "suficiente" para o estado da arte atual, e que simples contagens de avisos não capturam a riqueza da semântica necessária para entender a carga cognitiva humana.
2. Necessidade de Representações Ricas: Sugere que, para melhorar a predição, o futuro da pesquisa não deve focar em contar avisos, mas em modelar relações semânticas mais profundas (como fluxos de dados e de controle) ou os tipos específicos de erros detectados.
3. Ceticismo Prático: Alerta que modelos de ML para estimativa de compreensibilidade ainda não são confiáveis o suficiente para serem aplicados de forma automatizada em fluxos de trabalho reais de desenvolvimento de software.