ReDef: Do Code Language Models Truly Understand Code Changes for Just-in-Time Software Defect Prediction?

Título: ReDef: Os Modelos de Linguagem de Código Compreendem Verdadeiramente as Mudanças de Código para a Previsão de Defeitos de Software Just-in-Time?

1. O Problema

A Previsão de Defeitos de Software Just-in-Time (JIT-SDP) é crucial para priorizar revisões de código e integrar testes contínuos, identificando quais alterações (commits) são propensas a introduzir bugs. No entanto, a pesquisa atual enfrenta dois desafios fundamentais:

1. Ruído nos Dados (Label Noise): A maioria dos conjuntos de dados existentes depende do algoritmo SZZ (Śliwerski–Zimmermann–Zeller) para vincular correções de bugs às alterações que os introduziram. O SZZ frequentemente comete erros ao atribuir a culpa de um bug a alterações triviais (como renomeação ou refatoração), gerando rótulos imprecisos e ruidosos que comprometem a avaliação de modelos.
2. Falta de Compreensão Semântica Real: Embora os Modelos de Linguagem de Código (CLMs), como CodeBERT e CodeT5+, tenham mostrado desempenho superior em tarefas de previsão, não está claro se eles realmente compreendem a semântica das mudanças de código (a relação causal entre o estado "antes" e "depois") ou se apenas exploram correlações superficiais e padrões textuais (como churn ou palavras-chave).

2. Metodologia

Os autores propõem uma abordagem em duas etapas: a construção de um novo conjunto de dados de alta confiança e um protocolo de avaliação rigoroso para testar a compreensão semântica.

A. Construção do Dataset ReDef

O ReDef (Revert-based Defect dataset) é um benchmark de alta confiança focado em modificações de nível de função, extraído de 22 projetos C/C++ de grande escala.

• Ancoragem por Reversões (Reverts): Em vez de usar SZZ, o dataset usa revert commits (reversões) como sinal de alta confiança. Se um commit é revertido explicitamente devido a falhas, ele é um candidato forte a defeito.
• Filtragem Rigorosa:
  • Defeituosos: Commits revertidos são analisados via GPT-4o para distinguir entre introdução de bugs, correções falhas e outras razões (ex: formatação). Apenas casos com consenso unânime de defeito são mantidos.
  • Limpos: Commits sem sinais de problemas são verificados historicamente (até 5 commits subsequentes) para garantir que não introduziram bugs que só foram detectados depois.
• Estatísticas: O dataset final contém 3.164 modificações defeituosas e 10.268 limpas, com uma precisão de rótulo de 92% (validada por auditoria manual).

B. Protocolo de Avaliação (Duas Fases)

O estudo avalia quatro CLMs (CodeBERT, CodeT5+, UniXcoder e Qwen2.5) em duas fases:

1. Fase 1 (Estratégias de Codificação): Compara cinco formas de apresentar a mudança de código ao modelo:
   • Apenas o código final (After-only).
   • Código final com marcadores de mudança.
   • Código antes + depois concatenados.
   • Apenas as linhas alteradas com tags <ADD>/<DEL> (estilo Diff).
   • Blocos adicionados seguidos por blocos deletados.
2. Fase 2 (Análise de Robustez Contrafactual): Aplica perturbações deliberadas aos dados de entrada para testar se o modelo depende da semântica real ou de pistas superficiais. Exemplos de perturbações:
   • Inversão de Polaridade: Trocar as tags <ADD> e <DEL>.
   • Troca de Blocos: Inverter a ordem lógica dos blocos adicionados/deletados.
   • Troca de Snapshots: Trocar a posição do código "antes" e "depois".
   • Marcadores Espúrios: Inserir tags de mudança aleatórias em linhas não alteradas.

Hipótese: Se o modelo realmente entende a semântica, essas perturbações lógicas devem causar uma queda drástica no desempenho. Se o desempenho permanecer estável, o modelo está apenas explorando pistas superficiais.

3. Principais Contribuições

1. ReDef: Um novo dataset de referência para JIT-SDP com rótulos de alta precisão, superando o ruído inerente aos métodos baseados em SZZ.
2. Análise de Codificação: A primeira comparação sistemática de como diferentes representações de entrada afetam a previsão de defeitos em CLMs.
3. Protocolo de Diagnóstico de Semântica: Introdução de testes de perturbação contrafactual para revelar a "cegueira semântica" dos modelos atuais, demonstrando que a robustez aparente pode ser um artefato de dependência de pistas superficiais.

4. Resultados Chave

Desempenho e Codificação (RQ2)

• Codificações Compactas Superiores: Estratégias focadas em diff (apenas linhas alteradas com tags) e "Blocos Adicionados → Deletados" superaram consistentemente as estratégias que fornecem o código completo (Before+After).
• Motivo: As estratégias completas sofrem com truncamento (devido ao limite de tokens) e introduzem contexto ruidoso que distrai o modelo. Estratégias compactas preservam o sinal crítico da mudança dentro da janela de contexto.
• Tamanho do Modelo: Curiosamente, modelos menores (como CodeBERT) tiveram desempenho ligeiramente superior ao modelo grande (Qwen2.5-7B) neste conjunto de dados difícil, sugerindo que modelos menores podem capturar padrões mais consistentes em sinais de defeito sutis.

Robustez Semântica (RQ3) - A Descoberta Crítica

• Estabilidade Inesperada: Ao aplicar as perturbações contrafactuais (ex: inverter a lógica de uma correção de bug), o desempenho dos modelos (medido por F1-score) permaneceu praticamente inalterado (variação ≤ 1,26%).
• Interpretação: Isso indica cegueira semântica. Se os modelos realmente compreendessem a lógica da mudança (ex: saber que if (p) use(p) é uma correção de use(p)), inverter essa lógica deveria causar uma queda drástica na precisão. O fato de não cair prova que os modelos estão baseando suas previsões em pistas superficiais (distribuição de tokens, posições, palavras-chave) que persistem mesmo quando a lógica é distorcida.
• CodeBERT vs. Qwen2.5: O CodeBERT foi quase totalmente imune às perturbações, enquanto o Qwen2.5 mostrou uma sensibilidade marginal em alguns casos, mas ainda insuficiente para indicar compreensão real.

5. Significado e Conclusão

O estudo conclui que, embora os CLMs modernos alcancem bons resultados em benchmarks de previsão de defeitos, eles não compreendem verdadeiramente a dinâmica relacional das modificações de código.

• Alerta para a Comunidade: A "robustez" observada em testes padrão pode ser enganosa, refletindo a capacidade do modelo de memorizar padrões superficiais em vez de raciocinar sobre a evolução do software.
• Implicações Futuras: Há uma necessidade urgente de desenvolver novos objetivos de treinamento e arquiteturas que forcem os modelos a aprenderem a semântica causal das edições, e não apenas correlações estatísticas.
• Valor do ReDef: O dataset ReDef oferece uma base limpa e confiável para que a pesquisa futura possa distinguir entre modelos que realmente "entendem" o código e aqueles que apenas "adivinham" com base em ruídos.

Em suma, o trabalho expõe uma lacuna crítica entre o desempenho métrico e a capacidade de raciocínio semântico nos atuais modelos de linguagem de código aplicados à engenharia de software.