Resumo Técnico: JETO-Bench e JETO-Mine

Declaração do Problema

A Reparação Automática de Programas (APR) avançou significativamente, impulsionada por benchmarks como Defects4J e SWE-Bench. No entanto, esses benchmarks focam predominantemente em bugs funcionais, deixando questões não funcionais, especificamente o tempo de execução de desempenho, sub-representadas. Embora existam benchmarks para patches de melhoria de tempo de execução (ETIPs) para Python, C++ e .NET (ex: PIE, SWE-Perf, PerfBench), o Java permanece amplamente ausente.

A ausência de benchmarks de Java é crítica devido às características específicas de tempo de execução da linguagem. A dependência do Java de compilação Just-In-Time (JIT) e Coleta de Lixo (GC) introduz volatilidade nas medições de tempo de execução. Diferente de Python ou C++, onde o tempo de execução está mais diretamente ligado ao código fonte, as medições de Java exigem um tratamento rigoroso do aquecimento (warm-up) da JVM, interferência de GC e pausas não determinísticas. Além disso, os conjuntos de dados Java existentes (ex: Yi et al.) são fixos, não extensíveis e carecem de ambientes conteinerizados, tornando a reprodutibilidade difícil à medida que as dependências dos projetos evoluem. Finalmente, os benchmarks de desempenho atuais geralmente não podem ser estendidos para coletar novos patches do mundo real baseados em configurações definidas pelo usuário.

Metodologia: JETO-Mine

Para abordar essas lacunas, os autores apresentam o JETO-Mine, uma ferramenta configurável e reutilizável projetada para criar automaticamente benchmarks reproduzíveis de ETIPs em projetos Java do mundo real. O JETO-Mine opera através de um pipeline de três fases:

1. Fase de Análise Estática

Esta fase rastreia repositórios do GitHub para identificar potenciais ETIPs usando filtros definidos pelo usuário e um classificador baseado em LLM.

• Seleção de Repositório: Filtra projetos Java ativos (Java 8+, Maven Wrapper) com contagens específicas de estrelas e datas de atualização recentes.
• Filtragem de Commit/PR: Analisa diffs na branch principal, retendo mudanças que afetam apenas arquivos .java, excluem arquivos de teste e modificam um número limitado de arquivos.
• Classificação por LLM: Fornece ao LLM o título do problema, descrição e mensagem de commit para determinar se a mudança aborda primordialmente a melhoria do tempo de execução.
• Deduplicação: Substitui commits individuais por seus Pull Requests (PRs) correspondentes para capturar a intenção completa do desenvolvedor e deduplica com base nos diffs de código.

2. Fase de Análise Dinâmica

Esta fase transforma os ETIPs identificados em ambientes executáveis e reproduzíveis usando Docker.

• Construção de Ambiente: Cria imagens Docker contendo a versão específica do Java e as dependências necessárias para construir e testar o projeto.
• Mitigação da JVM: Para neutralizar a volatilidade da JVM, o pipeline executa uma rodada dedicada de "aquecimento" (descartada) antes das execuções temporizadas. Ele executa suítes de teste múltiplas vezes (padrão $n=30$) dentro de configurações idênticas da JVM para minimizar a variância de GC e JIT.
• Teste Estatístico: Realiza testes binomiais pareados de um lado sobre os tempos de execução entre as versões original e corrigida. Um patch é considerado um ETIP se mostrar uma melhoria estatisticamente significativa (p-valor e porcentagem de melhoria mínima configuráveis) em classes de teste específicas.
• Validação: Garante que o projeto construa e que todos os testes passem para ambas as versões. Se um patch falhar na construção ou quebrar testes existentes, ele é excluído.

3. Harness de Avaliação

Esta fase fornece ferramentas para avaliação quantitativa de patches e testes gerados.

• Avaliação de Patch: Recebe um patch gerado, aplica-o ao código original dentro do container Docker e executa testes estatísticos para determinar se o patch melhora o tempo de execução.
• Avaliação de Geração de Teste: Suporta a avaliação de ferramentas que geram "testes detectores de ETIP" (testes que podem verificar estatisticamente melhorias de desempenho).

Principais Contribuições

1. Ferramenta JETO-Mine

A primeira ferramenta configurável para criar benchmarks reproduzíveis de ETIP de Java. Ela permite que pesquisadores coletem continuamente novos benchmarks com filtros customizados e níveis de rigor estatístico, abordando a rigidez dos conjuntos de dados existentes.

2. Benchmark JETO-Bench

Usando o JETO-Mine, os autores construíram o JETO-Bench, composto por:

• 660 ETIPs Identificados: Coletados de 174 repositórios Java de código aberto abrangendo 11 anos de histórico de desenvolvimento (quase 1,8 milhão de commits).
• 91 ETIPs Executáveis Verificados Manualmente: Um subconjunto curado onde os patches constroem com sucesso, passam nos testes e estão vinculados a problemas descritivos. Eles são acompanhados por imagens Docker para total reprodutibilidade.
• Diversidade: O benchmark cobre diversos tipos de projetos (sistemas distribuídos, frameworks cloud-native) e inclui patches de múltiplos arquivos e múltiplos módulos, adequados para avaliar ferramentas de reparação ao nível de repositório.

3. Avaliação Empírica

Os autores avaliaram o OpenHands, um agente de codificação de código aberto líder, nos 91 ETIPs verificados.

• Taxa de Sucesso: O OpenHands corrigiu corretamente 14,3% (13/91) dos problemas. Isso se alinha com as taxas de sucesso reportadas em estudos similares em outras linguagens, sugerindo que o JETO-Bench é um benchmark confiável.
• Localização de Falhas: Em 27,5% dos casos, o OpenHands modificou o local de código correto, mas falhou em produzir um patch semanticamente correto, destacando a localização de falhas como uma área chave para melhoria.
• Escassez de Testes: O estudo revelou que projetos Java de código aberto carecem amplamente de testes que demonstrem melhorias de tempo de execução. Apenas 15% dos ETIPs verificados continham benchmarks JMH, e os testes JUnit existentes raramente detectavam diferenças de desempenho estatisticamente significativas.

Resultados e Descobertas

• Precisão: A análise manual de 50 ETIPs selecionados aleatoriamente confirmou uma taxa de precisão de 96% para o processo de identificação do JETO-Mine.
• Escalabilidade: A análise estática processou 1,7 milhão de commits em 478 horas (aprox. 20 dias) a um custo de $5,33 para filtragem por LLM. A análise dinâmica processou 660 ETIPs em 152 horas, com um tempo mediano de construção de imagem Docker de 34 minutos e tamanho mediano de 790 MB.
• Desempenho do Agente: O OpenHands alcançou uma taxa de sucesso de 14,3%, com 22% dos patches gerados construindo com sucesso e passando nos testes. O harness de avaliação filtrou efetivamente patches incorretos (apenas 20/91 passaram em todos os testes), confirmando o valor do feedback baseado em execução.
• Lacuna de Geração de Testes: Uma tentativa preliminar de usar o OpenHands para gerar testes detectores de ETIP para os 91 casos teve sucesso em apenas uma instância, ressaltando a dificuldade de gerar testes que possam medir de forma confiável melhorias de desempenho.

Significância e Alegações

O artigo afirma que o JETO-Mine e o JETO-Bench preenchem uma lacuna crítica no cenário de reparação automática ao fornecer o primeiro benchmark configurável e reproduzível para melhorias de tempo de execução em Java.

• Reprodutibilidade: Ao utilizar Docker e testes estatísticos para mitigar a volatilidade da JVM, o benchmark garante que as alegações de desempenho sejam objetivas e reproduzíveis, ao contrário de datasets estáticos anteriores.
• Extensibilidade: Diferente de datasets fixos, o JETO-Mine permite que a comunidade expanda continuamente o benchmark com novos patches de acordo com necessidades de pesquisa específicas.
• Oportunidade de Pesquisa: As descobertas destacam uma lacuna significativa nas práticas de teste atuais: a escassez de testes que verificam melhorias de tempo de execução. Os autores postulam que isso apresenta uma oportunidade promissora para pesquisas futuras em geração de testes automáticos para otimização de desempenho.
• Utilidade do Benchmark: A avaliação do OpenHands demonstra que o JETO-Bench é eficaz para avaliar as capacidades e limitações de agentes de codificação avançados em tarefas de desempenho Java, espelhando resultados vistos em outras linguagens.

Os autores concluem que, embora os agentes atuais mostrem sucesso limitado em corrigir problemas de desempenho, a existência de um benchmark rigoroso e reproduzível como o JETO-Bench é essencial para impulsionar futuros avanços em otimização de desempenho automatizada e geração de testes.