Resumo Técnico: Além do Falha-para-Passar: Fortalecimento Iterativo de Testes de Reprodução de Bugs Co-Gerados e Correções

Declaração do Problema

A Reparação Automática de Programas (APR) impulsionada por Grandes Modelos de Linguagem (LLMs) avançou significativamente, mas reparar bugs diretamente de relatórios de linguagem natural permanece fundamentalmente subespecificado. Os relatórios de bugs são frequentemente incompletos, e muitos patches candidatos parecem superficialmente razoáveis sem de fato corrigir a causa raiz. Embora os Testes de Reprodução de Bugs (BRTs) sejam cada vez mais usados para guiar a reparação, convertendo descrições de problemas em sinais executáveis, o critério de avaliação padrão para esses testes — Falha-para-Passar (F→P) — é insuficiente.

O critério F→P exige que um teste gerado falhe no código com bug e passe na correção "padrão" (golden). No entanto, os autores demonstram que o F→P sozinho não garante que um teste seja eficaz para a reparação subsequente. Especificamente:

1. Testes Laxos: Alguns testes F→P são "laxos", o que significa que detectam o sintoma observado, mas admitem patches plausíveis, porém incorretos, que não abordam a causa raiz.
2. Testes Desalinhados: Alguns testes rejeitam a correção correta, mas aceitam incorretas.
3. Acoplamento Teste-Correção: Na co-geração (onde um agente gera tanto o teste quanto a correção simultaneamente), os erros no teste e na correção são correlacionados. Um agente pode gerar um teste fraco (laxo) e uma correção incorreta correspondente que passa no teste, levando o agente a interromper prematuramente sob a falsa supressão de sucesso.

Metodologia

O artigo propõe um framework de duas fases chamado COHARDEN para abordar essas limitações. A metodologia baseia-se em um novo critério de avaliação e um loop de fortalecimento iterativo.

1. Avaliação de Patch de Mutação (MPE)

Para distinguir entre testes eficazes e ineficazes, os autores introduzem a Avaliação de Patch de Mutação (MPE). Em vez de depender apenas da correção padrão, a MPE avalia um teste gerado contra um conjunto de patches de mutação plausíveis, porém incorretos. Esses patches são gerados aplicando operadores semânticos (ex: supressão de sintoma, correções incompletas, atalhos específicos de entrada, substituição de comportamento) à correção padrão.

Com base em como um teste reage a essas mutações, ele é classificado em três categorias:

• Rigoroso: O teste falha no código com bug, passa na correção padrão e rejeita mutações plausíveis, porém incorretas.
• Laxo: O teste falha no código com bug e passa na correção padrão, mas aceita mutações plausíveis, porém incorretas (subespecificando o espaço de reparação).
• Desalinhado: O teste rejeita a correção padrão (conflitando com a especificação de correção).

2. O Framework COHARDEN

O COHARDEN é um loop de co-geração projetado para produzir testes Rigorosos e correções corretas, evitando as armadilhas da co-geração padrão. Ele opera em duas fases:

• Fase 1: Lax-init (Geração de Teste Primeiro):
  Antes de tentar qualquer correção de código, o agente gera um teste de reprodução ($t_0$) visando a falha observável (ex: exceção, discrepância de saída). O agente é explicitamente proibido de modificar o código fonte nesta etapa. Isso desacopla o teste inicial de qualquer hipótese de correção específica (potencialmente incorreta), reduzindo o risco de gerar um teste "Desalinhado" que codifica uma solução errada.

• Fase 2: Fortalecimento Iterativo:
  Partindo de $t_0$, o agente entra em um loop para refinar conjuntamente o teste ($t_k$) e a correção ($c_k$). Em cada rodada:

  1. Mutação: A correção atual $c_k$ é mutada para criar um conjunto de patches adversariais ($C_k$).
  2. Avaliação: O teste atual $t_k$ e o teste da rodada anterior $t_{k-1}$ são executados contra $C_k$. Isso popula uma Matriz Temporal (análoga à matriz de confusão MPE) para rastrear quantos mutantes são aceitos ou rejeitados.
  3. Fortalecimento: O agente recebe feedback sobre os mutantes "sobreviventes" (patches que passaram no teste). O objetivo é tornar o teste mais rigoroso para que ele rejeite esses mutantes.

  Critério de Convergência: O loop continua até que o teste seja "não trivialmente alterado" e a Taxa de Laxidade (a fração de mutações aceitas pelo novo teste, mas rejeitadas pelo teste de referência) caia abaixo de um limiar ($\tau = 0.2$). Isso garante que o teste evolua de Laxo para Rigoroso sem exigir acesso à correção padrão durante o loop.

Principais Contribuições

1. Avaliação de Patch de Mutação (MPE): Um framework de avaliação mais refinado que particiona os BRTs em categorias Rigoroso, Laxo e Desalinhado. Isso expõe uma dimensão de qualidade ortogonal ao F→P, revelando que o F→P é muito grosseiro.
2. Análise Empírica da Utilidade de BRT:
   • Os autores mostram que o ganho de sucesso de reparação proveniente de testes que passam no F→P vem inteiramente do nível Rigoroso; testes Laxos fornecem ganho zero ($\Delta = 0.0$).
   • Eles identificam que a co-geração padrão produz testes Laxos onde os erros de teste e correção são correlacionados (a taxa de falha conjunta é 1.87$\times$ maior do que a previsão independente), fazendo com que os agentes parem em soluções incorretas.
3. Framework COHARDEN: Um loop de co-geração de duas fases que utiliza o sinal de Laxidade como um critério de convergência dentro do loop. Ao gerar o teste primeiro e fortalecê-lo iterativamente contra conjuntos de mutação, o COHARDEN produz testes de reprodução mais fortes e correções de maior qualidade.

Resultados Experimentais

Os autores avaliaram o COHARDEN no subconjunto SWE-bench Verified $\cap$ SWT-bench Verified (433 instâncias) usando OpenHands com GPT-5-mini como base.

• Performance: O COHARDEN alcançou 69.4% Resolvido (correções que passam nos testes padrão) e 78.9% F→P (testes que passam nas correções padrão).
• Comparação:
  • Superou o baseline de correção única mais forte (SWE-Agent) em +9.6 pontos percentuais em Resolvido.
  • Superou o baseline de co-geração mais forte (InfCode) em +7.9 pontos percentuais em Resolvido.
  • Superou o baseline de co-geração vanilla (OpenHands + COGEN) em +8.0 pontos percentuais em Resolvido.
• Generalização: Ganhos consistentes foram observados em diferentes backbones de LLM (GPT-5.4, Claude Opus 4.5) e no benchmark SWE-bench Lite.
• Custo: O custo médio por instância foi de $0.84, comparável aos métodos de co-geração existentes, com a maioria dos ganhos alcançada nas primeiras rodadas de fortalecimento.

Significância

O artigo argumenta que o campo da reparação automática de programas deve ir além do critério Falha-para-Passar. Os autores demonstram que a capacidade de um teste passar em uma correção de referência específica não é um proxy para sua capacidade de restringir o espaço de busca em direção à causa raiz correta. Ao formalizar a distinção entre testes Rigorosos e Laxos e usar o feedback baseado em mutação para fortalecer iterativamente os testes, o COHARDEN preenche a lacça entre a geração de testes e a reparação eficaz. O trabalho sugere que futuros sistemas de APR devem tratar a qualidade do teste não como uma métrica binária de passar/falhar, mas como uma propriedade dinâmica que deve ser ativamente fortalecida contra variações incorretas plausíveis para garantir uma reparação de bugs robusta.