PatchRecall: Patch-Driven Retrieval for Automated Program Repair

1. O Problema

O reparo automático de programas (APR) em grandes repositórios de software enfrenta um desafio crítico: a localização precisa de arquivos. Para que um Modelo de Linguagem (LLM) gere um patch correto, ele precisa receber o contexto dos arquivos que devem ser modificados.

• Dilema Recall vs. Eficiência: Recuperar poucos arquivos corre o risco de omitir o arquivo correto (baixo recall), enquanto recuperar muitos arquivos introduz "ruído" (arquivos irrelevantes), o que confunde o LLM e degrada a eficiência.
• Limitações Atuais: Abordagens tradicionais, como o uso exclusivo de BM25 (busca baseada em similaridade textual), frequentemente falham em capturar a semântica entre a descrição do problema (issue) e o código, resultando em contextos ruidosos.
• Evidência Empírica: O estudo analisou o benchmark SWE-bench e descobriu que, em mais de 80% dos casos, a resolução de um problema requer a modificação de apenas um único arquivo. No entanto, os métodos atuais tendem a recuperar muitos arquivos desnecessários, sobrecarregando o modelo.

2. Metodologia: PatchRecall

Os autores propõem o PatchRecall, uma abordagem de recuperação híbrida que equilibra o recall (capacidade de encontrar o arquivo certo) com a concisão (evitar ruído). O método integra duas estratégias complementares:

A. Recuperação Baseada em Histórico (History-Based Retrieval)

• Utiliza o conjunto de dados não verificado do SWE-bench (1.794 instâncias) como uma base de conhecimento auxiliar.
• Quando uma nova "issue" é apresentada, o sistema usa um Sentence Transformer (modelo all-mpnet-base-v2) para encontrar as 10 issues mais semanticamente similares no histórico.
• Os arquivos modificados nos patches dessas issues históricas são extraídos e agregados. A frequência de modificação desses arquivos serve como um sinal de relevância.

B. Recuperação Direta do Código (Codebase Retrieval)

• Executa uma busca paralela e tradicional no repositório alvo usando o algoritmo BM25.
• Compara a descrição da issue diretamente com todos os arquivos do repositório para gerar uma lista de candidatos baseada em similaridade lexical.

C. Fusão de Pontuação e Re-ordenamento (Hybrid Scoring)

• As listas de candidatos de ambas as estratégias são unidas.
• As pontuações de cada método são normalizadas (min-max) para serem comparáveis.
• Uma pontuação híbrida é calculada usando uma fórmula ponderada:
  $$H(f) = \alpha \cdot s'_{ST}(f) + (1 - \alpha) \cdot s'_{BM25}(f)$$
  Onde:
  • $s'_{ST}$ é a pontuação baseada no modelo de embeddings (histórico).
  • $s'_{BM25}$ é a pontuação baseada na busca lexical (código atual).
  • $\alpha$ é um hiperparâmetro de ajuste (os experimentos mostraram que valores entre 0.4 e 0.6 oferecem o melhor equilíbrio).
• Os arquivos são re-ordenados pela pontuação híbrida, e os top-k são enviados ao LLM para geração do patch.

3. Principais Contribuições

1. Análise Empírica de Falhas: Identificação de que a localização de arquivos é um gargalo persistente, com falhas concentradas em repositórios específicos (como Django) e correlacionadas à complexidade da tarefa (tarefas >4 horas têm 66,7% de taxa de falha).
2. Framework Híbrido: Proposta de uma arquitetura que combina sinais semânticos de histórico de correções (patches) com busca lexical direta, superando a dependência exclusiva de uma única técnica.
3. Otimização de Contexto: Demonstração de que é possível aumentar o recall (encontrar o arquivo certo) sem aumentar significativamente o número de arquivos recuperados, mantendo o contexto limpo para o LLM.

4. Resultados

Os experimentos foram conduzidos no benchmark SWE-bench-verified (500 pares issue-patch validados por humanos):

• Desempenho dos Baselines: O modelo Sentence Transformer superou consistentemente o BM25 e o TF-IDF em todas as profundidades de recuperação (k), provando a superioridade da busca semântica densa.
• Eficácia da Abordagem Híbrida: A estratégia PatchRecall alcançou as maiores taxas de recall (Recall@K).
  • Configurações com $\alpha$ entre 0.4 e 0.6 (equilíbrio entre histórico e busca direta) foram as mais robustas.
  • Comparado ao baseline BM25 usado em frameworks avançados como o MAGIS, o PatchRecall obteve consistentemente um recall superior em todas as profundidades de recuperação.
• Eficiência: O método conseguiu recuperar os arquivos corretos com um número menor de arquivos candidatos em comparação com métodos que apenas aumentam o k para compensar a baixa precisão.

5. Significado e Impacto

O trabalho do PatchRecall é significativo porque ataca a raiz do problema de localização em APR, que é frequentemente negligenciada em favor de melhorias na geração de código.

• Escalabilidade: Oferece uma solução leve e modular que pode ser integrada a sistemas de agentes multi-agentes existentes (como MAGIS) para melhorar sua etapa de recuperação, sem exigir reestruturação completa do pipeline.
• Praticidade: Ao reduzir o ruído de contexto, torna o reparo automático de programas mais viável em repositórios reais e complexos, onde a precisão na seleção de arquivos é crucial para o sucesso do LLM.
• Futuro: Abre caminho para estratégias de fusão de pontuação adaptativas e a integração de sinais estruturais (como ASTs) para refinar ainda mais a localização.

Em resumo, o PatchRecall demonstra que combinar a inteligência histórica de patches anteriores com a busca direta no código é a chave para superar as limitações atuais dos sistemas de reparo automático, tornando-os mais precisos e eficientes.