RepoRepair: Leveraging Code Documentation for Repository-Level Automated Program Repair

1. O Problema

A Reparação Automática de Programas (APR) baseada em Grandes Modelos de Linguagem (LLMs) enfrenta dificuldades significativas ao escalar de funções isoladas para repositórios completos de software.

• Desafios Principais:
  • Compreensão Global: As ferramentas atuais frequentemente falham em entender o contexto global do repositório, dependências entre arquivos e contratos implícitos, limitando-se a correções sintáticas locais.
  • Dispersão Semântica: Informações relevantes para a falha estão dispersas em múltiplos arquivos e modalidades (texto e imagens), dificultando a localização precisa.
  • Limitações de Contexto: Inserir o código bruto de todo o repositório excede as janelas de contexto dos LLMs.
  • Desempenho em Benchmarks Multimodais: Ferramentas de ponta (como Agentless Lite) mostram queda drástica de desempenho no benchmark SWE-bench Multimodal (que inclui issues com imagens e código JavaScript/TypeScript), pois dependem de recuperação superficial de código ou estruturas de diretório, sem uma representação semântica profunda.

2. Metodologia: RepoRepair

O RepoRepair propõe uma abordagem aprimorada por documentação de código para localização de falhas e reparo em nível de repositório. A metodologia é "agente-free" (sem agentes complexos de iteração) e opera em três estágios principais:

A. Geração de Documentação Hierárquica

Em vez de usar o código bruto, o sistema gera automaticamente documentação estruturada para todo o repositório:

• Documentação Nível Função/Classe: Utiliza um LLM (DeepSeek-V3) para analisar a AST (Árvore de Sintaxe Abstrata) e gerar descrições semânticas de cada função/classe, incluindo parâmetros, lógica e dependências. Isso lida com funções anônimas (comuns em JS/TS) que outras ferramentas ignoram.
• Documentação Nível Arquivo: Agrega as documentações das funções para criar um resumo do propósito arquitetural de cada arquivo e suas relações no projeto.
• Vantagem: Cria abstrações semânticas que permitem ao LLM compreender o repositório sem consumir tokens excessivos de código bruto.

B. Localização de Falhas (Hierárquica)

O processo de localização segue uma abordagem de duas etapas para refinar a busca:

1. Recuperação de Arquivos Suspeitos: A descrição da issue (incluindo análise de imagens convertida em texto para issues multimodais) é usada para buscar os arquivos mais relevantes usando similaridade semântica com a documentação de nível arquivo.
2. Localização de Unidades de Código: Dentro dos arquivos suspeitos, o LLM utiliza a documentação de nível função para identificar as classes ou funções específicas que precisam ser modificadas.
   • Mecanismo de Verificação: Se nenhuma função relevante for encontrada nos arquivos suspeitos, o sistema descarta esses arquivos e reexecuta a localização, atuando como um filtro de precisão.

C. Reparo e Validação

• Poda de Contexto (Code Pruning): Antes de gerar o patch, o sistema remove código irrelevante, mantendo apenas: (i) as funções localizadas, (ii) declarações globais/importações e (iii) dependências estáticas diretas. Isso cria um contexto de reparo mínimo e focado.
• Geração de Patch: O LLM gera patches no formato diff (busca/substituição) em vez de reescrever arquivos inteiros.
• Validação Combinatória Iterativa: Os patches candidatos são validados em conjunto (combinações de arquivos modificados) contra a suíte de testes existente. O sistema usa uma estratégia de "temperatura" variável (de 0.0 a 0.9) para gerar múltiplas tentativas até encontrar uma combinação que passe nos testes.

3. Principais Contribuições

1. Framework Aprimorado por Documentação: Introdução de um mecanismo que usa documentação hierárquica gerada por LLMs para superar a barreira da dispersão semântica e do contexto limitado, permitindo uma localização de falhas precisa em nível de repositório.
2. Pipeline de Reparo Consciente de Dependências: Uma estratégia de poda de código que preserva a integridade das dependências internas enquanto remove ruído, otimizando a geração de patches.
3. Avaliação Abrangente e SOTA: Validação rigorosa nos benchmarks SWE-bench Lite e SWE-bench Multimodal, demonstrando superioridade sobre ferramentas baseadas em agentes e métodos sem agentes existentes.
4. Artigos Disponíveis: Publicação de todos os artefatos (documentação gerada, código-fonte e resultados) para reprodutibilidade.

4. Resultados Experimentais

O RepoRepair foi avaliado em dois benchmarks principais:

• SWE-bench Lite (Python, Issues de Texto):

  • Taxa de Reparo (%Resolved): 45.7% (competitivo com o estado da arte, superando ferramentas como OpenHands e PatchPilot).
  • Custo: Apenas $0.44 por correção (altamente eficiente).
  • Localização de Arquivos: 77.6% de precisão (superior ao Agentless Lite em 30% absoluto em cenários multimodais).

• SWE-bench Multimodal (JS/TS, Issues com Imagens):

  • Taxa de Reparo: 37.1%, estabelecendo um novo estado da arte (SOTA), superando GUIRepair (35.98%) e Agentless Lite (25.34%).
  • Custo: $0.56 por correção.
  • Desempenho em Localização: Atingiu 59.8% de precisão na localização de arquivos, uma melhoria massiva em relação aos concorrentes, provando que a documentação ajuda a entender issues complexas e cruzadas entre arquivos.

• Estudos de Ablação:

  • A remoção da documentação gerada causou uma queda drástica no desempenho (ex: queda de 37.1% para 26% no Multimodal), confirmando que a documentação é o componente crítico para a compreensão semântica.
  • A geração de documentação com modelos menores (Qwen2.5-7B) resultou em pior qualidade e menor taxa de reparo, validando a necessidade de LLMs avançados para a etapa de documentação.

5. Significado e Impacto

O RepoRepair demonstra que a compreensão semântica estruturada é mais eficaz do que a simples recuperação de código bruto ou a iteração de agentes complexos para reparo de software em nível de repositório.

• Eficiência de Custo: Alcança desempenho de ponta com um custo significativamente menor do que abordagens baseadas em agentes multi-iterativos.
• Generalização: A abordagem funciona bem tanto para linguagens orientadas a objetos (Python) quanto para linguagens com muitas funções anônimas e contextos visuais (JavaScript/TypeScript), preenchendo uma lacuna crítica deixada por ferramentas anteriores.
• Futuro: O trabalho sugere que a geração automática de documentação não é apenas para desenvolvedores humanos, mas uma ferramenta essencial para habilitar LLMs a realizar manutenção de software complexa e escalável.

Em resumo, o RepoRepair transforma a maneira como os LLMs "enxergam" repositórios de código, substituindo a busca por palavras-chave e trechos de código por uma compreensão baseada em documentação hierárquica, resultando em correções mais precisas, baratas e robustas.