💻 computer science

EXPEREPAIR: Dual-Memory Enhanced LLM-based Repository-Level Program Repair

ExpeRepair é uma nova estrutura baseada em LLM que aproveita um sistema de dupla memória — composto por memória episódica para demonstrações concretas de reparo e memória semântica para insights abstratos — para compor dinamicamente prompts conscientes do contexto, alcançando desempenho de ponta em código aberto nos benchmarks SWE-Bench Lite e Verified ao reutilizar efetivamente o conhecimento histórico de reparos.

Autores originais: Fangwen Mu, Junjie Wang, Lin Shi, Song Wang, Shoubin Li, Qing Wang

Publicado 2026-05-12

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Fangwen Mu, Junjie Wang, Lin Shi, Song Wang, Shoubin Li, Qing Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você é um mecânico mestre tentando consertar um motor complexo e vintage. No passado, toda vez que surgia um novo problema, você tinha que começar do zero: ler o manual, adivinhar o que estava errado, tentar um reparo e torcer para funcionar. Se falhasse, você apenas tentava novamente, esquecendo o que havia aprendido com o último erro.

ExpeRepair é como dar a esse mecânico um sistema de memória superpoderoso, dividido em duas partes, inspirado no funcionamento do cérebro humano. Em vez de começar do zero a cada vez, esse sistema ajuda a IA a "lembrar" reparos anteriores e aprender com eles, tornando-a muito melhor em corrigir bugs de software.

Veja como funciona, dividido em conceitos simples:

Os Dois Tipos de Memória

O artigo explica que a memória humana não é apenas um grande balde; ela possui duas partes distintas. O ExpeRepair copia esse design:

Memória Episódica (O "Álbum de Fotos"):
- O que é: Uma coleção de exemplos específicos e concretos. Pense como um álbum de recortes de reparos anteriores. Ele contém as fotos exatas de "antes e depois": a mensagem de erro específica, o código exato que estava quebrado e o patch específico que o corrigiu.
- Como ajuda: Quando um novo bug aparece, o sistema folheia esse álbum para encontrar um caso passado similar. "Ei, corrigimos um interruptor de luz quebrado similar na semana passada; vamos tentar o mesmo truque." Isso fornece uma receita concreta a seguir.
Memória Semântica (O "Livro de Regras"):
- O que é: A sabedoria abstrata ganha a partir de todos aqueles reparos anteriores. Não se trata de fotos específicas, mas de princípios gerais. Pense como uma lista de "Melhores Práticas" ou "Regras Práticas" escritas em linguagem simples.
- Como ajuda: Ensina à IA lições gerais, como "Ao corrigir problemas de segurança, sempre verifique casos de borda" ou "Se uma função lida com múltiplas entradas, certifique-se de corrigi-las todas, não apenas a mencionada." Isso ajuda a IA a se adaptar a novas situações que ela nunca viu antes.

Como Corrige Bugs (O Fluxo de Trabalho)

O sistema usa dois "agentes" (trabalhadores de IA) para realizar o reparo: um para escrever um script de teste (para provar que o bug existe) e outro para escrever a correção real.

O Jeito Antigo: A IA recebe um relatório de bug, tenta adivinhar uma correção com base em seu treinamento geral e torce pelo melhor. Se falhar, tenta novamente com as mesmas instruções estáticas.
O Jeito ExpeRepair:
1. Olhar para Trás: Antes de tentar corrigir o novo bug, o sistema verifica seu Álbum de Fotos (Memória Episódica) por falhas e sucessos passados similares.
2. Ler as Regras: Ele também verifica seu Livro de Regras (Memória Semântica) por conselhos de alto nível relevantes para esse tipo de problema.
3. Instruções Dinâmicas: Em vez de usar um manual de instruções rígido e pré-escrito, o sistema cria um prompt personalizado e "dinâmico" para o trabalhador de IA. Diz: "Aqui está o novo bug. Aqui está um bug similar que corrigimos mês passado (do Álbum de Fotos). E lembre-se desta regra sobre lidar com casos de borda (do Livro de Regras)."
4. Aprender e Atualizar: Assim que a correção é feita (ou mesmo se falhar), o sistema salva a experiência. Adiciona os detalhes específicos ao Álbum de Fotos e resume a lição aprendida no Livro de Regras para a próxima vez.

Os Resultados

Os pesquisadores testaram esse sistema em dois conjuntos famosos de bugs de software do mundo real (chamados SWE-Bench Lite e SWE-Bench Verified).

A Pontuação: Usando um modelo de IA poderoso (Claude 4 Sonnet), o ExpeRepair corrigiu com sucesso 74,6% dos bugs no conjunto de testes mais difícil e 60,3% no conjunto mais leve.
A Comparação: Foi o melhor desempenho entre todos os métodos de código aberto que testaram. Superou outras ferramentas de ponta como SWE-agent, Aider e AutoCodeRover.
O Custo: Alcançou essas altas pontuações sem precisar de re-treinamento caro e demorado do modelo de IA. Apenas aprendeu "lendo" seu próprio trabalho passado.

Por Que Isso Importa

O artigo argumenta que as ferramentas atuais de reparo de IA são como alunos que fazem uma prova, recebem uma nota e imediatamente esquecem tudo antes da próxima prova. O ExpeRepair é como um aluno que mantém um guia de estudos, revisa seus erros e fica mais inteligente a cada problema que resolve.

Ao combinar exemplos específicos (Episódica) com sabedoria geral (Semântica), o sistema cria um ciclo de feedback onde a IA fica melhor em corrigir software quanto mais trabalha, mimetizando como desenvolvedores humanos realmente aprendem e melhoram ao longo do tempo.

Resumo Técnico: ExpeRepair

Declaração do Problema

A Reparação Automática de Programas (APR) tradicionalmente focou em bugs em nível de função, mas a manutenção de software no mundo real exige reparação em nível de repositório, envolvendo grandes bases de código, dependências complexas entre arquivos e descrições intrincadas de problemas. Embora abordagens recentes baseadas em Modelos de Linguagem de Grande Escala (LLM) tenham migrado para a reparação em nível de repositório, elas sofrem com duas limitações críticas:

Negligência da Experiência Histórica: Métodos atuais tratam cada problema de forma isolada, falhando em aproveitar padrões e insights valiosos de problemas previamente resolvidos no mesmo repositório.
Prompting Estático: Abordagens existentes dependem de prompts rígidos, criados manualmente, que não conseguem se adaptar às diversas convenções de codificação, padrões arquitetônicos ou contextos em evolução de diferentes projetos de software.

Metodologia: ExpeRepair

O ExpeRepair é um novo framework baseado em LLM projetado para superar essas limitações, mimetizando os sistemas de memória dupla da cognição humana (memória episódica e semântica). Ele opera sem exigir ajuste fino computacionalmente caro, dependendo, em vez disso, de um mecanismo de acumulação de conhecimento em dois canais.

Arquitetura Central

O sistema consiste em dois módulos principais:

Módulo de Reparação de Programas: Orquestra um Agente de Teste e um Agente de Patch que realizam colaborativamente a geração de testes, a geração de patches e a validação de patches. Esses agentes utilizam o algoritmo ReAct para processar tarefas iterativamente.
Módulo de Memória: Organiza trajetórias de reparo em duas memórias complementares:
- Memória Episódica: Armazena demonstrações concretas de reparo, incluindo pares (entrada, saída) bem-sucedidos e tentativas falhas com feedback.
- Memória Semântica: Codifica insights abstratos e reflexivos extraídos de trajetórias de reparo passadas (por exemplo, estratégias gerais, causas comuns de falha).

Fluxo de Trabalho

O ExpeRepair opera em duas fases:

Fase Inicial (Início Frio): O sistema processa um conjunto inicial de problemas (os primeiros cinco problemas por repositório) sem memória prévia. As trajetórias de reparo resultantes são extraídas e organizadas nas memórias episódica e semântica para estabelecer um "início quente".
Fase de Inferência: Para novos problemas, o ExpeRepair ativa dinamicamente ambos os sistemas de memória:
- Ativação Episódica: Recupera as $k$ demonstrações mais relevantes com base no contexto do problema atual e no feedback de execução (usando recuperação BM25). Estas servem como exemplos em contexto.
- Ativação Semântica: Recupera insights reflexivos de alto nível para guiar as estratégias de raciocínio dos agentes.
- Prompting Dinâmico: Os agentes recebem prompts aumentados combinando a definição da tarefa, o contexto do problema, o feedback de execução, as demonstrações recuperadas e os insights semânticos. Isso substitui prompts estáticos por instruções conscientes do contexto e impulsionadas pela experiência.

Manutenção da Memória

A memória semântica é atualizada dinamicamente por meio de um processo de resumo e atualização, onde o LLM analisa trajetórias de reparo para gerar novos insights. Esses insights são gerenciados usando três operações: ADICIONAR (novos insights valiosos), REMOVER (entradas contraditórias ou redundantes) e EDITAR (refinar ou mesclar insights sobrepostos). O sistema limita o número de insights para evitar saturação de contexto.

Principais Contribuições

Framework de Memória Dupla: Propõe o ExpeRepair, o primeiro método de APR em nível de repositório a aprender continuamente a partir de experiências históricas por meio de um sistema de memória dupla (episódica e semântica) sem atualizações de parâmetros.
Geração Dinâmica de Prompt: Desenha um mecanismo que adapta estratégias de reparo integrando demonstrações concretas e padrões abstratos, abordando a rigidez do prompting estático.
Validação Empírica: Realiza experimentos abrangentes no SWE-Bench Lite e SWE-Bench Verified, demonstrando desempenho de última geração entre métodos de código aberto.
Código Aberto: Fornece código-fonte publicamente acessível para facilitar a replicação e pesquisas futuras.

Resultados Experimentais

Os autores avaliaram o ExpeRepair no SWE-Bench Lite (300 problemas) e no SWE-Bench Verified (problemas solucionáveis curados) usando diversas bases de LLM (Claude 3.5 Sonnet, Claude 4 Sonnet, etc.).

Desempenho: Usando o Claude 4 Sonnet, o ExpeRepair alcançou 60,3% de pass@1 no SWE-Bench Lite e 74,6% de pass@1 no SWE-Bench Verified.
Comparação: Esses resultados superam todas as linhas de base de código aberto avaliadas, incluindo SWE-agent, AutoCodeRover, SpecRover, Agentless, OpenHands, PatchPilot e DARS. Por exemplo, no SWE-Bench Verified, o ExpeRepair (74,6%) superou significativamente o próximo melhor método de código aberto, o DARS (não relatado no Verified na tabela, mas o PatchPilot foi de 53,6%).
Eficiência: O ExpeRepair mantém custos de inferência competitivos (aproximadamente US$ 1,91 por instância com o Claude 4), significativamente menores do que estratégias de alto custo como o DARS (US$ 12,24).
Estudos de Ablação:
- A remoção de todo o Módulo de Memória causou a maior queda de desempenho (por exemplo, de 60,3% para ~50% no Verified com o Claude 4), confirmando a necessidade da experiência histórica.
- A Memória Episódica (demonstrações concretas) contribuiu mais para os ganhos de desempenho do que a Memória Semântica (insights abstratos), embora ambas fossem essenciais para resultados ótimos.
- Recuperação: A recuperação baseada em termos (BM25) superou a recuperação baseada em embeddings, sugerindo que a sobreposição léxica em mensagens de erro e feedback é crucial para a geração de código.
- Gerenciamento de Memória: Estratégias incluindo operações REMOVER e EDITAR foram críticas; a acumulação simples (apenas ADICIONAR) levou à degradação do desempenho devido ao ruído de contexto.

Significado e Alegações

O artigo afirma que o ExpeRepair demonstra que aproveitar o conhecimento de reparo passado melhora significativamente o desempenho em tarefas desafiadoras de reparo em nível de repositório. Ao modelar como os desenvolvedores aprendem e se adaptam ao longo do tempo, o ExpeRepair alcança um efeito sinérgico onde demonstrações específicas fornecem referências precisas de implementação e insights reflexivos permitem adaptação generalizada.

Os autores enfatizam que sua abordagem oferece um equilíbrio favorável entre eficácia e eficiência, evitando os altos custos do ajuste fino enquanto supera métodos complexos de orquestração de agentes. Eles observam que, embora o método seja agnóstico à linguagem em seu design, sua avaliação atual é limitada a Python. Além disso, reconhecem que, embora o sistema de memória dupla aprimore a geração de testes e patches, a localização de bugs permanece um desafio devido à falta de oráculos automatizados para verificação, identificando isso como uma direção para trabalhos futuros.

O estudo conclui que diferentes métodos de reparo possuem vieses indutivos complementares; o ExpeRepair se destaca em cenários com padrões recorrentes, enquanto outros métodos (como o DARS) podem ser mais adequados para problemas novos que exigem raciocínio exploratório.