MultiMend: Multilingual Program Repair with Context Augmentation and Multi-Hunk Patch Generation

Resumo Técnico: MultiMend

1. O Problema

A depuração de software continua sendo um processo intensivo em mão de obra e demorado, apesar dos avanços em testes e verificação. A Reparação Automática de Programas (APR) baseada em aprendizado de máquina surgiu como uma solução promissora, mas as técnicas existentes enfrentam desafios significativos:

• Dependência de Linguagem: Muitas ferramentas são específicas para uma única linguagem de programação.
• Contexto Limitado: As abordagens atuais geralmente restringem o contexto de reparo às linhas imediatas ao redor do erro ou à função que o contém. No entanto, informações relevantes para o reparo podem estar localizadas em partes distantes do arquivo ou do projeto.
• Dificuldade com Bugs Multi-Hunk: A maioria dos modelos de APR foca em corrigir defeitos em uma única localização contínua (single-hunk). Bugs reais frequentemente exigem correções em múltiplas localizações não contíguas (multi-hunk), o que aumenta exponencialmente o espaço de busca e a complexidade da validação.
• Dependência de Bancos de Dados Externos: Muitas ferramentas dependem de bancos de dados externos de exemplos de correção, o que pode não estar disponível para todos os projetos.

2. Metodologia (MultiMend)

O MultiMend é uma abordagem de APR baseada em aprendizado, multilíngue, projetada para superar as limitações acima através de duas inovações principais: Aumento de Contexto (Context Augmentation) e Geração de Patches Multi-Hunk.

Arquitetura e Etapas:

1. Modelo Base e Fine-tuning:

   • Utiliza o CodeT5-small (um modelo de linguagem pré-treinado para código) como base.
   • O modelo é ajustado (fine-tuned) em um grande conjunto de dados multilíngue (Java, Python, C, JavaScript) extraído de repositórios de código aberto (histórico de commits), seguindo o processo do CoCoNuT.
   • Emprega uma estratégia de ensemble de checkpoints: em vez de treinar múltiplos modelos especializados, o MultiMend utiliza vários "snapshots" (checkpoints) do mesmo modelo durante o treinamento para gerar uma lista diversificada de candidatos.

2. Aumento de Contexto via RAG (Retrieval-Augmented Generation):

   • Diferente de métodos que buscam exemplos em bancos de dados externos, o MultiMend realiza a recuperação de contexto diretamente dentro do mesmo arquivo fonte defeituoso.
   • Mecanismo:
     • As linhas do arquivo fora do contexto imediato são codificadas em vetores (embeddings) usando um modelo de incorporação densa.
     • Durante a inferência, o "hunk" defeituoso é também vetorizado e usado para recuperar as linhas mais semanticamente similares (até um limite $r$) do mesmo arquivo.
     • Essas linhas recuperadas são injetadas na entrada do modelo junto com o contexto da função, fornecendo "ingredientes" de reparo relevantes sem necessidade de dados externos.

3. Geração e Validação de Patches Multi-Hunk:

   • Para bugs que afetam múltiplas localizações, o MultiMend adota uma estratégia sistemática para evitar a explosão combinatória de validações ($t^h$, onde $t$ é o número de patches por hunk e $h$ o número de hunks).
   • Estratégia de Validação:
     • Primeiro, tenta identificar um patch único que possa ser aplicado uniformemente a todos os hunks.
     • Caso falhe, valida patches para cada hunk individualmente, mantendo correções parciais que resolvem subconjuntos de testes falhos.
     • Combina essas correções parciais iterativamente para formar um patch completo, reduzindo drasticamente o número de validações necessárias (de milhões para centenas).

3. Principais Contribuições

• Ferramenta Multilíngue: Introdução do MultiMend, capaz de reparar bugs em Java, Python, C e JavaScript usando um único modelo.
• Aumento de Contexto Independente de Linguagem: Uso de RAG baseado em similaridade semântica dentro do próprio arquivo defeituoso para enriquecer a entrada do modelo, eliminando a dependência de bancos de dados externos de correções.
• Estratégia Sistemática Multi-Hunk: Um método eficiente para gerar e validar patches para bugs que exigem alterações em múltiplas localizações, estendendo a capacidade de modelos de single-hunk para cenários complexos.
• Avaliação Abrangente: Testes extensivos em seis benchmarks diferentes, cobrindo mais de 5.500 bugs reais.

4. Resultados Experimentais

O MultiMend foi avaliado em benchmarks como Defects4J, QuixBugs, Codeflaws, BugAID, BugsInPy e RunBugRun, comparado com 18 ferramentas state-of-the-art (SOTA).

• Eficácia Geral:
  • O MultiMend corrigiu corretamente 2.227 bugs (considerando apenas o primeiro patch plausível).
  • Desses, 1.545 patches foram idênticos ao patch fornecido pelo desenvolvedor (ground-truth).
  • Superou ou empatou com a maioria das ferramentas SOTA em todos os benchmarks, exceto no Defects4J v1.2, onde ficou em segundo lugar (atrás do Gamma).
• Desempenho Multi-Hunk:
  • O sistema corrigiu com sucesso 121 bugs multi-hunk, demonstrando capacidade de lidar com defeitos complexos que outras ferramentas frequentemente ignoram ou falham em corrigir completamente.
• Contribuição dos Componentes:
  • A ablação mostrou que o aumento de contexto melhorou o desempenho em todos os benchmarks, gerando 23 patches corretos adicionais que não seriam encontrados sem ele.
  • A estratégia multi-hunk foi crucial para resolver bugs que exigem mudanças em várias partes do código.
• Eficiência:
  • O modelo mantém uma alta taxa de correção nos primeiros candidatos (top-10 a top-100), indicando um bom ordenamento de patches.
  • O tempo médio para encontrar um patch plausível foi baixo (cerca de 3 segundos em mediana), embora bugs com muitos hunks possam aumentar esse tempo devido à validação.

5. Significado e Conclusão

O MultiMend representa um avanço significativo no campo da APR ao demonstrar que é possível criar uma ferramenta robusta, multilíngue e eficiente sem depender de grandes bancos de dados externos de exemplos.

• Inovação Técnica: A combinação de RAG aplicado ao próprio arquivo fonte e uma estratégia inteligente de validação multi-hunk resolve dois gargalos principais da área: a falta de contexto relevante e a complexidade de bugs distribuídos.
• Impacto Prático: Com a capacidade de gerar patches idênticos aos dos desenvolvedores em uma grande variedade de linguagens e cenários, o MultiMend oferece uma solução prática para reduzir o esforço manual na manutenção de software.
• Futuro: Os autores sugerem que o uso de modelos com janelas de contexto maiores, a integração com fluxos de trabalho conversacionais (LLMs instruídos) e a melhoria nos mecanismos de ordenação de patches são direções promissoras para futuras pesquisas.

Em resumo, o MultiMend estabelece um novo estado da arte em APR, provando que a augmentação de contexto inteligente e a gestão eficiente de bugs complexos podem levar a taxas de sucesso superiores em cenários do mundo real.