RefAgent: A Multi-agent LLM-based Framework for Automatic Software Refactoring

O artigo apresenta o RefAgent, um framework multiagente baseado em LLMs que supera abordagens de agente único e ferramentas tradicionais ao realizar refatoração de software automatizada e end-to-end, alcançando altas taxas de sucesso em testes, redução significativa de "code smells" e melhoria na qualidade do código.

O essencial

Imagine que você tem um prédio antigo e muito grande (um software). Com o tempo, ele fica cheio de problemas: paredes tortas, encanamentos emaranhados, cômodos que não fazem sentido e uma bagunça geral. Isso é o que os programadores chamam de "código sujo" ou "cheiro de código".

Limpar esse prédio manualmente é difícil, demorado e perigoso: você pode quebrar algo importante sem querer. Ferramentas automáticas antigas tentam ajudar, mas muitas vezes são como robôs cegos que tentam arrumar tudo de uma vez e acabam derrubando a parede errada.

É aqui que entra o RefAgent, o protagonista deste artigo.

O Que é o RefAgent?

Pense no RefAgent não como um único robô, mas como uma equipe de especialistas trabalhando juntos, cada um com um papel específico, guiados por uma "inteligência artificial" superpoderosa (chamada LLM).

Em vez de uma pessoa tentando fazer tudo sozinha, o RefAgent divide o trabalho em quatro "agentes" (funcionários virtuais):

1. O Planejador (O Arquiteto):

   • O que ele faz: Ele entra no prédio, olha ao redor, mede as paredes e descobre onde estão os problemas. Ele não apenas aponta o erro; ele cria um plano de reforma detalhado.
   • Analogia: É como um arquiteto que diz: "Vamos tirar essa parede aqui para abrir a sala, mas precisamos reforçar a viga antes."

2. O Gerador (O Pedreiro):

   • O que ele faz: Ele pega o plano do arquiteto e começa a trabalhar. Ele reescreve o código, faz as mudanças estruturais e tenta deixar o prédio mais bonito e organizado.
   • Analogia: É o pedreiro que segue as instruções do arquiteto para demolir e construir.

3. O Compilador (O Inspetor de Segurança):

   • O que ele faz: Toda vez que o pedreiro faz uma mudança, esse agente verifica se o prédio ainda está de pé. Ele tenta "ligar a luz" (compilar o código). Se a luz não acender (erro de compilação), ele avisa o pedreiro: "Ei, você esqueceu um fio aqui!" e eles tentam de novo.
   • Analogia: É o engenheiro que verifica se a estrutura não vai desabar.

4. O Testador (O Fiscal de Funcionalidade):

   • O que ele faz: Ele garante que, mesmo com as reformas, o prédio ainda funciona como antes. Ele roda testes automáticos para ver se as portas abrem, se a água corre e se ninguém ficou preso. Se algo quebrar, ele manda o pedreiro consertar.
   • Analogia: É o fiscal que garante que, após a reforma, o apartamento ainda é habitável e seguro.

Como Eles Trabalham Juntos?

A mágica acontece na colaboração e na repetição.

Se o pedreiro erra, o inspetor avisa. O pedreiro conserta, mas talvez ele tenha criado um novo problema. O fiscal testa de novo. Eles fazem isso em um ciclo de até 20 vezes (iterações) até que tudo esteja perfeito.

Diferente de um robô solitário que tenta adivinhar a solução de uma vez só, essa equipe conversa, reflete sobre os erros e melhora o trabalho passo a passo. É como ter uma equipe de reforma onde o arquiteto, o pedreiro e o engenheiro estão sempre conversando para garantir que o resultado final seja perfeito.

O Que Eles Descobriram?

Os autores do estudo testaram essa equipe em 8 grandes projetos de código aberto (como se fossem 8 prédios gigantes diferentes). Os resultados foram impressionantes:

• Segurança: O RefAgent conseguiu manter o prédio funcionando em 90% dos casos (os testes passaram). Isso significa que eles arrumaram a bagunça sem derrubar o telhado.
• Limpeza: Eles reduziram os "maus cheiros" (problemas de design) em mais da metade (52,5%).
• Qualidade: O prédio ficou mais fácil de entender, mais reutilizável e mais flexível.
• Comparação: Quando comparado a um único robô (um agente sozinho) ou a ferramentas antigas, a equipe (RefAgent) foi muito superior. O robô sozinho muitas vezes quebrava coisas ou falhava em encontrar as melhores soluções.

Por Que Isso é Importante?

No passado, tentar automatizar a limpeza de código era como tentar ensinar um único cachorro a fazer a cirurgia de um gato: difícil e propenso a erros.

O RefAgent mostra que, quando usamos inteligência artificial em equipe, podemos automatizar tarefas complexas de software com segurança. Isso libera os programadores humanos para fazerem coisas mais criativas, enquanto a "equipe de agentes" cuida da manutenção pesada, garantindo que o software continue saudável, seguro e fácil de usar por anos.

Resumo da Ópera: O RefAgent é como contratar uma equipe de elite de especialistas em IA para reformar sua casa digital, garantindo que ela fique mais bonita, forte e funcional, sem que você precise levantar um dedo (ou quebrar um tijolo).

Resumo técnico

Título: RefAgent: Um Framework Baseado em Agentes Múltiplos e LLMs para Refatoração Automática de Software

1. Problema e Motivação

O desenvolvimento de software em grande escala tende a aumentar em complexidade, acumulando "dívida técnica" na forma de code smells (maus cheiros de código) e falhas de design. A refatoração é a prática essencial para melhorar o design do código sem alterar seu comportamento observável. No entanto, a refatoração manual é propensa a erros e consome muito tempo, enquanto as técnicas automatizadas existentes apresentam limitações significativas:

• Ferramentas de IDE: Suportam apenas um conjunto limitado de refatorações e exigem esforço manual.
• Técnicas Baseadas em Busca (Search-based): Frequentemente alteram radicalmente o design, não garantem a preservação do comportamento e são computacionalmente proibitivas para projetos grandes.
• LLMs Tradicionais (Prompting Estático): Embora LLMs (Large Language Models) tenham mostrado potencial, eles geralmente dependem de instruções estáticas e não conseguem adaptar-se dinamicamente a contextos complexos, corrigir erros de compilação ou validar testes de forma iterativa, levando a falhas na preservação da funcionalidade.

O artigo identifica a necessidade de uma solução dinâmica, consciente do contexto e adaptativa, capaz de coordenar fluxos de trabalho complexos de validação e correção.

2. Metodologia: O Framework RefAgent

O RefAgent é um framework totalmente automatizado que utiliza uma arquitetura de agentes múltiplos baseados em LLMs para realizar refatoração de ponta a ponta. Em vez de um único modelo tentar fazer tudo, o sistema distribui tarefas entre agentes especializados que colaboram e iteram sobre o código.

Componentes Principais (Agentes):

1. Agente Planejador Consciente do Contexto (Context-Aware Planner Agent):
   • Identifica oportunidades de refatoração analisando dependências e métricas de qualidade.
   • Utiliza ferramentas como jdeps para gerar grafos de dependência e DesigniteJava para extrair métricas (complexidade ciclomática, acoplamento, etc.).
   • Gera um plano estruturado (JSON) detalhando quais regiões do código (métodos, campos) devem ser alteradas e como.
2. Agente Gerador de Refatoração (Refactoring Generator Agent):
   • Executa o plano fornecido pelo Planejador, gerando o código Java refatorado.
   • Recebe feedback de outros agentes (erros de compilação ou falhas de teste) e ajusta o código iterativamente, mantendo as instruções originais do plano como guia.
3. Agente Compilador (Compiler Agent):
   • Interage com o ambiente de compilação (Maven) para validar a sintaxe do código gerado.
   • Se houver erro, analisa o log, resume o erro e solicita ao Agente Gerador que corrija o código.
   • Opera em um loop de feedback de até 20 iterações.
4. Agente Testador (Tester Agent):
   • Garante a preservação da funcionalidade.
   • Utiliza testes existentes do desenvolvedor (extraídos via jdeps) e gera novos testes de regressão usando a ferramenta EvoSuite.
   • Executa os testes via Maven. Se falharem, envia o resumo da falha ao Agente Gerador para correção. Se falhar após 20 iterações, o agente rejeita a refatoração e preserva o código original.

Fluxo de Trabalho:
O sistema seleciona uma classe alvo, planeja a refatoração, gera o código, valida a compilação e executa testes. Se qualquer etapa falhar, o loop de feedback é acionado para correção automática antes de prosseguir para a próxima classe.

3. Contribuições Chave

• Arquitetura Multi-Agente para Refatoração: Propõe o primeiro framework multi-agente especificamente desenhado para refatoração de software, superando as limitações de abordagens de agente único ou prompting estático.
• Preservação de Comportamento Dinâmica: Ao integrar loops de feedback com compiladores e geradores de testes (EvoSuite), o RefAgent garante que as transformações de código não quebrem a funcionalidade, algo crítico em refatoração.
• Avaliação Abrangente: O framework foi testado em 8 projetos Java de código aberto (ex: JClouds, Apache Accumulo, SkyWalking), comparando-se com desenvolvedores humanos, ferramentas baseadas em busca (RefGen) e abordagens de agente único.
• Estudo de Ablação: Analisa a contribuição de cada componente (planejamento, contexto, loops de iteração) para a eficácia geral do sistema.

4. Resultados Principais

Os resultados foram avaliados em três Perguntas de Pesquisa (RQs):

• RQ1 (Qualidade do Software):

  • Taxa de Sucesso: O RefAgent alcançou uma mediana de 90% de aprovação em testes unitários e 87-88% de sucesso na compilação.
  • Redução de Code Smells: Reduziu os code smells em uma mediana de 52,5%.
  • Melhoria de Qualidade: Melhorou atributos de qualidade chave (como reutilizabilidade) em 8,6% (mediana) usando métricas QMOOD.
  • Robustez: O desempenho foi consistente entre diferentes LLMs (GPT-4o, StarCoder2, DeepSeek-Coder), indicando que a arquitetura multi-agente é mais importante que o modelo específico.

• RQ2 (Identificação de Oportunidades vs. Baselines):

  • O RefAgent alinhou-se fortemente com as decisões de desenvolvedores humanos e ferramentas de busca.
  • F1-Score: Alcançou um F1-score mediano de 79,15% comparado a desenvolvedores e 72,7% comparado à ferramenta de busca RefGen, demonstrando capacidade de identificar oportunidades de refatoração relevantes.

• RQ3 (Contribuição dos Componentes - Estudo de Ablação):

  • Multi-Agente vs. Agente Único: O RefAgent superou significativamente abordagens de agente único (Pass@1 e Pass@3). A taxa de aprovação de testes unitários do RefAgent (90%) foi muito superior à do agente único (44,5% no Pass@1).
  • Importância do Contexto e Iteração: A remoção da recuperação de contexto (context retrieval) causou uma queda drástica no desempenho. Da mesma forma, o processo iterativo (até 20 iterações) mostrou-se essencial, com as taxas de sucesso estabilizando e melhorando progressivamente a cada iteração.

5. Significado e Conclusão

O RefAgent demonstra que a arquitetura de agentes múltiplos é um avanço crucial para a automação de refatoração de software. Ao simular o fluxo de trabalho colaborativo de desenvolvedores humanos (planejamento, codificação, compilação, teste e correção), o sistema consegue lidar com a complexidade de projetos reais, preservando a funcionalidade e melhorando a qualidade do design.

O estudo valida que a combinação de LLMs com ferramentas de engenharia de software (compiladores, geradores de testes, analisadores de métricas) em um ciclo de feedback fechado supera as abordagens estáticas atuais. Isso abre caminho para ferramentas de IA que podem realizar refatorações complexas ("root-canal") de forma autônoma, reduzindo a carga cognitiva dos desenvolvedores e a dívida técnica em sistemas legados.

Disponibilidade de Dados: O código e os scripts para replicação estão disponíveis publicamente no repositório GitHub do projeto.