From Restructuring to Stabilization: A Large-Scale Experiment on Iterative Code Readability Refactoring with Large Language Models

1. Problema e Motivação

O uso de Modelos de Linguagem Grandes (LLMs) para refatoração automática de código está em crescimento, mas há preocupações sobre a consistência e a previsibilidade dessas alterações. Embora os LLMs possam gerar código legível, não está claro se eles:

1. Conseguem preservar código já bem estruturado ou se tendem a introduzir mudanças desnecessárias ("over-refactoring").
2. Convergem para uma representação estável e "ideal" de legibilidade quando aplicados iterativamente.
3. Como diferentes estratégias de prompting (instruções) influenciam a dinâmica de refatoração e a estabilidade do resultado.

O estudo visa preencher essa lacuna investigando o comportamento dos LLMs em ciclos iterativos de refatoração focados em legibilidade, analisando se o processo converge ou oscila indefinidamente.

2. Metodologia

Os autores conduziram um experimento em larga escala utilizando o modelo GPT-5.1 da OpenAI.

• Dataset: 230 trechos de código Java (snippets) extraídos do repositório "The Algorithms – Java".
• Variações de Entrada: Cada snippet original foi transformado em três variantes para testar robustez:
  1. Original: Código seguindo boas práticas.
  2. Meaningless: Identificadores (variáveis, métodos, classes) e conteúdo de comentários tornados sem sentido, mantendo a estrutura.
  3. NoComment: Todos os comentários e documentação removidos.
• Estratégia de Refatoração Iterativa:
  • Cada variante passou por 5 iterações de refatoração.
  • Foram utilizadas 3 estratégias de Prompt:
    1. Unguided (Geral): "Refactor this code for improved readability."
    2. Targeted (Identificadores): Foco explícito em "identifier naming".
    3. Targeted (Comentários): Foco explícito em "comments".
  • Total de snippets gerados: 10.350 (230 arquivos × 3 variantes × 3 prompts × 5 iterações).
• Ferramentas e Métricas:
  • Desenvolvimento de um DiffParser personalizado (Python) para analisar mudanças linha a linha.
  • Classificação das mudanças em: Implementação (semântica), Sintaxe e Comentários.
  • Métricas quantitativas: Linhas totais, linhas de código, linhas de comentário, número de métodos, e pontuação de similaridade média entre versões.
  • Validação Funcional: Execução de testes unitários em um subconjunto de snippets para garantir que a funcionalidade não foi quebrada.
  • Análise de Robustez: Repetição do experimento com código "novo" (criado após a data de corte de treinamento do modelo) para verificar se os resultados dependem de memorização.

3. Principais Contribuições

1. Evidência Empírica de Convergência: Demonstração de que a refatoração iterativa por LLMs segue um padrão de "reestruturação inicial seguida de estabilização", sugerindo uma compreensão internalizada de um código "optimalmente legível".
2. Impacto do Prompting: Evidência de que prompts direcionados alteram significativamente a trajetória de refatoração (ex.: prompts focados em nomes causam oscilação, enquanto prompts focados em comentários levam à estabilização).
3. Framework Agnóstico a LLMs: Uma metodologia e ferramenta reutilizáveis para analisar a evolução do código sob refatoração iterativa, aplicável a diferentes modelos.
4. Pacote de Replicação: Disponibilização pública de todos os dados, scripts e snippets para reprodução e estudos futuros.

4. Resultados Chave

RQ1: Evolução da Refatoração Iterativa

• Fase de Reestruturação: As primeiras iterações (v0 → v1) introduzem mudanças substanciais (renomeação, decomposição de métodos, remoção de comentários), mesmo quando o código de entrada já seguia boas práticas.
• Fase de Estabilização: A partir da segunda ou terceira iteração, as mudanças tornam-se marginais e a similaridade entre versões aumenta consistentemente.
• Sobre-refatoração: O LLM não para estritamente quando o código é "bom"; ele continua a fazer micro-ajustes, indicando uma tendência a não atingir um ponto de parada perfeito sem critérios explícitos.

RQ2: Convergência entre Variantes de Código

• Normalização: Variantes iniciadas com identificadores sem sentido ou sem comentários convergem para estruturas finais muito semelhantes às variantes originais.
• Robustez: A distância inicial (qualidade do código) afeta a velocidade da convergência, mas não o resultado final. O LLM tende a "normalizar" entradas divergentes para uma representação estrutural comum.
• Similaridade: As pontuações de similaridade entre as variantes convergem para um intervalo estreito (aprox. 0.87–0.90) nas iterações finais.

RQ3: Impacto do Prompting Explícito

• Foco em Nomes (Naming): Prompts que exigem renomeação levam a um comportamento oscilatório. O modelo continua a renomear identificadores em ciclos (A → B → A) sem estabilizar, sugerindo que não há um "ponto ótimo" claro para o modelo nesse aspecto sem contexto adicional.
• Foco em Comentários: Prompts que focam em comentários levam a uma estabilização rápida. O modelo adiciona comentários na primeira iteração e para, reconhecendo que mais inserções não melhoram a legibilidade.
• Significância Estatística: Testes de Kruskal-Wallis e Mann-Whitney confirmaram que a escolha do prompt tem um efeito estatisticamente significativo no tipo e na frequência das mudanças.

Validação Funcional e Robustez

• Correção Funcional: A taxa de sucesso dos testes unitários caiu apenas marginalmente (< 1%) a cada iteração, indicando que a legibilidade foi melhorada sem quebrar a funcionalidade na maioria dos casos.
• Código Novo: Os resultados se mantiveram consistentes quando testados com código criado após a data de treinamento do modelo, sugerindo que o comportamento é baseado em princípios de codificação e não apenas em memorização de dados.

5. Significância e Implicações

• Para a Engenharia de Software: O estudo fornece uma base empírica para o uso de LLMs em ferramentas de refatoração. Sugere que a refatoração automática deve incluir critérios de parada explícitos para evitar ciclos infinitos de mudanças (especialmente em renomeação).
• Para a Pesquisa em IA: Revela que os LLMs possuem uma noção internalizada de "boas práticas" de codificação que supera as variações iniciais de entrada, mas que essa noção pode ser instável dependendo da instrução dada.
• Direções Futuras: A necessidade de desenvolver mecanismos de "guardrails" (barreiras de segurança) para evitar a degradação de código e a importância de manter contexto entre iterações para reduzir oscilações.

Em resumo, o artigo demonstra que, embora os LLMs sejam ferramentas poderosas para normalizar e melhorar a legibilidade do código, seu uso iterativo requer controle cuidadoso para evitar mudanças desnecessárias e oscilações, especialmente quando o objetivo é focado em aspectos específicos como nomenclatura de variáveis.