Resumo Técnico: Avaliando LLMs na Adaptação de Snippets de Código Java Usando um Framework de Injeção de Mutação

Declaração do Problema

Desenvolvedores frequentemente reutilizam código copiando fragmentos de repositórios existentes ou fontes online e adaptando-os para se ajustarem a novos contextos. Esse processo de adaptação envolve mudanças diversas, como renomear variáveis, trocar APIs, adicionar tratamento de erros e modificar o fluxo de controle. Em cenários do mundo real, os desenvolvedores não fornecem instruções de edição passo a passo explícitas; eles esperam que as ferramentas infiram as mudanças necessárias com base no fragmento copiado e em seu contexto circundante.

Os benchmarks atuais para avaliar Modelos de Linguagem de Grande Escala (LLMs) na adaptação de código sofrem de três limitações primárias:

1. Dependência de Instruções Explícitas: Muitas avaliações existentes fornecem orientação de edição explícita, falhando em testar a capacidade do modelo de inferir mudanças autonomamente.
2. Escopo Estreito: Os benchmarks costumam cobrir apenas tipos específicos de mudanças (ex: fiação de variáveis) ou operam exclusivamente ao nível de função, ignorando a granularidade mais fina de fragmentos de código (ex: corpos de loops, ramos condicionais) onde as operações de copiar e colar tipicamente ocorrem.
3. Falta de Verdade Fundamental Controlada: Tarefas derivadas de commits reais frequentemente emaranham múltiplos tipos de mudança, tornando difícil isolar qual tipo específico de adaptação causa as falhas do modelo.

Consequentemente, permanece desconhecido o quão bem os LLMs podem realizar a adaptação livre de instruções de fragmentos de código quando as mudanças necessárias são variadas, controladas e apresentadas em diferentes níveis de complexidade e contexto.

Metodologia

Os autores propõem um Framework de Injeção de Mutação para construir um conjunto de dados controlado e escalável para avaliar a adaptação de código livre de instruções. A metodologia procede da seguinte forma:

1. Construção do Conjunto de Dados

• Fonte: Repositórios Java de código aberto maduros (mínimo de 500 estrelas, 70% de cobertura de linhas via JaCoCo, compiláveis via Maven) abrangendo pelo menos cinco domínios de aplicação distintos.
• Extração de Fragmentos: Usando o framework Spoon, os autores extraem fragmentos de código sintaticamente completos e contíguos (3 a 20 declarações) que são cobertos por casos de teste e contêm pelo menos dois identificadores não-palavra-chave.
• Seleção de Sementes: Os fragmentos servem como "sementes de verdade fundamental" que representam o estado alvo.

2. Injeção de Mutação (Adaptação Reversa)

Em vez de pedir aos modelos para adaptar o código a um alvo, o framework parte do alvo (a semente) e aplica operadores de adaptação de forma reversa para criar um fragmento mutado ($F'$).

• Taxonomia: Um conjunto curado de nove operadores de mutação derivados de estudos empíricos do comportamento do desenvolvedor (ex: Zhang et al., Roy et al.). Estes incluem:
  • Nível de identificador: Renomeação de variáveis, atualizações de constantes, resolução de identificadores.
  • Nível de declaração: Inserção de guardas, mudanças de tipo, edições de try/catch.
  • Estrutural/Semântico: Modificação de fluxo de controle, substituição de API, customização de lógica.
• Validação: As mutações são validadas para garantir que o código resultante compile e, crucialmente, falhe em pelo menos um caso de teste existente no repositório. Isso garante que a mutação introduza um defeito semântico que o LLM deve corrigir.
• Níveis de Complexidade: As tarefas são categorizadas por complexidade ($L1$ a $L4$) com base no número e combinação de mutações injetadas.

3. Formulação da Tarefa

Os LLMs recebem o fragmento mutado ($F'$) e um prompt instruindo-os a "adaptar o snippet para se ajustar ao contexto circundante". Nenhuma lista de edição explícita ou orientação passo a passo é fornecida.

• Granularidade de Contexto: O estudo avalia três níveis de contexto:
  • C1: Sem contexto (apenas o fragmento).
  • C2: Contexto de método (corpo do método envolvente).
  • C3: Contexto de arquivo (arquivo fonte completo).

4. Métricas de Avaliação

• Corretude Funcional: O output do LLM é reinserido no local original do código base, e a suíte de testes do repositório é executada. O sucesso é medido via pass@1 e pass@5 (onde qualquer um dos 5 outputs gerados passa).
• Corretude de Nível de Adaptação: Uma inspeção detalhada verifica se mutações específicas injetadas foram corretamente revertidas, utilizando metadados JSON registrados durante a injeção.
• Análise Estatística: Regressão logística de efeitos mistos é usada para analisar interações entre modelo, tipo de adaptação, contexto e complexidade.

Principais Contribuições

1. Paradigma de Avaliação Livre de Instruções: O estudo desloca o foco de orientações de edição explícitas para a inferência autônoma, refletindo melhor os cenários reais de reutilização de código.
2. Granularidade de Nível de Fragmento: Diferente dos benchmarks de nível de função, este framework visa unidades sub-método (loops, condicionais), alinhando-se à forma como desenvolvedores realmente copiam e colam código em IDEs.
3. Verdade Fundamental Controlada via Injeção de Mutação: Ao aplicar operadores de forma reversa, os autores sabem exatamente quais mudanças são necessárias. Isso permite a atribuição precisa de falhas do modelo a tipos de adaptação específicos, uma capacidade ausente em benchmarks construídos a partir de commits reais emaranhados.
4. Framework Escalável e Reutilizável: A taxonomia é operacionalizada como operadores de mutação programáveis, permitindo que futuros pesquisadores avaliem novas ferramentas em escala sem anotação manual.

Questões de Pesquisa

O estudo é estruturado em torno de três questões exploratórias:

• RQ1 (Dificuldade do Tipo de Adaptação): Quais categorias de adaptação são mais difíceis para os LLMs realizarem sem instruções explícitas?
• RQ2 (Complexidade da Adaptação): Como o desempenho escala com o número e a combinação de mudanças injetadas? A combinação de mudanças fáceis cria dificuldade emergente?
• RQ3 (Granularidade de Contexto): Quanto contexto circundante é necessário para uma adaptação bem-sucedida, e esse requisito varia conforme o tipo de adaptação?

Significância e Alegações

O artigo posiciona-se como um Relatório Registrado (Registered Report), enfatizando o rigor de seu design experimental e a natureza pré-registrada de seu plano de análise.

• Abordando a Lacuna: Os autores alegam que os benchmarks existentes falham em oferecer simultaneamente tarefas livres de instruções, granularidade de nível de fragmento, tipos de mudança controlados e escalabilidade. Seu framework é projetado para preencher essa lacuna combinada.
• Impacto Prático: Os resultados visam guiar o desenvolvimento de futuras ferramentas de reutilização de código e plugins de IDE, identificando tipos de adaptação específicos onde os LLMs atuais têm dificuldades e determinando janelas de contexto ideais para diferentes tipos de mudança.
• Reprodutibilidade: Os autores comprometem-se a tornar o conjunto de dados completo, o framework de mutação e os scripts de avaliação publicamente disponíveis para apoiar a replicação e extensão.

O artigo não alega ter resolvido o problema da adaptação de código, mas sim proposto um método sistemático para medir o estado atual dos LLMs neste domínio, fornecendo uma linha de base para melhorias futuras. Ele reconhece limitações, como a restrição a Java/Maven e a potencial divergência entre mutações sintéticas e adaptações naturais de desenvolvedores, observando que o framework é projetado para ser extensível a outras linguagens e sistemas de build em trabalhos futuros.