Resumo Técnico: Além dos Resumos: Rotulagem Estrutural de Alterações de Código com Grandes Modelos de Linguagem

Declaração do Problema

A revisão de código é uma prática crítica de engenharia de software para detecção de defeitos e compartilhamento de conhecimento, mas enfrenta gargalos devido ao aumento da escala e frequência de patches de código. Embora os Grandes Modelos de Linguagem (LLMs) tenham sido aplicados com sucesso em tarefas de revisão de código, como sumarização e geração de comentários, essas abordagens produzem predominantemente saídas em texto livre. Tais saídas não estruturadas são difíceis de integrar em fluxos de trabalho automatizados, pipelines de análise ou sistemas de painel.

Por outro lado, as ferramentas tradicionais de análise estática oferecem detecção estruturada de alterações com garantias formais, mas são frequentemente específicas de linguagem, custosas para extensão e exigem esforço significativo de engenharia para manutenção. Existe uma lacuna na literatura quanto a um método que forneça rotulagem estruturada e agnóstica à linguagem de alterações de código (hunks de diff) que capture não apenas tipos de alteração, mas também relações estruturais (por exemplo, propagação de renomeação) e atributos semânticos, sem a sobrecarga das pipelines tradicionais de análise estática.

Metodologia

Os autores propõem um estudo sistemático e um pipeline de duas etapas para rotulagem baseada em taxonomia de alterações de código usando LLMs. O sistema decompõe um patch em hunks de diff e atribui rótulos a partir de uma taxonomia definida $T$ (por exemplo, renomeação, movimentação, redefinição de tipo, alteração de lógica, alteração de estilo).

O Pipeline de Duas Etapas

1. Rotulador (Atribuição de Rótulos):

   • Tarefa: Atribui zero ou mais tipos de rótulos a hunks de diff individuais com base no conteúdo.
   • Mecanismo: Utiliza prompting com poucos exemplos (few-shot) com uma descrição da tarefa, definições de taxonomia de rótulos e exemplos.
   • Estratégias de Contexto: Os autores avaliam três modos operacionais para estudar o trade-off de contexto:
     • Por hunk: Inferência em um único hunk com contexto local limitado (5 linhas antes/depois).
     • Por arquivo: Inferência em todos os hunks dentro de um único arquivo.
     • Por patch: Inferência em todos os hunks em todo o patch.
   • Saída: Um conjunto de tipos de rótulos para cada hunk, inicializado com valores padrão para campos estruturais.

2. Refinador (Extração de Estrutura):

   • Tarefa: Refina os rótulos iniciais atribuindo relações estruturais e atributos semânticos.
   • Mecanismo: Processa o patch inteiro (ou subconjunto relevante) em uma única inferência para capturar relações entre hunks.
   • Funções Principais:
     • Codificação de Relações: Identifica relações pai-filho (campo $p$) para operações como renomeações (vinculando declaração a usos) e movimentações (vinculando remoção a adição).
     • Extração de Atributos: Extrai atributos semânticos (campo $a$), como identificadores antigos/novos para renomeações ou tipos antigos/novos para redefinições de tipo.
     • Correção: Corrige tipos de rótulos mal atribuídos na etapa do Rotulador que podem ter resultado de contexto local insuficiente (por exemplo, reclassificar uma "alteração de lógica" como uma "renomeação" específica quando o contexto global está disponível).

Configuração de Avaliação

• Benchmark: Um conjunto de dados curado manualmente composto por 13 Pull Requests (6 naturais, 7 fabricados) contendo 95 hunks de diff e 142 instâncias de rotulagem. O conjunto de dados inclui Java e Python para testar a agnosticidade de linguagem.
• Modelos: Quatro LLMs foram avaliados: SWE-Agent-LM-32B, Llama-4-Maverick-17B-128E-Instruct, Claude Sonnet 4.5 e Gemini-3-Pro-Preview.
• Métricas:
  • Rotulador: Interseção sobre Preditor (IoP) e Interseção sobre Verdade Terrena (IoGT) para medir precisão e recall por hunk.
  • Refinador: Precisão e recall para correspondência do campo pai e extração do campo de atributo.

Resultados Principais

• Desempenho Geral: A melhor configuração (Gemini-3 no modo por arquivo) alcançou 84% de recall e 81% de precisão para atribuição de rótulos.
• Trade-off de Contexto: O modo de inferência "por arquivo" geralmente ofereceu o melhor equilíbrio entre disponibilidade de contexto e foco do modelo, superando os modos por hunk e por patch para a maioria dos modelos de ponta.
• Estrutura e Atributos:
  • O Refinador demonstrou alta precisão na captura de relações estruturais. Para operações de renomeação, a precisão de correspondência de pai atingiu 1.0 (perfeita) em várias configurações, com recall variando de 0,69 a 0,92.
  • A extração de atributos (por exemplo, nomes antigos/novos) mostrou alta precisão (frequentemente >0,90), embora o recall fosse menor. Os autores observam que os erros frequentemente decorrem da falha em dividir ou enumerar corretamente múltiplas instâncias dentro de um único hunk, em vez de extração incorreta de atributos.
• Comparação de Modelos: Modelos de ponta (Gemini-3 e Sonnet) superaram significativamente os modelos de código aberto (SWE e Llama). No entanto, o Gemini-3 incorreu em um custo de token significativamente maior (até 7,5 vezes o do Sonnet) devido a campos de raciocínio mais detalhados em sua saída.

Significado e Alegações

O artigo afirma apresentar a primeira avaliação sistemática de LLMs para rotulagem baseada em taxonomia de hunks de diff. Suas principais contribuições são:

1. Saída Estruturada para Automação: A abordagem gera saídas estruturadas e interpretáveis por máquina (JSON com rótulos, relações e atributos) em vez de texto livre, permitindo integração em pipelines de revisão e análise automatizados.
2. Agnosticismo e Flexibilidade de Linguagem: Diferentemente das ferramentas de análise estática, a abordagem baseada em LLM é amplamente agnóstica à linguagem e facilmente personalizável para novas taxonomias sem sobrecarga significativa de engenharia.
3. Complementaridade à Análise Estática: Os autores posicionam este método não como um substituto para a análise estática, mas como uma abordagem complementar. Ele troca garantias formais por adoção mais rápida, suporte multilíngue e a capacidade de lidar com relações semânticas complexas (como propagação de renomeação) que são difíceis de codificar em sistemas baseados em regras.
4. Viabilidade da Rotulagem Consciente de Estrutura: Os resultados demonstram que os LLMs podem capturar efetivamente relações estruturais (renomeações, movimentações) e atributos semânticos através de hunks de diff, uma capacidade previamente pouco explorada na literatura de revisão de código.

Os autores concluem que, embora a abordagem não seja isenta de erros, o nível de precisão alcançado é suficiente para complementar a revisão humana e permitir fluxos de trabalho flexíveis e amigáveis à automação. Eles identificam trabalhos futuros na extensão da taxonomia para alterações de nível semântico/intencional (por exemplo, correções de bugs, otimizações de desempenho) e na integração dessas saídas estruturadas em frameworks híbridos que combinam LLMs com análise estática clássica.