When More Retrieval Hurts: Retrieval-Augmented Code Review Generation

1. Problema e Motivação

A geração automática de revisões de código é uma tarefa complexa que visa reduzir o esforço dos desenvolvedores e melhorar a qualidade do software. As abordagens existentes enfrentam dois modos de falha característicos:

• Modelos apenas de Geração (LLMs): Tendem a produzir feedback genérico, resumos excessivos ou comentários fora do foco, falhando em capturar o tom e a intenção específica de um revisor humano.
• Modelos apenas de Recuperação: São eficientes e podem recuperar tokens específicos do domínio, mas lutam para adaptar as revisões a novos contextos, muitas vezes retornando itens lexicalmente similares, mas com intenções desalinhadas.

O artigo propõe uma nova perspectiva: tratar a recuperação para revisão de código como Aprendizado em Contexto Aumentado por Recuperação (Retrieval-Augmented In-Context Learning). A ideia central é usar revisões históricas recuperadas não apenas como dados de referência, mas como exemplos em contexto (few-shot) que guiam o modelo sobre o estilo (curto, acionável) e o foco da crítica.

2. Metodologia: Framework RARe

Os autores propõem o RARe (Retrieval-Augmented code Reviewer), um framework que combina um recuperador aprendido com um Grande Modelo de Linguagem (LLM). O processo segue três etapas:

1. Recuperação: Dado um trecho de código alvo ($x$), o sistema recupera os $k$ itens históricos mais relevantes (código + revisão humana) de um corpus.
2. Construção de Contexto: As revisões recuperadas são inseridas no prompt do LLM como exemplos em contexto, juntamente com a instrução e o código alvo.
3. Geração: O LLM gera a revisão final condicionada a esse contexto aumentado.

Componentes Técnicos:

• Recuperadores: Foram comparados três métodos:
  • NDR (Normal Dense Retrieval): Codifica apenas o código para encontrar similaridade.
  • GDR (GPM Dense Retrieval): Usa NDR seguido de reclassificação baseada em correspondência de padrões (Gestalt Pattern Matching), útil para corpora de uma única linguagem.
  • DPR (Dense Passage Retrieval): Usa dois codificadores (um para código, outro para revisão) para alinhar diretamente pares código-revisão, sendo mais robusto em corpora multilíngues.
• Geradores: Foram testados três LLMs de código aberto: Llama-3.1-8B, Mistral-7B e CodeGemma-7B.
• Configurações: Avaliou-se inferência direta (DI) e ajuste fino com LoRA (FT), com e sem a adição de exemplos recuperados.

3. Contribuições Principais

1. Framework RARe: Uma nova abordagem que utiliza revisões históricas recuperadas como exemplos em contexto para moldar o estilo e o foco da geração.
2. Descoberta Crítica ("Mais não é Melhor"): O estudo demonstra um comportamento não monótono. Contrariando a intuição de que mais dados ajudam, o uso de apenas o top-1 exemplo recuperado produz os melhores resultados. Adicionar mais exemplos (top-3 ou top-5) degrada o desempenho devido a redundância e sinais conflitantes dentro do orçamento limitado de contexto do prompt.
3. Análise Comparativa Abrangente: Avaliação de diferentes recuperadores e geradores em dois benchmarks públicos (CodeReviewer e Tufano), cobrindo cenários de uma única linguagem e multilíngues.
4. Validação Humana e Interpretabilidade: Além das métricas automáticas, o estudo inclui avaliação humana e análise de atenção (via Inseq) para provar que a recuperação reduz saídas genéricas e direciona o modelo para críticas específicas.

4. Resultados Experimentais

Os experimentos foram realizados nos conjuntos de dados CodeReviewer (CRer.) e Tufano (Tuf.).

• Desempenho Geral: O RARe superou linhas de base fortes (incluindo métodos baseados apenas em recuperação e geração), alcançando pontuações BLEU-4 de 12,32 (CRer.) e 12,96 (Tuf.).
• Impacto da Recuperação: A recuperação aumentada trouxe os maiores ganhos para a inferência direta (DI). Por exemplo, no Llama-3.1, o BLEU-4 saltou de ~5,8 para ~12,3 no dataset CRer.
• Número de Exemplos (k):
  • Top-1: Consistentemente o melhor desempenho.
  • Top-3/Top-5: O desempenho caiu significativamente. A análise sugere que múltiplas revisões recuperadas introduzem ruído e conflitos de estilo/intenção que confundem o gerador.
• Avaliação Humana: A recuperação aumentada aumentou drasticamente a fração de revisões "valiosas" (perfeitas, semanticamente equivalentes ou soluções alternativas úteis). No dataset Tufano, revisões valiosas na inferência direta subiram de 15% (sem RA) para 55% (com RA).
• Análise de Atenção: O heatmap de atenção mostrou que, com RA, o modelo foca corretamente em partes do código que exigem revisão (ex: verificações de nulo), enquanto sem RA o modelo tendia a ignorar esses pontos ou gerar explicações genéricas.

5. Significado e Conclusão

O trabalho estabelece que a recuperação para geração de revisões de código deve ser entendida como um mecanismo de aprendizado em contexto adaptativo, onde a qualidade e a seleção precisa dos exemplos são mais importantes do que a quantidade.

• Implicação Prática: Sistemas de revisão automática devem priorizar a seleção cuidadosa de um único exemplo altamente relevante (Top-1) em vez de acumular múltiplos exemplos, para evitar sobrecarga de contexto e ruído.
• Escolha do Recuperador: A escolha do algoritmo de recuperação deve alinhar-se às características do corpus (DPR para multilíngue, GDR/NDR para unilíngue).
• Futuro: O estudo aponta para a necessidade de técnicas de compressão de contexto e seleção híbrida para lidar com cenários onde múltiplos candidatos são inevitáveis.

Em resumo, o RARe demonstra que a integração inteligente de conhecimento histórico via in-context learning supera métodos puramente generativos ou puramente baseados em recuperação, desde que a quantidade de informações recuperadas seja estritamente controlada.