Beyond Code Snippets: Benchmarking LLMs on Repository-Level Question Answering

Título: Além de Snippets de Código: Avaliação de LLMs em Resposta a Perguntas no Nível de Repositório

1. O Problema

A compreensão de programas é uma das tarefas mais demoradas no desenvolvimento de software, consumindo cerca de 58% do tempo dos desenvolvedores. Embora os Grandes Modelos de Linguagem (LLMs) tenham demonstrado capacidades impressionantes em tarefas de engenharia de software, a maioria dos estudos e benchmarks atuais foca em snippets de código isolados (funções únicas ou arquivos individuais).

Essa abordagem falha em capturar os desafios do mundo real, onde a compreensão do programa frequentemente exige navegar por múltiplos arquivos, entender dependências sistêmicas e analisar a estrutura do repositório como um todo. Além disso, as soluções de Retrieval-Augmented Generation (RAG) baseadas apenas em similaridade textual plana são insuficientes para código, pois ignoram relações estruturais e semânticas (como chamadas de funções, hierarquias de classes e fluxos de dados). Existe uma lacuna crítica na avaliação de quão bem os LLMs compreendem e respondem a perguntas baseadas em repositórios inteiros, especialmente distinguindo entre memorização de dados de treinamento e raciocínio genuíno sobre o código.

2. Metodologia

2.1. Construção do Dataset: StackRepoQA
Os autores introduzem o StackRepoQA, o primeiro dataset público multi-projeto para perguntas e respostas (Q&A) no nível de repositório.

• Origem: 1.318 perguntas reais de desenvolvedores do Stack Overflow com respostas aceitas.
• Mapeamento: As perguntas foram mapeadas para 134 projetos Java de código aberto ativos no GitHub.
• Critérios de Seleção: Projetos com pelo menos 20 contribuidores, 10 estrelas, 1.000 commits, tamanho mínimo de 10 MB e licença permissiva.
• Validação: Um desenvolvedor sênior (15+ anos de experiência) revisou manualmente as perguntas para garantir a relevância com o repositório mapeado. O dataset inclui também perguntas "não relacionadas" (falsos positivos intencionais) para servir como casos de controle.
• Análise Temporal: O dataset permite a análise de "corte temporal" (cutoff), separando perguntas feitas antes e depois da data de corte de treinamento dos modelos, para isolar efeitos de memorização.

2.2. Configuração Experimental
Foram avaliados dois LLMs líderes: Claude 3.5 Sonnet e GPT-4o. A avaliação foi realizada em três configurações:

1. Baseline (LLM Apenas): Resposta direta sem acesso ao repositório ou ferramentas externas.
2. Agentic RAG (File-Level): Um agente recuperador busca fragmentos de código relevantes usando similaridade vetorial (ChromaDB).
3. Agentic RAG (Graph-Based): Um agente utiliza um banco de dados de grafos (Neo4j) construído a partir da Árvore de Sintaxe Abstrata (AST) e dependências estáticas do repositório para realizar consultas estruturadas (Cypher).
4. Configuração Multi-Agente: Um sistema coordenado com um agente supervisor, agentes de recuperação (arquivo e grafo) e um agente de sumarização.

2.3. Avaliação

• Métrica: Utilização de LLM-as-a-Judge (dois modelos avaliando as respostas) em uma escala de 1 a 10, focando em correção, completude e fidelidade, em vez de métricas de sobreposição de palavras (como BLEU/ROUGE).
• Análise Estatística: Testes não paramétricos (Wilcoxon Signed-Rank) e cálculo do tamanho de efeito (Cliff's delta) para comparar configurações.

3. Principais Contribuições

1. StackRepoQA: O primeiro dataset público, multi-projeto e consciente de cortes temporais para benchmarking de Q&A no nível de repositório, contendo 1.318 pares de perguntas/respostas reais.
2. Avaliação Sistemática: Uma comparação rigorosa entre a capacidade nativa dos LLMs e abordagens RAG (arquivo vs. grafo) em escala de repositório.
3. Estudo de Ablação: Evidência empírica de que a recuperação baseada em grafos supera a recuperação baseada em arquivos e que a "memorização" é um fator dominante nos resultados atuais.
4. Insights sobre Memorização vs. Raciocínio: Demonstração de que o desempenho dos modelos cai drasticamente em perguntas pós-corte de treinamento, indicando que o sucesso em benchmarks públicos muitas vezes reflete a exposição aos dados de treinamento (Stack Overflow) e não a compreensão do código.

4. Resultados Chave

• Desempenho de Base (RQ1): Sem augmentação, os LLMs alcançaram uma precisão moderada (média de ~58-69%). No entanto, o desempenho caiu significativamente para perguntas feitas após a data de corte de treinamento dos modelos (ex: GPT-4o caiu de 6.97 para 5.97). Isso confirma que grande parte do sucesso inicial deve-se à memorização de pares Q&A do Stack Overflow presentes nos dados de treinamento, e não ao raciocínio sobre o código.
• Impacto da Augmentação (RQ2):
  • O RAG baseado em arquivos (File-RAG) forneceu melhorias limitadas.
  • O RAG baseado em grafos (Graph-RAG) produziu os maiores ganhos de desempenho, superando consistentemente a abordagem de arquivos.
  • Mesmo com RAG, a precisão total permaneceu limitada (~64% no melhor cenário), sugerindo que a compreensão no nível de repositório ainda é um desafio aberto.
• Efeito de Distratores: A introdução de contexto irrelevante (perguntas não relacionadas ao projeto) degradou o desempenho, evidenciando a vulnerabilidade dos modelos a "ruído" no contexto.
• Reprodução Verbatim: A análise qualitativa revelou que, em muitos casos, os modelos reproduziam quase literalmente as respostas aceitas do Stack Overflow, em vez de gerar novas soluções baseadas na análise do código fornecido.

5. Significância e Implicações

• Para Pesquisadores: O estudo destaca a necessidade urgente de benchmarks que dissemem memorização de raciocínio. A simples inclusão de contextos longos não é suficiente; é necessário o uso de representações estruturais (grafos) e protocolos de avaliação que excluam dados de treinamento conhecidos (cutoffs).
• Para Praticantes: Os resultados alertam contra o uso de LLMs como soluções autônomas para compreensão de repositórios privados ou em rápida evolução, onde os dados de treinamento não cobrem o código atual. A integração de mecanismos de recuperação estruturada (baseada em grafos) é essencial para obter respostas confiáveis.
• Avanço Técnico: O trabalho valida que a recuperação de informações baseada na estrutura do código (dependências, chamadas, hierarquias) é superior à recuperação baseada apenas em texto para tarefas de engenharia de software complexas.

Em suma, o artigo estabelece uma nova linha de base para a avaliação de LLMs em engenharia de software, demonstrando que, embora promissores, os modelos atuais ainda dependem excessivamente de memorização e necessitam de arquiteturas de recuperação estruturada para se tornarem ferramentas confiáveis para a compreensão de sistemas de software em escala.