LSPRAG: LSP-Guided RAG for Language-Agnostic Real-Time Unit Test Generation

Resumo Técnico: LSPRAG

1. Problema Identificado

A geração automática de testes unitários é crucial para o desenvolvimento de software robusto, mas as abordagens existentes enfrentam desafios significativos em dois fronts principais:

• Generalização e Tempo Real: As ferramentas atuais (como o GitHub Copilot ou técnicas de RAG baseadas em similaridade textual) frequentemente falham ao gerar testes com alta cobertura de código em ambientes de desenvolvimento real-time e multi-linguagem.
• Recuperação de Contexto Imprecisa: Para cobrir todas as ramificações (branches) de um método, o modelo de linguagem (LLM) precisa entender as definições de símbolos externos (funções, classes, constantes) que controlam essas condições.
  • Métodos baseados em similaridade textual (RAG padrão) recuperam contexto ruidoso ou incompleto, dependendo de nomes de variáveis ou comentários, o que é impreciso.
  • Métodos baseados em análise estática (como DraCo) são precisos, mas exigem a construção de pipelines específicos para cada linguagem, o que é custoso, não escalável e difícil de manter em tempo real.
• Validação em Tempo Real: Gerar código sintaticamente correto em tempo real é difícil, pois os LLMs frequentemente produzem erros de sintaxe que exigem compilação e execução para detecção, o que é lento e inviável durante a digitação do código.

2. Metodologia: O Framework LspRag

O LspRag é um framework de geração de testes unitários que utiliza o Protocolo de Servidor de Linguagem (LSP) para fornecer contexto preciso e agnóstico à linguagem para LLMs. A arquitetura opera em três módulos principais:

A. Extração de Tokens Chave (Key Token Extraction)
Para evitar o ruído de contextos excessivos, o sistema não recupera todo o código ao redor do método focal. Em vez disso, ele identifica "tokens chave" essenciais para a lógica de controle e dependências externas:

• Análise Híbrida: Combina informações léxicas do LSP com a estrutura da Árvore de Sintaxe Abstrata (AST) (usando Tree-sitter).
• Grafo de Fluxo de Controle (CFG): Constrói um CFG leve para identificar quais tokens influenciam diretamente as decisões de ramificação (condicionais).
• Filtragem: Remove tokens irrelevantes (como literais, comentários ou palavras-chave de sintaxe) que não exigem busca de contexto, focando apenas nas chamadas de função e variáveis que definem o comportamento do teste.

B. Módulo RAG Guiado por LSP
Utiliza os provedores nativos do LSP para recuperar o contexto exato necessário:

• Provedor de Definição (DEF): Localiza a definição exata de um símbolo (ex: onde a função isValid foi declarada), mesmo em arquivos ou bibliotecas externas.
• Provedor de Referência (REF): Encontra exemplos de uso do símbolo dentro do workspace.
• Filtragem de Workspace: Garante que apenas definições relevantes ao projeto atual sejam incluídas, evitando ruído de bibliotecas padrão.
• Construção do Prompt: Monta um prompt estruturado contendo o método focal, as definições e exemplos de uso dos tokens chave, e um template de teste.

C. Refinamento de Testes (Unit Test Refinement)
Para garantir que o código gerado seja executável sem compilação demorada:

• Detecção de Erros em Tempo Real: Utiliza a funcionalidade de diagnostics do LSP para identificar erros de sintaxe e semântica imediatamente após a geração.
• Auto-Reparação (Self-Repair): Se erros forem detectados, o sistema coleta o contexto específico necessário para corrigi-los (ex: contexto de nível de workspace para erros de importação, ou contexto de símbolo para variáveis não definidas) e solicita ao LLM que corrija o código.
• Loop Iterativo: Este processo repete-se até que os erros desapareçam ou um limite de tentativas seja atingido, garantindo testes válidos sem compilação completa.

3. Contribuições Principais

1. Ponte entre Pesquisa e Indústria: Identifica e resolve a lacuna entre a necessidade da indústria de testes de alta qualidade em tempo real para múltiplas linguagens e a dificuldade de obter contexto conciso sem análise estática pesada.
2. Framework Agnóstico à Linguagem: O LspRag não requer a criação de analisadores estáticos personalizados. Ao reutilizar os servidores LSP maduros já existentes (como Pylance para Python, Oracle para Java, Go extension), ele oferece recuperação de contexto precisa para qualquer linguagem suportada por LSP.
3. Mecanismo de Correção sem Compilação: Introduz um mecanismo de auto-reparação que utiliza diagnósticos do LSP para corrigir erros sintáticos em tempo real, superando a necessidade de loops de compilação/execução lentos.
4. Implementação e Código Aberto: O sistema foi implementado como uma extensão do VS Code e o código-fonte é público.

4. Resultados da Avaliação

O LspRag foi avaliado em projetos open-source reais de Java, Python e Golang, comparado com baselines como RAG padrão, CodeQA, DraCo e SymPrompt, utilizando modelos como GPT-4o e DeepSeek-V3.

• Cobertura de Linha (Line Coverage): O LspRag superou consistentemente todas as baselines.
  • Golang: Aumento de até 174,55% em comparação com a melhor baseline.
  • Java: Aumento de até 213,31%.
  • Python: Aumento de 31,57%.
• Taxa de Validação (Valid Rate): A capacidade de gerar testes que compilam e passam na verificação sintática aumentou drasticamente.
  • Até 242,86% de melhoria para Golang e 251,91% para Java.
• Eficiência e Custo:
  • O tempo médio por método focal foi de 28,27 segundos, com a maior parte do tempo gasta na consulta ao LLM.
  • O uso de tokens foi otimizado: o LspRag usou 39% menos tokens que o CodeQA para alcançar uma cobertura 135% maior.
• Estudo de Ablação: Confirmou que tanto a recuperação de contexto precisa (via LSP) quanto o módulo de correção de erros são essenciais. A remoção do módulo de correção reduziu significativamente a taxa de testes válidos, especialmente em projetos complexos.
• Comparação com SBST (EvoSuite): Em projetos Java, o LspRag alcançou cobertura competitiva com o EvoSuite (ferramenta clássica de busca), embora com uma taxa de validade ligeiramente menor (devido à natureza probabilística do LLM vs. determinística do EvoSuite), mas com a vantagem de ser agnóstico à linguagem e funcionar em tempo real.

5. Significado e Impacto

O trabalho do LspRag representa um avanço significativo na engenharia de software assistida por IA:

• Viabilidade em Tempo Real: Torna possível a geração de testes de alta qualidade enquanto o desenvolvedor codifica, sem interromper o fluxo de trabalho com compilações longas.
• Escalabilidade Multi-linguagem: Ao depender do ecossistema LSP, a ferramenta elimina a barreira de entrada de criar analisadores estáticos para cada nova linguagem, permitindo suporte imediato a qualquer linguagem com um servidor LSP.
• Qualidade do Código: A combinação de contexto semântico preciso e correção iterativa de erros resolve o problema de "alucinação" de dependências e erros de sintaxe, que são os principais gargalos na adoção de LLMs para testes automatizados.

Em suma, o LspRag demonstra que a integração inteligente de ferramentas de análise de código existentes (LSP) com modelos de linguagem pode superar as limitações das abordagens puramente baseadas em similaridade textual ou em análise estática customizada, estabelecendo um novo padrão para geração de testes em tempo real.