Resumo Técnico: CoSQA+ Aprimorando a Avaliação de Busca de Código

Declaração do Problema

A busca semântica de código visa recuperar trechos de código que correspondam a consultas em linguagem natural, uma tarefa crítica para a produtividade da engenharia de software. No entanto, os benchmarks e metodologias de avaliação existentes sofrem de três limitações primárias:

1. Escalabilidade e Precisão da Anotação Humana: Benchmarks tradicionais (ex: CoSQA, CodeSearchNet) dependem de anotadores humanos que avaliam o código com base na compreensão semântica em vez da verificação funcional. Isso leva a potenciais imprecisões devido à falta de compreensão total da sintaxe e da correção comportamental. Além disso, a anotação manual é intensiva em mão de obra, limitando a escalabilidade do conjunto de dados.
2. Inadequação dos Paradigmas de Escolha Única: Os benchmarks existentes tipicamente impõem uma tarefa de correspondência um-para-um entre consulta e código, avaliada usando o Ranking Recíproco Médio (MRR). Isso contradiz o comportamento real do desenvolvedor, onde uma única consulta frequentemente gera múltiplos trechos de código válidos (contexto de múltipla escolha). Uma pesquisa com 200 desenvolvedores Python revelou que 63,2% das consultas comumente resultam em múltiplas soluções válidas, e os desenvolvedores tipicamente referenciam 2 a 3 exemplos por busca.
3. Limitações da Anotação Baseada em LLM: Embora os Grandes Modelos de Linguagem (LLMs) ofereçam escalabilidade, eles têm dificuldade em determinar a correção funcional, priorizando frequentemente a similaridade semântica sobre a lógica de execução. Consequentemente, tanto as anotações humanas quanto as de LLM sofrem com problemas de precisão em relação à verificação funcional.

Metodologia

O artigo apresenta o CoSQA+, um novo benchmark projetado para busca de código de múltipla escolha, construído através de um pipeline automatizado que apresenta um novo sistema de agente orientado por testes (test-driven agent).

1. Coleta e Filtragem de Dados

• Fonte de Consultas: Consultas reais de usuários provenientes do dataset CoSQA (originalmente de logs de busca do Microsoft Bing).
• Fonte de Código: Funções Python filtradas do corpus CodeSearchNet. Um filtro baseado em AST (Árvore de Sintaxe Abstrata) foi aplicado para reter apenas funções com pelo menos um parâmetro de entrada e uma instrução de retorno válida, garantindo testabilidade e relevância (8ência de 80,97% vs. 16,25% para funções sem parâmetros).

2. Construção de Pares de Candidatos

Para abordar a natureza de múltipla escolha da tarefa, os autores empregam uma abordagem de embedding de múltiplos modelos para selecionar candidatos:

• Três modelos de embedding (CodeBERT, UniXcoder e CodeT5+) geram representações vetoriais para consultas e códigos.
• A similaridade de cosseno é calculada e média entre os três modelos para reduzir o viés em relação a um único modelo.
• Os 20 trechos de código mais similares são selecionados como candidatos para cada consulta.

3. Sistema de Anotação de Agente Orientado por Testes

Um pipeline totalmente automatizado, baseado no modelo DeepSeek-V3, anota os pares de consulta-código. O sistema opera via Algoritmo 1:

• Screener Preliminar: Categoriza os pares em "correspondência clara", "não correspondência clara" ou "indefinido". Casos claros são rotulados imediatamente.
• Gerador de Programa de Teste: Para casos indefinidos, o agente gera suítes de testes executáveis, incluindo scaffoldings de dependências e asserções baseadas na intenção da consulta.
• Executor de Testes e Corretor de Bugs: Os testes são executados em um ambiente Docker isolado. Se ocorrerem erros (ex: dependências ausentes), um agente Corretor de Bugs gera comandos de terminal para resolvê-los iterativamente.
• Árbitro Final: Avalia os resultados da execução e os resultados dos testes para atribuir um rótulo binário final (1 para correspondência exata, 0 para não correspondência).

4. Estrutura de Avaliação

Os autores construíram dois conjuntos de dados:

• CoSQA+_all: 412.080 pares anotados por agentes.
• CoSQA+_verified: 1.000 pares verificados por humanos (verdade fundamental/ground truth) usados para avaliação rigorosa do método de anotação.
• Métricas: Precisão Média (MAP) e MRR são usados, com o MAP@10 sendo priorizado para capturar a recuperação de múltiplos trechos relevantes.

Principais Resultados

1. Precisão da Anotação

O agente orientado por testes alcançou uma precisão de 93,9% contra a verdade fundamental verificada por humanos. Isso superou significativamente:

• Anotadores humanos sem verificação de teste (89,1%).
• Anotadores de LLM único (DeepSeek-V3: 88,3%, O1-mini: 88,1%, Claude-3.5-Sonnet: 86,3%).
  A alta precisão é atribuída às evidências concretas fornecidas pela execução de testes, que reduzem a ambiguidade e o viés humano. Adicionalmente, 83,67% dos programas de teste gerados foram executáveis com sucesso.

2. Qualidade do Benchmark e Treinamento de Modelo

• Superioridade sobre o CoSQA: Em uma comparação onde 1.000 consultas idênticas foram confrontadas com códigos do CoSQA e CoSQA+, 60,3% dos "melhores" códigos eram do CoSQA+.
• Desempenho de Treinamento: O ajuste fino (fine-tuning) do CodeBERT, UniXcoder e CodeT5+ no CoSQA+ resultou em desempenho consistentemente superior no benchmark CSN99 Python em comparação com modelos treinados no CoSQA. Notavelmente, a melhoria no MAP@10 foi mais significativa que no MRR, indicando uma melhor recuperação de múltiplos códigos relevantes.

3. Análise de Componentes (RQ4)

Um estudo de ablação revelou que o componente Corretor de Bugs (Bug Fixer) foi o mais crítico para o desempenho. Configurações sem o Corretor de Bugs (dependendo de execução simulada ou nenhuma execução) resultaram em precisão inferior (~0,85), enquanto o pipeline completo com o Corretor de Bugs atingiu 0,939. Isso destaca a necessidade do feedback de execução real sobre o raciocínio simulado.

4. Generalização entre Linguagens (RQ5)

O agente orientado por testes demonstrou forte generalização para PHP, Java e Go, alcançando ganhos médios de precisão de 10,33% sobre os anotadores de LLM único nestas linguagens.

Significância e Alegações

O artigo alega as seguintes contribuições:

1. Primeiro Benchmark de Múltipla Escolha: O CoSQA+ é apresentado como o primeiro benchmark especificamente projetado para avaliar a busca de código de múltipla escolha, abordando a lacuna entre os paradigmas de avaliação de escolha única e as necessidades reais dos desenvolvedores.
2. Anotação Automatizada de Alta Precisão: Os autores desenvolveram o primeiro anotador multi-agente para datasets de busca de código, alcançando 93,9% de precisão, superando tanto a anotação humana tradicional (sem testes) quanto as abordagens de LLM único.
3. Processo de Construção Aprimorado: O artigo demonstra um processo de construção aprimorado e totalmente automatizado, utilizando seleção de candidatos por múltiplos modelos e anotação por agente orientado por testes para criar datasets de alta qualidade e larga escala.
4. Disponibilidade de Recursos: Os autores liberam publicamente o CoSQA+_all (412.080 pares) e o CoSQA+_verified (1.000 pares) para facilitar pesquisas futuras em busca semântica de código.

Os autores concluem que o CoSQA+ oferece qualidade e desempenho de treinamento superiores em comparação com benchmarks existentes como o CoSQA, e que a abordagem orientada por testes fornece uma alternativa escalável e confiável à anotação manual para avaliar a busca de código funcional.