Resumo Técnico: Agent Retrieval Bench

Definição do Problema

Os agentes de codificação modernos são tipicamente avaliados de ponta a ponta com base em se geram um patch correto. No entanto, a geração de patches depende de uma etapa anterior de aquisição de contexto: o agente deve primeiro identificar e recuperar os arquivos específicos do repositório necessários para raciocinar sobre uma tarefa. Os autores argumentam que as avaliações atuais obscurecem essa camada crítica. Diferente da busca semântica de código tradicional, onde a relevância é definida pela similaridade entre consulta e documento, a relevância agêntica é definida pelo "próximo passo útil" em um fluxo de trabalho de software. Essa relevância é frequentemente indireta, estrutural ou dependente do fluxo de trabalho (ex: um pull request descrevendo uma mudança de implementação pode exigir um arquivo de teste de regressão, não o próprio arquivo de implementação).

A exploração interativa permite que os agentes compensem um contexto inicial fraco por meio de chamadas de ferramentas adicionais, mas isso aumenta o custo e a latência. Além disso, trajetórias registradas mostram que mesmo agentes interativos falham em tocar qualquer arquivo "gold" (necessário) em 27–35% dos casos. O artigo postula que o Agent Retrieval Bench é necessário para isolar e avaliar este problema de recuperação upstream sob restrições realistas, distinto do resultado final de geração de patch.

Metodologia

Construção do Benchmark

O Agent Retrieval Bench é um benchmark de recuperação de código ao nível de arquivo construído a partir de 427 amostras em 25 repositórios (abrangendo Python, Go, Rust, TypeScript, Java e JavaScript).

• Corpus Congelado: Todas as amostras são avaliadas contra um estado de repositório congelado em um commit base (pré-resolução), evitando vazamento (leakage) de commits de correção ou patches finais.
• Fontes de Consulta: As consultas são derivadas de sinais reais de fluxo de trabalho: títulos/corpos de PR, comentários de revisão, rastros de falhas reproduzidas e edições ancoradas.
• Controles de Vazamento: O conjunto de dados remove rigorosamente atalhos fatais, incluindo caminhos exatos de arquivos gold, diffs brutos, hashes de commit de correção e artefatos de revisão gerados por modelos.

Definições de Tarefa

O benchmark define cinco cenários de recuperação distintos:

1. code2test (106 amostras): Dada uma PR ou mudança de implementação, recuperar arquivos de teste relacionados.
2. comment2context (80 amostras): Dado um comentário de revisão e o arquivo revisado, recuperar arquivos de contexto adicionais necessários para satisfazer o comentário.
3. trace2code (101 amostras): Dado um comando de falha reproduzida e sua saída, recuperar o arquivo fonte da causa raiz (testes são auxiliares, não gold).
4. edit2ripple (58 amostras): Dada uma edição ancorada e intenção de mudança, recuperar arquivos adicionais afetados pela mudança (arquivos de efeito cascata/ripple).
5. Recuperação Seletiva (82 amostras):
   • Natural No-Gold (50): Problemas onde a resolução reside fora do repositório (ex: dependências upstream).
   • Controles Contrafatuais (32): Consultas pareadas com um repositório que não pode conter a resposta.

Métricas de Avaliação

• Métricas de Ranking: Recall@k (5, 10, 20), Mean Reciprocal Rank (MRR).
• Métricas de Orçamento de Contexto: Budgeted Context Yield (BCY@B), que mede quanto contexto gold rotulado cabe dentro de um orçamento fixo de tokens (ex: 8k tokens) após o ranking e empacotamento guloso.
• Métricas Seletivas: Acurácia balanceada e sucesso seletivo para tarefas de abstenção.
• Análise de Trajetória: Trajetórias de agentes registradas são analisadas para taxas de "toque no gold", passos de primeiro hit e Potential Exploration Savings (PES).
• Intervenção de Semente (Seed Intervention): Um piloto controlado (45 amostras) onde agentes são semeados com diferentes contextos iniciais (aleatório, lexical, embedding, híbrido, oracle) para medir o impacto na eficiência da aquisição de contexto.

Principais Contribuições

1. Formalização da Relevância Agêntica: O artigo define a relevância agêntica não como similaridade semântica, mas como o "próximo contexto de repositório necessário", operacionalizado através de quatro tarefas positivas e abstenção seletiva.
2. Dataset com Controle de Vazamento: Um conjunto validado de 427 amostras com verificações rigorosas de esquema, zero vazamento de atalhos fatais e rótulos gold baseados em evidências derivadas de artefatos de fluxo de trabalho.
3. Suíte de Avaliação Orientada a Agentes: Uma suíte abrangente incluindo métricas de arquivos ranqueados, curvas de BCY de orçamento de tokens, abstenção seletiva e um piloto de intervenção de semente de entrada controlada.
4. Descobertas Empíricas sobre Famílias de Recuperação: Evidência de que nenhuma família de recuperação única domina todos os sinais de fluxo de trabalho ou orçamentos de contexto.

Resultados

Desempenho de Linha de Base (Baseline)

O benchmark avaliou baselines lexicais (BM25, lexical consciente de caminho), estruturais sem vetores (RepoMap) e baseados em embeddings (Qwen3-4B, Qwen3-8B, Jina, Nomic, pplx).

• Líderes Gerais: Qwen3-Embedding-4B alcançou o melhor MRR ponderado por amostra (0.2379), enquanto o Qwen3-Embedding-8B alcançou o melhor Recall@20 (0.7029). RepoMap liderou em BCY@8k (0.3788).
• Vencedores por Tarefa: O desempenho varia drasticamente por tarefa.
  • trace2code: RepoMap superou significativamente os embeddings (MRR 0.2742 vs. 0.0827 para Qwen3-4B), demonstrando que a proximidade estrutural é crucial para a localização da causa raiz a partir de rastros de falha.
  • edit2ripple: Uma reversão dependente de orçamento foi observada; Qwen3-4B liderou em 4k tokens, enquanto Qwen3-8B liderou em 8k tokens.
• Abordagem Híbrida: Uma simples Fusão de Ranking Recíproco (RRF) de Qwen3-8B e RepoMap melhorou o MRR geral para 0.2713 e o Recall@20 para 0.7331, confirmando a complementaridade dos sinais semânticos e estruturais.

Recuperação Seletiva e Abstenção

• Lacuna de Calibração: Embora os scores de recuperação brutos pudessem distinguir controles contrafatuais de repositórios errados, eles falharam em melhorar o sucesso seletivo em casos naturais de no-gold. Limiares que maximizavam a acurácia balanceada rejeitavam muitas amostras positivas, indicando que os scores atuais são insuficientes para distinguir problemas locais plausíveis de resoluções genuinamente externas.

Trajetórias de Agentes e Intervenção de Semente

• Taxas de Erro (Miss Rates): Mesmo com exploração interativa, agentes registrados falharam em tocar qualquer arquivo gold em 35.2% das amostras da OpenAI e 27–29% das amostras do Codex.
• Eficiência da Semente: Na intervenção de semente de ferramenta fechada, as sementes derivadas de recuperação (lexical, RRF) alcançaram maior File F1 e contato precoce com o gold com menos chamadas de ferramenta pós-semente e menos tokens em comparação com sementes não-gold aleatórias.
• Espaço para Oracle (Oracle Headroom): O contexto gold oracle melhorou o File F1 em 0.3115 em relação à baseline sem semente, sugerindo um headroom substancial restante para localização mesmo quando o arquivo correto é fornecido.

Sensibilidade de Granularidade

• Arquivo vs. Span: Embora a recuperação ao nível de arquivo seja a métrica primária, o artigo nota que os arquivos gold são grandes (mediana de 515 linhas) e a evidência rotulada ocupa apenas cerca de ~4.7% do arquivo. Acertos ao nível de arquivo não garantem localização precisa dentro do arquivo, e os scores de F1 ao nível de linha permanecem baixos em todos os métodos.

Significância e Alegações

O artigo afirma que o Agent Retrieval Bench fornece uma semântica de avaliação unificada e um padrão de higiene para a camada de aquisição de contexto de agentes de codificação. Sua principal significância reside em:

1. Isolamento de Falha Upstream: Demonstra que a falha de patch pode ser diagnosticada na etapa de recuperação, separadamente das capacidades de raciocínio ou edição.
2. Desafio ao "Tamanho Único" (One-Size-Fits-All): Os resultados mostram que embeddings semânticos, correspondência lexical e grafos estruturais são complementares, não intercambiáveis. Um único recuperador não pode dominar todos os sinais de fluxo de trabalho.
3. Necessidade de Hibridismo: O artigo conclui que a recuperação eficaz para agentes de codificação deve ser híbrida e consciente da tarefa, combinando vetores semânticos, sinais lexicais/de caminho e grafos de repositório.
4. Utilidade Diagnóstica: O benchmark serve como uma ferramenta diagnóstica para medir a eficiência de aquisição de contexto (CAE) e identificar lacunas de calibração na recuperação seletiva, em vez de alegar prever diretamente o sucesso de patch end-to-end.

Os autores declaram explicitamente que não alegam que a recuperação é a única causa de falha de patch ou que o File F1 substitui o reparo que passa em testes. Em vez disso, o benchmark estabelece a aquisição de contexto como uma superfície de falha e um centro de custo mensuráveis e distintos no fluxo de trabalho agêntico.