Resumo Técnico: É o Grep Tudo o que Você Precisa? Como os Harnesses de Agentes Reconfiguram a Busca Agêntica

Declaração do Problema

Embora a Geração Aumentada por Recuperação (RAG) seja amplamente adotada em sistemas agênticos, a literatura existente carece de uma comparação sistemática de como as escolhas de estratégia de recuperação interagem com a arquitetura do agente e os paradigmas de chamada de ferramentas. A pesquisa atual frequentemente avalia a recuperação lexical (por exemplo, grep, BM25) e a recuperação densa (vetor semântico) de forma isolada ou dentro de pipelines fixos onde os documentos recuperados são simplesmente concatenados em um prompt. Essa abordagem ignora os loops iterativos mediados por ferramentas, característicos dos agentes modernos, onde os modelos decidem o que pesquisar, quantas consultas emitir e se os resultados são suficientes.

Além disso, duas dimensões práticas críticas permanecem subexploradas:

1. Apresentação da Saída da Ferramenta: Como o método de entrega dos resultados da pesquisa (injeção inline vs. leitura baseada em arquivo) afeta o desempenho do modelo.
2. Robustez ao Ruído: Como as estratégias de recuperação se degradam à medida que a proporção de texto irrelevante circundante (distratores) aumenta em relação ao material relevante.

Adicionalmente, o surgimento de agentes CLI nativos de provedores (por exemplo, Claude Code, Codex, Gemini CLI) introduz uma nova classe de sistemas agênticos que diferem fundamentalmente dos harnesses personalizados, mas a eficácia das estratégias de recuperação através desses ambientes arquitetonicamente distintos não foi estudada.

Metodologia

Os autores conduziram um estudo empírico organizado em dois experimentos usando um subconjunto de 116 perguntas do benchmark LongMemEval, que testa agentes em tarefas de memória conversacional de longo horizonte abrangendo seis categorias (por exemplo, atualizações de conhecimento, raciocínio temporal, recordação de preferências).

Configuração Experimental

• Corpus: Turnos de conversa localizados e eventos temporais estruturados extraídos via pipeline de pré-processamento Chronos.
• Estratégias de Recuperação:
  • Lexical: Correspondência de regex/substring baseada em grep sobre texto bruto.
  • Semântica: Busca vetorial usando vizinho mais próximo aproximado (ANN) com uma etapa de reclassificação.
• Harnesses de Agente:
  • Personalizado: Chronos, um harness baseado em LangChain com prompts dinâmicos e controle granular sobre o loop de ferramentas.
  • CLIs Nativos de Provedor: Claude Code, Codex e Gemini CLI, onde os agentes executam comandos bash diretamente.
• Arquiteturas de Chamada de Ferramentas:
  • Padrão (Inline): Os resultados da pesquisa são retornados como mensagens de resposta de ferramenta injetadas diretamente na janela de contexto.
  • Programática (Baseada em Arquivo): Os resultados são escritos em disco; o agente deve ler ou pesquisar explicitamente o arquivo para acessar o conteúdo.
• Modelos: Avaliados em cinco LLMs (Claude Opus 4.6, Claude Haiku 4.5, GPT-5.4, Gemini 3.1 Pro, Gemini 3.1 Flash-Lite).
• Avaliação: Um LLM auxiliar (GPT-4o) atuou como avaliador para avaliar a precisão das respostas contra respostas de referência, com prompts fixos para garantir consistência.

Experimento 1: Modo de Recuperação, Harness e Método de Entrega

Este experimento isolou os efeitos do modo de recuperação (grep vs. vetor), tipo de harness e método de entrega da ferramenta (inline vs. baseado em arquivo) na precisão ponta a ponta com o corpus completo exposto.

Experimento 2: Escalonamento de Contexto com Ruído Crescente

Este experimento testou a robustez aumentando progressivamente o número de sessões "distratoras" irrelevantes que cercam as sessões "oráculo" relevantes. O estudo comparou o desempenho apenas com grep e apenas com vetor através de limites de sessão discretos (s5, s10, s20, s30 e completo) para observar como as famílias de recuperação divergem à medida que o ruído se acumula.

Principais Resultados

1. A Busca Lexical Frequentemente Supera a Busca Semântica em Loops Agênticos

Contrariando a suposição de que a busca semântica é superior para raciocínio complexo, o grep geralmente produziu maior precisão do que a recuperação vetorial na maioria das configurações no Experimento 1.

• Entrega Inline: A busca lexical foi uniformemente mais forte do que a recuperação densa para cada par harness-modelo. A maior margem foi observada com Chronos e Gemini 3.1 Flash-Lite (86,2% para grep vs. 62,9% para vetor).
• Entrega Baseada em Arquivo: A comparação mudou. A recuperação vetorial programática superou o grep programático em cinco de dez pares harness-modelo. No entanto, a transição para entrega baseada em arquivo causou quedas significativas de desempenho para algumas combinações (por exemplo, Codex com GPT-5.4 caiu de 93,1% com grep inline para 55,2% com grep programático), sugerindo que a complexidade do fluxo de trabalho de leitura de arquivos pode negar os benefícios da recuperação.

2. A Arquitetura do Harness Impulsiona o Desempenho

A escolha do harness (personalizado vs. nativo de provedor) teve um impacto profundo na precisão, frequentemente comparável ou superior ao impacto de trocar estratégias de recuperação.

• O mesmo modelo subjacente (por exemplo, Claude Opus 4.6) alcançou 93,1% de precisão sob o harness personalizado Chronos, mas apenas 76,7% sob o harness CLI Claude Code, mesmo usando o mesmo método de recuperação.
• Isso indica que a "recuperação" em sistemas agênticos é efetivamente "recuperação mais orquestração", onde prompts do sistema, descrições de ferramentas e formatação de resultados influenciam significativamente o agendamento e a terminação de consultas.

3. Escalonamento de Ruído e Não Monotonicidade

No Experimento 2, o desempenho de recuperação não se degradou monotonicamente à medida que o ruído aumentava.

• Pontos de Cruzamento: O desempenho relativo do grep e da busca vetorial variou dependendo do limite de sessão e do harness específico. Por exemplo, no harness Chronos, a busca vetorial foi frequentemente mais forte em limites de sessão mais baixos (s5–s20), mas o grep a superou em limites mais altos para certos modelos. Por outro lado, no Gemini CLI, a busca vetorial permaneceu dominante em todos os limites.
• Vieses Indutivos: O estudo sugere que ferramentas específicas do provedor (por exemplo, como o stdout é fatiado, dicas padrão) introduzem vieses indutivos estáveis que afetam se um agente se beneficia mais da precisão lexical ou da amplitude semântica.

Principais Contribuições

O artigo contribui com três insights primários:

1. Recuperação, Harness e Apresentação: Fornece evidências de que a escolha entre recuperação lexical e densa não pode ser avaliada isoladamente; deve ser considerada em conjunto com a camada de orquestração do agente e o método de exposição das saídas da ferramenta (inline vs. arquivo).
2. Ruído e Escala: Caracteriza como o comportamento ponta a ponta evolui à medida que o conteúdo irrelevante cresce, revelando que as famílias de recuperação interagem de forma diferente com o ruído dependendo do fluxo de trabalho específico e dos critérios de parada do loop do agente.
3. Heterogeneidade entre Pilhas de Agentes: Demonstra que a eficácia da recuperação não é estável através de harnesses arquitetonicamente distintos. Uma estratégia que funciona bem em um harness personalizado pode falhar em um CLI nativo de provedor, mesmo com um corpus subjacente idêntico.

Significado e Alegações

Os autores afirmam modestamente que suas descobertas destacam os mecanismos de recuperação, a orquestração do harness e os caminhos de entrega como um único sistema avaliado conjuntamente em vez de escolhas de design independentes.

• Engenharia de Contexto: O artigo argumenta que como os resultados das ferramentas são apresentados (inline vs. arquivo) é uma decisão crítica de engenharia de contexto que pode inverter as classificações de recuperação.
• Especificidade da Tarefa: Os autores observam que suas conclusões estão ligadas à QA conversacional de longa memória onde as respostas frequentemente dependem de trechos literais. Eles não afirmam que o grep é universalmente superior, mas que pode vencer ponta a ponta sob distribuições de tarefa e corpora específicos.
• Implicações para Benchmarking: O estudo sugere que relatar apenas métricas de recuperação (por exemplo, BM25 vs. ANN) em pipelines estáticos subestima a variância introduzida pela estruturação do agente. Futuros benchmarks devem levar em conta o loop agêntico completo, incluindo entrega de ferramentas e orquestração.

O artigo conclui que, embora a busca lexical seja uma opção padrão forte para tarefas que exigem recuperação de trechos literais, a estratégia ótima é altamente contingente à pilha específica do agente, à capacidade do modelo e ao mecanismo de entrega dos resultados da pesquisa.