Agentic Search in the Wild: Intents and Trajectory Dynamics from 14M+ Real Search Requests

1. Declaração do Problema

A comunidade de Recuperação de Informação (RI) carece de compreensão empírica sobre como a pesquisa agênica impulsionada por LLM opera em cenários do mundo real. Embora existam benchmarks, eles não revelam:

• Como os agentes evoluem suas consultas em sessões de múltiplos passos.
• Como a evidência recuperada influencia reformulações subsequentes de consultas.
• Como os comportamentos de pesquisa diferem com base na intenção subjacente do usuário (por exemplo, busca de fatos vs. raciocínio).
• Se os agentes utilizam efetivamente o contexto ou caem em loops repetitivos.

Os logs atuais carecem de sinais de feedback implícito (como cliques) encontrados na pesquisa humana, criando uma "lacuna de medição" onde é difícil determinar se um agente está usando com sucesso a evidência recuperada ou meramente alucinando/repetindo.

2. Conjunto de Dados e Infraestrutura

Os autores analisam dados do DeepResearchGym (DRGym), uma API de pesquisa de código aberto e agnóstica a modelos acessada por clientes agênicos externos.

• Escala: 14,44 milhões de solicitações de pesquisa coletadas ao longo de seis meses (junho–dezembro de 2025).
• Sessões: Pré-processadas em 3,97 milhões de sessões.
• Diversidade: Os logs cobrem 25 países (principalmente China e EUA) e exibem alta diversidade semântica (baixa similaridade cosseno média entre consultas), indicando que não são dominados por poucas tarefas de benchmark ou prompts repetitivos.
• Privacidade: Endereços IP são anonimizados; prompts e memória do lado do cliente não são registrados, o que significa que a análise depende estritamente de rastros no nível da API (consultas, parâmetros, carimbos de data/hora e evidência retornada).

3. Metodologia

Os autores propõem um framework de medição de três componentes para analisar a estrutura da sessão e a evolução da consulta:

A. Sessionalização

Diferente de logs humanos que usam intervalos de tempo fixos, solicitações agênicas podem chegar em rajadas paralelas rápidas. Os autores desenvolveram um critério de continuidade semântica combinado com um corte temporal rígido de 10 minutos:

• Eles treinaram um modelo de continuidade semântica (MLP com embeddings Qwen3) para pontuar pares de consultas.
• As consultas são atribuídas à sessão ativa mais semanticamente contínua se a pontuação exceder um limite; caso contrário, uma nova sessão começa.

B. Rotulagem de Intenção e Trajetória (LLM como Juiz)

Usando o gpt-5-nano, os autores anotaram os dados em dois níveis:

1. Intenção no Nível da Sessão: Classificada em três categorias baseadas em modelagem de objetivo de pesquisa na web:
   • Declarativa: Recuperação de fatos (ex: "Quem é o dono de X?").
   • Procedural: Execução de método (ex: "Como consertar Y?").
   • Raciocínio: Síntese complexa (ex: "Por que Z está acontecendo?").
2. Reformulação no Nível da Trajetória: Pares de consultas adjacentes ($q_k \to q_{k+1}$) classificados em quatro tipos:
   • Especialização: Restrições de estreitamento.
   • Generalização: Restrições de alargamento.
   • Exploração: Mudança para uma faceta relacionada.
   • Repetição: Reformulações quase duplicadas.

C. Taxa de Adoção de Termos Orientada por Contexto (CTAR)

Para medir a rastreabilidade da evidência sem acesso à atenção interna do agente, os autores introduziram o CTAR.

• Definição: A fração de termos recém-introduzidos em uma consulta ($q_{k+1}$) que aparecem lexicalmente na evidência recuperada de passos anteriores.
• Contextos:
  • Último passo: Termos rastreados até a recuperação imediatamente precedente ($E_k$).
  • Agregado: Termos rastreados até a união de todas as evidências recuperadas até o momento ($\bigcup E_i$).
• Significância: Isso fornece uma métrica conservadora e interpretável para verificar se um agente está incorporando informações recuperadas em sua próxima consulta, distinta de parafraseamento semântico.

4. Resultados Principais

Estrutura e Dinâmica da Sessão

• Duração: Mais de 90% das sessões de múltiplos turnos contêm no máximo 10 passos.
• Velocidade: 89% dos intervalos entre passos são inferiores a um minuto, indicando loops iterativos rápidos em comparação com a pesquisa humana.
• Profundidade de Recuperação: A maioria dos agentes trata o número de documentos recuperados ($K$) como um parâmetro estático (principalmente $K \in \{1, 5, 10\}$), com apenas 1,35% das sessões variando $K$ entre os passos.

Comportamentos Condicionados à Intenção

• Declarativa (88,6% das sessões): Exibe a maior repetição (loops quase duplicados), que aumenta ao longo do tempo. Elas usam recuperação rasa, mas exigem mais iterações.
• Procedural (3,96%): Usam recuperação mais profunda ($K \approx 37$) e mostram progressões semanticamente estáveis com menos etapas de refinamento.
• Raciocínio (7,41%): Sustentam a mais ampla exploração (mudança de foco) e mostram o maior desvio semântico entre a primeira e a última consulta.

Dinâmica da Trajetória

• Viés de Aprofundamento: Os agentes favorecem esmagadoramente Especialização e Exploração. A Generalização (alargamento) é a menos utilizada (<11%) e frequentemente atua como um breve "reset" antes de reespecializar.
• Estabilidade vs. Rotatividade: A Repetição mantém alta sobreposição de resultados (78%), enquanto a Exploração causa grande rotatividade de evidência (7% de sobreposição).
• Loops: Sessões declarativas frequentemente entram em loops de "tentativa e erro" de alta estabilidade (repetindo consultas similares) em etapas posteriores, sugerindo possíveis travamentos.

Rastreabilidade da Evidência (CTAR)

• Adoção Geral: Em média, 54,35% dos termos de consulta recém-introduzidos são lexicalmente rastreáveis ao contexto de evidência agregado.
• Efeito de Recência: O contexto do último passo responde por 48,54% da adoção. A diferença (~5,8%) indica que os agentes também utilizam evidência de passos anteriores ao imediatamente anterior.
• Variação por Movimento:
  • Especialização: Alto CTAR (~78%), indicando que novos termos são diretamente extraídos de evidências recentes.
  • Repetição: Baixo CTAR (~21%), sugerindo que os agentes estão tentando novamente sem incorporar novos termos lexicais da evidência.

5. Contribuições Principais

1. Caracterização Comportamental em Grande Escala: A primeira análise de pesquisa agênica na escala de 14M+ solicitações, revelando que os agentes operam em loops curtos e rápidos com orçamentos de recuperação estáticos.
2. Métrica CTAR: Uma métrica novel e interpretável para quantificar a evolução de consultas condicionada à evidência sem exigir acesso a estados internos do agente ou limites de similaridade semântica.
3. Insights Adaptativos à Intenção: Demonstrou que estratégias de pesquisa (repetição vs. exploração) dependem fortemente da intenção da tarefa, desafiando a noção de um processo de pesquisa agênica uniforme.
4. Dados Abertos: Liberação dos logs anonimizados do DRGym e protocolos de análise para o público via HuggingFace.

6. Significância e Implicações

As descobertas fornecem sinais acionáveis para o projeto de melhores sistemas de RI agênicos:

• Parada Consciente de Repetição: Altas taxas de repetição em tarefas declarativas sugerem a necessidade de controladores para detectar "loops de travamento" e acionar trocas de estratégia (por exemplo, forçando exploração ou revisão humana).
• Orçamento Adaptativo à Intenção: Como tarefas procedimentais beneficiam-se de recuperação mais profunda enquanto tarefas declarativas dependem de iteração, os sistemas devem ajustar dinamicamente a profundidade de recuperação ($K$) com base na intenção detectada, em vez de usar parâmetros fixos.
• Rastreamento de Contexto Entre Passos: A rastreabilidade mensurável para evidências mais antigas (além do último passo) sugere que módulos de gerenciamento de contexto devem expor explicitamente termos de evidência históricos para auxiliar na formulação de consultas.
• Design de Avaliação: O CTAR oferece um sinal leve e pronto para auditoria para avaliar se os agentes estão fundamentando efetivamente suas consultas na evidência recuperada, preenchendo a lacuna entre logs de API e raciocínio interno.

Em conclusão, o artigo estabelece que, embora a pesquisa agênica seja poderosa, ela atualmente exibe comportamentos rígidos (orçamentos fixos, loops repetitivos) que podem ser otimizados através de políticas de controle conscientes da intenção e mecanismos melhores de rastreamento de contexto.