Learning to Retrieve from Agent Trajectories

Este trabalho propõe o paradigma "Learning to Retrieve from Agent Trajectories" (LRAT), que treina modelos de recuperação diretamente a partir de dados de interação de agentes de IA, utilizando sinais comportamentais como ações de navegação e raciocínio pós-busca para superar as limitações dos métodos tradicionais focados em humanos e melhorar o desempenho em tarefas de pesquisa autônoma.

O essencial

Imagine que você tem um detetive muito inteligente (um Agente de IA) que precisa resolver um caso complexo, como encontrar a resposta para uma pergunta difícil na internet.

No passado, esse detetive usava um catálogo de biblioteca (o motor de busca) que foi treinado apenas para entender como pessoas comuns procuram coisas. As pessoas geralmente clicam no primeiro resultado que parecem interessantes e param de ler se não acharem o que querem rápido. O catálogo aprendeu com esses cliques humanos.

Mas aqui está o problema: o detetive não é uma pessoa comum.

O Problema: Um Detetive com um Mapa Errado

Quando o detetive (a IA) usa o catálogo, ele age de forma diferente:

1. Ele não apenas "clica"; ele lê trechos, decide se vale a pena abrir o livro inteiro, e depois escreve um relatório sobre o que achou.
2. Ele faz várias perguntas de uma vez, refina a busca e usa a informação para pensar no próximo passo.

O catálogo antigo, treinado com dados humanos, não entende isso. Ele acha que se o detetive não clicar no primeiro resultado, aquele resultado é ruim. Mas o detetive pode estar apenas analisando o resumo e decidindo que o terceiro resultado é o melhor, mesmo que ninguém tenha clicado nele antes. É como tentar ensinar um piloto de F1 a dirigir usando as regras de um carro de passeio: o piloto vai achar que o carro está "quebrado" porque ele não está usando o freio de mão da maneira que o manual diz.

A Solução: Aprender com os Passos do Próprio Detetive

Os autores deste paper (LRAT) tiveram uma ideia brilhante: "Por que não ensinar o catálogo a ler os diários de bordo do próprio detetive?"

Em vez de olhar para os cliques humanos, eles olharam para os rastros de ação (trajetórias) que a IA deixa enquanto trabalha. Eles criaram um novo método de ensino chamado LRAT (Aprendizado para Recuperar a partir de Trajetórias de Agente).

Eles descobriram três sinais mágicos nos diários do detetive:

1. A "Leitura" é o Sinal de Ouro: Se o detetive decide abrir o livro inteiro (a ação de "Browse" ou navegar), isso significa que aquele documento é muito provável de ser útil. É como se o detetive dissesse: "Isso aqui parece promissor, vou ler tudo".
2. O que foi Ignorado é Ruído: Se o detetive viu a capa do livro (o resumo) e não o abriu, é porque ele achou que não servia. Diferente dos humanos, que às vezes não clicam porque estão com pressa, a IA analisa com calma. Então, se ela não abriu, podemos confiar que aquele documento é irrelevante para aquele momento.
3. O "Raciocínio" Mostra a Importância: Depois de ler, o detetive escreve um pensamento.
   • Se ele escreve um pensamento curto ("Isso não serve"), o documento era pouco útil.
   • Se ele escreve um pensamento longo e detalhado ("Isso me ajudou a conectar o ponto A com o B"), o documento foi extremamente valioso.
   • O sistema usa o tamanho do pensamento como uma medida de "quanto esse documento ajudou".

Como Funciona na Prática?

Imagine que você está treinando um novo assistente de busca. Em vez de perguntar a 1 milhão de pessoas "o que você clicou?", você pega os diários de 10.000 missões que a IA já fez.

• Você pega os documentos que a IA leu e diz: "Isso é bom!".
• Você pega os documentos que a IA viu e ignorou e diz: "Isso é ruim para essa pergunta".
• Você dá mais pontos para os documentos que fizeram a IA pensar muito e escrever muito depois de ler.

Depois de treinar o motor de busca com esses dados, ele se torna um especialista em entender o que a IA precisa, e não mais o que um humano precisa.

Os Resultados: O Detetive Fica Mais Rápido e Inteligente

O paper mostra que, ao usar esse novo método:

• O detetive acerta mais: A taxa de sucesso em resolver problemas complexos aumentou drasticamente (em alguns casos, quase 30% a mais).
• O detetive trabalha menos: Ele precisa fazer menos perguntas e menos buscas para encontrar a resposta, porque o catálogo agora entrega exatamente o que ele precisa na primeira tentativa.
• Funciona para todos: Funciona tanto com IAs pequenas quanto com as gigantes (como a GLM-4.7 com 358 bilhões de parâmetros).

A Metáfora Final: O Ciclo Virtuoso

A parte mais legal é o conceito de "Voo de Dados" (Data Flywheel).
Antes, os motores de busca dependiam de humanos para melhorar. Agora, cada vez que a IA usa o motor de busca, ela gera novos dados de treinamento.

1. A IA usa o motor.
2. O motor aprende com a IA.
3. O motor fica melhor.
4. A IA fica mais eficiente.
5. Gera mais dados para o motor ficar ainda melhor.

É como se o detetive estivesse constantemente reescrevendo o próprio mapa de navegação enquanto viaja, tornando a viagem cada vez mais rápida e segura para todos os futuros detetives.

Resumo: O paper diz que, na era das IAs que pensam e agem sozinhas, precisamos parar de treinar nossos motores de busca com base em como humanos clicam, e começar a treiná-los com base em como IAs pensam, leem e raciocinam.

Resumo técnico

1. O Problema: A Desalinhamento entre Treinamento Humano e Uso por Agentes

O artigo identifica uma falha fundamental nos sistemas de Recuperação de Informação (RI) atuais. Tradicionalmente, os modelos de recuperação e learning-to-rank são treinados com base em logs de interação humana (cliques, tempo de permanência, etc.), assumindo que o usuário final é um humano.

No entanto, com o surgimento de Agentes de Busca impulsionados por Grandes Modelos de Linguagem (LLMs), o cenário mudou:

• Mudança de Paradigma: A recuperação de informação tornou-se um componente central dentro de loops de raciocínio e ação multi-turno dos agentes, e não mais um ponto final para um usuário humano.
• O Desalinhamento: Os modelos de recuperação atuais, treinados com dados humanos, não se alinham com a forma como os agentes emitem consultas (sub-consultas intermediárias para objetivos de raciocínio) e consomem resultados.
• Consequência: Existe uma incompatibilidade fundamental entre como os modelos são treinados (dados humanos) e como são usados (agentes autônomos), criando um gargalo de desempenho que limita a capacidade dos agentes de resolver tarefas complexas.

2. Metodologia: O Framework LRAT

Os autores propõem o LRAT (Learning to Retrieve from Agent Trajectories), um novo paradigma de treinamento que utiliza diretamente os dados de interação dos agentes como sinal de supervisão.

Análise das Trajetórias de Agentes

Antes de propor o método, os autores realizaram uma análise sistemática de trajetórias de agentes de pesquisa profunda (Deep Research Agents) e identificaram três sinais comportamentais chave:

1. Ação de Navegação (Browse) como Sinal Positivo: A navegação em documentos é uma condição necessária para o sucesso da tarefa. Documentos navegados são candidatos naturais para sinais positivos.
2. Documentos Não Navegados como Sinais Negativos Confiáveis: Diferente dos logs de cliques humanos (que sofrem de viés de posição), os agentes navegam de forma mais distribuída. Documentos que foram recuperados mas não navegados representam uma rejeição explícita após inspeção, servindo como "negativos" confiáveis sem necessidade de correção de viés.
3. Rastros de Raciocínio Pós-Navegação como Indicadores de Intensidade: O comprimento e a profundidade do raciocínio do agente após navegar em um documento indicam a utilidade real do documento. Raciocínios mais longos sugerem que o documento foi crucial para o progresso da tarefa.

O Framework LRAT

O framework opera em três etapas principais para extrair e refinar a supervisão:

1. Mineração de Sinais de Relevância (Naive Mining):

   • Extrai pares de consulta-documento a partir das transições de busca para navegação (Search → Browse).
   • O documento navegado é tratado como positivo; os outros documentos no mesmo conjunto de resultados (não navegados) são tratados como negativos.

2. Filtragem Consciente de Raciocínio (Reasoning-Aware Filtering):

   • Para reduzir ruído (documentos navegados que não ajudaram), um LLM atua como "juiz" analisando o rastro de raciocínio imediato após a navegação.
   • Se o raciocínio não utilizar explicitamente o conteúdo do documento para avançar a tarefa, o sinal positivo é descartado.

3. Treinamento com Pesos de Intensidade (Intensity-Aware Training):

   • O LRAT não trata todos os positivos como iguais. Ele estima a intensidade de relevância baseada no comprimento do token de raciocínio pós-navegação.
   • Utiliza uma função de saturação exponencial para mapear o comprimento do raciocínio para um peso ($w$). Documentos que geram raciocínios mais longos recebem pesos maiores.
   • O modelo é otimizado usando uma Função de Perda Contrastiva Ponderada (Weighted InfoNCE Loss), onde os gradientes são escalados por esses pesos, priorizando documentos que impulsionam o progresso do agente.

3. Contribuições Principais

1. Novo Paradigma de Treinamento: Formaliza o "Aprendizado para Recuperar a partir de Trajetórias de Agentes", deslocando o foco de logs humanos para dados de interação de agentes.
2. Framework LRAT: Propõe um método simples, mas eficaz, que minera supervisão de alta qualidade de trajetórias de agentes, utilizando filtragem por LLM e ponderação baseada na intensidade do raciocínio.
3. Validação Empírica Robusta: Demonstra que o LRAT melhora consistentemente a recuperação de evidências e o sucesso de tarefas em diversos benchmarks e arquiteturas de agentes.
4. Potencial de "Data Flywheel" (Roda de Dados): Demonstra que as trajetórias de agentes podem sustentar um ciclo de auto-improvação contínuo, onde o retriever melhora iterativamente com o uso do agente, mesmo sem anotação humana adicional.

4. Resultados Experimentais

Os experimentos foram conduzidos em benchmarks de pesquisa profunda (InfoSeek-Eval e BrowseComp-Plus) utilizando uma variedade de agentes (de 4B a 358B parâmetros) e recuperadores (Qwen3-Embedding e E5-Large).

• Melhoria no Sucesso da Tarefa: O LRAT aumentou consistentemente a taxa de sucesso (Success Rate) em todos os agentes testados.
  • Exemplo: No agente GLM-4.7 (358B), a taxa de sucesso no InfoSeek-Eval aumentou de 67,7% para 82,0% (+14,3 pontos percentuais).
  • Exemplo: No MiniMax-M2.1 (229B), o ganho foi de 58,7% para 78,3% (+19,6 pontos).
• Recall de Evidências: Houve uma melhoria significativa na capacidade de recuperar documentos de evidência anotados (Recall), com ganhos relativos variando de 7% a mais de 37%.
• Eficiência de Execução: Os agentes equipados com o LRAT precisaram de menos passos (interações) para resolver as tarefas, indicando que o retriever forneceu informações mais precisas e úteis desde o início.
• Robustez: O método funcionou bem tanto em cenários in-domain quanto out-of-domain, e manteve a superioridade sob diferentes configurações de orçamento de recuperação (Top-K).
• Simulação de Flywheel: A simulação mostrou que o uso de trajetórias (mesmo as incorretas) permite atualizações iterativas do recuperador, resultando em ganhos contínuos de desempenho ao longo das iterações.

5. Significância e Impacto

Este trabalho é significativo porque:

• Resolve um Gargalo Crítico: Identifica e resolve a incompatibilidade entre os modelos de recuperação atuais e a nova era de agentes autônomos.
• Escalabilidade: Oferece uma solução escalável que não depende de anotação humana cara, utilizando os dados gerados naturalmente pela execução dos agentes.
• Futuro da RI: Estabelece as bases para sistemas de recuperação que evoluem junto com os agentes, criando um ecossistema onde a qualidade da recuperação melhora automaticamente à medida que os agentes são mais utilizados.
• Generalização: A abordagem é agnóstica ao modelo de agente e ao modelo de recuperação, tornando-a aplicável a uma vasta gama de sistemas de busca autônomos futuros.

Em resumo, o artigo propõe que, na era dos agentes, a melhor forma de treinar um sistema de busca é ensinando-o a entender o comportamento e o raciocínio dos próprios agentes que o utilizam, em vez de tentar prever o comportamento humano.