Resumo Técnico: MemSearcher

Declaração do Problema

Agentes de busca baseados em Modelos de Linguagem de Grande Escala (LLMs), particularmente aqueles que seguem o paradigma ReAct, tipicamente concatenam todo o histórico de interações (pensamentos, ações e observações) na janela de contexto do modelo a cada turno. Esse design cria um gargalo fundamental: à medida que o número de turnos de interação aumenta, o comprimento do contexto cresce linearmente. Em cenários de busca, isso resulta em entradas longas e ruidosas dominadas por passagens recuperadas, muitas das quais são irrelevantes para a consulta do usuário. Essa proliferação de tokens não apenas tensiona a capacidade do LLM de utilizar informações salientes, mas também incorre em sobrecarga computacional e de memória de GPU substancial, limitando a escalabilidade e a implantação de agentes de busca em ambientes com recursos limitados.

Metodologia

Os autores propõem o MemSearcher, um framework de agente projetado para manter uma memória compacta e iterativamente atualizada ao longo de interações multi-turno, em vez de anexar o histórico completo.

1. O Framework MemSearcher

Diferentemente do ReAct, onde a entrada no turno $i$ é o histórico cumulativo $(q, t_1, a_1, o_1, \dots, t_{i-1}, a_{i-1}, o_{i-1})$, o MemSearcher fornece ao LLM de base apenas duas entradas sucintas:

1. A pergunta do usuário $q$.
2. Uma memória compacta $m_{i-1}$ contendo informações essenciais de turnos anteriores.

A cada turno, o LLM gera uma trilha de raciocínio (pensamento) e uma ação com base nesse contexto compacto. Ao receber uma observação (por exemplo, resultados de busca) do ambiente, o LLM atua como um gerenciador de memória. Ele integra novas informações relevantes da observação atual à memória existente, preservando detalhes necessários da memória anterior, gerando uma memória atualizada $m_i$. Esse processo garante que o comprimento do contexto permaneça estável e limitado por um limite máximo pré-definido de tokens (por exemplo, 1.024 tokens), independentemente do número de turnos.

2. GRPO Multi-Contexto

Treinar o MemSearcher é desafiador porque uma única trajetória abrange múltiplos turnos, cada um ocorrendo sob um contexto diferente (devido ao estado de memória em mudança). O GRPO (Otimização de Política Relativa de Grupo) padrão trata uma trajetória como uma única unidade, o que é insuficiente quando cada turno representa um alvo de otimização independente.

Para abordar isso, os autores introduzem o GRPO Multi-Contexto:

• Amostragem de Trajetória: Para uma dada consulta, um grupo de trajetórias é amostrado. Cada trajetória consiste em múltiplos turnos sob contextos variados.
• Propagação de Vantagem: Recompensas são calculadas no nível da trajetória. A vantagem resultante é propagada uniformemente para cada turno dentro dessa trajetória.
• Otimização Independente: Cada turno é tratado como um alvo de otimização independente. A política é atualizada maximizando o objetivo sobre todos os turnos em todas as trajetórias amostradas, permitindo o treinamento de aprendizado por reforço (RL) de ponta a ponta.

3. Modelagem de Recompensa

O treinamento utiliza uma função de recompensa composta por dois componentes:

• Recompensa de Formato: Garante que o modelo adira ao formato de saída pré-definido (uso correto de tags e a presença de \boxed{}).
• Recompensa de Resposta: Uma métrica baseada em regras que calcula a pontuação F1 entre a resposta final dentro de \boxed{} e a verdade fundamental (ground truth).

Contribuições Principais

1. Framework MemSearcher: Uma arquitetura de agente que aproveita o LLM de base como um gerenciador de memória intrínseco para reter iterativamente uma memória compacta, eliminando a necessidade de anexar todo o histórico de interações ao contexto.
2. GRPO Multi-Contexto: Um novo algoritmo de treinamento por RL que permite a otimização de ponta a ponta de trajetórias do MemSearcher, propagando vantagens no nível da trajetória para turnos individuais, acomodando os contextos variados de interações multi-turno.
3. Eficiência e Desempenho: Experimentos abrangentes demonstrando que o MemSearcher alcança desempenho superior em comparação com baselines baseadas em ReAct, mantendo um comprimento de contexto quase constante (abaixo de 4K tokens) ao longo de interações multi-turno.

Resultados Experimentais

Os autores avaliaram o MemSearcher em sete conjuntos de dados públicos de aquisição de conhecimento (Natural Questions, TriviaQA, PopQA, HotpotQA, 2WikiMultiHopQA, Musique e Bamboogle) usando modelos Qwen2.5 de tamanhos variados (3B, 7B, 14B).

• Desempenho: O MemSearcher superou consistentemente baselines fortes, incluindo Search-R1, ReSearch e AutoRefine. Notavelmente, o MemSearcher 3B alcançou uma pontuação média de 43,8, superando várias baselines de 7B parâmetros. O MemSearcher 7B (48,9 de média) superou o ReSearch 32B.
• Eficiência: Enquanto agentes baseados em ReAct exibiram um aumento linear no consumo de tokens com os turnos de interação, o MemSearcher manteve contagens de tokens substancialmente menores e estáveis. Isso permite interações multi-turno dentro de uma janela de contexto mais curta que 4K tokens.
• Necessidade de Treinamento: Estudos de ablação confirmaram que o treinamento por RL é crítico. Modelos usando o framework MemSearcher sem treinamento por RL mostraram degradação significativa de desempenho em comparação com aqueles treinados com GRPO Multi-Contexto. Além disso, o treinamento por RL superou o Ajuste Fino Supervisionado (SFT) via destilação, provavelmente porque o SFT depende de anotações intermediárias custosas e modelos professores subótimos para este framework específico.

Significado e Alegações

O artigo afirma que o MemSearcher aborda o gargalo de escalabilidade dos agentes de busca atuais ao desacoplar o comprimento do contexto do número de turnos de interação. Ao manter uma memória compacta e utilizar GRPO Multi-Contexto para treinamento, o framework permite a implantação de agentes de busca eficazes em ambientes com recursos limitados. Os autores enfatizam que sua abordagem permite que modelos menores (por exemplo, 3B ou 7B) superem modelos maiores que dependem de paradigmas ReAct tradicionais, sugerindo que o gerenciamento eficiente de contexto é tão crítico quanto a escala do modelo para tarefas de raciocínio complexo.

Os autores reconhecem limitações, observando que, embora seu design de memória seja eficaz, mecanismos mais sofisticados (como memória no estilo RAG ou estruturada) merecem investigação adicional para agentes baseados em RL. Eles também sugerem que, embora o GRPO Multi-Contexto seja uma extensão eficaz, técnicas adicionais são necessárias para mitigar potenciais vieses de comprimento e explorar totalmente o potencial do treinamento por RL.