Resumo Técnico: Quando a Memória Ajuda a Inferência Multi-Trajetória para Agentes LLM de Uso de Ferramentas?

1. Declaração do Problema

A inferência multi-trajetória — gerar múltiplos caminhos de raciocínio e selecionar entre eles — demonstrou melhorar a precisão para agentes de Grandes Modelos de Linguagem (LLM) de uso de ferramentas em comparação com abordagens de trajetória única. Uma via promissora para melhoria adicional é a memória cruzada de trajetória, onde informações de tentativas falhas ou parciais são transferidas para tentativas subsequentes para evitar erros repetidos ou reutilizar conhecimento ambiental descoberto.

No entanto, a pesquisa existente sobre memória cruzada de trajetória sofre de uma falta de comparação sistemática. Os métodos atuais (por exemplo, reflexão de trajetória estilo Reflexion, reflexões de busca em árvore estilo LATS, estado estruturado do Re-TRAC) operam sob diferentes estratégias de inferência (melhor-de-N, busca em feixe, MCTS) e em diferentes tarefas. Essa heterogeneidade torna incerto se os ganhos de desempenho relatados derivam da abstração de memória específica (por exemplo, observações brutas vs. resumos estratégicos vs. fatos atômicos) ou do próprio método de inferência. Além disso, muitas obras anteriores dependem de verificadores binários inline (por exemplo, correspondência exata, testes unitários) durante o processo de busca, o que não reflete o regime de implantação de agentes de uso de ferramentas práticos, onde a verificação é frequentemente offline.

2. Metodologia

2.1 Um Framework Unificado

Os autores propõem um framework unificado que decompõe a memória ao longo de dois eixos ortogonais:

1. Escopo de Transferência:
   • Cruzamento entre irmãos (Dentro da expansão): Condicionar cada ação candidata aos resultados de irmãos amostrados anteriormente dentro do mesmo passo de expansão. Isso requer expansão intercalada e é aplicável apenas à busca em feixe e MCTS.
   • Cruzamento entre trajetórias (Dentro da busca): Transferir conhecimento através de tentativas completas e sequenciais (iterações) da mesma busca. Isso se aplica a todos os métodos de inferência, incluindo melhor-de-N.
2. Nível de Abstração:
   • Bruto: Inserir pares ação-observação verbais sem sumarização.
   • Reflexão: Gerar um resumo em linguagem natural, no nível da estratégia, de uma trajetória falha (por exemplo, "A compilação C falhou; tente Python").
   • Extração de Fato Atômico: Extrair declarações factuais discretas e reutilizáveis das observações (por exemplo, "O arquivo de configuração está em /etc/app/config.yaml").

2.2 Desenho Experimental

O estudo avalia quatro métodos concretos de memória derivados do framework:

• Sem Memória (Linha de Base): Inferência multi-trajetória padrão sem aumento de contexto.
• Irmão Bruto (Novo): Escopo de cruzamento entre irmãos com abstração bruta.
• Reflexão: Escopo de cruzamento entre trajetórias com abstração de reflexão (adaptado de Reflexion/LATS).
• LiTS-Fact (Novo): Escopo de cruzamento entre trajetórias com extração de fato atômico (adaptado de mem0).

Esses métodos são avaliados em três estratégias de inferência:

• Melhor-de-N: Geração sequencial de $N$ trajetórias.
• Busca em Feixe: Manutenção dos $B$ melhores candidatos em cada passo.
• MCTS (Busca em Árvore Monte Carlo): Seleção baseada em UCT, expansão, simulação e retropropagação.

A avaliação abrange quatro benchmarks de uso de ferramentas:

• WikiSQL & WikiTQ: Agentes SQL consultando bancos de dados relacionais (ambientes serializáveis).
• KGQA: Agentes de Grafo de Conhecimento percorrendo o Freebase via SPARQL (serializável).
• Terminal-Bench 2.0: Agentes de CLI executando comandos de shell (não serializável; o estado não pode ser clonado, restringindo estratégias viáveis ao Melhor-de-N).

Restrição Crucial: Os experimentos são conduzidos em um ambiente sem verificador. O verificador da tarefa é aplicado apenas no momento da avaliação, não durante o loop de busca. Isso corresponde ao regime de implantação de agentes práticos e remove a confusão de sinais binários inline (por exemplo, testes unitários) que poderiam artificialmente aumentar o desempenho em obras anteriores.

3. Principais Contribuições

1. Taxonomia Unificada: Um framework formal de escopo $\times$ abstração para memória em busca em árvore de uso de ferramentas, derivando métodos existentes e um novo método "Irmão Bruto" como instâncias específicas.
2. Estudo Empírico Sistemático: Uma matriz de experimentos controlados (4 métodos de memória $\times$ 3 estratégias de inferência $\times$ 4 benchmarks) sob uma configuração sem verificador e fiel à implantação.
3. Identificação de Fatores de Confusão: O estudo identifica o método de inferência como um fator de confusão crítico. O mesmo método de memória produz resultados estatisticamente distintos sob diferentes estratégias de inferência nos mesmos exemplos.

4. Principais Resultados e Descobertas

A análise produz três descobertas principais sobre quando a memória auxilia a inferência multi-trajetória:

F1: O Efeito de Precisão da Memória é Dependente do Método de Busca

A memória não melhora universalmente a precisão; sua eficácia depende fortemente da estratégia de inferência.

• Reflexão: Alcança significância estatística apenas sob MCTS, não sob Melhor-de-N.
  • Mecanismo: O MCTS utiliza um modelo de recompensa por passo (PRM) que filtra expansões ruins sugeridas pelas reflexões antes que elas alcancem um estado terminal. No Melhor-de-N (pass@N), reflexões ruins são executadas até a conclusão, resultando frequentemente em regressões que cancelam os ganhos.
• Irmão Bruto: Ajuda apenas a Busca em Feixe com escassez de diversidade.
  • Mecanismo: Na busca em feixe com amostragem padrão, candidatos irmãos frequentemente convergem para ações ou desculpas idênticas (colapso de diversidade). A expansão intercalada do Irmão Bruto condiciona cada candidato aos resultados de irmãos anteriores, forçando a diversidade. Esse efeito desaparece no MCTS, onde a re-expansão impulsionada por UCT já fornece variação de ação suficiente.

F2: Convergência de Abstrações de Memória em Tarefas Difíceis

No benchmark mais difícil (KGQA) sob MCTS, Reflexão e Irmão Bruto produzem resultados de precisão estatisticamente indistinguíveis (34,8% para ambos), apesar de operarem em diferentes abstrações (nível de estratégia vs. dados brutos) e escopos (cruzamento entre trajetórias vs. cruzamento entre irmãos).

• Implicação: Em tarefas difíceis onde a política está longe da solução, qualquer contexto não i.i.d. pode ser suficiente para recuperação, tornando a escolha específica da abstração menos crítica. Isso sugere que avaliações de abstração única na literatura anterior podem ter atribuído ganhos à causa errada.

F3: Extração de Fatos Troca Precisão por Eficiência

LiTS-Fact (extração de fato atômico) é neutro em precisão em todas as células avaliadas (nenhum ganho ou perda estatisticamente significativa). No entanto, melhora significativamente a eficiência:

• Encurta o comprimento das trajetórias em 19–26% em tarefas com estrutura ambiental reutilizável (WikiSQL, WikiTQ, KGQA).
• Mecanismo: Fatos extraídos (por exemplo, esquemas de banco de dados, tipos de relação) permitem que tentativas subsequentes pulem etapas de descoberta redundantes (por exemplo, sql_db_list_tables).
• Limitação: Esse ganho de eficiência não se transfere para ambientes não serializáveis (Terminal-Bench), onde cada instância de tarefa possui um ambiente único, tornando fatos em cache não reutilizáveis.
• Interação: Combinar Reflexão e Extração de Fatos é prejudicial. O plano passo a passo explícito gerado pela Reflexão substitui os atalhos implícitos oferecidos pela memória de Fatos, fazendo com que o agente repita etapas de descoberta e reduzindo tanto a precisão quanto a eficiência.

5. Significado e Alegações

O artigo afirma que a literatura anterior sobre a eficácia da memória cruzada de trajetória não é diretamente comparável entre estudos porque cada um avalia sob um método de inferência diferente, que atua como um fator de confusão. Ao controlar essa variável, os autores demonstram que:

• Reflexão não é uma solução universal; ela requer as capacidades de poda do MCTS para ser eficaz.
• Injeção cruzada entre irmãos é um remédio para falhas específicas de diversidade na busca em feixe, não um aprimoramento geral.
• Extração de fatos é principalmente uma ferramenta de eficiência para ambientes estruturados, não um impulsionador de precisão.

Os autores concluem que alegações sobre a eficácia da memória devem ser contextualizadas pela estratégia de inferência e propriedades da tarefa (serializabilidade, presença de estrutura reutilizável). O estudo fornece uma matriz controlada para desvendar esses fatores, sugerindo que trabalhos futuros devem levar em conta explicitamente a interação entre abstrações de memória e algoritmos de busca, em vez de tratá-los como variáveis independentes.

Limitações: O estudo avalia um único modelo de política por benchmark (Haiku 3.5 para SQL, Sonnet 4.6 para KGQA) e não investiga memória entre tarefas (transferência de conhecimento entre perguntas diferentes). Os tamanhos de amostra são suficientes para detectar efeitos de $\gtrsim 6$ pontos percentuais, mas podem perder efeitos menores.