Resumo Técnico: Melhorando Agentes de Linguagem através do BREW

Declaração do Problema

Agentes baseados em Grandes Modelos de Linguagem (LLMs) têm demonstrado uma capacidade crescente em tarefas complexas e de múltiplas etapas, como automação de GUI, uso de ferramentas e manipulação de dados. No entanto, uma limitação fundamental persiste: esses agentes não conseguem aprender com a experiência. Em cada nova sessão, um agente deve redescobrir soluções do zero, repetindo os mesmos erros, chamadas de API redundantes e falhas de manipulação que já resolveu anteriormente.

Abordagens existentes para a memória de agentes sofrem de deficiências específicas. A otimização de pesos (ex: fine-tuning) incorpora o conhecimento em parâmetros opacos do modelo, resistindo à inspeção ou atualizações modulares. Por outro lado, agentes aumentados por memória frequentemente armazenam informações na granularidade errada: ou retêm fragmentos de trajetórias brutas e transitórias que carecem de generalização, ou armazenam reflexões de alto nível que carecem da especificidade necessária para guiar a execução. Além disso, métodos anteriores frequentemente falham em generalizar entre ambientes ou degradam o desempenho quando o contexto recuperado está desalinhado.

Metodologia: O Framework BREW

Os autores introduzem o BREW (Bootstrapping expeRientially-learned Environmental knoWledge), um framework projetado para destilar as trajetórias de interação passadas de um agente em uma Base de Conhecimento (KB) estruturada e recuperável de receitas em linguagem natural. Diferente das primitivas de código usadas em síntese de programas, o BREW visa abstrações em linguagem natural adequadas para ambientes descritos e interagidos via linguagem (ex: GUIs, interfaces conversacionais).

O framework opera através dos seguintes componentes principais:

1. Geração de Trajetória e Relabeling de Hindsight

O processo começa gerando trajetórias de comprimento total (rollouts) para um conjunto de consultas usando um agente impulsionado por LLM. Para enriquecer o sinal de treinamento, o BREM utiliza Hindsight Relabeling. Trajetórias falhas são amostradas, e um LLM gera uma descrição de tarefa alternativa sob a qual o comportamento observado do agente constitui uma solução válida. A reexecução do agente nessas tarefas reformuladas converte aproximadamente metade das trajetórias originalmente falhas em demonstrações bem-sucedidas, deslocando a distribuição de dados efetiva e trazendo à tona competências latentes.

2. Agentes Refletor e Integrador

• Agente Refletor: Recebe um rollout e seus rótulos de avaliação para produzir insights ao nível de sentença mapeados para conceitos específicos (ex: "Comprimir e Extrair Arquivos").
• Deduplicação de Conceitos: Os conceitos gerados são agrupados semanticamente para criar um conjunto compacto de "meta-conceitos", garantindo que a KB permaneça modular e não redundante.
• Agente Integrador: Constrói e refina incrementalmente documentos da KB. Em vez de uma memória plana, a KB é particionada em documentos locais, cada um vinculado a um meta-conceito. Essa estrutura suporta recuperação eficiente e específica ao contexto, além de atualizações modulares.

3. Busca de Árvore de Monte Carlo Expand-and-Gather (EG-MCTS)

Para otimizar o conteúdo da KB, o BREW formaliza o processo de construção como um problema de busca no espaço de estados. Como as receitas de linguagem natural carecem dos sinais de verificação limpos do código compilado, os autores introduzem o EG-MCTS, um algoritmo guiado por recompensa que navega pelo espaço das possíveis configurações da KB.

• Busca Paralela: O algoritmo mantém árvores de busca paralelas para cada meta-conceito.
• Fase de Expansão (Expand): Para cada conceito, o melhor estado atual do documento é expandido gerando novas variantes baseadas em insights de trajetórias.
• Fase de Coleta (Gather): Os melhores estados de todas as árvores de conceitos são coletados para formar um estado de KB de "ótimo corrente". Este estado é usado para avaliar a recompensa dos nós expandidos, garantindo que a otimização de um conceito considere sua interação com o restante da KB.
• Objetivo de Recompensa: A busca otimiza uma função de recompensa composta que equilibra Corretude (precisão do raciocínio subsequente) e Recuperabilidade (o quão efetivamente o documento é recuperado dado o crescimento da KB).

Principais Contribuições

1. Aprendizado de Receitas a partir de Trajetórias: Uma técnica para destilar receitas procedurais de nível de conceito a partir de interações de agentes, guiada por rubricas validadas por humanos e avaliadores específicos da tarefa. Isso particiona a experiência bruta em conhecimento modular e interpretável por humanos.
2. Busca no Espaço de Estados para Otimização: A formalização do refinamento da KB como um problema de busca resolvido via EG-MCTS, abordando o ruído e a ambiguidade inerentes à otimização de abstrações de linguagem natural através de exploração paralela guiada por recompensa.
3. Hindsight Relabeling para Cobertura: Uma adaptação do hindsight relabeling para expandir a diversidade de receitas aprendidas, convertendo trajetórias de "quase acerto" em demonstrações positivas para revelar competências latentes do agente.
4. Desempenho Empírico: Demonstrou resultados de estado da arte em benchmarks baseados em domínio, mostrando ganhos significativos em sucesso de tarefas e eficiência.

Resultados Experimentais

O BREW foi avaliado em três benchmarks: OSWORLD (automação de uso de computador), τ2-Bench (uso de ferramentas) e SpreadsheetBench (manipulação de dados).

• Sucesso de Tarefa: O BREW alcançou ganhos de 10–20% nas taxas de sucesso de tarefas em comparação com agentes base e baselines aumentados por memória existentes (Cognee, Agent-Mem). Por exemplo, no OSWORLD (GTA1-7B + o3), o BREW melhorou o sucesso de 53,30% para 61,70%.
• Eficiência: O framework reduziu as etapas de execução em 10–15%, indicando que a KB ajuda os agentes a contornar explorações redundantes.
• Comparação com Baselines: Notavelmente, os baselines existentes às vezes degradaram o desempenho abaixo de agentes sem memória (ex: Agent-Mem no OSWORLD caiu para 43,83% contra o baseline de 53,30%), sugerindo que a injeção de memória ingênua pode ser prejudicial. O BREW evitou esse modo de falha através de sua busca de estado orientada por recompensa, que otimiza o conteúdo da KB antes da implantação.
• Estudos de Ablação:
  • Estratégia de Busca: O EG-MCTS superou o Refinamento Iterativo e a Busca Gananciosa (Greedy Search), particularmente em domínios complexos como o OSWORLD, onde uma exploração mais ampla é benéfica.
  • Hindsight Relabeling: Permitiu melhorias consistentes em todos os benchmarks e estratégias de busca, deslocando a distribuição de treinamento para incluir demonstrações bem-sucedidas mais diversas.
  • Fidelidade vs. Generalização: Enquanto outros métodos mostraram alta fidelidade nos dados de treinamento, frequentemente falharam em generalizar para conjuntos de teste (transferência negativa). A destilação do BREW de regras condição-ação indexadas pelo estado do ambiente permitiu que ele generalizasse através de tarefas com subestruturas procedurais compartilhadas.

Significância e Alegações

O artigo afirma que o BREW fornece um substrato transparente, controlável e modular para a otimização de agentes, oferecendo uma alternativa ao ajuste fino direto do modelo. Ao decompor a memória do agente em documentos de nível de conceito e otimizar seu conteúdo via busca no espaço de estados, o BREW permite que os agentes internalizem "receitas" — padrões gerais de o que fazer, quando aplicar e o que observar — em vez de memorizar sequências brutas de cliques.

Os autores enfatizam que a Base de Conhecimento resultante é inspecionável e extensível. Ao contrário das atualizações de política opacas, a KB captura padrões comportamentais reutilizáveis que podem ser diretamente revisados e atualizados. O trabalho sugere que, para ambientes do mundo real onde consistência de longo prazo e adaptabilidade são essenciais, a memória estruturada impulsionada pela experiência e otimizada via busca é um passo crítico à frente no desenvolvimento de agentes de linguagem. O framework alcança essas melhorias mantendo custos de memória e computação comparáveis aos LLMs base, sendo o custo de construção da KB uma fração negligenciável do orçamento computacional total quando amortizado sobre os episódios de teste.