Resumo Técnico: METIS: Unindo Memória de Texto e Código para Agentes Autoevolutivos

Declaração do Problema

Agentes autoevolutivos visam melhorar o desempenho ao longo do tempo, destilando a experiência de execuções passadas e reutilizando-a em tarefas futuras. No entanto, os sistemas atuais enfrentam uma limitação fundamental: a escolha da representação da memória (texto em linguagem natural vs. código executável) é tipicamente fixa no momento do design, em vez de ser derivada das características da própria experiência.

As abordagens existentes geralmente se dividem em duas categorias:

1. Memória de Texto: As experiências são armazenadas como linguagem natural e injetadas no contexto do agente, exigindo que o agente as leia e raciocine sobre elas.
2. Memória de Código: Rotinas passadas são encapsuladas como ferramentas ou serviços chamáveis que o agente invoca diretamente.

A área carece de uma compreensão sistemática dos compromissos (trade-offs) entre essas representações. Especificamente, não está claro quais tipos de experiência são melhor capturados por cada forma, quais custos elas incorrem e como elas devem cooperar quando nenhuma das duas, isoladamente, é suficiente. Os sistemas atuais frequentemente aplicam uma representação indiscriminadamente, falhando em equilibrar o custo de construção, a eficiência de execução e a confiabilidade de transferência.

Metodologia

1. Estudo de Perfil Controlado

Os autores realizaram primeiro um estudo controlado no benchmark AppWorld para isolar os efeitos da memória de texto e da memória de código sobre um conjunto idêntico de experiências. Este estudo revelou três compromissos complementares:

• Custo de Construção: A memória de texto é significativamente mais barata de construir. Criar uma ferramenta reutilizável requer exploração, validação e depuração adicionais, incorrendo em aproximadamente 2,5× mais turnos de ReAct e ~1 milhão de tokens adicionais em comparação com a memória de texto.
• Eficiência de Execução: A memória de código oferece uma eficiência de tempo de execução marcadamente superior. Ela compila rotinas em invocações de ação única, eliminando o raciocínio intermediário redundante exigido pelo direcionamento baseado em texto.
• Confiabilidade de Transferência: A memória de texto generaliza de forma mais confiável para tarefas não vistas. A memória de código, sendo frágil e fixa, degrada-se significativamente (22,3 pontos) em configurações de fluxo contínuo (streaming) onde as tarefas variam, enquanto a memória de texto degrada-se apenas ligeiramente (5,6 pontos).

Insight Chave: Nenhuma das representações é suficiente sozinha. O texto é barato e robusto para captura ampla, enquanto o código é eficiente, mas frágil e caro. Portanto, a codificação deve ser reservada apenas para experiências que ocorrem com frequência e exibem padrões procedimentais estáveis.

2. O Sistema Metis

Guiados por essas descobertas, os autores propõem o Metis, um sistema de memória de dupla representação hierárquica.

• Estrutura Hierárquica: O Metis mantém uma memória $M = (M_{text}, M_{code})$.

  • Memória de Texto ($M_{text}$): Serve como base, capturando experiências em linguagem natural. É organizada em três categorias distintas:
    • Planos (Plans): Templates procedimentais reutilizáveis para sub-rotinas recorrentes.
    • Fatos (Facts): Restrições e propriedades do ambiente.
    • Armadilhas (Pitfalls): Padrões de falha estruturados (gatilho, erro, consequência).
  • Memória de Código ($M_{code}$): Uma biblioteca de ferramentas chamáveis validadas.

• Reflexão de Texto Diferenciada: Um agente de reflexão destila trajetórias concluídas nas três categorias de texto. Ele mescla entradas redundantes e atualiza as desatualizadas, garantindo que a memória de texto permança geral e precisa. Crucialmente, este agente opera como um loop de raciocínio limitado com acesso ao ambiente, não apenas ao texto da trajetória.

• Geração de Código Sensível a Padrões: Este componente implementa um mecanismo de promoção seletiva.

  • Ele não converte indiscriminadamente todas as experiências em código.
  • Ele monitora a reutilização de Planos de Execução na memória de texto.
  • Quando um plano é selecionado com frequência suficiente (ultrapassando um limiar de recorrência $\theta$), ele é promov oido.
  • O codificador utiliza o corpo do plano e consultas de tarefas relacionadas (excluindo deliberadamente trajetórias brutas para evitar a codificação de ruído específico da tarefa) para sintetizar ferramentas.
  • Ferramentas geradas passam por fechamento de dependências, compilação e testes funcionais em um sandbox antes da admissão.

• Gerenciador de Memória e Harness de Reflexão:

  • O Gerenciador realiza a recuperação conjunta, selecionando entradas de texto e ferramentas relevantes com base na consulta da tarefa atual.
  • O Harness fornece a "revelação progressiva" de evidências de execução para o refletor (resumindo trajetórias longas) e impõe verificações estritas de dependência para novas ferramentas.

• Fluxo de Trabalho: O sistema opera em um loop de executar–refletir–reutilizar. A reflexão ocorre fora do caminho crítico de execução (de forma assíncrona), garantindo que a construção da memória não infle a latência de serviço da tarefa.

Principais Contribuições

1. Primeiro Estudo Controlado: O artigo apresenta o primeiro estudo isolando formas de memória de texto e de código sobre um conjunto idêntico de experiências e um backbone de agente compartilhado, desvinculando efeitos de representação de efeitos de sistema do agente.
2. Sistema Metis: A introdução de um sistema de dupla representação hierárquica que trata a memória de texto como uma fundação de baixo compromisso e promove seletivamente planos estratégicos recorrentes em ferramentas chamáveis validadas, mantendo fatos e armadilhas como texto.
3. Validação Empírica: Experimentos extensos no benchmark AppWorld demonstrando que o Metis alcança um equilíbrio superior entre precisão, eficiência de execução e custo de construção de memória em comparação com agentes autoevolutivos existentes.

Resultados Experimentais

Avaliado no benchmark AppWorld (9 aplicações, 457 APIs), o Metis foi comparado contra No Memory (ReAct base), ACE (evolução de contexto baseada em texto) e SkillX (reuso baseado em habilidades).

• Precisão: O Metis alcançou a maior precisão de tarefa, melhorando a Conclusão de Objetivo da Tarefa (TGC) em 8,3% sobre a linha de base No Memory no Official split e 11,3% no Resampled split. Superou tanto o ACE quanto o SkillX.
• Eficiência de Execução: O Metis reduziu os tokens do executor em 13,5% (Official) e 22,8% (Resampled) em comparação com a linha de base. Exigiu menos turnos de ReAct (11,25 vs. 14,55 para a linha de base no Official).
• Custo de Construção: Apesar de sintetizar ferramentas, o Metis incorreu em um custo de reflexão menor (7,9M de tokens) do que o SkillX (9,4M de tokens) no Official split.
• Robustez: Sob mudança de distribuição (Official split), o Metis reteve a maior parte de sua utilidade de memória, enquanto o SkillX perdeu a maioria de seus ganhos, destacando a superior transferibilidade da abordagem seletiva do Metis.
• Estudos de Ablação:
  • Híbrido vs. Único: O sistema híbrido completo superou tanto as variantes "Apenas Texto" quanto "Apenas Código", confirmando que a interação entre as duas formas não é aditiva, mas sinérgica.
  • Portão de Recorrência: Remover o portão de recorrência (codificação voraz/eager) aumentou o custo de construção em 47% e degradou a precisão em 3,5 pontos, provando que a codificação indiscriminada leva ao overfitting e ao desperdício de recursos.

Significância

O artigo afirma que o Metis aborda uma lacuna de design crítica em agentes autoevolutivos ao se afastar de escolhas de representação fixas e ad-hoc. Ao demonstrar que as memórias de texto e de código são complementares em vez de intercambiáveis, o trabalho motiva uma estratégia de promoção seletiva. O Metis prova que é possível alcançar a eficiência de execução da memória de código mantendo o baixo custo de construção e a alta confiabilidade de transferência da memória de texto, desde que a codificação seja controlada por evidências de recorrência. Esta abordagem permite que os agentes melhorem ao longo do tempo sem incorrer nos custos proibitivos da síntese de ferramentas indiscriminada ou na ineficiência do raciocínio puramente baseado em texto.