Resumo Técnico: EvoArena e EvoMem

Declaração do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) têm demonstrado um forte desempenho em benchmarks envolvendo navegação na web, engenharia de software e uso de ferramentas. No entanto, essas avaliações assumem predominantemente ambientes estáticos, onde interfaces, regras, estados de código e distribuições de tarefas permanecem fixos após a construção do benchmark. No implantação no mundo real, os agentes operam em ambientes dinâmicos, onde as condições evoluem persistentemente ao longo do tempo (ex: atualizações de API, mudanças de fluxo de trabalho, refatoração de código e mudanças nas preferências do usuário).

Os sistemas de agentes atuais frequentemente falham nesses cenários devido ao colapso de estado. A maioria dos agentes baseados em memória mantém um único estado mais recente (ex: um banco de memória recuperado ou um armazenamento episódico). Embora eficaz quando novas informações substituem com segurança as antigas, esse design torna-se frágil quando diferentes versões do ambiente exigem comportamentos diferentes. Por exemplo, uma atualização de permissão de fluxo de trabalho pode sobrescrever uma regra anterior que permanece válida para um lançamento legado específico ou organização. Consequentemente, os agentes perdem o contexto que explica quando comportamentos anteriores eram válidos, levando ao reuso de procedimentos obsoletos. Existe uma lacuna crítica na avaliação e melhoria da robustez do agente sob a evolução persistente do ambiente.

Metodologia

1. EvoArena: Uma Suíte de Benchmarks para Evolução Persistente

Para abordar a falta de avaliação dinâmica, os autores introduzem o EvoArena, uma suíte de benchmarks que modela mudanças de ambiente como sequências de atualizações progressivas em três domínios:

• Terminal-Bench-Evo (Evolução de Fluxo de Trabalho Executável): Converte tarefas estáticas de terminal em cadeias versionadas. O objetivo subjacente permanece constante, mas as restrições operacionais evoluem através das versões, incluindo mudanças em caminhos de I/O, interfaces CLI/API, dependências, layouts de workspace e políticas de segurança. Cada cadeia consiste em 4 a 5 versões onde as versões posteriores herdam o ambiente realizado das anteriores.
• SWE-Chain-Evo (Evolução de Software): Organiza repositórios de software em cadeias cronológicas de marcos (milestones). Os agentes devem resolver objetivos de desenvolvimento localizados (ex: correções de bugs, adições de funcionalidades) onde o código acumula mudanças de marcos anteriores. A avaliação testa se os agentes conseguem implementar novos requisitos sem regredir comportamentos estabelecidos anteriormente (medido via testes Pass-to-Pass).
• PersonaMem-Evo (Evolução de Inteligência Social): Estende benchmarks de personalização para modelar a evolução das preferências do usuário. Em vez de perfis estáticos, os agentes interagem com conversas de longo horizonte onde as preferências do usuário mudam ao longo do tempo (ex: mudança de preferências de bebidas baseada em novas experiências). O benchmark inclui perguntas que exigem que os agentes infiram as preferências atuais a partir de evidências históricas dispersas, distinguindo entre estados desatualizados e válidos.

O EvoArena avalia os agentes usando duas métricas:

• Acurácia de Passo (Step Accuracy): Sucesso em tarefas evoluídas individuais.
• Acurácia de Cadeia (Chain Accuracy): Sucesso em uma sequência de tarefas vinculadas, exigindo que o agente mantenha a confiabilidade ao longo de todo o histórico de evolução sem erros.

2. EvoMem: Um Paradigma de Memória Baseado em Patches

Para melhorar o desempenho do agente nesses cenários dinâmicos, os autores propõem o EvoMem, um paradigma de memória leve, semelhante ao git. Ao contrário dos sistemas de memória padrão que consolidam atualizações em um único estado, o EvoMem trata as atualizações de memória como um histórico de patches de adição exclusiva (append-only).

• Registro de Patch: Quando um agente atualiza sua memória, o EvoMem captura mudanças não aditivas (revisões, sobrescrições, reinterpretações) como patches explícitos. Cada patch $p_t$ registra:
  • $\tau_t$: Metadados temporais (turno, sessão).
  • $C^-_t, C^+_t$: Conteúdo da memória antes e depois da atualização.
  • $r_t$: A razão para a atualização.
  • $z_t$: Um resumo semântico da mudança.
  • $e_t$: Evidência de suporte (contexto de gatilho, feedback).
• Recuperação Aumentada por Patch: Durante a inferência, o agente recupera o estado de memória mais recente por padrão. No entanto, se uma consulta depender de estados sobrescritos, mudanças temporais ou comportamentos específicos de versão, o sistema recupera seletivamente os patches históricos relevantes. Isso permite que o agente raciocine sobre por que um estado mudou e quando um estado anterior era válido.

O EvoMem é instanciado em diferentes arquiteturas de agentes (Terminus2, OpenHands, A-Mem, Memento-Skill) definindo esquemas específicos para o que constitui um "patch" naquele contexto (ex: mudanças de estratégia em tarefas de terminal, revisões de lógica de código em engenharia de software ou atualizações de preferência em conversas).

Principais Contribuições

1. Benchmark EvoArena: Uma suíte abrangente que avalia agentes sob a evolução persistente do ambiente em fluxos de trabalho de terminal, repositórios de software e preferências sociais. Introduz a Acurácia de Cadeia como uma métrica mais rigorosa para confiabilidade sustentada.
2. Paradigma EvoMem: Uma arquitetura de memória que preserva traços da evolução do ambiente. Ao registrar atualizações de memória como patches estruturados com razões e evidências, permite que os agentes raciocinem sobre estados dependentes de versão em vez de depender apenas do último estado consolidado.
3. Análise Empírica: Demonstrações de que os agentes atuais lutam significativamente em ambientes em evolução e que o EvoMem melhora consistentemente a robustez, a retenção de evidências e o desempenho ao nível da cadeia.

Resultados Experimentais

Desempenho no EvoArena

Experimentos em múltiplos modelos de base (GPT-5.5, Gemini-3.1-Pro, Kimi-K2.6, etc.) e frameworks de agentes revelam:

• Dificuldades da Linha de Base (Baseline): Os agentes atuais alcançam uma acurácia moderada ao nível de passo (média de ~43,6% no Terminal-Bench-Evo, ~27,9% no SWE-Chain-Evo e ~47,3% no PersonaMem-Evo), mas sofrem quedas significativas na Acurácia de Cadeia (ex: caindo para ~21,5% no Terminal-Bench-Evo). Isso indica que resolver passos isolados não garante confiabilidade através de cadeias em evolução.
• Melhorias do EvoMem: A integração do EvoMem melhora consistentemente o desempenho:
  • Nível de Passo: Ganhos médios de +2,4% (Terminal), +0,4% (SWE) e +1,7% (Persona).
  • Nível de Cadeia: Maiores ganhos são observados ao nível da cadeia, com melhorias médias de +6,1% (Terminal), +2,1% (SWE) e +3,2% (Persona). Isso sugere que o EvoMem é particularmente eficaz para manter a consistência através de sequências de tarefas dependentes.

Generalização para Benchmarks Padrão

O EvoMem também melhora o desempenho em benchmarks padrão, não evolutivos:

• GAIA: Melhoria média de +6,1%.
• LoCoMo: Melhoria média de +4,8%.
  Isso sugere que preservar o histórico de atualizações como evidência recuperável beneficia os agentes mesmo em configurações estáticas, provavelmente ao melhorar o raciocínio de longo horizonte e reduzir a alucinação de estados passados.

Análise Mecanística

• Operacionalização: No Terminal-Bench-Evo, os ganhos são maiores quando os agentes não apenas recuperam exemplos de patch, mas também os operacionalizam — incorporando a informação de transição em seu raciocínio e comandos executados.
• Redução de Regressão: No SWE-Chain-Evo, o EvoMem reduz significamente as falhas Pass-to-Pass (regressões), indicando uma melhor preservação das restrições históricas de código.
• Preservação de Evidência: No PersonaMem-Evo, o EvoMem melhora a captura de evidência ao nível de linha, o que significa que ele preserva melhor o conjunto completo de evidências de preferência necessário para o raciocínio subsequente, particularmente para questões de trajetória temporal e síntese de múltiplos padrões.

Significância e Alegações

O artigo afirma que a implantação confiável de agentes em cenários do mundo real exige tratar a memória não como um snapshot estático, mas como um histórico evolutivo de atualizações fundamentadas.

• Preenchendo a Lacuna: O EvoArena aborda o descompasso entre as avaliações de benchmarks estáticos e a natureza dinâmica da implantação no mundo real, onde APIs, fluxos de trabalho e necessidades do usuário mudam continuamente.
• Raciocínio Consciente de Versão: Os resultados destacam que os agentes devem reter a memória mais recente, sendo capazes de recuperar estados anteriores relevantes e raciocinar sobre por que as atualizações ocorreram.
• Implicação de Design: Os autores postulam que sistemas de memória de agentes robustos devem preservar históricos de atualização como evidência recuperável. Essa abordagem permite que os agentes distingam entre conhecimento atual e conhecimento anteriormente válido, evitando a aplicação de comportamentos obsoletos.

O trabalho conclui que modelar a evolução tanto na avaliação (via EvoArena) quanto na arquitetura de memória (via EvoMem) é essencial para construir agentes que possam se adaptar confiavelmente a mudanças de condições.