🤖 AI

CoEvo-Mem: Co-Evolving Retrieval Policy and Memory Bank for LLM Agents

O CoEvo-Mem é um framework de loop fechado que otimiza simultaneamente as políticas de recuperação e a evolução do banco de memória por meio de atualizações alternadas e feedback condicionado à trajetória, alcançando o estado da arte em desempenho através de diversos benchmarks ao abordar a interdependência fundamental entre o acesso e o refinamento da memória em agentes de LLM de longo prazo.

Autores originais: Bowen Ye, Yongchao Xu, Zhijian Li, Xiang Yin, Junkai Ma, Wenzhao Li

Publicado 2026-08-04

📖 8 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Bowen Ye, Yongchao Xu, Zhijian Li, Xiang Yin, Junkai Ma, Wenzhao Li

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está ensinando um robô brilhante, mas esquecido, a jogar um videogame complexo. O robô tem um cérebro enorme (um Grande Modelo de Linguagem) que sabe falar e pensar, mas consegue reter apenas uma quantidade minúscula de informações em sua "memória de trabalho" de cada vez — como tentar resolver um quebra-cabeça vendo apenas as últimas três peças. Para jogar bem ao longo de um longo período, o robô precisa de uma biblioteca de experiências passadas para consultar. É aqui que entra a Geração Aumentada por Recuperação (RAG): é como o robô perguntando ao bibliotecário: "Ei, já vimos um quebra-cabeça como este antes?"

Mas aqui está a parte complicada: o robô precisa de duas coisas para funcionar perfeitamente. Primeiro, ele precisa de um Bibliotecário (a política de recuperação) que seja realmente bom em encontrar as notas antigas certas para a pergunta atual. Segundo, ele precisa de um Anotador (o banco de memória) que seja bom em organizar essas notas, decidindo quais são realmente úteis e atualizando-as conforme o jogo fica mais difícil. Por muito tempo, os cientistas tentaram tornar o Bibliotecário mais inteligente mantendo o Anotador estático, ou tornaram o Anotador melhor mantendo o Bibliotecário o mesmo. Mas e se o Bibliotecário precisasse saber como as notas estão organizadas para encontrá-las, e o Anotador precisasse saber o que o Bibliotecário está procurando para organizá-las melhor? Eles precisam aprender juntos, em um ciclo.

É exatamente isso que o artigo CoEvo-Mem explora. Os autores propõem um sistema onde o "Bibliotecário" e o "Anotador" evoluem juntos, ensinando constantemente um ao outro como fazer seus trabalhos melhor. Eles testaram essa ideia em sete tipos diferentes de tarefas desafiadoras, variando desde escrever código de computador até resolver questões científicas ou controlar o sistema operacional de um computador. Os resultados sugerem que, quando essas duas partes aprendem em sincronia, o robô torna-se significativamente melhor em resolver problemas longos e complexos do que quando aprendem separadamente.

O Problema: O Ciclo de Feedback Quebrado

Imagine que você está estudando para um grande exame de história. Você tem uma pilha de cartões de memória (sua memória) e um guia de estudo (sua política de recuperação). Se o seu guia de estudo for ruim, você pode escolher os cartões errados para revisar. Mas se seus cartões estiverem bagunçados e desorganizados, mesmo um bom guia de estudo pode ter dificuldade em encontrar o certo.

No mundo dos agentes de IA, os métodos existentes geralmente corrigem um lado do problema enquanto ignoram o outro. Alguns métodos tentam tornar a IA melhor em pedir memórias (recuperação), enquanto outros tentam tornar a IA melhor em armazenar e organizar memórias (evolução). Os autores deste artigo argumentam que essa separação é um erro. Eles apontam para um "ciclo de feedback fundamental" que estava sendo ignorado:

A recuperação decide o que é usado: Se a IA escolhe as memórias erradas, essas memórias não recebem nenhum "crédito" por ajudar (ou prejudicar) a tarefa.
As atualizações de memória mudam o futuro: Se a IA atualiza suas memórias com base no que aconteceu, a forma como essas memórias são organizadas muda, o que torna mais difícil ou fácil encontrá-las na próxima vez.

Se você apenas conserta o método de recuperação sem deixar a memória mudar, ou vice-versa, você perde a chance de ambos melhorarem juntos. É como tentar afinar um violão enquanto as cordas estão constantemente mudando de espessura; você não consegue um som perfeito a menos que ajuste ambos ao mesmo tempo.

A Solução: CoEvo-Mem

Os autores construíram um framework chamado CoEvo-Mem (Memória de Co-Evolução). Pense nisso como uma dança entre dois parceiros: o Roteador (o Bibliotecário) e o Banco de Memória (o Anotador).

Aqui está como a dança funciona:

1. O Cérebro Congelado e o Roteador Inteligente
O "cérebro" principal da IA (o Grande Modelo de Linguagem) permanece congelado — ele não aprende nada novo. Em vez disso, o sistema usa um "Roteador" pequeno e leve para decidir como pedir ajuda.

Quando uma pergunta chega, o cérebro congelado sugere algumas maneiras de reescrever a pergunta (algumas focando no significado, outras em palavras-chave específicas).
O Roteador então aprende a ajustar essas sugestões com base em se a IA acertou ou errou a resposta. É como um treinador sussurrando: "Tente perguntar desta forma na próxima vez", baseado no resultado do jogo.

2. O Banco de Memória como um Mapa Vivo
As memórias não são apenas uma lista de notas; elas são um Grafo Relacional. Imagine um mapa onde cada memória é uma cidade, e as estradas entre elas mostram como elas estão relacionadas.

Estradas densas conectam memórias que têm o mesmo significado (semântica).
Estradas esparsas conectam memórias que compartilham palavras ou nomes específicos (léxica).
Estradas temporais conectam memórias que aconteceram em uma sequência (temporal).

Quando a IA resolve uma tarefa, ela não apenas salva a resposta. Ela atualiza o "valor" das cidades que visitou. Se uma memória ajudou a IA a vencer, essa cidade recebe uma pontuação mais alta. Se ajudou, mas apenas um pouco, a pontuação sobe um pouco. Crucialmente, esse crédito não fica apenas com aquela memória específica; ele viaja pelas estradas até as cidades vizinhas, ajudando todo o bairro a ficar mais inteligente.

3. A Dança Alternada (O Ingrediente Secreto)
Você pode pensar: "Por que não atualizar o Roteador e a Memória exatamente ao mesmo tempo?" Os autores descobriram que isso causa caos. Se ambos mudarem ao mesmo tempo, é como tentar aprender a andar de bicicleta enquanto a bicicleta também está mudando de forma. O sistema fica confuso e instável.

Em vez disso, o CoEvo-Mem usa um cronograma alternado:

Fase 1: O Banco de Memória está congelado (travado no lugar). O Roteador pratica encontrar as melhores memórias usando este mapa fixo.
Fase 2: O Roteador está congelado (travado no lugar). O Banco de Memória atualiza sua organização e valores com base no que o Roteador acabou de encontrar.
Eles alternam entre essas fases. Isso permite que cada parceiro aprenda com o estado atual do outro sem a confusão de ambos mudarem simultaneamente.

O Que Eles Descobriram

A equipe testou o CoEvo-Mem em sete desafios muito diferentes:

Interação com Sistema Operacional: Controlar um computador para realizar tarefas.
Geração de Código: Escrever programas de computador funcionais.
Raciocínio Multimodal: Resolver quebra-cabeças que envolvem tanto texto quanto imagens.
Questões Científicas: Responder a perguntas difíceis sobre física, química e biologia.
Chamada de Função (Function Calling): Ensinar a IA a usar ferramentas e APIs corretamente.
Conversação de Longo Prazo: Lembrar detalhes de conversas longas.

Em todos esses testes, o CoEvo-Mem teve um desempenho superior aos melhores métodos existentes.

No GPQA Diamond (questões científicas difíceis), ele melhorou a pontuação em 7,50 pontos percentuais sobre a linha de base mais forte.
No LiveCodeBench (codificação), ele melhorou em 3,81 pontos percentuais.
Na Memória de Conversação de Longo Prazo (LoCoMo), atingiu uma pontuação de 81,71, superando o segundo melhor método por quase 5 pontos.

Os autores também realizaram "estudos de ablação" (experimentos onde removeram partes do sistema) para provar por que funcionou.

Quando removeram a reescrita de consulta (a parte que altera como a pergunta é feita), o desempenho caiu significamente.
Quando removeram a evolução da memória (a parte que atualiza o grafo e os valores), o desempenho também caiu, especialmente em tarefas complexas como codificação e ciência.
Quando tentaram atualizar o Roteador e a Memória ao mesmo tempo (em vez de alternadamente), o sistema teve um desempenho pior do que o método alternado.

A Conclusão

O artigo sugere que, para os agentes de IA realmente dominarem tarefas de longo prazo, não podemos apenas construir um melhor mecanismo de busca ou um melhor banco de dados. Temos que construir um sistema onde o mecanismo de busca e o banco de dados aprendam a se adaptar um ao outro. Ao permitir que o "Librarian" e o "Note-Taker" revezem o aprendizado enquanto o outro permanece parado, o CoEvo-Mem cria um ciclo estável e de melhoria contínua que ajuda os agentes de IA a lembrarem melhor, pensarem com mais clareza e resolverem problemas mais difíceis.

Os autores ressaltam que, embora os resultados sejam fortes nesses sete benchmarks, este é um framework específico para co-evolução. Eles não afirmam que isso resolve todos os problemas de IA, mas mostram que esta forma específica de vincular recuperação e memória é um passo poderoso à frente para construir agentes que podem aprender e se adaptar ao longo do tempo.

Resumo Técnico: CoEvo-Mem

Declaração do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) de longo prazo enfrentam um desafio crítico: à medida que as interações se acumulam através de tarefas e sessões, reter todas as informações históricas dentro de uma única janela de contexto torna-se ineficiente e, muitas vezes, inviável. Agentes eficazes requerem mecanismos de memória para preservar experiências úteis e recuperá-las quando relevante. No entanto, as abordagens existentes tipicamente otimizam o acesso à memória (recuperação) e a evolução da memória (armazenamento/refinamento) de forma isolada.

Métodos focados em recuperação (ex: RAG, reformulação de consulta) otimizam como acessar uma coleção fixa ou mantida independentemente, mas não adaptam a própria coleção com base no uso.
Métodos centrados em memória (ex: evolução baseada em valor, grafos estruturados) melhoram como as experiências são atualizadas ou organizadas, mas frequentemente dependem de políticas de recuperação pré-definidas ou otimizadas separadamente.

Essa separação negligencia um ciclo de feedback fundamental: as decisões de recuperação determinam quais memórias recebem sinais de uso e crédito, enquanto as atualizações no banco de memória (valores e relações) remodelam o cenário para a recuperação futura. Otimizar um componente contra um contraparte permanentemente fixo leva a um descompasso com o estado evolutivo do outro.

Metodologia: CoEvo-Mem

CoEvo-Mem é um framework de ciclo fechado projetado para coevoluir a política de recuperação e o banco de memória através de feedback de interação. O framework mantém um LLM de resposta congelado ( $F_{ans}$ ) e foca no aprendizado de uma política de recuperação leve e um grafo de memória relacional tipado e persistente.

1. Componentes Principais

LLM Congelado e Reescrita de Consulta Especializada por Rota (SR-QR): Para cada consulta, um LLM congelado gera reescritas de consulta específicas para a rota (densas para intenção semântica, esparsas para pistas lexicais exatas) e um prior de roteamento inicial.
Roteador Residual Guiado por Prior: Um módulo treinável e leve aprende uma correção residual ao prior de roteamento inicial do LLM. Ele produz pesos de fusão ( $w_t$ ) que controlam um recuperador híbrido.
Recuperador Híbrido Ponderado por Q: Este recuperador integra similaridade densa, correspondência esparsa (BM25) e utilidade de memória aprendida. Utiliza a Fusão de Classificação Recíproca Ponderada (WRRF) para combinar classificações de diferentes reescritas e rotas, ponderadas pela saída do roteador.
Grafo de Memória Relacional Tipado: As memórias são armazenadas como nós em um grafo contendo conteúdo, descrições, palavras-chave e metadados temporais. As arestas codificam relações semânticas (densas), lexicais (esparsas) e temporais. Cada nó detém um valor de utilidade aprendido ( $Q_t(m)$ ) que representa sua utilidade de recuperação downstream descontada.

2. O Mecanismo de Coevolução

O framework aborda a não-estacionaridade causada pela dependência mútua entre recuperação e memória através de fases de treinamento alternadas:

Fase do Roteador: O grafo de memória é fixo (apenas leitura). O roteador é atualizado usando uma política de gradiente de recompensa (estimador de função de score) baseada nos resultados das tarefas. O roteador explora misturas contínuas de rotas de recuperação densa e esparsa.
Fase da Memória: O roteador é congelado (usando sua política média determinística). O grafo de memória evolui sequencialmente. Novas memórias são destiladas a partir de trajetórias de interação, e os valores de utilidade são atualizados via um mecanismo do tipo Diferença Temporal (TD).
- Atualização de Utilidade: $Q_t(m)$ é atualizado com base na recompensa imediata da tarefa, na utilidade atribuída à memória e em um termo de bootstrap de experiências recém-destiladas.
- Propagação de Crédito Relacional: O feedback se propaga para memórias relacionadas (vizinhos semânticos, lexicais ou temporais) com base na força do caminho e fatores de atenuação específicos da relação.

3. Objetivo de Treinamento

O sistema otimiza a recompensa esperada da tarefa $J_{tr}$ sobre as trajetórias induzidas pelo roteador, o grafo evolutivo e o cronograma de fases. Ao alternar as atualizações, cada componente se adapta ao estado mais recente do outro sem a instabilidade da otimização conjunta simultânea.

Contribuições Principais

Identificação de um Ciclo de Feedback: O artigo identifica e formaliza o ciclo de feedback subexplorado entre a recuperação e a evolução da memória em agentes de LLM de longo prazo, onde a recuperação determina a atribuição de crédito e as atualizações de memória guiam a recuperação futura.
Framework CoEvo-Mem: Um framework inovador que coordena a adaptação da política de recuperação com a evolução da memória relacional, mantendo o LLM de resposta congelado. Características principais incluem:
- Reescrita de consulta especializada por rota e adaptação residual de um prior de roteamento de LLM.
- Atualizações de memória que propagam o feedback através de relações semânticas, lexicais e temporais.
- Um cronograma de treinamento alternado para mitigar a não-estacionaridade.
Validação Empírica: Experimentos extensos em sete benchmarks diversos (abrangendo seis configurações de avaliação, já que o BFCL inclui configurações de pensamento e não-pensamento) demonstram que o CoEvo-Mem alcança o estado da arte, validando a importância da otimização conjunta.

Resultados Experimentais

O CoEvo-Mem foi avaliado em sete benchmarks abrangendo interação com sistemas operacionais (LLAB), geração de código (LiveCodeBench), raciocínio multimodal (MMMU Pro), QA científico (GPQA Diamond), chamada de função (BFCL) e memória conversacional de longo prazo (LoCoMo, LongMemEval).

Desempenho: O CoEvo-Mem alcançou a pontuação média mais alta em todas as seis configurações avaliadas (LLAB, LiveCodeBench, MMMU Pro, GPQA Diamond, BFCL não-pensamento e BFCL pensamento). Comparado ao baseline mais forte em cada linha, a melhoria média foi de 3,72 pontos percentuais, com ganhos individuais variando de 1,06 a 7,50 pontos.
- Ganhos notáveis foram observados em GPQA Diamond (+7,50) e BFCL não-pensamento (+6,33).
Estudos de Ablação:
- Remover o SR-QR (reescrita específica de rota) reduziu o desempenho em 4,24 pontos em média, destacando a importância da reformulação de consulta.
- Remover a Evolução de Memória (atualizações relacionais) reduziu o desempenho em 4,80 pontos, confirmando que relações tipadas e propagação de valor melhoram o reuso da memória além das atualizações independentes por item.
- A Co-adaptação Alternada superou tanto as atualizações simultâneas quanto o treinamento em duas etapas, demonstrando a necessidade do cronograma alternado para gerenciar a não-estacionaridade.
Transferibilidade: Em protocolos de memória fixa (LoCoMo-MC, LongMemEval-MC), o CoEvo-Mem alcançou resultados fortes e, quando o backbone de resposta foi trocado para GPT-4 sem retreinar o sistema de memória, o desempenho aumentou significamente, indicando que a interface de recuperação aprendida transfere bem entre backbones.

Significância e Alegações

O artigo afirma que o CoEvo-Mem avança o estado da arte ao demonstrar que o acesso à recuperação e a evolução da memória são mutuamente reforçadores e devem ser otimizados conjuntamente. Os autores argumentam que:

A Adaptação Conjunta é Crítica: Isolar a otimização de recuperação ou de memória impede que a contraparte fixa se adapte às mudanças induzidas pela outra, limitando o desempenho geral do agente.
Ciclos de Feedback Estruturados: Ao modelar explicitamente o ciclo de feedback onde a recuperação determina a atribuição de crédito e as atualizações de memória guiam a recuperação futura, os agentes podem sustentar melhorias ao longo de longos horizontes.
Generalização: O sucesso do framework em tarefas heterogêneas (desde geração de código até raciocínio científico) e tipos de memória sugere que a co-adaptação da roteação de recuperação e da evolução da memória é uma estratégia generalizável para agentes de LLM de longo prazo.

Os autores concluem que trabalhos futuros devem explorar o compartilhamento de memória entre múltiplos agentes e garantias teóricas para a otimização acoplada de recuperação-memória, mas o trabalho atual estabelece a base empírica para esta abordagem de coevolução.