Resumo Técnico: ElasticMem

Definição do Problema

A memória de longo prazo é fundamental para permitir que agentes de Grandes Modelos de Linguagem (LLMs) raciocinem de forma coerente através de interações estendidas, personalizem respostas e reutilizem experiências passadas. No entanto, os sistemas existentes de memória aumentada tratam a memória como um recurso fixo, criando um descompasso entre a utilidade da memória dependente da consulta e a alocação estática da capacidade de memória.

As abordagens atuais dividem-se em duas categorias, ambas com limitações significativas:

1. Métodos de Espaço Textual: Estes recuperam registros em linguagem natural e os concatenam na janela de contexto. Embora interpretáveis, incorrem em um overhead substancial de tokens e são sensíveis a evidências ruidosas ou redundantes, pois memórias irrelevantes consomem tokens de contexto independentemente de sua utilidade.
2. Métodos de Espaço Latente: Estes comprimem memórias em vetores contínuos ou tokens suaves (soft tokens) para reduzir custos textuais. No entanto, eles geralmente dependem de mecanismos de recuperação rígidos (ex: similaridade de cosseno fixa) e interfaces de capacidade fixa, onde cada fragmento recuperado recebe um orçamento latente uniforme. Isso falha em distinguir entre fragmentos que contêm evidências cruciais e aqueles que são meramente similares lexicalmente, mas inúteis.

O desafio central é que a utilidade da memória é altamente dependente da consulta e da tarefa, mas a recuperação e a alocação de capacidade são frequentemente determinadas por escolhas de design fixas, em vez de serem aprendidas a partir dos resultados das tarefas.

Metodologia: ElasticMem

Os autores propõem o ElasticMem, um framework que trata a memória como um recurso latente elástico e aprendível. Em vez de recuperação fixa e alocação uniforme, o ElasticMem aprende a recuperar memórias de forma adaptativa com base no estado interno do raciocinador e a atribuir orçamentos latentes variáveis a elas com base em sua utilidade subsequente.

O framework consiste em quatro estágios principais:

1. Construção do Banco de Memória Latente

Um banco de memória latente offline é construído uma única vez e mantido congelado durante o treinamento. Cada fragmento de memória $m_i$ é codificado por um codificador de LLM base congelado para produzir:

• Uma chave de recuperação ($k_i$): O estado oculto final do fragmento.
• Um cache de conteúdo ($C_i$): Os últimos $N_c$ estados ocultos do fragmento.
  Isso permite uma recuperação eficiente sem a necessidade de recodificar todo o corpus durante a inferência.

2. Recuperação Condicionada à Consulta

Ao contrário dos sistemas padrão que utilizam um recuperador separado e fixo, o ElasticMem deriva a consulta de recuperação do próprio estado oculto do raciocinador.

• O raciocinador adaptado via LoRA amostra um token de controle de recuperação $a$ dada a consulta $q$.
• O raciocinador processa $(q, a)$ para gerar um estado de consulta $h_q$.
• As memórias são recuperadas com base na similaridade de cosseno entre $h_q$ e as chaves de recuperação em cache $k_i$. Isso permite que a recuperação se adapte à interpretação interna do modelo sobre a consulta, em vez de depender apenas da correspondência semântica superficial.

3. Alocação de Orçamento Latente Elástico

Após recuperar os top-$Z$ fragmentos candidatos, uma política de orçamento Transformer leve ($\pi_\phi$) atribui um número variável de tokens latentes ($b_j$) a cada fragmento.

• O orçamento $b_j$ é amostrado de uma distribuição discreta $\{0, 1, \dots, B_{max}\}$.
• Um orçamento de $b_j=0$ permite que o modelo suprima fragmentos recuperados que são similares, mas inúteis.
• A política utiliza características que incluem o estado da consulta, chaves de memória, pontuações de recuperação e embeddings de ranking aprendidos, utilizando autoatenção para comparar as memórias entre si antes de atribuir capacidade.
• Fragmentos úteis recebem orçamentos maiores, enquanto os redundantes ou enganosos são comprimidos ou suprimidos.

4. Injeção de Memória Latente e Otimização

Estados ocultos selecionados dos caches de conteúdo são projetados em tokens de memória suaves via um projetor latente aprendido ($P_\psi$) e injetados na sequência de entrada do raciocinador.

• Treinamento: Todo o processo (controle de recuperação, alocação de orçamento, projeção e geração) é otimizado conjuntamente usando Otimização de Política Relativa ao Grupo (GRPO).
• O sinal de recompensa (ex: acurácia, sucesso da tarefa) supervisiona não apenas a resposta final, mas também as decisões de recuperação e as alocações de orçamento. Isso permite que o modelo aprenda quais memórias recuperar e quanta capacidade representacional cada uma merece com base nos resultados reais da tarefa.

Principais Contribuições

1. Memória Latente Elástica: Um novo paradigma que desloca a memória de uma interface textual ou latente fixa para um recurso elástico e aprendível, onde a capacidade é alocada dinamicamente com base na utilidade.
2. Recuperação Adaptativa ao Estado do Raciocinador: Um mecanismo de recuperação condicionado ao estado interno do raciocinador e a um token de controle amostrado, indo além da correspondência de similaridade rígida.
3. Política de Orçamento Consciente da Utilidade: Uma política aprendida que atribui orçamentos latentes variáveis aos fragmentos recuperados, permitindo que o modelo priorize evidências úteis e suprima ruídos.
4. Otimização de Ponta a Ponta: Um framework de treinamento que otimiza conjuntamente a recuperação, alocação e geração via recompensas de tarefas subsequentes, alinhando o gerenciamento de memória com a utilidade da tarefa.

Resultados Experimentais

O ElasticMem foi avaliado no MemorySuite, cobrindo QA intensivo em memória (PersonaMem, LoCoMo, LongMemEval) e tomada de decisão de agentes incorporados (ALFWorld), utilizando backbones Qwen2.5-3B e Qwen2.5-7B.

• Ganhos de Desempenho:
  • Tarefas de QA: O ElasticMem melhorou a acurácia média ponderada em 26,2% (Qwen2.5-3B) e 24,6% (Qwen2.5-7B) em relação aos baselines mais fortes.
  • Tarefas Agênticas (ALFWorld): O ElasticMem melhorou a taxa de sucesso média ponderada em 66,3% (Qwen2.5-3B) e 27,2% (Qwen2.5-7B).
• Eficiência: O ElasticMem alcançou o menor custo de tokens no ALFWorld entre todos os métodos comparados, demonstrando que os ganhos de desempenho não foram devidos a trajetórias de interação mais longas ou uso excessivo de memória.
• Estudos de Ablação:
  • Política de Orçamento: A política de orçamento baseada em Transformer superou significativamente as estratégias de alocação aleatória, uniforme e baseada em MLP, confirmando o valor de aprender interações entre múltiplas memórias.
  • Recuperação: A recuperação por estado de consulta com um token de controle superou a recuperação semântica e a de estado congelado, destacando a importância de adaptar a recuperação ao estado interno do raciocinador.
  • Limites de Capacidade: Um limite de orçamento moderado por fragmento ($B_{max}=20$) produziu os melhores resultados, sugerindo que orçamentos excessivamente grandes podem degradar o desempenho ao atribuir capacidade a fragmentos menos úteis.

Significância e Alegações

O artigo afirma que o ElasticMem aborda um descompasso fundamental nos sistemas de memória atuais: a natureza estática da alocação de memória versus a natureza dinâmica da utilidade da memória. Ao tratar a memória como um recurso aprendível, o framework permite que agentes:

• Priorizem evidências úteis e planos transferíveis mesmo quando estes não são os mais semanticamente similares à consulta.
• Suprimam memórias ruidosas ou redundantes que, de outra forma, consumiriam o contexto ou a capacidade latente.
• Alcancem desempenho superior tanto em tarefas de raciocínio quanto de tomada de decisão, mantendo alta eficiência de tokens.

Os autores concluem que a memória latente elástica é uma direção promissora para construir agentes de LLM mais eficientes, adaptáveis e de longo horizonte, indo além das limitações de paradigmas de contexto fixo e recuperação rígida.