💬 NLP

LiveMem: Maintaining Memory State Continuity in Long-Running LLM Inference

O artigo apresenta o LiveMem, um método de memória intrínseca para LLMs pré-treinados com atenção total que mantém um estado de memória persistente e de suporte independente da janela de contexto ativa, permitendo, assim, a continuidade de estado e a retenção de informações de longo prazo em cenários de inferência de longa duração onde a evidência histórica não está mais presente no contexto imediato.

Autores originais: Zhichen Liu, Ruihan Sun, Hengjie Yang, Zipeng Wu, Zhaohan Chen, Xiaofan Zhang, Yang Xu

Publicado 2026-08-04

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Zhichen Liu, Ruihan Sun, Hengjie Yang, Zipeng Wu, Zhaohan Chen, Xiaofan Zhang, Yang Xu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está conversando com um amigo muito inteligente que se lembra de tudo o que você já disse. No mundo da inteligência artificial, esse amigo é um "Grande Modelo de Linguagem" (LLM). Normalmente, esses modelos são como alunos fazendo uma prova: eles leem um conjunto específico de instruções e uma história, respondem a uma pergunta e depois a prova acaba. Mas e se você quisesse que esse amigo fosse um companheiro para a vida toda, conversando com você por anos, ajudando a planejar uma viagem, lembrando suas músicas favoritas e resolvendo problemas ao longo de centenas de conversas?

O problema é que esses amigos de IA têm uma "memória de trabalho" que é surpreendentemente pequena. Pense nisso como um quadro branco em uma sala de aula. O professor (a IA) só consegue ver o que está escrito no quadro agora. Se a aula durar muito tempo, o professor tem que apagar as notas antigas para abrir espaço para novas. Uma vez apagadas, aquelas notas antigas somem do quadro. Os sistemas de IA tradicionais tentam resolver isso mantendo um caderno gigante de tudo o que já foi dito e folheando-o sempre que surge uma pergunta. Mas isso é lento e desajeitado; é como ter que parar a conversa para procurar um fato em uma biblioteca em vez de apenas lembrá-lo. A grande questão que os cientistas estão fazendo é: Podemos dar à IA uma maneira de manter um "sentimento" ou um "resumo" do passado em seu quadro branco, mesmo depois que as palavras específicas forem apagadas, para que ela nunca perca o fio da meada da conversa?

É exatamente isso que o artigo "LiveMem" aborda. Os pesquisadores, liderados por Zhichen Liu e Ruihan Sun, propõem uma nova maneira para a IA lidar com conversas longas sem perder o juízo. Eles introduzem um sistema chamado LiveMem, que atua como uma "mochila" mágica e permanente para os pensamentos da IA.

Veja como funciona: Imagine que a IA tem duas formas de pensar. A primeira é o seu "Cérebro Principal", que olha para a conversa atual no quadro branco. Este quadro branco é limitado em tamanho; quando fica cheio, as notas mais antigas são apagadas para dar lugar a novas. Isso é normal. Mas o LiveMem adiciona uma segunda parte: um "Cérebro Lateral" ou um Estado de Memória Recorrente. Este cérebro lateral é como uma mochila que a IA carrega o tempo todo. À medida que a IA lê novas palavras, ela atualiza essa mochila. Quando o quadro branco fica cheio e as notas antigas são apagadas, as informações importantes dessas notas apagadas não são perdidas; elas são guardadas na mochila.

Os pesquisadores treinaram este sistema usando uma técnica especial. Eles não apenas deixaram a IA ler histórias longas; eles a forçaram a praticar o "esquecimento" do quadro branco enquanto mantinham a mochila cheia. Eles usaram um método chamado "rotação de contexto" (context turnover), onde pegavam uma conversa longa, mostravam o início para a IA, depois apagavam o início do quadro branco e faziam uma pergunta sobre ele. Se a IA dependesse apenas do quadro branco, ela falharia porque as notas haviam sumido. Mas como o LiveMem havia guardado os detalhes cruciais na mochila, a IA ainda conseguia responder corretamente.

O artigo mostra que o LiveMem é muito bom nisso. Em seus testes, quando a evidência para uma pergunta era completamente apagada da visão imediata da IA (o quadro branco), o LiveMem ainda conseguia responder à pergunta com alta precisidade. Por exemplo, em um teste chamado "LongMemEval", quando a evidência de suporte era empurrada para longe da janela de conversa atual, o LiveMem superou significativamente outros métodos. Enquanto modelos sem essa "mochila" (como o padrão Qwen3-4B) caíram para uma precisão extremamente baixa, o LiveMem alcançou resultados mais de dez pontos percentuais superiores. Isso sugere que a IA não está apenas adivinhando; ela está realmente carregando o histórico adiante em seu estado de memória.

No entanto, os autores fazem questão de notar que esta "mochila" não é um estúdio de gravação perfeito. Ela não armazena cada palavra exatamente como foi dita. Se você pedir à IA para recitar uma frase específica que foi apagada há três dias, ela pode não conseguir acertar 100%. É mais como um resumo ou um sentimento do que aconteceu. O artigo descarta explicitamente a ideia de que este sistema seja um arquivo perfeito e sem perdas de cada token. Em vez disso, é um estado "com perdas" (lossy) que mantém vivos os detalhes úteis da memória.

A equipe também descobriu que a forma como se treina a IA importa muito. Se você apenas misturar todos os tipos de dados, a IA pode não aprender a usar a mochila de forma eficaz. Eles descobriram que um cronograma de treinamento específico — começando com histórias longas para "despertar" o lado da memória e depois mudando para uma mistura de diferentes tarefas — funcionou melhor. Isso permitiu que a IA aprendesse a escrever para e ler de sua mochila de maneira eficiente.

Em suma, o LiveMem sugere uma nova maneira de construir assistentes de IA que podem realmente lembrar de seu histórico. Em vez de apenas procurar notas antigas em uma biblioteca ou depender de um quadro branco minúsculo, o LiveMem dá à IA um estado persistente que evolui com cada conversa. Embora não seja um arquivo perfeito de cada palavra, ele consegue manter viva a "história" da interação, permitindo que a IA permaneça coerente e útil mesmo após os detalhes específicos do passado terem sido apagados de sua visão imediata. Isso nos aproxima de agentes de IA que podem ser verdadeiros companheiros para a vida toda, mantendo um senso contínuo de si mesmos e de sua história ao longo do tempo.

Resumo Técnico: LiveMem

Definição do Problema: Continuidade de Estado sob Rotatividade de Contexto

Assistentes e agentes de IA de longa duração operam em ciclos de interação que inevitavelmente excedem a janela de contexto fixa dos Grandes Modelos de Linguagem (LLMs). Soluções existentes, como a Geração Aumentada por Recuperação (RAG) e sistemas de memória externa, fornecem "acesso histórico" (recuperando registros passados específicos sob demanda), mas falham em fornecer continuidade de estado. Esses sistemas atuam como armazenamento persistente (como blocos de notas), mas não mantêm um estado computacional contínuo e fluido que evolui conforme o contexto de trabalho muda.

O problema central identificado é como manter a continuidade da inferência quando o contexto de trabalho sofre rotatividade (ou seja, quando tokens antigos são expulsos para abrir espaço para novos). Os métodos existentes lutam para carregar a computação adiante através de um estado de capacidade fixa cujo tempo de vida é independente do contexto ativo. O artigo postula que, enquanto a recuperação externa lida com o "acesso histórico", um mecanismo distinto é necessário para a "continuidade de estado" — um estado de memória contínuo e atualizado online que persiste durante todo o ciclo de vida do modelo.

Metodologia: Arquitetura e Treinamento do LiveMem

O LiveMem é introduzido como um método de memória intrínseca que aumenta um LLM pré-treinado de atenção total com um ramo de memória recorrente paralelo. O sistema é projetado para operar sob restrições rigorosas de rotatividade de contexto.

1. Arquitetura

O LiveMem modifica um decodificador transformer padrão adicionando um ramo de memória de caminho lateral a cada camada de atenção:

Caminho Principal (Atenção): Mantém um contexto de trabalho limitado (cache KV) para acesso de curto prazo preciso. Quando o limite de contexto é atingido, as entradas de Chave-Valor (KV) antigas são expulsas (rotatividade de contexto).
Caminho Lateral (Memória Recorrente): Utiliza o Gated DeltaNet-2 (GDN2) como a espinha dorsal para um estado recorrente ( $S_t$ ) paralelo. Este ramo lê e atualiza continuamente um estado de memória de tamanho fixo a partir das mesmas representações ocultas do caminho principal.
Integração: A saída do ramo GDN2 ( $r_t$ ) é adicionada diretamente à saída da atenção ( $a_t$ ) em cada camada do decodificador ( $o_t = a_t + r_t$ ).
Mecanismo: A atualização do estado GDN2 envolve portões aprendidos de decaimento, apagamento e escrita. Crucialmente, quando um bloco de tokens é expulso do caminho de atenção principal, sua informação é preservada no estado de memória recorrente. O sistema retém o system prompt como um "sumidouro de atenção" (attention sink) para garantir a estababilidade estrutural.

2. Rotatividade de Contexto e Consistência de Inferência

O sistema impõe uma política estrita de expulsão do "mais antigo primeiro" durante o treinamento e a inferência.

Treinamento: Máscaras de atenção dinâmicas são usadas para simular a rotatividade de contexto, forçando o modelo a depender do estado de memória para informações que foram removidas da janela ativa.
Inferência: Páginas KV expulsas são liberadas para a memória, tornando-as inacessíveis ao mecanismo de atenção. O estado recorrente é o único transportador restante daquela informação histórica.

3. Pós-Treinamento Orientado à Memória

Simplesmente adicionar um módulo recorrente não garante que ele carregará uma memória eficaz. O LiveMem emprega um regime de pós-treinamento específico para garantir que o estado se torne "vivo" (ou seja, que ele genuinamente influencie previsões futuras após os tokens de origem terem partido):

Ajuste Fino Supervisionado (SFT): O modelo é treinado em tarefas de QA de documentos longos e raciocínio de múltiplos saltos (multi-hop) onde o histórico é truncado da janela de atenção. A perda é aplicada apenas aos tokens de resposta, forçando o modelo a utilizar o estado de memória para gerar respostas corretas.
Aprendizado por Reforço (RL): O modelo é otimizado adicionalmente usando o algoritmo GRPO com um sinal de recompensa baseado na precisão da resposta. Isso incentiva o modelo a preservar e recuperar melhor a informação do estado de memória, particularmente em cenários com múltiplas perguntas compartilhando um histórico de fundo.
Estratégia de Treinamento: É usado um currículo onde o modelo é primeiro "aquecido" com dados de texto longo para ativar o ramo lateral, seguido pelo treinamento em uma mistura rebalanceada para refinar a manutenção da memória.

Contribuições Principais

Formalização da Continuidade de Estado: O artigo define "continuidade de estado sob rotatividade de contexto" como uma capacidade de inferência distinta, separando-a dos mecanismos de recuperação externa. Ele modela isso como um requisito de escala de ciclo de vida, onde um estado de memória de capacidade fixa persiste independentemente do contexto ativo.
Arquitetura LiveMem: Um design de ponta a ponta integrando um ramo lateral recorrente baseado em GDN2 em um LLM de atenção total, permitindo que o modelo mantenha um estado contínuo enquanto a janela de atenção principal rotaciona.
Paradigma de Treinamento: A proposta de tarefas de pós-treinamento orientadas à memória (SFT e RL) especificamente desenhadas para forçar o modelo a aprender como escrever para, preservar e ler de um estado de memória após os tokens de origem não serem mais visíveis para a atenção.
Validação Empírica: Avaliação abrangente demonstrando que o estado de memória pode carregar informações relevantes para a tarefa além da janela ativa, mesmo quando a evidência é completamente expulsa.

Resultados Experimentais

Visão Geral do Desempenho:
O LiveMem foi avaliado no Qwen3-4B em tarefas de Wiki QA, Conversation QA, Aprendizado em Tempo de Teste (TTL) e Long Document QA, com janelas de contexto restritas a 8k ou 32k tokens.

Desempenho Geral: O LiveMem (especificamente a variante RL) alcançou desempenho geral de liderança, superando baselines como RAG, Context2LoRA, $\delta$ -Mem e um baseline Recorrente.
Tarefas de Múltiplas Perguntas (MQ): Enquanto outros métodos (incluindo RAG e $\delta$ -Mem) sofreram quedas drásticas de desempenho em tarefas de múltiplos saltos e múltiplas perguntas, o LiveMem manteve sua liderança, indicando uma capacidade superior de lidar com múltiplas cadeias lógicas simultaneamente via um estado persistente.
Long QA: O LiveMem alcançou pontuações equilibradas e fortes em tarefas de documentos longos, enquanto outros métodos eram frequentemente especializados em subconjuntos específicos.

Análise de Continuidade de Estado (LongMemEval):

Expulsão de Evidência: Experimentos mostraram que quando a evidência de suporte era completamente removida da janela de contexto ativa, o LiveMem mantinha uma precisão significativamente maior que os baselines (ex: ~16,5% vs ~3,1% para Qwen3-4B em cenários de expulsão total).
Análise de Distância: À medida que a distância entre a evidência e a janela atual aumentava, a precisão do LiveMem mostrava um leve declínio, mas permanecia estável e mensurável, provando que o estado de memória retém informações através de múltiplos intervalos de rotatividade.
Ablação: Treinar o caminho lateral com parâmetros totais rendeu mais estabilidade do que LoRA, sugerindo que o gap de distribuição entre a atenção e o GDN2 requer adaptação total.

Limitações:
O artigo observa que o estado de memória do LiveMem é com perda (lossy). Ele não consegue reconstruir de forma confiável tokens arbitrários e detalhados (ex: "agulhas" específicas em um palheiro) uma vez que são expulsos, como demonstrado nos testes de Needle-in-a-Haystack (NIAH), onde o LiveMem teve desempenho similar ao modelo base sob contextos delimitados. O sistema é projetado para influência relevante à tarefa, não para recuperação arquivística exata.

Significância e Alegações

O artigo alega que o LiveMem estabelece a continuidade de estado como uma abstração distinta e complementar para a inferência contínua de LLMs.

Complementaridade: Argumenta-se que "acesso histórico" (recuperação) e "continuidade de estado" (memória recorrente) são ortogonais. A recuperação determina o que a informação passada é lida, enquanto o estado recorrente determina como a coerência da informação é mantida ao longo do ciclo de vida após a leitura.
Praticidade: Ao manter um estado de memória independente de consulta que sobrevive à rotatividade de contexto, o LiveMem aborda uma lacuna crítica entre a atenção de capacidade limitada e a recuperação externa, movendo-se em direção à inferência prática de contexto infinito onde o estado interno do modelo evolui continuamente sem depender apenas de buscar o histórico novamente.
Modéstia: Os autores afirmam explicitamente que o LiveMem não é universalmente ideal; a recuperação e a memória paramétrica ainda possuem pontos fortes. No entanto, os resultados demonstram suficientemente que estados de memória intrínsecos podem carregar informações históricas além do contexto de trabalho, uma capacidade anteriormente não abordada por patches de engenharia existentes.