🤖 AI

Contextual Memory Virtualisation: DAG-Based State Management and Structurally Lossless Trimming for LLM Agents

O artigo propõe a Virtualização de Memória Contextual (CMV), um sistema que gerencia o estado de agentes de LLM como um grafo acíclico dirigido com primitivas de controle de versão e aplica um algoritmo de três passagens para reduzir o custo de tokens removendo dados mecânicos sem perder o conteúdo textual, demonstrando ganhos econômicos significativos em sessões de codificação.

Autores originais: Cosmo Santoni

Publicado 2026-02-27

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Cosmo Santoni

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você está trabalhando em um projeto de construção de uma casa com um arquiteto muito inteligente (o Modelo de Linguagem ou IA). Vocês conversam por horas, desenhando plantas, escolhendo materiais e decidindo onde colocar cada janela. Essa conversa inteira é o "contexto" que a IA precisa lembrar para continuar trabalhando.

O problema é que a memória dessa IA é como uma mesa de trabalho muito pequena. Se a conversa ficar muito longa, a mesa enche. Quando isso acontece, a IA é forçada a jogar fora tudo o que está na mesa para fazer espaço, deixando apenas um resumo muito curto e genérico do que foi feito. É como se, depois de 4 horas de trabalho, alguém entrasse, jogasse todas as suas anotações no lixo e dissesse: "Ok, agora vamos começar de novo, mas lembre-se apenas que 'a casa é bonita'".

O artigo que você enviou propõe uma solução genial para isso, chamada Virtualização de Memória Contextual (CMV). Vamos explicar como funciona usando analogias do dia a dia:

1. O Problema: A Mesa Quebrada

Atualmente, quando a IA "esquece" os detalhes porque a janela de contexto encheu, você perde todo o esforço de entender o projeto. Você tem que gastar tempo e dinheiro (tokens) para explicar tudo de novo na próxima sessão. É ineficiente e caro.

2. A Solução: O "Git" para Conversas (O Diagrama em Árvore)

Os autores propõem tratar a conversa da IA não como uma linha reta que some, mas como um sistema de versionamento, parecido com o Git que programadores usam.

A Analogia: Imagine que sua conversa é um livro de receitas. Em vez de rasgar as páginas quando o caderno enche, você tira uma fotografia (um "Snapshot") do estado atual da receita.
O Ramo (Branch): A partir dessa foto, você pode criar ramos. Você pode ter uma versão da conversa focada em "cozinhar o bolo" e, ao mesmo tempo, outra ramificação focada em "decorar o bolo", sem precisar reescrever a receita inteira de novo.
O Resultado: A IA nunca perde o conhecimento que você construiu. Você pode voltar a qualquer ponto da história ou seguir caminhos diferentes, como se estivesse explorando um jogo de escolhas onde você nunca perde o progresso.

3. A Técnica: A "Poda Inteligente" (Trimming)

Aqui entra a parte mais técnica, mas com uma analogia simples: Limpar a bagunça sem jogar fora a comida.

Quando a IA trabalha, ela gera muita "lixo" invisível:

Códigos de imagens em base64 (que são gigantes).
Saídas brutas de ferramentas (como listas longas de arquivos).
Metadados técnicos que só servem para o sistema, não para a conversa.

O artigo apresenta um algoritmo de 3 passos que faz uma "poda cirúrgica":

Passo 1: Identifica onde a IA já fez um resumo automático (o "limite" da mesa).
Passo 2: Marca quais ferramentas foram usadas antes desse limite.
Passo 3 (A Mágica): Ele remove tudo o que é "gordura" (imagens em base64, saídas longas de ferramentas) e substitui por um pequeno aviso: "Aqui havia uma lista de 500 linhas, mas a IA já entendeu o ponto principal".

O importante: Ele NÃO apaga o que você disse nem o que a IA respondeu. Ele apenas remove o "suor" do trabalho (os dados brutos) e mantém a "inteligência" (o raciocínio). É como tirar a embalagem de um presente para economizar espaço na mala, mas deixar o presente intacto.

4. Vale a Pena? (A Economia)

O artigo faz as contas para ver se isso economiza dinheiro.

O Custo: Ao limpar a conversa, você "quebra" o cache (a memória rápida da empresa de IA), o que custa um pequeno valor extra na primeira vez que você usa o novo texto limpo.
O Ganho: Nas vezes seguintes, como o texto é menor, a IA processa mais rápido e mais barato.
A Conclusão: Em sessões longas e complexas (como programação), você paga esse pequeno custo extra em apenas algumas poucas trocas de mensagens e depois começa a economizar muito. É como comprar um carro híbrido: o motor é mais caro, mas o combustível economizado no longo prazo compensa.

Resumo Final

Pense no CMV como um gerente de arquivo pessoal para sua IA:

Ele salva o conhecimento que você construiu em "pontos de controle" (como salvar um jogo).
Ele cria ramificações para você testar ideias diferentes sem perder o original.
Ele limpa a bagunça (remove dados técnicos pesados) para que a IA não fique "ofegante" e cara de usar, mantendo apenas a inteligência da conversa.

A grande mensagem é: Não precisamos esperar que a IA tenha uma memória infinita para resolver o problema de "esquecer" coisas. Podemos gerenciar essa memória agora, com ferramentas inteligentes, como se fosse um sistema operacional para a sua conversa.

Título: Virtualização de Memória Contextual: Gerenciamento de Estado Baseado em DAG e Poda Estrutural sem Perdas para Agentes LLM

Autor: Cosmo Santoni (Imperial College London)
Data: Fevereiro de 2026

1. O Problema

À medida que os Grandes Modelos de Linguagem (LLMs) realizam tarefas de raciocínio estendidas (como sessões de codificação complexas), eles acumulam um estado significativo dentro da janela de contexto (mapeamentos de arquitetura, decisões de trade-off, convenções de código).

Perda de Estado: Quando a janela de contexto atinge seu limite, os sistemas nativos (como o /compact no Claude Code) realizam uma "compactação lossy" (com perdas). Eles resumem milhares de tokens de estado acumulado em poucas frases, descartando o entendimento nuanceado construído ao longo da sessão.
Ineficiência: Cada nova sessão começa do zero, exigindo que o modelo recrie o entendimento do código e do contexto, o que gera custos computacionais e de tokens repetidos.
Limitações das Abordagens Atuais:
- RAG (Retrieval-Augmented Generation): Adiciona documentos, mas não preserva o estado conversacional.
- MemGPT: Usa paginação inspirada em SO, mas é limitada a uma única sessão e depende do modelo para gerenciar a memória.
- Plugins de Memória: Persistem fatos resumidos, mas perdem a nuance completa da conversa.
- Utilitários Nativos: Oferecem desfazer ou cópias únicas, mas carecem de versionamento, rastreamento de linhagem ou limpeza estruturada.

2. Metodologia e Proposta

O autor propõe a Virtualização de Memória Contextual (CMV), um sistema que trata o estado acumulado do LLM como um recurso de estado controlado por versão, análogo à memória virtual em sistemas operacionais.

A. Modelo de Estado Baseado em DAG (Grafo Acíclico Direcionado)

O histórico da sessão é modelado como um DAG $G = (V, E)$ :

Nós (Snapshots): Cópias imutáveis do log de conversa (JSONL) em um ponto no tempo, anotadas com metadados.
Arestas (Branches): Representam sessões de trabalho independentes "forjadas" (forked) a partir de um snapshot.
Operações Principais:
1. Snapshot: Captura o estado atual como um nó imutável.
2. Branch: Cria uma nova sessão a partir de um snapshot (opcionalmente podado), permitindo múltiplos fluxos de trabalho paralelos a partir de um mesmo ponto de compreensão.
3. Trim: Captura, poda e inicia uma nova sessão em um único passo.
4. Tree: Visualização da linhagem de conversas (similar ao git log --graph).

B. Algoritmo de Poda Estrutural sem Perdas (Three-Pass Trimming)

Para reduzir a contagem de tokens sem perder o entendimento sintetizado pelo modelo, o sistema utiliza um algoritmo de três passagens que remove "inchaço mecânico" (outputs brutos de ferramentas, imagens base64, metadados), preservando integralmente as mensagens do usuário e as respostas do assistente.

Passagem 1 (Detecção de Fronteira): Identifica a fronteira da compactação nativa (onde o resumo começa) sem analisar todo o JSON, apenas procurando marcadores de string.
Passagem 2 (Coleta de IDs): Coleta os IDs das chamadas de ferramentas (tool use) que ocorreram antes da fronteira de compactação. Isso é crucial para detectar "órfãos".
Passagem 3 (Processamento e Poda): Aplica regras de filtragem:
- Descarta todo conteúdo antes da última fronteira de compactação (já resumido).
- Remove blocos de imagens em Base64.
- Remove blocos de "pensamento" (thinking blocks) que não são portáveis.
- Stubbing (Atalho): Substitui o conteúdo de resultados de ferramentas (tool results) e entradas de ferramentas de escrita que excedem um limite (ex: 500 caracteres) por um placeholder [Trimmed: ~N chars].
- Preservação de Metadados: Mantém campos críticos (caminho do arquivo, comando, URL) para que o modelo saiba quais arquivos foram lidos/executados.
- Tratamento de Órfãos: Remove resultados de ferramentas que não têm uma chamada correspondente na sessão (devido à remoção da chamada original na Passagem 1), garantindo a validade da API.

3. Contribuições Principais

Modelo de Estado DAG: Introduz um paradigma de controle de versão (estilo Git) para memória de conversação, permitindo ramificação, reutilização de contexto e linhagem entre sessões independentes.
Algoritmo de Poda Estrutural: Um método de três passagens que reduz tokens removendo inchaço mecânico, mantendo a fidelidade conversacional e a correção da API.
Análise Econômica Empírica: Avaliação de custo baseada em 76 sessões reais, demonstrando a viabilidade financeira da poda mesmo sob penalidades de cache de prompt.

4. Resultados

A avaliação foi realizada em 76 sessões reais de codificação (Claude Code, modelo Opus 4.6).

Redução de Tokens:
- Redução média: 20%.
- Redução máxima: 86% (em sessões com alto overhead mecânico).
- Sessões "Mistas" (com uso intensivo de ferramentas): Redução média de 39%.
Viabilidade Econômica (Custo de Cache):
- A poda invalida o cache de prompt, gerando uma penalidade de "cache miss" na primeira nova chamada.
- Ponto de Equilíbrio (Break-even): Em média, as sessões recuperam o custo da penalidade em 35 rodadas (turnos).
- Para sessões com alta redução (>30%), o ponto de equilíbrio ocorre em apenas 10 rodadas.
- O custo de reconstrução do contexto (reler arquivos e reestabelecer arquitetura) é evitado ao usar ramificações (branching), o que é o maior benefício econômico, embora não quantificado diretamente na métrica de poda.
Composição do Contexto: A eficácia da poda depende da composição da sessão. Sessões com muito output de ferramentas e histórico de arquivos beneficiam-se mais do que sessões puramente conversacionais.

5. Significado e Conclusão

Paradigma de Memória Virtual: O CMV abstrai os limites físicos da janela de contexto, permitindo que o usuário "pague" o custo de construir o contexto uma vez e o reutilize em múltiplas ramificações, desacoplando o custo de construção do contexto do custo de execução da tarefa.
Otimização de Ferramentas vs. Modelo: A solução ocorre na camada de ferramentas (gerenciamento de logs), não exigindo mudanças no modelo LLM ou em suas arquiteturas de atenção.
Limitações: A poda é puramente estrutural, não semântica. Se um resultado de ferramenta removido for crucial para o raciocínio subsequente, o modelo pode alucinar ou pedir para reler o arquivo. No entanto, como a poda ocorre em pontos de ramificação (onde as necessidades de informação mudam) e o resumo do modelo é preservado, o impacto é mitigado.
Futuro: O trabalho aponta para a necessidade de um "Sistema Operacional para Agentes de IA" (AIOS) que trate o estado conversacional persistente e versionado como um recurso de primeira classe, em vez de depender de soluções criadas pelo usuário (userland).

Em resumo, o CMV oferece uma solução prática e economicamente viável para o problema de efemeridade do contexto em agentes LLM, permitindo sessões de trabalho longas e complexas sem a degradação de qualidade causada pela compactação nativa ou pelo limite de tokens.