Structured Distillation for Personalized Agent Memory: 11x Token Reduction with Retrieval Preservation

Este artigo apresenta um método de destilação estruturada que comprime o histórico de conversas de agentes de IA personalizados em 11 vezes, reduzindo o custo de tokens de 371 para 38 por troca enquanto preserva a qualidade da recuperação, alcançando 96% do desempenho de busca do texto original e permitindo que milhares de interações caibam em um único prompt.

O essencial

Imagine que você tem um assistente de IA muito inteligente, mas com uma memória de curto prazo muito curta. Toda vez que você inicia uma nova conversa, ele começa do zero, como se fosse a primeira vez que vocês se encontram. Você, por outro lado, lembra de coisas: "Ah, naquela terça-feira passada, nós consertamos aquele erro no banco de dados". Mas o assistente não sabe disso, a menos que você conte tudo de novo.

O problema é que, se você tentar contar tudo o que já conversou (milhares de mensagens), o assistente fica sobrecarregado. É como tentar ler um livro inteiro de uma só vez só para lembrar de um parágrafo específico. É caro, lento e ocupa muito espaço.

Este artigo apresenta uma solução inteligente chamada "Destilação Estruturada". Vamos explicar como funciona usando algumas analogias do dia a dia.

1. O Problema: A Montanha de Papel

Pense nas suas conversas com a IA como uma pilha gigante de diários. Cada conversa tem cerca de 371 palavras (tokens). Se você tiver 14.000 conversas, isso é uma montanha de papel impossível de carregar na mochila (na memória do computador) toda vez que você quer fazer uma pergunta.

A solução comum hoje é pedir para a IA "resumir" tudo. Mas é como pedir para alguém ler 100 páginas e escrever um resumo de 1 página. Muitas vezes, o resumo perde os detalhes importantes ou fica genérico demais. Se você fizer isso várias vezes (resumo de resumo), você perde a história inteira.

2. A Solução: O "Mapa do Tesouro" (Destilação)

Os autores propõem não apagar o diário original, mas criar um índice ou um mapa do tesouro muito pequeno e organizado para cada conversa.

Eles usam uma IA para ler cada conversa e criar um "cartão de memória" com apenas 38 palavras (uma redução de 11 vezes!). Mas não é um resumo qualquer. É um cartão estruturado com quatro partes:

1. O Núcleo: O que foi feito? (Ex: "Corrigimos o tempo limite da conexão").
2. O Contexto Específico: Um detalhe técnico chave (Ex: "Erro 504 no servidor").
3. O Quarto Temático: Em qual "sala" da memória isso se encaixa? (Ex: "Banco de Dados", "Segurança").
4. Arquivos Tocados: Quais arquivos foram alterados?

A Analogia do Palácio da Memória:
Imagine que a memória do assistente é um grande palácio.

• O Texto Original (Verbatim): São os quartos cheios de móveis, livros e bagunça. É onde a história real está.
• O Texto Destilado: São os corredores e placas do palácio. São pequenos, rápidos e dizem exatamente onde procurar.

Quando você pergunta algo, o assistente não lê os quartos cheios de livros. Ele olha para as placas no corredor (o texto destilado de 38 palavras) para decidir qual porta abrir. Assim que ele encontra a porta certa, ele abre e você lê a conversa original completa.

3. O Teste: O Mapa Funciona?

Os pesquisadores fizeram um teste gigante. Eles pegaram 201 perguntas que um desenvolvedor faria sobre seu próprio trabalho (ex: "Onde estávamos falando sobre o erro de conexão?").

Eles testaram duas formas de buscar:

1. Busca no Texto Original: Procurar na montanha de papel gigante.
2. Busca no Mapa (Destilado): Procurar apenas nos cartões de 38 palavras.

Os Resultados:

• Com Busca Inteligente (Semântica): O mapa funcionou quase perfeitamente! O assistente achou a resposta certa 96% das vezes comparado ao texto original. É como usar um GPS: você não precisa ver a rua inteira, só precisa do ponto de referência.
• Com Busca por Palavras-Chave (Velha Escola): O mapa falhou um pouco. Se você procurava por uma palavra exata que foi "resumida" no cartão, o sistema não achava. É como procurar por "iPhone" em um catálogo que só diz "celular".
• A Combinação Perfeita: O melhor resultado veio quando usaram os dois juntos: usaram o texto original para achar palavras exatas e o mapa destilado para entender o significado. Isso foi até melhor do que usar apenas o texto original!

4. Por que isso é importante?

• Economia: Com essa técnica, você pode guardar 1.000 conversas inteiras no espaço que antes ocupava apenas 90 conversas.
• Precisão: O assistente não perde a história. Ele só usa uma versão "compactada" para decidir o que mostrar, mas sempre entrega a versão original e completa para você ler.
• Memória Pessoal: Isso permite que o assistente aprenda com você ao longo de meses ou anos, lembrando de decisões antigas sem ficar "louco" com tanta informação.

Resumo em uma frase

Os autores criaram um sistema que transforma conversas longas e bagunçadas em cartões de memória organizados e minúsculos, permitindo que o assistente encontre o que você precisa rapidamente, sem precisar ler tudo de novo, como se tivesse um índice mágico para sua própria história.

Eles liberaram o código para que qualquer desenvolvedor possa usar essa técnica para criar assistentes que realmente lembram de você.

Resumo técnico

Resumo Técnico: Destilação Estruturada para Memória de Agentes Personalizados

1. O Problema

A interação entre humanos e agentes de IA apresenta uma assimetria fundamental: o humano retém memórias fragmentadas e associativas de conversas passadas, enquanto o agente não possui memória persistente entre sessões. Para reter o contexto, os sistemas atuais utilizam Recuperação Aumentada por Geração (RAG), carregando o histórico de conversas no context window (janela de contexto) do modelo.

No entanto, isso gera dois problemas críticos:

1. Custo de Tokens: Uma conversa típica de engenharia de software tem uma média de 371 tokens por troca. Carregar centenas de trocas passadas consome uma parte significativa e cara da janela de contexto.
2. Limitações de Compacting (Resumo) Atual: As abordagens atuais de "compactação" (onde o LLM resume o histórico e descarta o original) são perdas de informação iterativas. O resumo perde detalhes técnicos cruciais (nomes de variáveis, mensagens de erro, caminhos de arquivos) e, ao longo do tempo, a degradação do resumo de um resumo torna a informação inútil. Além disso, o texto original (verbatim) já está salvo no disco do usuário, mas permanece não indexado e inutilizável para busca.

O objetivo do artigo é responder: É possível distilar o histórico de conversas de um único usuário em uma camada de memória compacta e estruturada que preserve a qualidade da recuperação (recall), permitindo que o agente "lembre" sem carregar o texto bruto?

2. Metodologia

O autor propõe um método de Destilação Estruturada que transforma cada troca de conversa (exchange) em um objeto composto, separado do texto original, mas com referência de volta a ele.

2.1. Estrutura do Objeto Destilado ("Palace Object")

Cada troca de conversa é processada por um LLM (Claude Haiku 4.5) e convertida em um objeto com quatro campos:

1. exchange_core (Núcleo): Um resumo de 1-2 frases do que foi realizado (análogo a uma mensagem de commit).
2. specific_context (Contexto Específico): Um detalhe técnico distintivo, como mensagens de erro exatas, nomes de parâmetros ou valores (análogo ao diff).
3. room_assignments (Atribuições Temáticas): 1 a 3 "salas" temáticas geradas pelo LLM (ex: file:auth_middleware, concept:retry_timeout), organizando a memória em uma estrutura espacial.
4. files_touched (Arquivos Tocados): Caminhos de arquivos extraídos via regex do texto original (não gerado pelo LLM).

Princípio do Vocabulário Sobrevivente: O LLM é instruído a reutilizar os termos exatos usados pelos participantes (ex: "connection pool timeout") em vez de parafrasear livremente, garantindo que os termos-chave para buscas futuras sobrevivam à compressão.

2.2. Compressão e Indexação

• Compressão: O texto combinado (exchange_core + specific_context) tem uma média de 38 tokens, comparado aos 371 tokens originais. Isso resulta em uma redução de 11× (14.340 trocas originais viram 12.427 objetos destilados).
• Indexação:
  • Texto Destilado: Indexado para busca vetorial (usando embeddings all-MiniLM-L6-v2 e FAISS) e busca por palavras-chave (BM25).
  • Texto Original (Verbatim): Mantido no disco local. O texto destilado serve apenas como um índice de roteamento. Quando uma busca é realizada, o sistema retorna o texto original completo para o usuário ler.

2.3. Configurações de Busca e Avaliação

O estudo avaliou 107 configurações de busca divididas em três famílias:

1. Modos Puros: Busca apenas no texto original (baseline) ou apenas no texto destilado (com diferentes combinações de campos).
2. Modos Cruzados (Cross-layer): Fusão de busca no texto original (ex: BM25) com busca no texto destilado (ex: HNSW/Vetorial).
3. Modos Híbridos: Combinação de vetorial e BM25 na mesma camada de texto.

Métricas e Dados:

• Corpus: 4.182 conversas de um único desenvolvedor em 6 projetos de engenharia de software.
• Consultas: 201 consultas de recuperação (conceituais, de frases e termos exatos).
• Avaliação: 5 LLMs locais (7B-12B) atuaram como avaliadores de relevância (escala 0-3), com validação humana e um avaliador "calibrado" (Claude Opus) para desempates.
• Métrica Principal: MRR (Mean Reciprocal Rank) para a primeira resposta perfeitamente relevante.

3. Resultados Principais

3.1. Preservação da Qualidade de Recuperação

O resultado é dependente do mecanismo de busca:

• Busca Vetorial (HNSW e Exact): A destilação preserva a qualidade. Todas as 20 configurações de busca vetorial (10 no texto destilado vs. 10 no original) mostraram degradação estatisticamente não significativa após correção de Bonferroni. O melhor modo destilado puro atingiu 96% do MRR do melhor modo original (0,717 vs 0,745).
• Busca por Palavras-Chave (BM25): A destilação causou degradação significativa. Todas as 20 configurações BM25 no texto destilado foram inferiores às do texto original. A compressão removeu o vocabulário específico necessário para a correspondência lexical exata.

3.2. Sinergia Cruzada (Cross-layer)

A melhor configuração geral foi um modo cruzado: fusão de BM25 no texto original com HNSW no texto destilado.

• Resultado: MRR de 0,759, superando ligeiramente o melhor baseline puramente original (0,745).
• Conclusão: Os sinais são complementares. O texto original é bom para correspondência lexical exata; o texto destilado é excelente para semântica e recuperação de conceitos, criando caminhos de recuperação que o texto original sozinho não encontraria.

3.3. Análise de Cobertura

• Em uma comparação "melhor contra melhor", a destilação resolveu 119 das 201 consultas, contra 122 do texto original (paridade quase perfeita).
• A análise de "Oracle" (usando todas as configurações) mostrou que os modos destilados resolveram consultas que o texto original não conseguiu, e vice-versa, confirmando a natureza complementar dos dois métodos.

4. Contribuições Chave

1. Método de Destilação Estruturada: Uma abordagem que transforma conversas em objetos compostos indexáveis, preservando 96,8% do vocabulário de consulta, alcançando 11× de compressão (de 371 para 38 tokens por troca).
2. Arquitetura de Duas Camadas: Separação clara entre o índice de roteamento (texto destilado, barato e rápido) e a evidência de exibição (texto original, completo e verídico). Isso evita a perda de informação iterativa dos resumos tradicionais.
3. Evidência Empírica de Viabilidade: Demonstração de que, para agentes pessoais, é possível manter uma memória de longo prazo com custos de contexto drasticamente reduzidos sem sacrificar a capacidade de recuperação semântica, desde que se utilize busca vetorial.
4. Custo de Memória Concreto: Com a destilação, 1.000 trocas de conversa cabem em ~39.000 tokens (vs ~407.000 tokens no texto original), permitindo que agentes operem com memória persistente em janelas de contexto limitadas.

5. Significado e Implicações

O trabalho propõe uma mudança de paradigma na gestão de memória de agentes:

• Fim da "Perda Iterativa": Ao contrário de sistemas que resumem e descartam o original (perdendo detalhes), este método mantém o "ground truth" (texto original) intacto no disco, usando a versão destilada apenas para encontrar onde procurar.
• Memória Personalizada: O sistema é otimizado para o histórico de um único usuário, onde o vocabulário e os padrões de consulta são consistentes, permitindo que a destilação preserve os termos técnicos específicos que o usuário usaria para buscar.
• Analogia com Git: Assim como o Git usa mensagens de commit (destiladas) para navegar em um histórico de código massivo, mantendo os diffs (originais) disponíveis, o agente pode navegar por conversas usando metadados estruturados.

Limitações Notáveis:

• A degradação significativa no BM25 indica que a busca puramente lexical no texto resumido não é suficiente.
• A avaliação foi feita em um único usuário (embora seja o cenário de uso pretendido), limitando a generalização para múltiplos usuários.
• A concordância entre os avaliadores LLM foi baixa (Kappa = 0,175), embora as tendências principais tenham sido consistentes entre todos os avaliadores.

Em suma, a Destilação Estruturada oferece uma solução viável e eficiente para a memória de longo prazo de agentes de IA, permitindo que milhares de interações sejam mantidas em contexto sem custos proibitivos, desde que o sistema utilize mecanismos de busca semântica (vetorial) e mantenha o texto original acessível para verificação.