Resumo Técnico: Aprendendo o que Não Esquecer (LRE)

Declaração do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) e assistentes conversacionais de longa duração acumulam históricos de interação que eventualmente excedem a janela de contexto do modelo. Para funcionar dentro de orçamentos fixos de tokens, os sistemas devem evictar (descartar) o histórico antigo. O desafio central é que a evicção é uma decisão proativa e cega à consulta: o sistema deve decidir o que manter antes que a futura consulta ou ação que requer essa informação exista.

Abordagens padrão falham neste cenário:

• Heurísticas Reativas (Recência/FIFO): Descartam informações antigas baseando-se apenas no tempo, muitas vezes removendo detalhes "estruturais" (ex: tokens de acesso, identificadores) necessários para etapas futuras, fazendo com que agentes entrem em loops ou falhem.
• Compressão Baseada em LLM: Resumir o histórico via chamadas de LLM introduz comportamento não determinístico, erros de paráfrase (perda de identificadores exatos) e latência/custo significativos.
• Recuperação/Pontuação Neural: Métodos que utilizam embeddings densos ou pontuação baseada em atenção geralmente exigem um passo de propagação neural para cada unidade ou estão vinculados a camadas específicas do modelo, incorrendo em custos de inferência que escalam mal.

O artigo argumenta que a evicção de memória é fundamentalmente um probleente de fidelidade: o sistema precisa reter o estado exato e literal (não apenas conceitos resumidos) para garantir que ações futuras tenham sucesso, mas deve fazê-lo com uma política que seja barata, proativa e independente do LLM hospedeiro.

Metodologia: LRE (Evicção de Relevância Aprendida)

Os autores propõem o LRE, um pontuador leve, operado apenas em CPU e livre de modelos de linguagem, projetado para aprender quais unidades de histórico são "estruturais".

Mecanismo Central

1. Definição de Unidade: O histórico é segmentado em unidades discretas (ex: turnos de diálogo ou pares ação-observação de agentes).
2. Extração de Características Causais: Para cada unidade $u_i$, o LRE computa um vetor de características $\phi(u_i, u_{\le i})$ baseado apenas no prefixo do histórico. As características incluem:
   • Estruturais: Posição na trajetória, recência, comprimento.
   • Lexicais: TF-IDF, contagem de dígitos, palavras capitalizadas, presença de URLs/IDs.
   • Específicas de Domínio: Indicadores de erro, presença de tokens de código (para agentes), marcadores de pergunta (para conversação).
3. Pontuação: Um modelo pequeno de regressão logística com regularização L2 ($f_\theta$) atribui uma probabilidade de relevância $p_i$ a cada unidade.
   • Custo: O modelo é minúsculo (ex: 1,7 KB para agentes) e roda em CPU sem passagens neurais durante a inferência.
4. Seleção (Problema da Mochila): Dado um orçamento de tokens $B$, o LRE seleciona o subconjunto de unidades antigas $S^*$ que maximiza a soma das pontuações $\sum p_i$ sujeito à restrição de custo de tokens $\sum c_i \le B$.
   • A seleção é extrativa: as unidades são mantidas verbatim (exatamente como aparecem). Nenhuma sumarização ou reescrita ocorre, preservando identificadores e valores exatos.
   • Uma janela recente $R_k$ (ex: últimos 5 passos) é sempre mantida sem restrições.

Treinamento Autossupervisionado

Para evitar a cara anotação humana, o LRE deriva rótulos do próprio comportamento do sistema (retrospectiva):

• Domínio de Agente (AppWorld): Um passo é rotulado como positivo ($y=1$) se um identificador que ele introduz (ex: um ID, token) é reutilizado por $\ge 3$ passos subsequentes. Isso identifica um "estado estrutural".
• Domínio de Conversação (LoCoMo/LongMemEvalS): Um turno é rotulado como positivo se seus tokens de conteúdo possuem uma sobreposição $\ge 40\%$ com a resposta final a uma pergunta feita posteriormente na sessão.
• Resultado: Esta abordagem recupera 95% do desempenho de um modelo totalmente supervisionado (treinado com rótulos de ouro humanos) no LongMemEvalS e 82% no LoCoMo.

Principais Contribuições

1. Uma Política Proativa e Cega à Consulta: O LRE é a primeira política de evicção aprendida que opera sem acesso à consulta futura, tornando-se adequada para loops de agentes em tempo real onde o próximo passo é desconhecido.
2. Fidelidade Verbatim: Ao contrário dos métodos de compressão que parafraseiam, o LRE extrai unidades exatamente como apareceram. Isso é crítico para preservar credenciais opacas (tokens, IDs) que a sumarização destrói.
3. Eficiência Extrema:
   • Custo Neural Zero: O pontuador roda em CPU sem chamadas de LLM ou passagens de forward de GPU.
   • Velocidade: Ele pontua 1.181 unidades/segundo, significativamente mais rápido que encoders densos (103 unidades/s) ou pruning de tokens por LLM (~36 unidades/s).
   • Tamanho do Modelo: O pontuador tem apenas alguns kilobytes.
4. Supervisão Livre de Anotação: Demonstra que a "relevância" pode ser aprendida a partir dos próprios logs do sistema (padrões de reutilização) sem necessidade de rotulagem humana.

Resultados Experimentais

Desempenho do Agente (AppWorld)

• Sucesso da Tarefa: Em um orçamento de 2048 tokens, o LRE alcança 41,1% de sucesso na tarefa, igualando a taxa de sucesso de 44,0% de manter o histórico inteiro (ilimitado).
• Comparação:
  • FIFO (Recência): Cai para 34,5% de sucesso; agentes entram em loops devido à perda de credenciais.
  • ACON (Compressão por LLM): Cai para 26,2% de sucesso; a sumarização perde tokens exatos, causando loops de reautenticação.
  • LRE: Resolve 14 tarefas que nenhuma outra política (incluindo o histórico total em alguns casos de falha de loop) conseguiu completar.
• Eficiência: O LRE completa tarefas em 19 passos em média, comparado a 30,6 para FIFO e 33,5 para ACON. Ele requer zero chamadas de compressor, enquanto o ACON requer ~5,45 chamadas por tarefa.
• Redução de Contexto: Reduz o tamanho do pico de contexto em até 52% em comparação ao baseline de caso pior do histórico ilimitado, mantendo alta precisão.

Memória Conversacional (LoCoMo & LongMemEvalS)

• Ranking de Relevância: O LRE alcança um Macro-AUC de 0,829 no LoCoMo e 0,708 no LongMemEvalS.
• Comparação com Baselines: Supera encoders de embeddings densos (0,643) e métodos de pruning de tokens (0,402), apesar de esses métodos utilizarem passagens neurais de forward. Recência e modelos de decaimento performam próximo ao acaso (0,478).
• QA Downstream: Quando usado como política de retenção para um modelo de QA, o LRE fornece a melhor qualidade de resposta sob um orçamento fixo, superando baselines de recência e saliência de conteúdo.

Significância e Alegações

O artigo argumenta que a relevância aprendida e barata é suficiente para a retenção proativa de memória em agentes de LLM.

• Fidelidade sobre Compressão: O principal modo de falha dos sistemas existentes não é apenas o "esquecimento", mas a "distorção" (via sumarização) ou a "perda" (via recência) de estados exatos. O LRE resolve isso priorizando a extração verbatim.
• Capacidade de Implantação: Como o LRE é cego à consulta, opera apenas em CPU e é livre de anotação, ele é uma política prática para sistemas de produção onde latência e custo são restrições.
• Autossuficiência: Sistemas podem aprender o que manter a partir de seus próprios logs operacionais, eliminando a necessidade de supervisão externa.

Os autores concluem que, embora a evicção proativa não possa prever perfeitamente todas as necessidades futuras (uma limitação fundamental), uma política extrativa aprendida como o LRE oferece um equilíbrio Pareto-ótimo de precisão, custo e fidelidade que os baselines atuais não conseguem igualar.