Resumo Técnico: O que Manter, o que Esquecer: Uma Visão de Taxa–Distorção da Compactação de Memória em LLMs e Agentes

Declaração do Problema

Grandes modelos de linguagem (LLMs) e os agentes construídos sobre eles dedicam cada vez mais recursos computacionais ao gerenciamento de memória: cache de chaves e valores (KV) de atenção, manutenção de prompts longos, armazenamento de estados recorrentes e retenção de históricos de interação de agentes. À medida que os comprimentos de contexto crescem, a memória torna-se o principal gargalo, muitas vezes excedendo a própria pegada de pesos do modelo.

Atualmente, quatro comunidades de pesquisa distintas abordam este gargalo de forma isolada:

1. Compressão de cache KV: Evicção, quantização ou fusão de tokens durante a inferência.
2. Compressão de prompt/contexto: Poda ou destilação de tokens de entrada antes que o modelo os processe.
3. Restrições arquiteturais: Limitação de memória via recorrência, modelos de espaço de estado ou atenção linear.
4. Memória de agente: Consolidação e sumarização de trajetórias de agentes e conhecimento de longo prazo.

Estas comunidades operam com benchmarks, métricas de sucesso e filosofias de design distintos, raramente citando umas às outras. O artigo argumenta que estes não são problemas distintos, mas sim instâncias diferentes de um único desafio fundamental: uma decisão de taxa–distorção. O problema central é determinar qual informação derivada do contexto deve ser mantida versus descartada, com qual fidelidade, sob um orçamento de recursos, para preservar a utilidade da tarefa subsequente.

Metodologia e Formalismo

Os autores propõem um formalismo unificado tratando a compactação de memória como um problema de otimização de taxa–distorção.

O Objetivo Unificado

Para um determinado histórico $H$ (todos os tokens, estados ou memórias disponíveis), um operador de compactação $C_\theta$ produz uma representação compacta $Z$ sujeita a um orçamento $B$ (medido em bytes, tokens ou dimensões de estado). Um operador de uso $U$ gera então um output $\hat{Y}$ a partir de $Z$. O objetivo de design é minimizar a perda esperada (distorção) sujeito à restrição de taxa:
$$\min_\theta \mathbb{E}[\ell(U(C_\theta(H), Q), Y)] \quad \text{sujeito a} \quad \text{taxa}(Z) \le B$$
Isso é formulado como um problema de Gargalo de Informação (Information Bottleneck): maximizar $I(Z; Y | Q)$ (bits de histórico prevendo a resposta) sujeito a $I(Z; H) \le B$.

Limite Inferior Teórico

O artigo deriva um limite inferior de erro de probabilidade $P_e$ agnóstico à camada usando a desigualdade de Fano. Seja $I^\star(Q) = I(Y; H | Q)$ o conteúdo de informação condicionado à tarefa (os bits de histórico genuinamente necessários para responder à consulta $Q$). Se o orçamento $B < I^\star(Q)$, o erro é limitado por:
$$P_e \ge \frac{H(Y|Q) - B - 1}{\log |\mathcal{Y}|}$$
Implicações Chave:

1. Inevitabilidade do Erro: Abaixo do requisito de informação $I^\star(Q)$, toda camada deve errar; nenhuma arquitetura pode escapar disso.
2. Dependência da Tarefa: As razões de compressão para uma qualidade fixa dependem de $I^\star(Q)$. Tarefas de alta entropia (recuperação exata) comprimem mal; tarefas de baixa entropia (sumarização) comprimem bem.
3. A Penalidade Agnóstica à Consulta: Operadores que decidem o que manter antes de ver a consulta (agnósticos à consulta) devem distribuir seu orçamento por toda a distribuição de consultas, pagando uma penalidade de $H(Q)$ (entropia da consulta). Operadores condicionados à consulta podem gastar todo o orçamento em bits relevantes para a resposta.

Taxonomia de Sete Eixos

Para classificar métodos uniformemente, os autores introduzem uma taxonomia baseada em sete eixos ortogonais:

1. Granularidade: De largura de bits a itens semânticos.
2. Estágio do Ciclo de Vida: Pré-treinamento, prefill, decodificação, serviço, dentro da tarefa ou entre tarefas.
3. Perda/Fidelidade: Sem perdas (lossless), quase sem perdas, uniformemente com perdas ou multi-fidelidade.
4. Adaptabilidade à Consulta/Tarefa: Agnóstico à consulta vs. condicionado à consulta.
5. Capacidade de Aprendizado: Livre de treinamento, adaptador de pós-treinamento ou treinado do zero.
6. Mecanismo: Evicção, recuperação, fusão, quantização, etc.
7. Substrato de Armazenamento: On-GPU, armazenamento externo ou pesos do modelo.

Principais Contribuições

1. Formalismo Unificado e Limite Inferior: O artigo formaliza a compactação de memória como um único problema de taxa–distorção e deriva um limite inferior (Eq. 2) mostrando que as taxas de erro são governadas pela mesma expressão em todas as camadas. Identifica a "penalidade agnóstica à consulta" como um custo quantificável.
2. Taxonomia de Sete Eixos: Um sistema de classificação que unifica métodos de caches KV, prompts, arquiteturas e memória de agentes, revelando que as diferenças residem principalmente em granularidade, estágio de ciclo de vida e adaptabilidade.
3. Transferência de Mecanismo entre Camadas: Os autores demonstram que mecanismos refinados em uma camada podem ser portados para outras. Por exemplo:
   • Curvas de esquecimento de agentes (Ebbinghaus) podem servir como priors para evicção de KV.
   • Recuperação sem evicção (Quest) sugere designs para memória de agente.
   • Limites de erro de saída (Ada-KV) sugerem regras de parada para sumarização de agentes.
4. Identificação de Modos de Falha: Duas propriedades críticas determinam o sucesso: Reversibilidade (o conteúdo descartado pode ser rederivado?) e Condicionamento à Consulta (a decisão depende da consulta?). O artigo prevê que métodos que carecem destas (ex: sumarização irreversível) sofrerão acumulação de erro superlinear sob compactação repetida.
5. Proposta do COMPACT-Bench: Uma nova proposta de benchmark para medir a compactação através de um eixo unificado de "bytes por token de histórico" (BPT). Inclui tarefas para medir atribuição de perda, reversibilidade e confiança calibrada, testando especificamente o regime de "compactação repetida" que os benchmarks atuais ignoram.
6. Experimentos de Referência: Experimentos em pequena escala em hardware comum demonstrando:
   • Uma fronteira unificada de precisão–orçamento onde o desempenho colapsa assim que o orçamento cai abaixo de $I^\star(Q)$.
   • Uma divergência entre operadores reversíveis e irreversíveis sob compactação repetida, onde métodos irreversíveis perdem aproximadamente 50% dos fatos em comparação com os reversíveis.

Resultados e Observações

• Modo de Falha Universal: Em todas as camadas, métodos que decidem o que manter antes da consulta ser conhecida e não podem desfazer a decisão (irreversíveis, agnósticos à consulta) falham da mesma forma: eles descartam informações que a consulta posteriormente precisará.
• Dominância da Reversibilidade: Em igual orçamento, operadores reversíveis (baseados em recuperação, arquivamento) consistem em superar os irreversíveis (evicção, sumarização), particularmente em consultas dependentes do material descartado.
• Lacuna de Medição: Benchmarks atuais focam em tarefas de contexto longo de turno único. Eles falham em medir o custo da compactação repetida, que é o modo operacional real de agentes. O artigo mostra que a acumulação de erro na compactação repetida é superlinear para métodos irreversíveis, mas plana para métodos reversíveis.
• Heurísticas de Atenção como Surrogates: Heurísticas comuns (massa de atenção acumulada, perplexidade, informação mútua) são todas identificadas como surrogates de distorção. Elas são comparáveis porque estimam a mesma quantidade subjacente: "o quanto descartar isso prejudicará a resposta?"

Significância e Alegações

O artigo alega que visualizar a compactação de memória através de uma lente de taxa–distorção proporciona três benefícios específicos:

1. Um Medidor Comum: Permite a comparação direta de métodos através de diferentes camadas (ex: comparar um quantizador de KV com um sumarizador de agente) ao mapeá-los para um eixo de orçamento comum.
2. Análise de Falha Unificada: Explica por que diversos métodos falham de forma semelhante (devido à irreversibilidade e falta de condicionamento à consulta) e prevê assinaturas específicas de falha (ex: curvas de recall em forma de U, crescimento de erro superlinear).
3. Portabilidade de Técnicas: Permite a transferência de mecanismos comprovados entre camadas, como aplicar restrições arquiteturais à memória de agente ou usar estratégias de consolidação de agentes para informar a gestão de KV.

Os autores enfatizam que o campo carece de um benchmark cross-layer e de uma lei de escala preditiva para $I^\star(Q)$. Eles propõem que o progresso virá não de melhores heurísticas isoladas, mas de reconhecer o objetivo compartilhado e medir a compactação com um protocolo unificado que considere reversibilidade, condicionamento à consulta e compactação repetida.

Problemas Abertos e Agenda

O artigo delineia uma agenda de pesquisa prioritária:

• Desenvolver operadores de compactação condicionados à consulta, reversíveis e de multi-fidelidade para todas as camadas.
• Criar mecanismos de atribuição de perda de informação e confiança calibrada.
• Mapear a composição de operadores (ex: como a quantização interage com a evicção).
• Derivar uma lei de escala de compressão preditiva para estimar $I^\star(Q)$ com base em parâmetros do modelo e da tarefa.
• Estabelecer regras de parada para a sumarização de agentes baseadas em limites de erro de saída.
• Abordar a segurança e auditabilidade em sistemas de memória de auto-edição.