Resumo Técnico: Still: Compactação de KV Cache Amortizada em uma Única Passagem de Forward

1. Declaração do Problema

O cache KV (Key-Value) é o principal gargalo de memória para a implantação de modelos de linguagem de grande escala (LLMs) em horizontes longos, como agentes de codificação de múltiplos dias ou raciocínio em escala de repositório. As estratégias de implantação atuais enfrentam uma escolha de "tudo ou nada":

• Cache Sem Perdas (Lossless): O cache cresce linearmente com o comprimento do contexto, eventualmente atingindo os limites de memória.
• Alternativas Com Perdas (Lossy): Métodos como ajuste fino (fine-tuning), geração aumentada por recuperação (RAG) ou resumos de documentos abandonam a estrutura de representação interna e a fidelidade do modelo.

Os métodos existentes de compactação de cache KV dividem-se em duas categorias, cada uma com limitações significativas:

1. Métodos de Seleção: Estes pontuam tokens e removem um subconjunto (ex: H2O, SnapKV). São leves, mas estruturalmente vinculados ao subconjunto original de tokens, o que significa que não podem sintetizar nova informação e degradam rapidamente sob orçamentos de compressão rigorosos.
2. Métodos de Síntese: Estes combinam conteúdo para criar novas representações compactas (ex: Attention Matching, Cartridges). Embora expressivos, tipicamente exigem otimização por contexto (ajuste/fitting) durante a inferência, tornando-os computacionalmente caros e impraticáveis para trajetórias iterativas de longo horizonte, onde a compactação deve ocorrer repetidamente.

O artigo identifica uma lacuna para um método que seja amortizado (treinado uma vez, aplicado repetidamente sem otimização por contexto), sintético (capaz de misturar informações além da simples seleção) e leve o suficiente para rodar durante a inferência.

2. Metodologia: Still

Os autores introduzem o Still, um primitivo aprendido para compactação de cache KV projetado para modelos pré-treinados congelados.

Arquitetura

O Still consiste em um módulo Perceiver pequeno, por camada, treinado contra um modelo base congelado.

• Entrada: Para cada camada do transformer, o compactador recebe o cache KV completo ($K, V$) por camada do prefixo. As chaves são primeiro "des-rotacionadas" para remover os Rotary Position Embeddings (RoPE), colocando-as em um quadro livre de posição.
• Latentes de Consulta (Latent Queries): O compactador mantém um banco de $t$ consultas latentes aprendidas ($Z$) por camada. Essas consultas realizam cross-attention com o cache KV completo.
• Processamento: Os latentes passam por blocos de pre-norm contendo:
  1. Cross-Attention: Dos latentes para o cache KV completo.
  2. Self-Attention: Entre os latentes.
  3. Feed-Forward (FFN): Subcamada opcional.
• Saída: O estado latente final é projetado via cabeças lineares para produzir chaves compactas ($C_k$) e valores ($C_v$) de tamanho $t \times d$, onde $t \ll T$ (o comprimento da sequência original).
• Tratamento de Posição: As chaves compactas resultantes são re-rotacionadas em posições de saída escolhidas antes de serem escritas de volta no cache. Os valores permanecem sem rotação.
• Canal de Viés (Bias Channel): Um cabeçalho de viés opcional ($\beta$) é suportado, mas desativado ($\beta=0$) em todos os resultados relatados para simplificar a implantação.

Treinamento

• Objetivo: O compactador é treinado usando a divergência KL direta entre um "professor" (o modelo base congelado com o cache completo não comprimido) e um "aluno" (o mesmo modelo usando o cache compacto). A perda é mascarada apenas para os tokens do lado da resposta.
• Dados: O treinamento utiliza um conjunto de dados de questões de múltipla escolha de quatro domínios (Financeiro, Project Gutenberg, Jurídico, Código).
• Eficiência: Os pesos do modelo base permanecem congelados; apenas os parâmetros do compactador são treinados. O compactador adiciona aproximadamente 1% ao número de parâmetros do modelo base (ex: ~50M de parâmetros para Qwen3-4B).

Modos Operacionais

1. Compactação de Passagem Única (Single-Pass): O modelo executa um prefill completo para gerar o cache total, que é então comprimido pelo Still. A geração continua usando o cache compacto.
2. Compactação em Blocos Iterativa (Iterative Chunked Compaction): Para contextos de longo horizonte que chegam ao longo do tempo, o Still suporta um esquema recorrente. O modelo processa blocos de tokens e, após cada bloco, o cache acumulado é comprimido para um tamanho fixo. Isso permite que o sistema lide com contextos que excedem muito o horizonte de treinamento, desde que o compactador tenha sido treinado em horizontes iterativos suficientemente longos.

3. Principais Contribuições

• Síntese Amortizada: O Still demonstra que a síntese amortizada (aprender um codificador uma única vez) é superior à seleção amortizada (aprender um pontuador uma única vez) para a compactação de contexto longo. Ele evita a limitação de "vinculação ao subconjunto" dos métodos de seleção e o custo de "otimização por contexto" dos métodos de síntese.
• Passagem Única (Single Forward Pass): Ao contrário dos métodos de síntese por contexto que exigem etapas de otimização para cada novo contexto, o Still realiza a compactação em uma única passagem de forward através de um módulo aprendido.
• Capacidade de Longo Horizonte Iterativo: Como a compactação é uma passagem de forward, o Still pode ser aplicado iterativamente conforme o novo contexto chega, permitindo um regime de longo horizonte que não está disponível para métodos de ajuste por contexto.
• Generalização: O método transfere-se entre escalas de modelos (4B a 32B), arquiteturas (densas e MoE) e mecanismos de atenção (global e janela deslizante).

4. Resultados

O artigo avalia o Still em razões de compressão de 8× a 200× e comprimentos de contexto de 8k a 128k.

• Fronteira Velocidade-Qualidade: Nos modelos Qwen e Gemma, o Still ocupa o lado favorável da fronteira velocidade-qualidade. Ele permanece preciso e rápido em toda a matriz, enquanto os métodos baseados em seleção degradam sob orçamentos apertados, e os métodos de síntese por contexto são lentos demais.
• Benchmark RULER: Em configurações de treinamento correspondente no benchmark RULER, o Still supera o baseline de seleção amortizada mais forte (KV-Distill) em 8 a 22 pontos de precisão em 16 de 18 células.
• Desempenho de Transferência: Em configurações de transferência zero-shot (treinamento em múltipla escolha de domínio misto, teste no RULER), o Still mantém uma liderança significativa sobre o KV-Distill, embora as margens sejam menores devido ao descompasso entre treino e teste.
• Sumarização: O Still suporta sumarização de texto livre. No HELMET (multi_lexsum), ele preserva 74–95% do ganho de contexto total entre contextos de 8k–64k, superando o Attention Matching e o KV-Distill. No LongBench v1, ele vence 60% das comparações par a par contra o KV-Distill.
• Compactação Iterativa: O Still permite a compactação em blocos iterativa. Embora o desempenho degrade se o horizonte de treinamento for muito curto em relação ao horizonte de implantação (ex: um compactador treinado em 8k colapsando em 128k), treinar em horizontes iterativos mais longos (16k, 32k) permite que o modelo absorva contextos muitas vezes maiores que sua capacidade física.

5. Significância e Alegações

O artigo alega que a amortização torna a compactação de cache de contexto longo tratável, e que a síntese torna o estado compacto útil em compressão extrema.

• Tratabilidade: Ao aprender o otimizador (o compactador) uma única vez, o sistema evita os custos compostos de ajuste por contexto, tornando a implantação iterativa de longo horizonte viável.
• Expressividade: A síntese permite que o cache compacto misture informações de arbitrariamente muitas posições, superando o teto de densidade de informação da seleção de tokens.
• Praticidade: O Still é leve o suficiente para ser chamado repetidamente durante a inferência, suportando tanto a seleção de respostas quanto a geração de texto livre sem modificar os pesos do modelo base.

Limitações Reconhecidas pelos Autores

• Não é Sem Perdas (Not Lossless): A inferência de contexto total continua sendo superior nos cenários mais difíceis de 128k.
• Restrição do Horizonte de Treinamento: A compactação iterativa não é uma extrapolação gratuita; o desempenho do compactador é limitado pelo horizonte de treinamento. Suportar 1 milhão de tokens requer treinar em horizontes proporcionalmente mais longos, o que é caro.
• Recuperação Exata: A recorrência atual é fraca em tarefas de recuperação exata e "agulha no palheiro" (needle-in-a-haystack), mesmo quando preserva evidências semânticas para tarefas de múltipla escolha mais amplas.
• Memória vs. Latência: No modo de passagem única, o Still reduz o tamanho do cache retido, mas não elimina a latência inicial de prefill de contexto total.
• Requisitos de Implantação: Cada checkpoint de base requer seu próprio compactador treinado, adicionando overhead de parâmetros e de dados de treinamento.