💻 computer science

Tamarin (HSQ): Reversible Hierarchical KV-Cache Compression for LLM Inference

O Tamarin (HSQ) introduz um esquema de compressão de KV-cache hierárquico de três níveis e reversível que roteia tokens para um nível focal, vetores de resumo aprendidos e um arquivo baseado em CPU para alcançar uma redução de 12–28× na memória da GPU para inferência de LLM de contexto longo, mantendo a perplexidade e a precisão de recuperação próximas ao baseline.

Autores originais: Alikhan Bazakov, Kirill Kiselev

Publicado 2026-07-10

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Alikhan Bazakov, Kirill Kiselev

Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que você esteja tentando ler um livro massivo, de 32.000 páginas, em um tablet minúsculo. O problema não é o texto do livro; é que a memória do seu tablet enche instantaneamente apenas por segurar as páginas que você já leu. No mundo da IA, essa "memória" é chamada de cache KV, e para modelos grandes, ela consome toda a potência do seu computador, forçando você a jogar fora páginas antigas para abrir espaço para novas.

A maioria das soluções atuais é como um bibliotecário que, quando a estante fica cheia, decide jogar fora os livros que acha que você não precisará. Eles podem manter as primeiras páginas e as últimas, mas se você subitamente fizer uma pergunta sobre um detalhe no meio do livro, aquela página terá sumido para sempre. O artigo chama isso de "evicção" (eviction), e argumenta que isso é uma falha fatal porque você não pode prever o que um usuário perguntará a seguir.

A Grande Ideia: O Índice Mágico, Não a Lata de Lixo

Os autores deste artigo, do Siamang Labs, propõem uma abordagem diferente chamada Tamarin (tecnicamente conhecida como HSQ). Em vez de jogar as páginas fora, eles tratam a memória como um índice gigante e pesquisável.

Veja como funciona o sistema de três níveis, usando uma analogia de biblioteca:

A Prateleira "VIP" (L1): Uma seção pequena e de alta velocidade no seu tablet (GPU) mantém as páginas mais importantes e as mais recentes. Elas são mantidas em detalhes completos, apenas levemente reduzidas (precisão de 4 bits).
Os "Cartões de Pistas" (L2): Para o restante do livro, o sistema cria minúsculos "cartões de pistas" de 3 bits para cada grupo de 8 a 16 páginas. Esses cartões não contêm a história; eles contêm apenas um resumo do assunto das páginas. Eles residem no seu tablet também.
O "Arquivo Profundo" (L3): O texto original completo de cada página é armazenado em um enorme armazém do outro lado da rua (CPU RAM), também reduzido para 4 bits de precisão.

Como Funciona em Tempo Real

Quando a IA está lendo e, de repente, precisa responder a uma pergunta, ela não adivinha. Ela olha primeiro para os Cartões de Pistas (L2). Um "leitor" de IA pequeno e inteligente pontua esses cartões para ver quais grupos de páginas são relevantes para a pergunta atual.

Se um cartão parecer promissor, o sistema corre instantaneamente até o Arquivo Profundo (L3), pega as páginas originais e as traz de volta para o tablet logo antes de a IA tomar sua decisão.

O artigo prova que essa abordagem de "indexação" é a chave. Em um teste onde desativaram a etapa de "buscar do arquivo", a capacidade do sistema de encontrar informações ocultas (chamada de recuperação de "agulha no palheiro") caiu para 0%. Isso confirma que os cartões de pistas servem apenas para roteamento; o conteúdo real vive no arquivo.

Os Resultados: Economia Massiva com Quase Nenhum Custo

O artigo mediu isso em vários modelos (especificamente a família Qwen3, variando de 0,6 bilhão a 14 bilhões de parâmetros). Aqui está o que encontraram:

Economia de Memória: Em um comprimento de contexto de 32.000 tokens, o Tamarin reduz o uso de memória da GPU de 12 a 28 vezes. Por exemplo, um modelo que normalmente precisa de 4,5 GiB de memória para o cache em 32K tokens só precisa de cerca de 172 MiB na GPU. O restante vive na RAM da CPU.
Qualidade: Para modelos maiores (4B e 8B parâmetros), a qualidade é quase idêntica à versão sem compressão. A "perplexidade" (uma medida de quanto a IA fica confusa) aumenta apenas 0,1% a 0,4%. A IA concorda com a versão original em 96% a 97% das palavras que escolhe.
Recuperação: Em testes com 500 tentativas para encontrar um código oculto em diferentes profundidades do texto, o modelo 8B encontrou o código 500 de 500 vezes, correspondendo estatisticamente à linha de base sem compressão.

O Que o Artigo Descarta e Onde Ele Falha

Os autores são muito claros sobre o que isso não é e onde ele tem dificuldades:

Não é um aumento de velocidade: O artigo afirma explicitamente que o Tamarin não torna a IA mais rápida. Na verdade, devido ao fato de ter que buscar dados do arquivo da CPU, a velocidade aos 32K tokens cai para cerca de 17–18% da velocidade normal. É uma troca de capacidade (encaixar mais texto) por velocidade.
Não funciona perfeitamente em modelos minúsculos: Para o menor modelo testado (0,6B parâmetros), o custo de qualidade é maior. O artigo observa um aumento de 6–10% na perplexidade ao usar pesos de 4 bits, o que é considerado uma falha para esse tamanho específico.
Não é uma solução mágica para todas as famílias de IA: O método funciona muito bem nos modelos Qwen3, mas quando tentaram em uma família diferente (Mistral-7B), os resultados foram confusos, com uma queda de 20 pontos percentuais na precisão em certas profundidades. Os autores suspeitam que isso ocorre porque a Mistral carece de uma etapa específica de "normalização" que a Qwen possui, tornando os "cartões de pistas" mais difíceis de ler.
Um checkpoint específico "frágil": Mesmo no modelo de 14B, houve dois pontos específicos no texto onde o sistema teve dificuldade em encontrar a agulha oculta, caindo para 80,4% de precisão. O artigo atribui isso a uma falha específica no treinamento desse modelo, não ao método em si.

A Conclusão Final

O artigo sugere que, para modelos grandes (4B ou mais), o Tamarin é uma forma comprovada de encaixar quantidades massivas de texto em memória limitada sem deletar informações permanentemente. Ele transforma o problema de "ficar sem espaço" em um problema de "gerenciar um índice". Embora diminua a velocidade e exija ajustes cuidadosos para diferentes tipos de IA, ele resolve com sucesso o gargalo de memória para tarefas de contexto longo onde manter cada pedaço de informação é crítico.

Resumo Técnico: Tamarin (HSQ) – Compressão de KV-Cache Hierárquica Reversível

1. O Problema

Na inferência de modelos de linguagem de grande escala (LLM) autorregressivos, o cache de Chave-Valor (KV) é o principal consumidor de memória GPU, particularmente em cenários de contexto longo. Diferente dos pesos do modelo, que podem ser quantizados uma única vez, o cache KV cresce linearmente com o comprimento do contexto. Por exemplo, um modelo Qwen3-8B em fp16 requer aproximadamente 4,5 GiB de VRAM para um contexto de 32K tokens, frequentemente excedendo a capacidade de GPUs padrão.

Soluções existentes enfrentam uma dicotomia com um ponto cego compartilhado:

Quantização de KV: Comprime todas as entradas para baixa precisão (2–4 bits). Embora seja segura, a razão de compressão é limitada (tipicamente ~4× sobre fp16) e pode degradar a qualidade em larguras de bits menores.
Expulsão/Fusão de Tokens: Métodos como StreamingLLM, H2O e SnapKV descartam ou fundem permanentemente tokens considerados não importantes durante a fase de prefill. Esses métodos alcançam altas razões de compressão, mas são irreversíveis. Se um token expulso precocemente tornar-se crítico para uma consulta gerada em um passo de decodificação posterior, a informação é perdida.

A limitação central do trabalho anterior é que a importância do token é uma função da consulta futura, e os métodos baseados em expulsão devem prever isso no momento da compressão sem o benefio desse contexto futuro.

2. Metodologia: Tamarin (HSQ)

O Tamarin (Hierarchical Semantic Quantization, ou HSQ) reformula a compressão do cache KV como um problema de indexação em vez de um problema de deleção. Ele mantém três representações sincronizadas do contexto, garantindo que cada token comprimido permaneça endereçável e recuperável.

A Arquitetura de Três Camadas

L1 (Camada Focal, GPU): Um pequeno conjunto não resumido de tokens armazenados como vetores quantizados de 4 bits. Isso inclui sumidouros de atenção (attention sinks), uma janela recente opcional e tokens explicitamente marcados como importantes por um leitor aprendido.
L2 (Camada de Sumário, GPU): Os tokens restantes são particionados em grupos (tamanho $N \in \{8, 16\}$ ). Cada grupo é comprimido em dois vetores representativos aprendidos ( $\hat{k}, \hat{v}$ ) armazenados com precisão de 3 bits. Crucialmente, esses vetores atuam como chaves de roteamento, não como substitutos de conteúdo.
L3 (Camada de Arquivo, RAM da CPU): As chaves e valores originais (quantizados) para cada token comprimido são armazenados na RAM da CPU com precisão de 4 bits. Esta serve como a fonte da verdade para o conteúdo.

O Processo de Decodificação

Durante a decodificação, o processo opera como uma busca de índice reversível:

Roteamento: Um roteador por cabeça pontua as chaves de sumário L2 contra a consulta atual.
Busca (Fetching): Com base em um orçamento de roteamento ( $\beta$ ), o roteador seleciona os grupos com as maiores pontuações. O sistema busca os tokens originais correspondentes no arquivo L3 da CPU, desquantiza-os na GPU e os rotaciona para suas posições semânticas.
Atenção: O mecanismo de atenção executa sobre a união dos tokens L1, sumários L2 e os originais L3 restaurados. Os sumários L2 são mascarados para grupos onde os originais foram buscados para evitar contagem dupla.

Componentes Técnicos Principais

Leitor (Reader): Um MLP pequeno que pontua a importância do token com base nos estados ocultos iniciais do decodificador. Ele direciona os tokens para L1, L2 (grupos médios) ou L2 (grupos baixos).
Compressor: Um pooler de atenção cruzada estilo Perceiver que gera as chaves de roteamento de 3 bits. Ele é treinado para classificar grupos de forma eficaz sob as projeções de consulta do modelo, não para reconstruir conteúdo.
Quantização (TurboQuant): Utiliza quantização escalar aleatorizada com uma rotação ortogonal aleatória fixa para decorrelacionar coordenadas. L1 e L3 usam precisão de 4 bits; L2 usa precisão de 3 bits.
Implementação: Implementado como uma biblioteca Python de aproximadamente 9 mil linhas sobre o HuggingFace Transformers, não exigindo kernels CUDA customizados ou modificações nos pesos do modelo.

3. Principais Contribuições

Arquitetura: Uma hierarquia reversível de três camadas que separa o roteamento (L2) do conteúdo (L3), permitindo altas razões de compressão sem perda permanente de informação.
Metodologia de Validação: Um framework estatístico rigoroso usando ensaios pareados ( $n=500$ por célula), testes exatos de McNemar, TOST (Two One-Sided Tests) para equivalência em recuperação binária e margens de não-inferioridade unilateral para perplexidade.
Descobertas sobre Escalonamento: O método demonstra que os custos de qualidade diminuem conforme o tamanho do modelo aumenta, e ele se compõe livremente com a quantização de pesos de 4 bits para modelos $\ge$ 4B de parâmetros.
Código Aberto: Lançamento do pacote beta HSQ sob licença Apache 2.0, incluindo adaptadores de modelo e ferramentas de avaliação.

4. Resultados

Avaliado na família Qwen3 (0.6B–14B) em pesos fp16, int8 e int4, e contextos de até 32K:

Razão de Compressão: O Tamarin reduz o cache KV residente na GPU em 12–28× (ex: Qwen3-8B em 32K cai de 4,5 GiB para 172 MiB na GPU, com 2,29 GiB na CPU).
Desempenho de Recuperação:
- Em modelos de 4B e 8B, a recuperação é estatisticamente equivalente à linha de base (equivalência TOST) em todas as profundidades.
- Em contexto de 32K, o Qwen3-8B-int4 atinge paridade de recuperação de agulha (needle retrieval) de 500/500 com zero pares discordantes.
Sobrecarga de Perplexidade (PPL):
- Para modelos de 4B–14B, a sobrecarga de PPL é mínima (0,1–0,4%).
- Em modelos de 4B, a perplexidade multilíngue foi medida abaixo da linha de base (razão 0,9972), sugerindo que o custo de compressão está abaixo do piso de medição.
- Modelos pequenos (0,6B) incorrem em custos mais altos (4–6% em fp16, 6–10% em int4).
Concordância de Tokens: A concordância de nível de token greedy é de 96–97% com a linha de base para modelos de 4B–14B.
Velocidade:
- A sobrecarga de prefill se amortiza em contextos mais longos (1,2–1,3× em 32K).
- O throughput de decodificação é atualmente um gargalo, operando a 40–73% da linha de base para contextos de até 8K, caindo para 17–18% em 32K devido ao custo de busca e desquantização da CPU.

5. Alegações e Significância

O artigo afirma que o Tamarin consegue mudar o paradigma do gerenciamento de cache KV da deleção para a indexação. Ao adiar a decisão de quais tokens são "importantes" até o tempo da consulta (via roteador), o sistema evita a irreversibilidade dos métodos de expulsão.

Alegações Específicas:

Capacidade sobre Latência: O Tamarin é apresentado como uma solução para acomodar contextos maiores e lotes (batches) maiores em GPUs de capacidade limitada, não para reduzir a latência.
Reversibilidade: Todo token comprimido é endereçável; o sistema não descarta informações permanentemente.
Escalonamento do Modelo: O método torna-se mais eficaz conforme a capacidade do modelo aumenta, com modelos de 4B e 8B mostrando equivalência quase perfeita com as linhas de base.
Composição: Funciona perfeitamente com a quantização de pesos de 4 bits para modelos de pelo menos 4B de parâmetros sem custo adicional mensurável.

Limitações e Fronteiras Explícitas:

Modelos Pequenos: Modelos abaixo de 4B parâmetros (especificamente 0,6B) sofrem de composição de ruído, levando a uma maior sobrecarga de PPL.
Checkpoints Frágeis: O checkpoint Qwen3-14B-int4 mostrou "buracos" estreitos na recuperação de agulha única em profundidades específicas, atribuídos à fragilidade da quantização, não ao método em si.
Famílias de Modelos: O método é validado estatisticamente no Qwen3. Um teste inicial no Mistral-7B mostrou um "efeito de família" com desempenho degradado, hipotetizado como sendo causado pela ausência de normalização de chave por cabeça.
Throughput: A implementação atual troca velocidade de decodificação por capacidade de memória, com penalidades significativas de throughput em contextos muito longos (32K).

O artigo conclui que o Tamarin oferece um caminho prático e reversível para inferência de contexto longo em GPUs de consumo e datacenters, desde que o usuário aceite o atual compromisso de redução de throughput de decodificação em troca de enormes economias de memória.