🤖 machine learning

Hurwitz Quaternion Multiplicative Quantization for KV Cache Compression

O artigo apresenta a Quantização Multiplicativa de Quaternions Hurwitz (HQMQ), um método sem necessidade de calibração que comprime caches KV representando blocos de 4 elementos como quaternions quantizados por meio de um produto entre um grupo Hurwitz fixo e códigos secundários aleatórios, alcançando precisão próxima à de fp16 com até 5,05× de compressão em diversos LLMs modernos, ao mesmo tempo em que elimina a necessidade de calibração.

Autores originais: Kabir Swain, Sijie Han, Daniel Karl I. Weidele, Mauro Martino, David Cox, Antonio Torralba

Publicado 2026-05-28

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Kabir Swain, Sijie Han, Daniel Karl I. Weidele, Mauro Martino, David Cox, Antonio Torralba

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

O Grande Problema: O "Acumulador de Memória"

Imagine um Modelo de Linguagem Grande (LLM) como um bibliotecário brilhante, mas esquecido. Quando você faz uma pergunta longa, ele precisa lembrar de cada palavra que você disse até agora para responder corretamente. Em termos de computador, essa memória é chamada de KV Cache.

Para conversas muito longas, esse cache de memória fica enorme. Se o bibliotecário tentar lembrar de cada detalhe em alta definição (como um filme 4K), ele enche a memória RAM do computador instantaneamente. Isso força o computador a usar armazenamento mais lento ou a travar, fazendo a conversa parar.

Para corrigir isso, os engenheiros tentam "comprimir" a memória, como transformar um filme 4K em um arquivo MP4 menor. No entanto, os métodos anteriores de compressão eram como usar uma faca cega: se você reduzisse o tamanho do arquivo demais (abaixo de 4 bits), o filme tornava-se inassistível (a IA começava a fazer nonsense). Se o modelo de IA tivesse "outliers" (números estranhos e extremos em seus dados), a compressão padrão quebrava completamente, fazendo a IA alucinar violentamente.

A Solução: HQMQ (O Sistema "Bússola Inteligente")

Os autores propõem um novo método chamado HQMQ. Em vez de apenas encolher os números, eles tratam grupos de dados como quaternions (um tipo de bússola matemática 4D).

Veja como funciona, dividido em três etapas simples:

1. A "Estrela de 24 Pontos" (O Código Primário)

Imagine que a direção para a qual um pedaço de dados aponta é como uma agulha de bússola. Em vez de tentar armazenar o ângulo exato (o que ocupa muito espaço), os autores usam uma "estrela" especial e pré-fabricada com 24 pontos (chamada de grupo Hurwitz).

A Analogia: Pense nisso como um conjunto padrão de 24 direções fixas (Norte, Nordeste, etc., mas em 4D). Não importa para onde os dados apontem, você apenas os encaixa na mais próxima dessas 24 direções "perfeitas".
A Magia: Como esses 24 pontos são matematicamente perfeitos e uniformemente espaçados, você não precisa treinar a IA para aprendê-los. Eles são apenas regras "codificadas", como as letras em um teclado.

2. A "Girada Aleatória" (O Código Secundário)

Os 24 pontos não são suficientes para cobrir cada nuance possível. Então, os autores adicionam uma segunda camada: uma pequena "girada" aleatória para cada parte específica da IA.

A Analogia: Imagine que você tem um globo com os 24 pontos pintados nele. Agora, imagine que você pode girar o globo aleatoriamente para cada frase que a IA processa.
O Resultado: Quando você combina os 24 pontos fixos com uma girada aleatória, você obtém milhares de direções únicas ( $24 \times \text{giros aleatórios}$ ).
Por que é legal: O artigo afirma que você não precisa treinar essa girada aleatória. Por causa da matemática por trás disso, qualquer girada aleatória funciona quase tão bem quanto uma treinada. É como dizer: "Você não precisa praticar arremessar dardos; apenas arremesse-os aleatoriamente, e a matemática garante que você acertará o alvo." Isso economiza tempo e dados.

3. A "Rede de Segurança para Outliers" (Med3×)

Alguns modelos de IA (como o Qwen) têm "outliers" — pontos de dados que são 100x ou 200x maiores do que o normal. A compressão padrão tenta esmagar esses números gigantes para caber, o que destrói os dados.

A Analogia: Imagine que você está arrumando uma mala. A maioria das roupas tem tamanho normal, mas você tem um urso de pelúcia gigante e de formato estranho. Se você tentar forçar o urso dentro de uma caixa pequena, ele rasga a caixa.
O Conserto: O HQMQ tem uma regra: "Se um número for muito grande (mais de 3 vezes a média), não o esprema. Apenas mantenha-o em sua forma original e de alta qualidade (fp16) e marque-o com uma pequena bandeira."
O Resultado: Apenas cerca de 1–3% dos dados recebem esse tratamento especial, então a economia de memória ainda é massiva, mas os "ursos gigantes" não quebram o sistema.

O Que Eles Provaram?

Os autores testaram isso em cinco modelos de IA modernos diferentes (Mistral, Llama, Qwen, etc.). Aqui estão suas principais descobertas:

Funciona Sem Treinamento: Ao contrário de outros métodos que precisam de uma fase de "calibração" (onde a IA estuda dados para aprender a comprimir), o HQMQ funciona imediatamente com configurações aleatórias.
Economiza Espaço Massivo: Eles conseguiram reduzir o cache de memória em 5 vezes. Por exemplo, um cache de contexto de 128k para um modelo de 70 bilhões de parâmetros (que geralmente ocupa 43 GB) foi reduzido para 8,5 GB. Isso significa que você poderia executar uma IA massiva em uma única placa gráfica de consumidor em vez de um supercomputador.
Lida com Dados "Ruins": Em modelos com outliers extremos (como o Qwen), a compressão padrão falhou completamente (a taxa de erro da IA explodiu). O HQMQ + a "Rede de Segurança" corrigiu isso, trazendo o desempenho da IA de volta a níveis quase perfeitos.
Velocidade: Eles construíram um motor "fundido" especial que lê os dados comprimidos e os decodifica instantaneamente enquanto a IA está pensando. Isso significa que a IA não fica mais lenta; ela apenas usa menos memória.

A Conclusão

O HQMQ é como um kit de compressão universal e pré-fabricado para a memória da IA. Ele usa um truque matemático inteligente (multiplicar uma estrela fixa de 24 pontos por uma girada aleatória) para armazenar direções de forma eficiente sem precisar aprender nada primeiro. Ele também tem um interruptor de segurança para picos de dados estranhos.

O resultado? Você pode executar conversas muito mais longas e inteligentes em computadores muito menores sem que a IA perca o juízo.

Resumo Técnico: Quantização Multiplicativa de Quaternions de Hurwitz para Compressão de Cache KV

Declaração do Problema

O custo de memória do cache de Chave-Valor (KV) durante a inferência em contextos longos em Modelos de Linguagem de Grande Escala (LLMs) frequentemente domina os custos computacionais. Armazenar vetores K e V em FP16 pode consumir dezenas de gigabytes para comprimentos de sequência superiores a 32k. Embora a quantização escalar (por exemplo, int8, int4) reduza esse custo, o desempenho degrada-se significativamente abaixo de 4 bits, e o int2 geralmente quebra o modelo. Além disso, arquiteturas modernas (especificamente aquelas com Atenção de Consulta Agrupada, como Qwen2.5 e Qwen3) exibem padrões de atenção "pesados em outliers", onde uma pequena fração de blocos K possui magnitudes extremas. A quantização escalar padrão falha catastroficamente nesses cenários, levando a picos de perplexidade (PPL) de mais de 10.000 pontos. Abordagens existentes de quantização vetorial frequentemente exigem dados de calibração ou falham em lidar efetivamente com esses outliers.

Metodologia: Quantização Multiplicativa de Quaternions de Hurwitz (HQMQ)

Os autores propõem a HQMQ, um método sem calibração que trata cada bloco de 4 elementos dos vetores K ou V como um quaternion $x \in \mathbb{H}$ . O método decompõe o vetor em um raio $r = \|x\|$ e uma direção unitária $u = x/r$ na 3-esfera $S^3$ .

1. Composição do Código Multiplicativo

Em vez de aprender um único código grande ou usar composição aditiva, a HQMQ constrói um código conjunto via produto multiplicativo de dois componentes:

Código Primário ( $P$ ): Um conjunto fixo de 24 quaternions unitários de Hurwitz, correspondendo aos vértices do 24-célula na $S^3$ (o grupo tetraedral binário $2T$ ). Esses vértices estão separados pairwise por $60^\circ$ e formam um grupo multiplicativo fechado.
Código Secundário ( $S$ ): Um conjunto de $S$ quaternions unitários aleatórios, inicializados por (camada, cabeça, função) sem calibração.

O código efetivo é o conjunto $C = \{q_p \cdot q_s \mid q_p \in P, q_s \in S\}$ . Isso produz $24S$ palavras-código efetivas enquanto armazena apenas $S$ parâmetros. A direção $u$ é quantizada para a palavra-código $c \in C$ que maximiza o produto interno $\langle u, c \rangle$ .

2. Justificativa Teórica para Inicialização Aleatória

O artigo argumenta que a calibração é desnecessária porque a multiplicação à esquerda por um quaternion unitário é uma isometria na $S^3$ . Selecionar aleatoriamente $S$ efetivamente rotaciona o grupo fixo $2T$ , criando $S$ cópias isométricas disjuntas que ladrilham a $S^3 de forma quase uniforme. A Proposição 3.1 estabelece que esse empacotamento multiplicativo aleatório alcança uma taxa de cobertura ótima de$ O((24S)^{-1/3})$ na $S^3$ , correspondendo ao limite teórico para empacotamentos de esferas ótimos até constantes.

3. Extração de Outliers por Multiplicador Mediano (Med3×)

Para lidar com arquiteturas "pesadas em outliers" onde as normas dos blocos variam por fatores de 80–280×, os autores introduzem uma etapa de extração de outliers por lote:

Calcule a norma mediana do bloco $r_{med}$ através do lote atual.
Identifique blocos onde $r > C \cdot r_{med}$ (com uma constante fixa $C=3$ ).
Armazene esses outliers em FP16 completo (com uma flag de 1 bit) e quantize os blocos restantes "de massa" usando HQMQ.
Essa etapa não requer dados de calibração e é estável em diferentes arquiteturas.

Principais Contribuições

Nova Regra de Composição de Código: Um esquema de quantização multiplicativo baseado no grupo finito de Hurwitz $2T$ , diferenciando-se de VQ aditiva (CommVQ) ou VQ plana aprendida (VPTQ).
Implantação sem Calibração: O método depende das propriedades geométricas de rotações aleatórias de Haar do 24-célula, eliminando a necessidade de passes de calibração por modelo. Resultados empíricos mostram variação de perplexidade em tarefas finais de $<0,14\%$ entre sementes aleatórias.
Tratamento Robusto de Outliers: O mecanismo de extração Med3× permite o uso de quantização de baixo bit em modelos pesados em outliers (como Qwen2.5/3), onde o int4 ingênuo falha completamente.
Validação Empírica: Avaliação em cinco modelos diversos (Mistral-7B, Llama-3-8B, Qwen2.5-7B, Qwen3-8B e gpt-oss-20b) demonstrando dominância de Pareto sobre baselines inteiras ingênuas.

Resultados Experimentais

Perplexidade e Qualidade

Mistral-7B & Llama-3-8B: A HQMQ alcança compressão quase sem perdas em $\sim5$ bits, correspondendo à perplexidade FP16 dentro de 0,02–0,03 pontos. Em 3,79 bits, corresponde à precisão zero-shot downstream FP16 (PIQA, HellaSwag, ARC-Easy).
Qwen2.5-7B & Qwen3-8B (Pesados em Outliers): O int4 ingênuo colapsa para PPLs de 17.000–18.000. HQMQ + Med3× recupera a qualidade FP16 (PPL $\approx$ 9,0–9,7) em $\sim5$ bits, representando uma melhoria de qualidade de $\sim1.900\times$ sobre o int4 ingênuo em menos bits.
gpt-oss-20b (MoE Esparsa): A HQMQ domina por Pareto a baseline ingênua em 3–3,5× em bits correspondentes.

Comparação com Baselines

vs. Int Ingênuo: A HQMQ supera o int4 ingênuo em 3–1.900× em PPL em todos os modelos em taxas de bits correspondentes.
vs. KIVI (Baseline Calibrada): Em 3,79 bits, a HQMQ corresponde à KIVI-4 calibrada (que usa $\sim4,5$ bits) dentro de $\sim1$ ponto em CoQA e 2,3 pontos em GSM8K, usando 16% menos bits e zero calibração.
vs. Quantização Esférica/Vetorial: A HQMQ supera baselines esféricas (por exemplo, estilo TurboQuant) e baselines de VQ aditiva com códigos aleatórios.

Memória e Latência

Compressão: A HQMQ entrega até 5,05× de compressão de cache KV. Para um modelo Llama-3-70B com contexto de 128k, o cache encolhe de 43 GB (FP16) para 8,5 GB, permitindo inferência em uma única GPU de consumidor de 24 GB.
Latência: Um kernel fundido Triton decodifica K/V diretamente dentro do loop de atenção. Em uma carga de trabalho de decodificação de produção, o kernel fundido mantém uma latência constante de $\sim0,033$ ms independentemente do comprimento do contexto, oferecendo um aceleração de 7,4× a 82,9× sobre um pipeline "fake-quant" ingênuo que dequantiza todo o cache a cada passo.

Significado e Alegações

O artigo alega que a HQMQ fornece uma "receita algébrica limpa" para quantização de cache KV que preenche a lacuna entre a quantização vetorial teórica e a implantação prática. Seu significado principal reside em:

Habilitar Quantização de Baixo Bit em Modelos Pesados em Outliers: É o primeiro método a tornar viável a quantização sub-5-bit para arquiteturas como Qwen2.5/3, onde métodos padrão falham.
Eliminar Sobrecarga de Calibração: Ao aproveitar as propriedades geométricas do grupo de Hurwitz, remove a necessidade de calibração dependente de dados, tornando-o adequado para modelos proprietários ou implantados rapidamente.
Eficiência Prática: A combinação de altas taxas de compressão (até 5×) e um kernel fundido que evita gargalos de largura de banda de memória torna a inferência em contextos longos prática em hardware de consumidor.

Os autores notam limitações, especificamente que a HQMQ não compete com códigos treinados (como CommVQ) no regime sub-3-bit e que seu desempenho em contextos extremamente longos (além de 128k) ou arquiteturas específicas como Atenção Latente Multi-cabeça (MLA) requer investigação adicional. No entanto, dentro do regime de 3–5 bits, ela estabelece um novo estado da arte para compressão KV sem calibração e robusta a outliers.