Riepilogo Tecnico: Quantizzazione Moltiplicativa degli Quaternioni di Hurwitz per la Compressione della KV Cache

Enunciato del Problema

Il costo in memoria della cache Key-Value (KV) durante l'inferenza a contesto lungo nei Large Language Models (LLM) spesso domina i costi computazionali. L'archiviazione dei vettori K e V in FP16 può consumare decine di gigabyte per lunghezze di sequenza superiori a 32k. Sebbene la quantizzazione scalare (ad esempio int8, int4) riduca tale costo, le prestazioni degradano significativamente al di sotto di 4 bit, e l'int2 tipicamente rompe il modello. Inoltre, le architetture moderne (in particolare quelle con Grouped Query Attention, come Qwen2.5 e Qwen3) mostrano pattern di attenzione "ricchi di outlier", dove una piccola frazione di chunk K presenta magnitudini estreme. La quantizzazione scalare standard fallisce catastroficamente in questi scenari, portando a picchi di perplexità (PPL) di oltre 10.000 punti. Gli approcci esistenti di quantizzazione vettoriale richiedono spesso dati di calibrazione o non riescono a gestire efficacemente questi outlier.

Metodologia: Quantizzazione Moltiplicativa degli Quaternioni di Hurwitz (HQMQ)

Gli autori propongono HQMQ, un metodo senza calibrazione che tratta ogni chunk di 4 elementi dei vettori K o V come un quaternione $x \in \mathbb{H}$. Il metodo scompone il vettore in un raggio $r = \|x\|$ e una direzione unitaria $u = x/r$ sulla 3-sfera $S^3$.

1. Composizione del Codice Moltiplicativo

Invece di apprendere un unico grande codice o utilizzare una composizione additiva, HQMQ costruisce un codice congiunto tramite il prodotto moltiplicativo di due componenti:

• Codice Primario ($P$): Un insieme fisso di 24 quaternioni di Hurwitz unitari, corrispondenti ai vertici del 24-cellula su $S^3$ (il gruppo tetraedrico binario $2T$). Questi vertici sono separati a coppie di $60^\circ$ e formano un gruppo moltiplicativo chiuso.
• Codice Secondario ($S$): Un insieme di $S$ quaternioni unitari casuali, inizializzati per (layer, testa, ruolo) senza calibrazione.

Il codice effettivo è l'insieme $C = \{q_p \cdot q_s \mid q_p \in P, q_s \in S\}$. Ciò genera $24S$ parole di codice effettive memorizzando solo $S$ parametri. La direzione $u$ è quantizzata alla parola di codice $c \in C$ che massimizza il prodotto interno $\langle u, c \rangle$.

2. Giustificazione Teorica per l'Inizializzazione Casuale

Il paper sostiene che la calibrazione sia inutile perché la moltiplicazione a sinistra per un quaternione unitario è un'isometria su $S^3. Selezionare casualmente$S$ quaternioni ruota efficacemente il gruppo fisso $2T$, creando $S$ copie isometriche disgiunte che tassellano $S^3$ in modo quasi uniforme. La Proposizione 3.1 stabilisce che questo impacchettamento moltiplicativo casuale raggiunge un tasso di copertura ottimale di $O((24S)^{-1/3})$ su $S^3$, corrispondente al limite teorico per gli impacchettamenti ottimali di sfere fino a costanti.

3. Estrazione degli Outlier tramite Moltiplicatore Mediano (Med3×)

Per affrontare le architetture "ricche di outlier" dove le norme dei chunk variano per fattori di 80–280×, gli autori introducono un passo di estrazione degli outlier per batch:

• Calcolare la norma mediana del chunk $r_{med}$ attraverso il batch corrente.
• Identificare i chunk dove $r > C \cdot r_{med}$ (con una costante fissa $C=3$).
• Memorizzare questi outlier in FP16 completo (con un flag a 1 bit) e quantizzare i restanti chunk "di massa" utilizzando HQMQ.
  Questo passo non richiede dati di calibrazione ed è stabile su diverse architetture.

Contributi Chiave

1. Nuova Regola di Composizione del Codice: Uno schema di quantizzazione moltiplicativo basato sul gruppo finito di Hurwitz $2T$, diverso dalla VQ additiva (CommVQ) o dalla VQ appiattita appresa (VPTQ).
2. Deploy Senza Calibrazione: Il metodo si basa sulle proprietà geometriche delle rotazioni di Haar del 24-cellula, eliminando la necessità di passaggi di calibrazione per modello. I risultati empirici mostrano una variazione della perplexità nel task finale di $<0,14\%$ tra diversi semi casuali.
3. Gestione Robusta degli Outlier: Il meccanismo di estrazione Med3× consente l'uso di quantizzazione a basso bit su modelli ricchi di outlier (come Qwen2.5/3), dove l'int4 ingenuo fallisce completamente.
4. Validazione Empirica: Valutazione su cinque modelli diversi (Mistral-7B, Llama-3-8B, Qwen2.5-7B, Qwen3-8B e gpt-oss-20b) che dimostra la dominanza di Pareto rispetto ai baselines interi ingenui.

Risultati Sperimentali

Perplexità e Qualità

• Mistral-7B & Llama-3-8B: HQMQ raggiunge una compressione quasi senza perdita a $\sim5$ bit, corrispondendo alla perplexità FP16 entro 0,02–0,03 punti. A 3,79 bit, corrisponde all'accuratezza zero-shot a valle FP16 (PIQA, HellaSwag, ARC-Easy).
• Qwen2.5-7B & Qwen3-8B (Ricchi di Outlier): L'int4 ingenuo collassa a PPL di 17.000–18.000. HQMQ + Med3× recupera la qualità FP16 (PPL $\approx$ 9,0–9,7) a $\sim5$ bit, rappresentando un miglioramento di qualità di $\sim1.900\times$ rispetto all'int4 ingenuo a meno bit.
• gpt-oss-20b (MoE Sparsa): HQMQ domina per Pareto il baseline ingenuo di 3–3,5× a bit corrispondenti.

Confronto con i Baselines

• vs. Int Ingenuo: HQMQ supera l'int4 ingenuo di 3–1.900× in PPL su tutti i modelli a tassi di bit corrispondenti.
• vs. KIVI (Baseline Calibrato): A 3,79 bit, HQMQ corrisponde al KIVI-4 calibrato (che utilizza $\sim4,5$ bit) entro $\sim1$ punto su CoQA e 2,3 punti su GSM8K, utilizzando il 16% in meno di bit e zero calibrazione.
• vs. Quantizzazione Sferica/Vettoriale: HQMQ supera i baselines sferici (ad esempio stile TurboQuant) e i baselines VQ additivi con codici casuali.

Memoria e Latenza

• Compressione: HQMQ offre fino a 5,05× di compressione della KV cache. Per un modello Llama-3-70B con contesto 128k, la cache si riduce da 43 GB (FP16) a 8,5 GB, abilitando l'inferenza su una singola GPU consumer da 24 GB.
• Latenza: Un kernel Triton fuso decodifica K/V direttamente all'interno del ciclo di attenzione. Su un carico di lavoro di decodifica in produzione, il kernel fuso mantiene una latenza costante di $\sim0,033$ ms indipendentemente dalla lunghezza del contesto, offrendo un speedup da 7,4× a 82,9× rispetto a una pipeline "fake-quant" ingenua che dequantizza l'intera cache ad ogni passo.

Significato e Affermazioni

Il paper afferma che HQMQ fornisce una "ricetta algebrica pulita" per la quantizzazione della KV cache che colma il divario tra la quantizzazione vettoriale teorica e il deploy pratico. Il suo significato principale risiede in:

1. Abilitazione della Quantizzazione a Basso Bit su Modelli Ricchi di Outlier: È il primo metodo a rendere la quantizzazione sub-5-bit praticabile per architetture come Qwen2.5/3, dove i metodi standard falliscono.
2. Eliminazione dell'Overhead di Calibrazione: Sfruttando le proprietà geometriche del gruppo di Hurwitz, rimuove la necessità di calibrazione dipendente dai dati, rendendolo adatto a modelli proprietari o a deploy rapido.
3. Efficienza Pratica: La combinazione di alti rapporti di compressione (fino a 5×) e di un kernel fuso che evita colli di bottiglia nella larghezza di banda di memoria rende l'inferenza a contesto lungo pratica sull'hardware consumer.

Gli autori notano limitazioni, specificamente che HQMQ non compete con i codici addestrati (come CommVQ) nel regime sub-3-bit e che le sue prestazioni su contesti estremamente lunghi (oltre 128k) o su architetture specifiche come l'Attention Latente Multi-testa (MLA) richiedono ulteriori indagini. Tuttavia, all'interno del regime 3–5 bit, stabilisce un nuovo stato dell'arte per la compressione KV robusta agli outlier e senza calibrazione.