🤖 machine learning

HyperQuant: A Rate-Distortion-Optimal Quantization Pipeline for Large Language and Diffusion Models

HyperQuant è una pipeline di quantizzazione post-training unificata che combina la Trasformata di Hadamard Randomizzata, la quantizzazione a reticolo ottimale, la codifica di Rice e la correzione del bias per ottenere una compressione ottimale rispetto al rapporto rate-distorsione sia per i pesi che per le cache KV nei modelli linguistici e di diffusione di grandi dimensioni, superando i metodi esistenti attraverso vari bit-rate pur mantenendo una qualità quasi lossless.

Autori originali: Yuval Domb, Hadar Sackstein, Tomer Solberg

Pubblicato 2026-06-23

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Yuval Domb, Hadar Sackstein, Tomer Solberg

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere una biblioteca enorme e incredibilmente dettagliata di libri (un Large Language Model o un generatore di video). Questi libri contengono miliardi di parole e immagini, occupando così tanto spazio da stare appena dentro l'hard disk del tuo computer. Quando chiedi al computer di leggere una frase o generare un video, esso deve continuamente spostare questi pesanti libri avanti e indietro, il che è lento ed estenuante per la macchina.

HyperQuant è un nuovo, intelligente sistema progettato per rimpicciolire questi libri a una frazione della loro dimensione originale senza perdere la storia, rendendoli più veloci da leggere e più facili da archiviare.

Ecco come funziona, suddiviso in semplici passaggi utilizzando analogie quotidiane:

1. Il trucco dello "Mescolamento" (Trasformata di Hadamard Randomizzata)

Immagina di avere un mucchio disordinato di fogli di carta dove alcuni sono enormi e pesanti, mentre altri sono piccoli ritagli. Se provi a impacchettarli in una scatola, le pagine grandi sporgono e sprecano spazio.
HyperQuant inizia mescolando i fogli. Mescola i dati in modo che, invece di avere pochi enormi valori anomali e molti piccoli frammenti, tutto diventi una distribuzione uniforme e regolare (come una perfetta curva a campana). Questo rende i dati molto più facili da impacchettare in modo efficiente, proprio come mescolare un mazzo di carte rende più facile distribuirle uniformemente.

2. L' "Imballaggio Perfetto" (Quantizzazione a Reticolo)

Una volta mescolati i dati, HyperQuant deve trasformare i numeri continui in "puntini" discreti che possano essere memorizzati.

Il vecchio modo: Immagina di cercare di impacchettare sfere in una scatola usando una semplice griglia (come una scacchiera). C'è molto spazio vuoto sprecato tra le sfere.
Il modo di HyperQuant: Utilizza "reticoli" matematici (come le forme E8 o D4). Immagina che siano il modo più efficiente per impilare le arance in una cassa. Si incastrano così strettamente che non c'è quasi spazio sprecato. Questo permette al sistema di memorizzare la stessa quantità di informazioni usando molti meno bit.

3. La "Cerniera" (Codifica dell'Entropia e Codici di Rice)

Anche con un imballaggio perfetto, hai ancora una lunga lista di numeri da scrivere.

Il vecchio modo: Scrivi ogni numero con la stessa quantità di spazio, anche se alcuni numeri compaiono molto spesso e altri raramente.
Il modo di HyperQuant: Utilizza un codice a lunghezza variabile (codifica di Rice). Immagina questo come un linguaggio segreto in cui le parole comuni ricevono codici molto brevi (come "u" per "you"), e le parole rare ricevono codici più lunghi. Poiché il sistema sa quali numeri appaiono più spesso, comprime i dati ulteriormente, risparmiando spazio senza perdere alcun significato.

4. Il "Cancellatore di Rumore" (Correzione del Bias per il KV Cache)

Quando un modello ricorda le parole precedenti (la "cache KV"), deve essere molto preciso. Se arrotondi i numeri in modo troppo grossolano, il modello potrebbe confondersi e iniziare a generare allucinazioni senza senso.
HyperQuant utilizza un trucco chiamato "dithering sottrattivo". Immagina di cercare di misurare un liquido, ma la tua tazza è leggermente traballante. Invece di tirare a indovinare, aggiungi una piccola quantità casuale di acqua, misurala e poi sottrai esattamente quella quantità casuale in seguito. Questo annulla perfettamente l'errore, garantendo che il risultato finale sia privo di bias e accurato, anche quando i dati sono fortemente compressi.

5. La "Scatola Magica" (Integrazione Hardware)

Infine, HyperQuant è progettato per lavorare direttamente con i moderni chip per computer (come le GPU NVIDIA H100 e Blackwell). Non si limita a comprimere i dati; li formatta in modo che il chip possa leggerli istantaneamente senza doverli prima decomprimere.

Il Risultato: Ha scoperto che l'uso di interi a 8 bit (numeri interi standard) funziona in realtà meglio dei numeri in virgola mobile a 8 bit (numeri decimali) per questo specifico tipo di dati compressi. È come rendersi conto che, per questo specifico puzzle, i numeri interi si incastrano meglio degli decimali.

I Grandi Successi

Il documento afferma che HyperQuant ottiene quanto segue:

Compressione Massiccia: Rimpicciolisce la "memoria" del modello (pesi) di circa 4 volte e la sua "memoria di lavoro" (cache KV) di circa 3,8 volte.
Nessuna Perdita di Qualità: Nonostante la compressione estrema dei dati, il modello comprende e genera testo o video quasi altrettanto bene della versione originale non compressa.
Successo nei Video: Ha compresso con successo un modello di generazione video da 19 miliardi di parametri (LTX-2) senza alcun glitch visibile nel video.
Batter l' old Competitor: Supera quasi tutti i metodi precedenti (come HIGGS, TurboQuant e OCTOPUS) in ogni test, specialmente quando si cerca di spremere i dati fino a dimensioni molto piccole (come 1,7 bit per numero).

In breve, HyperQuant è un nuovo "algoritmo di imballaggio" che mescola, impila e chiude con la cerniera i modelli AI in modo che possano stare in tasca senza rompere la storia.

Sintesi Tecnica: HyperQuant

Definizione del Problema

I Large Language Models (LLM) e i transformer di diffusione affrontano un collo di bottiglia critico durante l'inferenza autoregressiva: la larghezza di banda della memoria. Man mano che la lunghezza del contesto aumenta, la cache Key-Value (KV) e i pesi del modello dominano l'uso della memoria, costringendo il sistema a trasmettere dataset massicci per prodotti matrice-vettore molto sottili. Ciò mantiene l'intensità aritmetica ben al di sotto dei rapporti computazione-larghezza di banda dell'hardware. Sebbene la Quantizzazione Post-Training (PTQ) offra una soluzione inquadrando l'inferenza come un problema di compressione rate-distortion, i metodi allo stato dell'arte esistenti soffrono di inefficienze:

Quantizzazione dei Pesi: Metodi come HIGGS utilizzano Trasformate di Hadamard Randomizzate (RHT) e codebook di tipo Lloyd finito, ma trasmettono indici a un bit-rate fisso. La teoria dell'informazione stabilisce che i quantizzatori con codifica entropica dovrebbero richiedere meno bit per lo stesso disturbo, ma HIGGS lascia "rate sul tavolo" a causa degli indici a tasso fisso.
Quantizzazione della Cache KV: Approcci come TurboQuant e OCTOPUS si affidano a una quantizzazione scalare o a bassa dimensionalità con overhead a tasso fisso. Spesso mancano di una rigorosa unbiasedness (assenza di bias) per vettore, portando a shift sistematici nei punteggi di attenzione, e non riescono a sfruttare appieno i vantaggi della quantizzazione vettoriale multidimensionale.

Metodologia: La Pipeline HyperQuant

HyperQuant propone una pipeline unificata, data-free e post-training, che applica un tripletto ottimale rispetto al rate-distortion — RHT per tile, quantizzazione a reticolo (lattice quantization) e codifica entropica — sia ai pesi che alle cache KV. La pipeline si compone di quattro componenti principali:

1. Trasformata di Hadamard Randomizzata (RHT) per Tile

Prima della quantizzazione, gli input (pesi o vettori KV) vengono partizionati in tile (es. dimensione 128) e trasformati tramite $RHT_n(x) = H_n D x$ , dove $H_n$ è la matrice di Walsh-Hadamard e $D$ è una diagonale di segni casuali.

Effetto: Questo "mescola" i dati, rendendo la distribuzione per coordinata approssimativamente Gaussiana ( $N(0, \sigma^2)$ ).
Beneficio: Ridistribuisce l'errore di quantizzazione dalle coordinate outlier in una diffusione isotropa, rendendo i dati idonei a una quantizzazione a reticolo ottimale. La trasformata è ortogonale, preservando le proprietà di errore $\ell_2$ .

2. Quantizzazione a Reticolo (Lattice Quantization)

Invece di codebook finiti, HyperQuant quantizza i tile ruotati in bassi reticoli ottimali: E8 (8-D), D4 (4-D), A2 (2-D), o scalare Z.

Guadagno Granulare: Questi reticoli offrono momenti secondi normalizzati ( $G(\Lambda)$ ) inferiori rispetto alla quantizzazione scalare, riducendo il disturbo per un tasso fisso. E8 è il reticolo ad alta dimensionalità che ammette un decoder a tempo costante ( $O(1)$ ) in forma chiusa.
Realizzazione Intera: I reticoli sono mappati in embedding interi (es. $E^8_{int} \subset \mathbb{Z}^8$ ) per adattarsi ai vincoli di archiviazione a 8 bit, con fattori di scala ( $\alpha$ ) calibrati per prevenire l'overflow.

3. Bit-Stripping e Rice Coding

Per raggiungere tassi vicini all'ottimo entropico, HyperQuant impiega un processo di codifica a due stadi:

Bit-Stripping: I vincoli di appartenenza al reticolo (es. controlli di parità per E8) fissano deterministicamente certi bit del vettore di codice intero. Questi bit vengono rimossi senza perdita prima della codifica, riducendo l'entropia dei simboli rimanenti.
Rice Coding: I simboli rimanenti sono codificati utilizzando codici Rice (un codice a lunghezza variabile ottimale per distribuzioni geometriche). A differenza degli schemi a tasso fisso, questo permette al codebook di essere effettivamente illimitato, gestendo le code Gaussiane senza dover estendere le celle esterne. Il tasso realizzato si posiziona entro $\sim0.01$ bit per scalare (bps) da qualsiasi target.

4. Correzione del Bias per la Cache KV

Per evitare che un bias deterministico nella cache KV corrompa la semantica dell'attenzione, HyperQuant integra:

Rotazione Casuale: Una rotazione per layer (una matrice QJL uniforme di Haar o una semplice diagonale di segni $\pm 1$ ) per ridurre l'anisotropia.
Dither Sottrattivo: Un vettore di rumore uniforme fresco $U \sim \text{Uniform}(V(\Lambda))$ viene aggiunto prima della quantizzazione e sottratto dopo. Gli autori dimostrano (Appendice A) che questo produce una rigorosa unbiasedness del prodotto interno per singolo vettore, una proprietà superiore alla unbiasedness media della distribuzione tipica dei sketch QJL standard.

Contributi Chiave

Pipeline Unificata Ottimale per Rate-Distortion: HyperQuant è la prima pipeline data-free che combina RHT, reticoli ottimali e codifica entropica per pesi e cache KV, raggiungendo tassi entro $\sim0.01$ bps dai target teorici.
Quantizzazione dei Pesi Superiore: Sostituendo i codebook finiti con reticoli illimitati e codifica a lunghezza variabile, HyperQuant supera HIGGS in ogni punto operativo (3–5 bps). L'autore decompone questo guadagno in:
- Slack Entropico: Recupero dei bit sprecati dagli indici a tasso fisso (dominante a bassi tassi).
- Vantaggio del Codebook Illimitato: Il beneficio strutturale di codebook infiniti rispetto a quelli finiti (dominante ad alti tassi).
Quantizzazione KV a Due Regimi: Gli autori caratterizzano la quantizzazione KV in un regime "ad alta qualità" ( $\ge 2.5$ bps) dove le varianti di correzione del bias convergono, e un regime "ad alta compressione" ( $1.7\text{--}2.5$ bps) dove la rotazione QJL fornisce guadagni significativi ( $\sim0.5$ miglioramento di PPL).
Integrazione Hardware: La pipeline è progettata per i moderni Tensor Core (Hopper/Blackwell), integrandosi con i percorsi fp8, int8, nvfp4 e mxfp4. Notevolmente, gli autori riscontrano che int8 supera fp8 sui dati a reticolo post-RHT a causa della distribuzione quasi-gaussiana e a coda leggera dei pesi trasformati.
Generalizzazione: Il metodo si trasferisce con successo ad architetture non LLM, come dimostrato sul video DiT LTX-2 da 19 miliardi di parametri senza artefatti percepibili.

Risultati Sperimentali

Valutato su Llama-3.1-8B-Instruct (WikiText-2) e LTX-2-19B:

Quantizzazione dei Pesi: A 4 bps, HyperQuant (reticolo E8) raggiunge una perplessità (PPL) di 7.434, rispetto al 7.618 di HIGGS-p2. A 3 bps, il divario si amplia significativamente (HyperQuant: 8.744 vs. HIGGS: 9.527).
Quantizzazione della Cache KV:
- A 3 bps, HyperQuant raggiunge una PPL di 7.41 (vs. baseline bf16 di 7.16), con una riduzione della memoria dell'81%.
- A 2 bps, HyperQuant raggiunge una PPL di 7.93 (+0.77% rispetto alla baseline), superando significativamente OCTOPUS (+34.7% PPL) e TurboQuant.
- A 1.7 bps, HyperQuant raggiunge un rapporto di compressione di 7.1× con un aumento di PPL del 26.9%, mentre OCTOPUS si ferma vicino a una compressione di 3.0×.
Performance End-to-End: Su un H100, HyperQuant comprime i pesi lineari 3.9× e la cache KV 3.79×. Sebbene la decodifica a lunghezza variabile introduca latenza (nessun miglioramento del tempo di esecuzione reale sull'hardware attuale), la riduzione della memoria residente è sostanziale (da 14.96 GiB a 5.29 GiB per l'intero modello).
Modello Video: Su LTX-2-19B, la quantizzazione a 4 bps produce un PSNR di 22.74 dB e un LPIPS di 0.20, senza artefatti visibili, superando la quantizzazione basata su fp8.

Significato e Claim

Il paper sostiene che HyperQuant stabilisce un nuovo stato dell'arte per la quantizzazione post-training data-free applicando rigorosamente i principi dell'informazione teorica (codifica entropica e teoria dei reticoli) all'inferenza dei transformer.

Svolta Teorica: Dimostra che il divario tra l'attuale SOTA (HIGGS) e le prestazioni ottimali è dovuto in gran parte all'inefficienza degli indici a tasso fisso e dei codebook finiti. Passando alla codifica a lunghezza variabile su reticoli illimitati, HyperQuant recupera questo "slack".
Deployment Pratico: Il metodo non richiede dataset di calibrazione né fine-tuning, rendendolo immediatamente implementabile. Fornisce un "menu" di punti operativi, permettendo ai professionisti di scambiare memoria e qualità (es. 3 bps per la cache KV offre enormi risparmi di memoria con una degradazione minima della PPL).
Consapevolezza Hardware: Il lavoro sfida l'assunto che fp8 sia sempre superiore per gli outlier; rendendo i dati Gaussiani tramite RHT, mostra che int8 è spesso un match migliore per la distribuzione risultante, offendo una qualità superiore a parità di bit-width.

Gli autori concludono che, sebbene HyperQuant attualmente scambi il throughput per l'efficienza della memoria sull'hardware attuale, la pipeline fornisce la base necessaria per future ottimizzazioni dei kernel (es. fused decode+MMA) che potrebbero sbloccare accelerazioni nel tempo di esecuzione reale.