🤖 machine learning

NSNQuant: A Double Normalization Approach for Calibration-Free Low-Bit Vector Quantization of KV Cache

NSNQuant è un metodo di quantizzazione vettoriale senza calibrazione per le cache KV degli LLM che impiega una trasformazione unica "Normalizza-Sposta-Normalizza" combinata con una trasformata di Hadamard per allineare le distribuzioni dei token con una distribuzione normale standard, consentendo una compressione a basso bit robusta e guadagni di throughput fino a 3x senza fare affidamento su dataset di calibrazione.

Autori originali: Donghyun Son, Euntae Choi, Sungjoo Yoo

Pubblicato 2026-07-16

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Donghyun Son, Euntae Choi, Sungjoo Yoo

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover trasportare una biblioteca massiccia di ricordi nel tuo zaino mentre cammini su un sentiero molto lungo. Questo è ciò che accade quando un Large Language Model (LLM)—un cervello informatico super intelligente che scrive storie, risolve problemi di matematica e chiacchiera con te—tenta di elaborare una conversazione lunga. Ogni volta che legge una parola, deve ricordare tutto ciò che è venuto prima per comprenderne il contesto. Questa "memoria" è chiamata KV Cache (Cache Key-Value). Il problema è che, man mano che la conversazione si allunga, questo zaino diventa sempre più pesante, fino a diventare così pieno che il computer esaurisce lo spazio e rallenta drasticamente.

Per risolvere questo problema, gli scienziati hanno cercato di rimpicciolire lo zaino comprimendo i ricordi, proprio come si infilano i vestiti in un sacco sottovuoto. Un metodo popolare è la Quantizzazione Vettoriale (VQ). Pensa a questo come al raggruppamento di oggetti simili e alla loro sostituzione con un'unica etichetta tratta da un "dizionario" o codebook. Invece di ricordare la tonalità esatta di blu per ogni singolo calzino, ricordi semplicemente "Gruppo Blu 4". Tuttavia, c'è un trucco: la maggior parte dei metodi esistenti deve studiare un set specifico di vestiti (un dataset di calibrazione) per costruire quel dizionario. Se poi provi a imballare un set di vestiti completamente diverso (un nuovo tipo di conversazione), il dizionario non si adatta e la compressione fallisce. Questo articolo affronta esattamente questo problema: come rimpicciolire la memoria senza dover studiare prima i vestiti.

Il Problema: Un Dizionario che Funziona solo per un Guardaroba

Gli autori di questo articolo, provenienti dalla Seoul National University, hanno notato un glitch frustrante nell'attuale metodo all'avanguardia per comprimere la memoria degli LLM, chiamato Coupled Quantization (CQ). Immagina CQ come un sarto che realizza un abito su misura basandosi sulle misure prese da una singola persona. Se quella persona entra in una stanza piena di persone con fisici diversi, l'abito calza perfettamente sulla prima persona ma appare ridicolo su tutti gli altri.

Nel mondo dell'IA, questa "persona" è il dato su cui il modello è stato calibrato (come un dataset di testo specifico chiamato WikiText-2). Quando il modello tenta di elaborare un tipo di testo diverso (come il dataset C4, che è una vasta collezione di pagine web), l' "abito" non calza bene. Gli autori hanno scoperto che questo disallineamento causa errori banali, specialmente con i segni di punteggiatura. Ad esempio, il modello potrebbe confondersi riguardo alle virgole perché il "dizionario" appreso dai dati di addestramento non aveva le etichette corrette per il modo in cui le virgole appaiono nel nuovo testo. Questo è un problema importante perché significa che il modello diventa inaffidabile quando esce dalla sua zona di comfort.

La Soluzione: NSNQuant – Il Cubo per l'Imballaggio Universale

Per risolvere questo problema, il team ha introdotto NSNQuant, un nuovo e intelligente modo per comprimere la memoria che non richiede di studiare alcun dato specifico in precedenza. Inveve di cercare di apprendere un dizionario personalizzato per ogni nuovo guardaroba, NSNQuant costringe tutti i vestiti a stare in un cubo per l'imballaggio standard e pre-fabbricato.

Ecco come lo fanno, usando un trucco magico in tre fasi che chiamano Normalize-Shift-Normalize (NSN):

Normalize (Il primo passo): Immagina di avere un mucchio di calzini dove alcuni sono minuscoli e altri giganti. Il primo passo è allungare o rimpicciolire ogni calzino in modo che abbiano tutti la stessa dimensione. Questo evita che i calzini giganti occupino tutto lo spazio e rovinino l'imballaggio.
Shift (Il passaggio intermedio): Ora, immagina che i calzini siano tutti della stessa dimensione, ma che siano tutti inclinati verso sinistra. Il passaggio di "Shift" li spinge tutti verso il centro in modo che siano perfettamente bilanciati.
Normalize (Il passaggio finale): Solo per sicurezza, controllano una ultima volta la dimensione per assicurarsi che tutto sia ancora uniforme.

Dopo questa danza in tre fasi, gli autori aggiungono un tocco finale: una Trasformata di Hadamard. Puoi pensare a questo come allo far ruotare l'intero mucchio di calzini in un modo matematico specifico. La magia è che, dopo questa rotazione, le forme disordinate e imprevedibili dei calzini (i dati) improvvisamente sembrano una curva a campana perfetta e regolare (una distribuzione normale standard).

Poiché i dati ora sembrano questa curva a campana prevedibile, indipendentemente da quale fosse il testo originale, gli autori possono usare un unico "dizionario" (codebook) pre-fatto, progettato specificamente per quella curva a campana. Non hanno bisogno di guardare i dati prima; sanno solo che i dati si adatteranno al dizionario perché hanno costretto i dati ad avere quell'aspetto.

Cosa hanno scoperto: Una Chiave Universale

Il team ha testato questa idea su diversi modelli di IA famosi, incluse le famiglie LLaMA e Mistral. Hanno confrontato NSNQuant con i vecchi metodi (come CQ e KIVI) utilizzando diversi tipi di testo, dalle storie semplici ai problemi complessi di codice e matematica.

I risultati sono stati impressionanti:

Migliore Generalizzazione: Mentre i vecchi metodi (CQ) inciampavano quando passavano da un dataset all'altro, NSNQuant manteneva prestazioni elevate. Era come avere una chiave universale che apre ogni porta, mentre le vecchie chiavi funzionavano solo sulle porte per cui erano state create.
Successo a Basso Bit: Il team ha testato la compressione della memoria fino a soli 1-bit e 2-bit. Nell'impostazione a 1-bit (dove la memoria è ridotta al minimo assoluto), NSNQuant ha schiacciato la concorrenza. Ad esempio, in un compito di ragionamento matematico chiamato GSM8K, il vecchio metodo a 1-bit otteneva circa 24, mentre NSNQuant-1b ha ottenuto 53.45. È più del doppio delle prestazioni!
Velocità e Spazio: Poiché la memoria è molto più piccola, il computer può elaborare più conversazioni contemporaneamente. Gli autori hanno dimostrato che il loro metodo può gestire 3 volte più throughput di dati rispetto alla versione standard non compressa, utilizzando significamente meno memoria.

Le Note Tecniche

Gli autori sottolineano con cautela che, sebbene questo metodo sia un enorme miglioramento, non è una magia perfetta. Hanno scoperto che nei primissimi livelli del modello di IA, i "calzini" a volte presentano ancora alcuni outlier che non si adattano perfettamente alla curva a campana. Tuttavia, anche con questi piccoli glitch, le prestazioni complessive sono rimaste molto elevate.

Sottolineano inoltre che questo metodo è "senza calibrazione" (calibration-free). A differenza dei vecchi metodi che richiedevano ore di studio di dati specifici per costruire un dizionario, il dizionario di NSNQuant può essere costruito in meno di 5 minuti su una singola scheda grafica e può poi essere riutilizzato per qualsiasi modello. Questo lo rende incredibilmente pratico per l'uso nel mondo reale.

In breve, NSNQuant è come un sistema di imballaggio universale che forza qualsiasi mucchio disordinato di ricordi in una forma ordinata e prevedibile, permettendo ai modelli di IA di trasportare i loro ricordi a lungo termine in uno zaino molto più piccolo senza perdere la capacità di pensare chiaramente. Suggerisce che, standardizzando i dati prima di comprimerli, possiamo rendere l'IA più veloce, economica e affidabile, anche quando si trova di fronte a argomenti completamente nuovi e sconosciuti.

Sintesi Tecnica: NSNQuant

Problematica

L'inferenza dei Large Language Model (LLM) è sempre più limitata dalla memoria (memory-bound), in particolare quando gestisce sequenze lunghe e grandi batch di dati. Il collo di bottiglia principale è la cache Key-Value (KV), che cresce linearmente con la lunghezza della sequenza. Sebbene la Quantizzazione Vettoriale (VQ) sia emersa come una tecnica di compressione promettente, i metodi esistenti come la Coupled Quantization (CQ) si affidano a dataset di calibrazione per apprendere i centroidi (codebook). Gli autori osservano che questi approcci basati sulla calibrazione soffrono di un grave degrado delle prestazioni in scenari out-of-distribution (OOD). Nello specifico, quando la distribuzione dell'input differisce dal set di calibrazione (ad esempio, usando WikiText-2 per la calibrazione ma testando su C4), i centroidi appresi non riescono a rappresentare accuratamente i token critici, come la punteggiatura, portando a errori significativi nei pesi dell'attenzione e a un degrado delle prestazioni del modello (ad esempio, una maggiore perplessità).

Metodologia: NSNQuant

Per affrontare la dipendenza dai dati di calibrazione e il conseguente shift di distribuzione, gli autori propongono NSNQuant, una tecnica VQ priva di calibrazione (calibration-free). L'innovazione principale è una pipeline di trasformazione che allinea la distribuzione della cache KV a una distribuzione normale standard, consentendo l'uso di un unico codebook riutilizzabile senza dati esterni.

1. Normalize-Shift-Normalize (NSN)

Il metodo applica una trasformazione in tre fasi ai tensori KV ( $v \in \mathbb{R}^{l \times d}$ ):

Normalize (per token): Ogni token viene normalizzato affinché abbia una norma di $\sqrt{d}$ . Questo evita che i token outlier dominino le fasi successive e assicura che i token con magnitudo ridotta non incorrano in errori relativi elevati.
Shift (per canale): Viene calcolata la media per canale e sottratta per centrare la distribuzione attorno allo zero.
Normalize (per token): Viene applicata una seconda normalizzazione per ripristinare la norma del token a $\sqrt{d}$ .

Questo processo produce sottoprodotti ( $s_1$ , $o$ , $s_2$ ) utilizzati per ricostruire il tensore originale. Teoricamente, se combinato con una trasformazione di Hadamard, questo processo allinea la distribuzione dei canali con la distribuzione normale standard, come supportato dal Teorema del Limite Centrale e dai limiti di varianza derivati nel Lemma 1.

2. Trasformazione di Hadamard

Il processo NSN è accoppiato con una trasformazione di Hadamard (nello specifico, la Randomized Hadamard Transform o RHT). Sebbene nella implementazione finale venga utilizzata la trasformata di Hadamard ingenua per efficienza, la RHT fornisce garanzie teoriche che le varianze dei canali risultanti siano vicine a 1.

3. Quantizzazione Vettoriale e Codebook

Una volta trasformati, i dati vengono quantizzati utilizzando un unico codebook globale progettato per la distribuzione normale standard.

Costruzione del Codebook: Invece di apprendere i centroidi da un set di calibrazione, il codebook viene inizializzato tramite K-Means su dati sintetici con distribuzione normale standard ( $\text{torch.randn}$ ) e perfezionato per minimizzare la distanza del coseno tra i vettori originali e quelli quantizzati. Questo processo è veloce (minuti) e non richiede la backpropagation attraverso i pesi del modello.
Regolazione della Scala: Viene impiegata una strategia di scaling adattiva in cui il vettore quantizzato viene scalato per preservare le componenti parallele al vettore originale, minimizzando gli errori ortogonali.
Doppia Quantizzazione (DQ): Per ridurre ulteriormente l'overhead, i parametri utilizzati per il processo NSN (media $o$ e scala $s_1$ ) e le stesse voci del codebook vengono quantizzati (4-bit), aggiungendo un overhead di memoria trascurabile (circa 0,23 bit in media).

4. Dettagli di Implementazione

Residui: Seguendo KIVI, la cache KV viene divisa in una parte quantizzata e un residuo a precisione intera. Quando il residuo si riempie, viene svuotato, quantizzato e aggiunto.
Calcolo dell'Attenzione: Per le chiavi (keys), NSN viene applicato prima della Rotary Position Embedding (RoPE). Gli autori riscontrano che questo ordine produce una qualità migliore. Il calcolo del punteggio di attenzione è modificato per incorporare direttamente i sottoprodotti di NSN ( $s_1, s_2, o$ ) all'interno di kernel CUDA personalizzati.
Efficienza: Sono stati implementati kernel CUDA personalizzati per le trasformazioni di Hadamard, la quantizzazione vettoriale e la dequantizzazione, utilizzando la memoria condivisa (shared memory) per minimizzare l'accesso alla DRAM.

Contributi Chiave

Osservazione Empirica: Gli autori dimostrano che la forte dipendenza delle distribuzioni KV dai dataset di input causa il fallimento dei metodi VQ esistenti (come CQ) in scenari OOD, influenzando particolarmente i token di punteggiatura in modelli come LLaMA3.
VQ Senza Calibrazione: NSNQuant introduce un metodo che elimina la necessità di dataset di calibrazione allineando la distribuzione KV a un prior noto (normale standard) tramite il processo NSN e la trasformata di Hadamard.
Prestazioni e Generalizzazione: Esperimenti estesi mostrano che NSNQuant supera costantemente i baseline (KIVI, KVQuant, CQ) sia in configurazioni a 1-bit che a 2-bit attraverso diversi dataset (WikiText-2, C4, LongBench, GSM8K, MMLU). Esibisce una generalizzazione superiore dove i metodi basati sulla calibrazione degradano.
Efficienza: L'implementazione raggiunge un guadagno di throughput fino a 3× rispetto ai baseline a precisione intera e supporta batch size più grandi (fino a 4×) grazie alla riduzione dell'uso della memoria.

Risultati

Perplessità (PPL): Sul dataset C4, NSNQuant supera significativamente CQ. Ad esempio, con LLaMA3-8B, CQ-4c9b produce una Pplessità di 13,97, mentre NSNQuant-2b raggiunge 9,08. In configurazioni a 1-bit, NSNQuant-1b (PPL 16,69) supera di gran lunga CQ-8c10b (PPL 43,78).
LongBench: NSNQuant-1b supera gli altri baseline a 1-bit di un ampio margine. In configurazioni a 2-bit, eguaglia o supera leggermente altri metodi, sebbene gli autori notino rumore metrico in alcuni task.
Ragionamento e Generazione: Su GSM8K (ragionamento matematico) e MMLU (comprensione multi-task), NSNQuant eccelle, in particolare nei setting few-shot di Chain-of-Thought (CoT) dove sono richiesti percorsi di ragionamento rigorosi.
Latenza: Sebbene la fase di prefill incurra in una latenza maggiore a causa dell'overhead di NSN e Hadamard, la fase di decoding è più veloce rispetto ai baseline a precisione intera grazie all'alleviamento dei calcoli di attenzione limitati dalla memoria.

Significato e Rivendicazioni

Il paper sostiene che NSNQuant rappresenti un passaggio dalla calibrazione dipendente dai dati alla quantizzazione allineata alla distribuzione. Sfruttando la proprietà per cui la trasformata di Hadamard combinata con NSN produce una distribuzione normale standard, il metodo consente l'uso di un codebook universale e indipendente dal modello. Ciò rende l'approccio robusto agli shift di distribuzione ed elimina il costo computazionale e i requisiti di dati della calibrazione. Gli autori posizionano NSNQuant come una soluzione pratica per abilitare l'inferenza di LLM a lungo contesto su hardware con memoria limitata, offrendo un equilibrio tra alta compressione (1-bit/2-bit), forte generalizzazione ed efficiente performance di runtime.

Gli autori riconoscono modestamente alcuni limiti, notando che la standardizzazione non è perfetta nei primi layer a causa di canali outlier con alte varianze, e che il metodo non modella esplicitamente le correlazioni tra canali, a differenza di CQ. Tuttavia, sostengono che il compromesso favorisca la robustezza e la generalizzazione rispetto ai potenziali guadagni derivanti dall'overfitting a specifiche distribuzioni di calibrazione.