🤖 machine learning

KronQ: LLM Quantization via Kronecker-Factored Hessian

KronQ è un framework di quantizzazione post-training che migliora la compressione dei grandi modelli linguistici incorporando la covarianza del gradiente nell'obiettivo di quantizzazione tramite l'approssimazione dell'Hessiano fattorizzato di Kronecker, consentendo l'elaborazione dell'incoerenza bidirezionale e metriche di sensibilità potenziate che raggiungono una perplessità superiore rispetto ai metodi esistenti come GPTQ, in particolare negli scenari a bit estremamente bassi.

Autori originali: Donghyun Lee, Yuhang Li, Ruokai Yin, Priyadarshini Panda

Pubblicato 2026-07-10

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Donghyun Lee, Yuhang Li, Ruokai Yin, Priyadarshini Panda

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere un cervello robotico gigante e incredibilmente intelligente (un Large Language Model) che sa scrivere storie, risolvere problemi matematici e chiacchierare come un essere umano. Il problema? Questo cervello è così massiccio che richiede un magazzino pieno di computer solo per stare su uno scaffale. Per farlo girare su un normale laptop o uno smartphone, gli scienziati provano a "rimpicciolirlo" comprimendo la sua memoria, un processo chiamato quantizzazione. Pensa alla quantizzazione come al fare i bagagli in una valigia: vuoi far entrare tutti i tuoi vestiti (la conoscenza del modello) in una borsa minuscola senza perdere nulla di importante.

Per un po', il modo migliore per preparare questa valigia è stato un metodo chiamato GPTQ. Funzionava osservando come variava l' "input" del robot (le parole che legge) e regolando di conseguenza i pesi. Ma gli autori di questo nuovo articolo, KronQ, hanno notato un difetto in questa strategia. Si sono resi conto che GPTQ guardava solo il lato dell' input dell'equazione, assumendo che ogni possibile output (le parole che il robot potrebbe dire dopo) fosse ugualmente importante.

Il Grande Errore: Ignorare il Lato "Output"
L'articolo sostiene che questa assunzione sia come cercare di preparare una valigia guardando solo quanto sono pesanti i vestiti, ignorando però quanto siano fragili. In realtà, alcune parti del cervello del robot sono super sensibili. Se le schiacci troppo, l'intero sistema crolla.

Gli autori hanno misurato questo fenomeno e hanno scoperto una cosa incredibile: in un modello massiccio come LLaMA-3-70B, i canali di "output" (i percorsi che il robot usa per generare risposte) variano enormemente in termini di importanza. Alcuni sono come vetro delicato; altri sono come mattoni robusti. I vecchi metodi li trattavano tutti allo stesso modo, il che faceva impazzire il robot quando veniva compresso troppo. Infatti, quando hanno provato a rimpicciolire LLaMA-3-70B a soli 2 bit (una quantità minuscola di memoria), i vecchi metodi sono falliti completamente, producendo un risultato senza senso con una "perplessità" (un punteggio di quanto il modello sia confuso) superiore a 2000. È come se un robot dimenticasse del tutto come si parla l'inglese.

La Nuova Soluzione: KronQ
Entra in scena KronQ. Gli autori propongono un nuovo modo per preparare la valigia che guarda sia l' input che l' output. Utilizzano un trucco matematico chiamato approssimazione dell'Hessiano fattorizzato di Kronecker.

Ecco l'analogia: Immagina che il cervello del robot sia un enorme tamburo.

Vecchio Metodo (GPTQ): Colpisci il tamburo dal davanti (input) e regoli la tensione in base a come vibra la parte anteriore. Assumi che la parte posteriore del tamburo sia un'immagine speculare.
KronQ: Colpisci il tamburo sia dal davanti che dal dietro. Ti rendi conto che il retro vibra in modo diverso! Alcune parti del retro sono allentate e traballanti, mentre altre sono tese. KronQ misura questa "vibrazione posteriore" (la covarianza del gradiente) e usa queste informazioni per preparare la valigia con molta più cura.

Due Superpoteri di KronQ
L'articolo mostra che KronQ fa due cose molto intelligenti:

Incoerenza Bidirezionale (Lo "Shuffle"):
Prima di preparare la valigia, KronQ rimescola i pesi in due direzioni (input e output) per assicurarsi che nessun singolo punto sia sovraccaricato di articoli pesanti o fragili. È come prendere un mucchio disordinato di libri e distribuirli uniformemente in modo che la valigia non gonfi in un unico punto. L'articolo dimostra che questo riduce la "variabilità" dei pesi, rendendoli molto più facili da comprimere senza romperli.
Allocazione Intelligente dei Bit (Il "Pass VIP"):
Non tutte le parti del robot hanno bisogno della stessa quantità di spazio. KronQ calcola un "punteggio di sensibilità" per ogni sottolivello del cervello. Assegna più bit (più spazio in memoria) ai livelli "VIP" (quelli più sensibili) e meno bit a quelli meno importanti. Fondamentalmente, poiché guarda anche il lato dell'output, può distinguere tra livelli che appaiono identici dal lato dell'input ma che si comportano in modo molto diverso.

I Risultati: Salvare la Situazione
Gli autori hanno testato KronQ su diversi modelli, da 7 a 70 miliardi di parametri. I risultati sono stati drammatici, specialmente quando hanno provato a restringere i modelli al limite estremo dei 2 bit.

Il Fallimento: Sul modello massiccio LLaMA-3-70B, i vecchi metodi (GPTQ e GPTAQ) divergevano o producevano risultati privi di senso (perplessità > 2000).
Il Successo: KronQ è riuscito a comprimere questo stesso modello da 70 miliardi di parametri a 2 bit e lo ha mantenuto perfettamente funzionante, ottenendo una perplessità di 7.93 sul dataset WikiText-2. Questa è una differenza enorme tra un "robot rotto" e un "robot intelligente".

Anche nelle impostazioni a 4 e 3 bit, KronQ ha costantemente battuto la concorrenza, mostrando punteggi di confusione inferiori e una migliore accuratezza nei test di ragionamento come PiQA e Arc-Challenge. Ad esempio, su LLaMA-2-7B a 2 bit, KronQ ha ottenuto una perplessità di 8.15, mentre GPTQ faticava a 31.11.

Il Costo
C'è un contro? L'articolo ammette che per ottenere questi dati sulla "vibrazione dell'output", KronQ ha bisogno di un passaggio di backpropagation (backward pass) extra attraverso il modello prima della compressione. Questo richiede un po' più di tempo e memoria durante la fase di configurazione (circa 8–11 secondi in più per livello rispetto a GPTAQ). Tuttavia, una volta preparato il modello, la velocità di esecuzione e l'uso della memoria durante l'uso effettivo sono efficienti quanto quelli dei vecchi metodi. Il lavoro extra è un costo di configurazione una tantum che ripaga l'obiettivo di permettere al modello di essere ridotto molto di più senza rompersi.

Cosa Hanno Escluso
L'articolo argomenta esplicitamente contro l'idea che si possa ignorare il lato output della matematica. Dimostrano che assumere che tutte le direzioni di output siano uguali (impostando la covarianza del gradiente come una matrice identità) è un "approssimazione subottimale" che porta al fallimento nei casi di ultra-basso bit. Mostrano anche che i metodi che guardano solo alle statistiche dell'input (come lo standard GPTQ) non possono distinguere tra diversi sottolivelli che condividono lo stesso input, portando a decisioni errate su dove allocare la memoria.

Quanto Sono Sicuri?
Gli autori sono molto fiduciosi nei loro risultati perché si basano su misurazioni reali, non solo su simulazioni. Hanno eseguito questi test su hardware reale (GPU A100) con modelli reali (LLaMA-2, LLaMA-3, Gemma, DeepSeek) e hanno misurato l'effettiva perplessità e i punteggi di accuratezza. Non si sono limitati a suggerire che potrebbe funzionare; hanno dimostrato che in questi specifici esperimenti, i vecchi metodi non erano letteralmente in grado di produrre un modello funzionante a 2 bit, mentre KronQ ci è riuscito.

In breve, KronQ è come un esperto di imballaggi che ha capito che, per far entrare un cervello gigante in una scatola minuscola, devi capire come il cervello emette le informazioni, non solo come le riceve. Facendo così, sblocca la possibilità di far girare enormi modelli di IA su dispositivi che prima lo ritenevano impossibile.

Riepilogo Tecnico: KronQ: Quantizzazione di LLM tramite Esser di Fattore di Kronecker

Problema

La quantizzazione post-training (PTQ) è una tecnica critica per l'implementazione di Large Language Models (LLM) su hardware con risorse limitate senza riaddestramento. Sebbene i metodi esistenti di PTQ del secondo ordine, come GPTQ e i suoi successori (ad esempio, GPTAQ), siano diventati lo standard per la quantizzazione one-shot, essi si basano su un limite fondamentale: costruiscono gli obiettivi di quantizzazione esclusivamente a partire dalle statistiche delle attivazioni di input ( $H_X$ ).

Sotto l'approssimazione del fattore di Kronecker (K-FAC), l'Esser completo dei pesi ( $H$ ) si fattorizza nel prodotto di Kronecker della covarianza delle attivazioni di input ( $H_X$ ) e della covarianza del gradiente di output ( $H_G$ ). I metodi basati sulla compensazione assumono implicitamente che $H_G = I$ (la matrice identità), trattando tutte le direzioni di output come ugualmente importanti. Gli autori sostengono che questa sia un'approssimazione subottimale, poiché la Figura 1(a) dimostra che i canali di output esibiscono magnitudo di gradiente eterogenee. Questa svista porta a una degradazione delle prestazioni, in particolare nei regimi a bit ultra-bassi (ad esempio, 2-bit), dove metodi come GPTQ e GPTAQ spesso divergono o producono quantizzazioni degenerate su modelli come LLaMA-3-70B.

Metodologia

Il paper propone KronQ, un framework di PTQ che incorpora esplicitamente la covarianza del gradiente ( $H_G$ ) nella pipeline di quantizzazione sotto l'approssimazione K-FAC ( $H \approx H_X \otimes H_G$ ). La metodologia opera a due livelli complementari:

1. Elaborazione dell'Incoerenza Bidirezionale (BiIP)

L'elaborazione standard dell'incoerenza (ad esempio, in QuIP#) applica trasformazioni ortogonali casuali per sopprimere gli outlier nella dimensione di input ( $H_X$ ) al fine di ridurre l'errore di quantizzazione. KronQ estende questo processo anche alla dimensione di output utilizzando $H_G$ .

Meccanismo: Il metodo applica il riscalamento diagonale e le trasformazioni ortogonali sia alle dimensioni di input ( $V$ ) che di output ( $U$ ). I fattori di riscalamento sono derivati dalle voci diagonali di $H_X$ e $H_G$ rispetto alle norme dei pesi.
Invarianza: Fondamentalmente, sebbene $H_G$ venga utilizzato per determinare le trasformazioni di pre-elaborazione, esso si cancella algebricamente durante gli aggiornamenti di compensazione dei pesi Optimal Brain Surgeon (OBS) per colonna (Proposizione 1). Ciò consente a KronQ di mantenere l'efficienza computazionale del solver base di GPTAQ pur beneficiando della migliore distribuzione dei pesi.
Risultato: BiIP riduce il coefficiente di variazione (CV) delle magnitudo dei pesi in entrambe le dimensioni di input e di output, portando a limiti più stretti dell'errore di quantizzazione.

2. Allocazione della Precisione Mista Inter-Layer

KronQ introduce una nuova metrica di sensibilità per l'allocazione della larghezza di bit tra i sublayer.

Metrica: Il punteggio di sensibilità è definito come il prodotto delle tracce dei due fattori dell'Esser: $s_\ell = \text{tr}(H_G^{(\ell)}) \cdot \text{tr}(H_X^{(\ell)})$ .
Vantaggio: I metodi esistenti che utilizzano solo $\text{tr}(H_X)$ non possono differenziare i sublayer che condividono statistiche di input identiche (ad esempio, le proiezioni Query, Key e Value nei blocchi di attenzione). Il punteggio di KronQ rompe questa degenerazione perché $H_G$ varia tra questi sublayer a causa dei diversi gradienti a valle. Ciò consente un'allocazione della larghezza di bit più ottimale, assegnando maggiore precisione ai sublayer con maggiore sensibilità congiunta.

Contributi Chiave

Errore di Quantizzazione Fattorizzato con Kronecker: Gli autori estendono l'obiettivo di quantizzazione per layer incorporando $H_G$ sotto l'approssimazione K-FAC. Dimostrano che $H_G$ può essere utilizzato per l'elaborazione dell'incoerenza bidirezionale senza aumentare il costo computazionale del ciclo di aggiornamento della quantizzazione, poiché si cancella algebricamente.
Sensibilità della Traccia dell'Esser Congiunta: Una nuova metrica per l'allocazione della precisione mista è derivata dalle tracce congiunte di $H_X$ e $H_G$ . Questa metrica risolve la degenerazione trovata nelle metriche basate solo sulle attivazioni, permettendo classifiche di sensibilità distinte per le proiezioni Q, K e V.
Validazione Empirica: Esperimenti estesi mostrano che KronQ raggiunge risultati allo stato dell'arte su modelli LLaMA-2 e LLaMA-3 (da 7B a 70B) a larghezze di bit W2/W3/W4. I guadagni più significativi si osservano a 2-bit, dove i metodi concorrenti spesso falliscono.

Risultati Sperimentali

Il paper valuta KronQ su LLaMA-2 (7B, 13B, 70B) e LLaMA-3 (8B, 70B), nonché su nuovi modelli come Gemma-3 e DeepSeek-R1.

Precisione Uniforme: Su LLaMA-3-70B con quantizzazione dei pesi a 2-bit, GPTQ e GPTAQ divergono (producendo una perplessità >2000 su WikiText-2), mentre KronQ raggiunge una perplessità di 7.93. Simile robustezza si osserva nelle impostazioni a 3-bit e 4-bit.
Quantizzazione di Gruppo: Nella quantizzazione di gruppo a 2-bit (g=128), KronQ supera significativamente GPTQ (ad esempio, 7.61 PPL contro 274.0 PPL su LLaMA-2-7B).
Quantizzazione di Pesi e Attivazioni: Utilizzando il framework QuaRot per le attivazioni, KronQ riduce costantemente la perplessità rispetto ai baseline (ad esempio, riducendo la PPL da 36.74 a 9.38 su LLaMA-2-7B a W2A4).
Precisione Mista: Il punteggio di sensibilità di KronQ produce scambi precisione-larghezza di bit (tradeoff) rigorosamente migliori rispetto ai punteggi basati solo sulle attivazioni. Ad esempio, su LLaMA-2-7B, aggiornare prima il sublayer "down proj" (secondo KronQ) produce una perplessità inferiore rispetto all'aggiornamento del "gate proj" (secondo le metriche basate solo sulle attivazioni) alla stessa larghezza di bit media.
Generalizzazione: Il metodo si generalizza a nuove famiglie di modelli (Gemma-3, DeepSeek-R1, Phi-4) e benchmark più difficili (LiveCodeBench, AIME-2024), spesso raddoppiando le prestazioni dei baseline nei compiti di ragionamento generativo.

Significato e Rivendicazioni

Il paper sostiene che KronQ affronti un punto cieco critico nella letteratura attuale sulla PTQ: la negligenza delle statistiche del gradiente sul lato di output. Sfruttando la struttura fattorizzata di Kronecker, KronQ fornisce un modo rigoroso per gestire l'eterogeneità del lato di output senza incorrere nei pesanti costi computazionali associati alla stima dell'Esser completo o ai solver iterativi utilizzati in lavori correlati come YAQA.

Gli autori sottolineano che il metodo è particolarmente vitale per la quantizzazione a bit ultra-bassi (2-bit), dove l'assunzione di uguale importanza di output ( $H_G = I$ ) porta a un fallimento catastrofico nei modelli grandi. La capacità di ottenere una quantizzazione stabile a 2-bit su modelli da 70 miliardi di parametri rappresenta un passo significativo verso l'implementazione di LLM su hardware edge.

Limitazioni: Gli autori riconoscono che KronQ richiede un singolo passaggio di backward pass sul set di calibrazione per stimare $H_G$ , introducendo un moderato overhead di latenza offline e un uso temporaneo della memoria di picco durante il passaggio di pre-elaborazione BiIP. Tuttavia, una volta precomputato, $H_G$ viene rilasciato e il ciclo di quantizzazione rimane tanto efficiente quanto GPTAQ. L'overhead di inferenza è limitato alle trasformazioni ortogonali, che sono identiche a quelle di QuIP#.