🤖 machine learning

ADMM-Q: An Improved Hessian-based Weight Quantizer for Post-Training Quantization of Large Language Models

ADMM-Q è un algoritmo innovativo e modulare di quantizzazione dei pesi post-addestramento basato su una variante combinatoria del metodo delle direzioni alternate dei moltiplicatori che migliora significativamente l'utilità dei modelli linguistici di grandi dimensioni a livelli di quantizzazione sub-4-bit aggressivi minimizzando l'errore di ricostruzione per livello e imponendo vincoli di quantizzazione.

Autori originali: Ryan Lucas, Mehdi Makni, Xiang Meng, Adam Deng, Rahul Mazumder

Pubblicato 2026-05-13

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Ryan Lucas, Mehdi Makni, Xiang Meng, Adam Deng, Rahul Mazumder

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il quadro generale: Ridurre cervelli giganti

Immagina i Large Language Models (LLM) come Qwen o LLaMA come immense biblioteche altamente dettagliate. Queste biblioteche contengono miliardi di libri (parametri) che permettono all'IA di scrivere, ragionare e chiacchierare. Tuttavia, poiché queste biblioteche sono così enormi, sono difficili da trasportare (alto utilizzo di memoria) e richiedono molto tempo per essere lette (calcolo lento).

La Quantizzazione è il processo di riduzione di queste biblioteche. Invece di mantenere ogni libro scritto con inchiostro ad alta definizione e a colori pieni (precisione a 32-bit o 16-bit), proviamo a riscriverli utilizzando meno colori o simboli più semplici (4-bit o addirittura 2-bit). L'obiettivo è rendere la biblioteca abbastanza piccola da stare in uno zaino senza perdere la storia.

Il problema: I "riduttori" avidi

I metodi esistenti per ridurre questi modelli, come GPTQ (lo standard industriale attuale), funzionano come un editor avido.

Come funzionano: Guardano la prima frase, la riducono e passano oltre. Poi guardano la seconda frase, la riducono e passano oltre.
Il difetto: Quando l'editor riduce la prima frase, potrebbe commettere un piccolo errore. Poiché passa oltre immediatamente, non torna mai indietro per correggere quell'errore. Quando arriva alla fine del libro, tutti quei piccoli errori si sono accumulati, rendendo la storia confusa o privo di senso. Questo è particolarmente negativo quando si cerca di ridurre i libri molto aggressivamente (fino a 2 o 3 bit).

La soluzione: ADMM-Q (L'approccio "Riunione di squadra")

Gli autori propongono un nuovo metodo chiamato ADMM-Q. Invece di un editor avido che lavora da solo, immagina un team di editor che tiene una riunione a tavolo rotondo per ogni capitolo.

La Riunione di squadra (Ottimizzazione congiunta):
Invece di correggere una frase alla volta, il team guarda l'intero capitolo tutto insieme. Chiedono: "Se cambiamo questa parola qui, come influisce su quella parola là?". Aggiustano tutte le parole simultaneamente per trovare la migliore combinazione possibile che mantenga la storia chiara, anche utilizzando pochissimi colori.
La danza tra "Liscio" e "A blocchi" (ADMM):
La matematica alla base di ciò è chiamata ADMM (Metodo Alternato dei Moltiplicatori). Immaginalo come una danza tra due passi:
- Passo A (Lo scivolamento liscio): Il team apporta piccoli aggiustamenti continui alle parole per migliorare il flusso della storia.
- Passo B (L'aggancio alla griglia): Improvvisamente, devono agganciare quelle parole a valori specifici e consentiti (come agganciare un mattoncino Lego al suo posto).
- Continuano ad alternare lo scivolamento e l'aggancio. Col tempo, questo processo costringe le parole a stabilirsi nelle migliori possibili "posizioni Lego" senza rompere la storia.
Il problema degli "Outlier" (Scalatura diagonale):
In questi modelli, alcune parole sono "forti" (outlier) e altre sono "quiete". Se provi a ridurle tutte insieme, le parole forti dominano la conversazione e quelle quieti vengono perse.
- La soluzione di ADMM-Q: Usano una tecnica chiamata Scalatura Diagonale. Immagina di dare un microfono alle parole quiete e di abbassare il volume delle parole forti solo per la sessione di editing. Questo assicura che ogni parola abbia una possibilità equa di essere ottimizzata, portando a una storia finale molto più chiara.
La rifinitura finale (Ricerca locale):
Una volta che il team ha finito la riunione, fanno un rapido "controllo a campione". Cercano coppie di parole che potrebbero essere state scambiate per errore e vedono se ri-sostituirle migliora la storia. Questa è una rifinitura finale veloce per catturare eventuali errori dell'ultimo minuto.

Perché è importante: I risultati

Il documento ha testato questo nuovo metodo su diversi modelli (Qwen e LLaMA) e ha scoperto che:

Migliori storie: Quando hanno ridotto i modelli a dimensioni molto piccole (come 3-bit o 2-bit), i vecchi metodi "avidi" (GPTQ) producevano nonsensi o risposte molto confuse. ADMM-Q ha mantenuto i modelli intelligenti e coerenti.
- Esempio: Su un test chiamato "WikiText-2", il vecchio metodo aveva un punteggio di 12.85 (più alto è peggio), mentre ADMM-Q lo ha ridotto a 10.06. Questo è un enorme miglioramento in termini di chiarezza.
Funziona con altri strumenti: ADMM-Q non è un sostituto di tutto; è un sostituto diretto per la parte "riducente". Funziona perfettamente insieme ad altri trucchi che le persone usano, come ruotare i dati o scalare i dati.
Stessa velocità: Una volta ridotto il modello, funziona esattamente alla stessa velocità dei vecchi metodi. Il tempo extra che ADMM-Q richiede è solo durante il processo di riduzione "offline" (come editare un libro prima della pubblicazione), non mentre si sta effettivamente usando l'IA.

Il rovescio della medaglia (Limitazioni)

Richiede più tempo per l'editing: Poiché ADMM-Q fa una complessa "riunione di squadra" per ogni livello, richiede più tempo di calcolo per ridurre inizialmente il modello rispetto ai semplici metodi avidi. Tuttavia, gli autori dicono che questa attesa una tantum vale la pena per la qualità molto superiore.
Richiede un campione: Come tutti questi metodi, ha bisogno di un piccolo campione di testo (dati di calibrazione) per capire cosa il modello sta cercando di dire prima di iniziare a ridurre.

Riepilogo

ADMM-Q è un modo più intelligente per comprimere i modelli di IA. Invece di correre attraverso il passaggio di compressione passo dopo passo e commettere errori lungo il cammino, adotta un approccio olistico e matematico per regolare tutte le parti del modello insieme. Il risultato è un'IA molto più piccola che ricorda ancora come pensare chiaramente, anche quando è schiacciata in uno spazio molto stretto.

Riepilogo Tecnico: ADMM-Q per la Quantizzazione Post-Addestramento degli LLM

Enunciato del Problema

I Large Language Models (LLM) affrontano sfide significative nel deployment a causa dei loro requisiti computazionali e di memoria. La quantizzazione, in particolare la Quantizzazione Post-Addestramento (PTQ), è una strategia primaria per comprimere questi modelli riducendo la precisione dei pesi (ad esempio, da 16-bit a 4-bit o inferiore) senza riaddestramento.

I metodi standard attuali di quantizzazione dei pesi, come Round-to-Nearest (RTN) e Greedy Per-Column Quantization (GPTQ), mostrano limitazioni, specialmente a larghezze di bit aggressive (sotto i 4-bit):

RTN arrotonda i pesi in modo indipendente, ignorando le dipendenze inter-peso e la struttura del paesaggio dell'errore di ricostruzione.
GPTQ incorpora informazioni dell'Hessiano per compensare gli errori ma elabora i pesi in modo greedy, colonna per colonna. Questo approccio sequenziale è sensibile all'ordine di elaborazione e accumula errori tra le colonne.

La sfida principale consiste nel formulare la quantizzazione a livello di strato come un problema di ottimizzazione vincolata che minimizza l'errore di ricostruzione rispettando i vincoli di quantizzazione discreti, un problema che diventa sempre più difficile man mano che le larghezze di bit diminuiscono.

Metodologia: ADMM-Q

Gli autori propongono ADMM-Q, un nuovo algoritmo di quantizzazione dei pesi basato sul Metodo Alternato dei Moltiplicatori (ADMM). A differenza dell'approccio greedy colonna per colonna di GPTQ, ADMM-Q tratta la quantizzazione a livello di strato come un problema di ottimizzazione congiunta.

1. Formulazione del Problema

L'algoritmo formula la quantizzazione di uno strato con pesi pre-addestrati $\hat{W}$ e attivazioni di input $X$ come un problema di ottimizzazione vincolata pesato dall'Hessiano:
$\min_{W} \frac{1}{2} \text{Tr}\left((W - \hat{W})^\top H (W - \hat{W})\right) \quad \text{s.t.} \quad W \in \mathcal{Q}$
dove $H = X^\top X + \lambda I$ è la matrice Hessiana e $\mathcal{Q}$ è l'insieme delle matrici di pesi quantizzate.

2. Componenti Chiave dell'Algoritmo

Per risolvere efficientemente questo problema non convesso alla scala degli LLM, ADMM-Q incorpora diversi miglioramenti:

Scalatura Diagonale per la Stabilità Numerica: Le attivazioni degli LLM spesso contengono "outlier di canale" (dimensioni con magnitudini sproporzionatamente grandi), portando a un Hessiano mal condizionato. ADMM-Q applica una matrice di scalatura diagonale $\Sigma = \text{Diag}(H)^{-1/2}$ per normalizzare il problema, garantendo che tutti i canali contribuiscano in modo comparabile agli aggiornamenti. Questo è critico; studi di ablazione mostrano che rimuovere questa scalatura degrada significativamente le prestazioni (ad esempio, aumentando la perplessità da 10.06 a 14.68 in W3A16 su Qwen3-8B).
Scomposizione ADMM: L'algoritmo introduce una variabile ausiliaria $D$ $D$ per disaccoppiare l'obiettivo continuo pesato dall'Hessiano dal vincolo di quantizzazione discreto. Alterna tra:
1. Aggiornamento W: Un aggiornamento continuo che minimizza la distanza pesata dall'Hessiano, risolto efficientemente tramite decomposizione spettrale di $H$ .
2. Aggiornamento D: Una proiezione discreta sulla griglia di quantizzazione (equivalente a RTN ma che tiene conto della scalatura).
3. Aggiornamento Duale: Aggiustamento del moltiplicatore di Lagrange per imporre la coerenza.
Aggiornamento della Griglia: A differenza di GPTQ, che fissa i parametri della griglia di quantizzazione durante l'ottimizzazione, ADMM-Q ricalibra dinamicamente i parametri della griglia (scala e punto zero) in base all'iterata continua corrente. Questo permette alla proiezione di rimanere allineata con l'obiettivo in movimento, evitando l'obsolescenza di una griglia fissa.
Raffinamento tramite Ricerca Locale: Per affrontare soluzioni discrete subottimali causate da arrotondamenti correlati, un passo di post-elaborazione esegue una ricerca locale efficiente di scambio di coppie. Questo passo valuta mosse discrete (scambio di valori tra righe) che riducono direttamente l'errore di ricostruzione, sfruttando il parallelismo GPU per la velocità.
Garanzie di Convergenza: Gli autori estendono le prove di convergenza ADMM esistenti (precedentemente stabilite per vincoli di sparsità) al contesto della quantizzazione, dimostrando che le iterazioni continue e discrete convergono allo stesso punto limite sotto un programma di penalità specifico ( $\rho_t = \rho_0 \cdot \gamma^t$ ).

3. Modularità e Integrazione

ADMM-Q è progettato come un sostituto plug-and-play per RTN o GPTQ all'interno delle pipeline PTQ esistenti. È completamente componibile con:

Trasformazioni di scalatura (ad esempio, SmoothQuant, AWQ).
Trasformazioni di rotazione (ad esempio, SpinQuant, QuaRot).
Euristiche di clipping (ad esempio, ricerca della griglia basata su MSE).

Risultati Sperimentali

Gli autori hanno valutato ADMM-Q in tre contesti: quantizzazione solo dei pesi, quantizzazione di pesi e attivazioni con SpinQuant, e quantizzazione di pesi e attivazioni con SmoothQuant.

1. Quantizzazione Solo dei Pesi (Famiglia Qwen3)

Attraverso i modelli Qwen3 (da 1.7B a 32B), ADMM-Q ha costantemente superato GPTQ e AWQ in termini di perplessità e accuratezza zero-shot, con guadagni che aumentano a larghezze di bit inferiori:

W3A16 (Qwen3-8B): La perplessità su WikiText-2 è migliorata da 12.85 (GPTQ) a 10.06 (ADMM-Q).
W2A16 (Qwen3-8B): La perplessità su WikiText-2 è migliorata da 32.88 (GPTQ) a 17.69 (ADMM-Q).
Analisi a Livello di Strato: ADMM-Q ha ridotto l'errore di ricostruzione in tutti gli strati del decoder, raggiungendo fino al 10% dell'errore di GPTQ negli strati iniziali.

2. Quantizzazione di Pesi e Attivazioni

SpinQuant (WbA4KV4): Su modelli LLaMA-3 e Qwen3, sostituire GPTQ con ADMM-Q ha prodotto miglioramenti costanti. Ad esempio, su LLaMA-3 8B a W2A4KV4, la perplessità è scesa da 50.27 (GPTQ) a 15.65 (ADMM-Q).
SmoothQuant (WbA8): Su Qwen3-8B, ADMM-Q ha migliorato la perplessità W3A8 da 16.00 a 12.21.

3. Prestazioni di Inferenza

Quando integrato nello stack di inferenza vLLM, ADMM-Q ha prodotto matrici di pesi nello stesso formato di GPTQ. Di conseguenza, ha raggiunto prestazioni di throughput e benefici di memoria identici. Ad esempio, su Qwen3-32B con SpinQuant W8A8, entrambi i metodi hanno raggiunto un speedup di ~1.52× rispetto alla baseline densa.

4. Costo Computazionale

Il processo di quantizzazione offline per ADMM-Q è più intensivo dal punto di vista computazionale rispetto a GPTQ a causa dell'ottimizzazione iterativa. Tuttavia, gli autori notano che la quantizzazione è un passaggio una tantum e il tempo di esecuzione rimane pratico (ad esempio, sotto le due ore per un modello da 32B su una singola GPU). L'uso di memoria GPU di picco è leggermente superiore (circa il 6%) rispetto a GPTQ.

Significato e Affermazioni

Il documento afferma che ADMM-Q rappresenta un cambiamento principiato dalla quantizzazione greedy e sequenziale all'ottimizzazione congiunta e vincolata per gli LLM. I suoi contributi principali sono:

Innovazione Algoritmica: Adatta con successo ADMM al problema combinatorio difficile della quantizzazione dei pesi, introducendo le stabilizzazioni necessarie (scalatura diagonale) e i raffinamenti (aggiornamento della griglia, ricerca locale) per le scale degli LLM.
Guadagni nelle Prestazioni: Dimostra miglioramenti sostanziali nell'utilità del modello (perplessità e accuratezza), in particolare nei regimi a bit aggressivi (W3 e W2) dove i metodi precedenti faticano.
Versatilità: Funziona come componente modulare e plug-and-play che potenzia le pipeline esistenti (inclusi quelli che utilizzano rotazioni e scalature) senza alterare il formato o la velocità finale di inferenza.

Gli autori riconoscono le limitazioni, notando che ADMM-Q comporta costi di quantizzazione offline più elevati e si basa sulla rappresentatività del set di calibrazione. Inoltre, la valutazione attuale è limitata agli LLM decoder-only autoregressivi densi, e l'adattamento a mixture-of-experts o modelli di diffusione richiederebbe ulteriori lavori.