🤖 machine learning

OSAQ: Outlier Self-Absorption for Accurate Low-bit LLM Quantization

Il documento propone OSAQ, un metodo di quantizzazione post-allenamento senza addestramento che sfrutta la proprietà a basso rango dello spazio nullo dell'Hessiano per costruire una trasformazione additiva dei pesi che sopprime gli outlier e migliora significativamente l'accuratezza della quantizzazione dei LLM a bassa precisione senza introdurre sovraccarichi nell'inferenza.

Autori originali: Zhikai Li, Zhen Dong, Xuewen Liu, Jing Zhang, Qingyi Gu

Pubblicato 2026-05-07

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Zhikai Li, Zhen Dong, Xuewen Liu, Jing Zhang, Qingyi Gu

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Il Grande Problema: Lo "Zaino Pesante"

Immagina un Modello Linguistico di grandi dimensioni (LLM) come uno studente geniale che sa quasi tutto. Tuttavia, questo studente porta uno zaino enorme pieno di milioni di libri pesanti (parametri). Poiché lo zaino è così pesante, lo studente si muove molto lentamente e ha bisogno di una stanza enorme per riporlo. Questo rende costoso e lento utilizzarlo su dispositivi comuni come telefoni o laptop.

Per risolvere il problema, gli ingegneri cercano di "restringere" lo zaino riassumendo i libri in appunti più piccoli e semplici. Questo processo si chiama quantizzazione. Invece di scrivere ogni dettaglio con alta precisione (come numeri a 32 bit), scrivono riassunti più approssimativi (come numeri a 2 bit o 4 bit).

Il Problema: Lo zaino non è pieno solo di libri normali; contiene alcuni enormi massi nascosti (chiamati outlier). Questi massi sono così pesanti da rovinare il tentativo di restringere lo zaino. Se provi a comprimere l'intero zaino, questi massi ti costringono a mantenerlo enorme, oppure lo studente inizia a dimenticare cose (il modello diventa stupido).

Le Vecchie Soluzioni: Allungare e Ruotare

I metodi precedenti cercavano di risolvere il problema:

Allungare (Scaling): Provando ad allontanare i massi per farli entrare meglio.
Ruotare: Girando l'intero zaino in modo che i massi si trovino in una posizione diversa.

Il paper sostiene che, sebbene questi trucchi aiutino un po', non sono sufficienti. Sono come cercare di mettere un masso in una scatola piccola semplicemente allungando la scatola o girandola di lato. Il masso è ancora lì e continua a causare problemi.

La Nuova Soluzione: OSAQ (La "Spugna Magica")

Gli autori propongono un nuovo metodo chiamato OSAQ (Outlier Self-Absorption). Invece di allungare o ruotare, usano un trucco intelligente basato sulla struttura interna dello zaino.

1. Le "Zone Silenziose" (Il Null Space dell'Hessian)

I ricercatori hanno scoperto che all'interno dello zaino esistono certe direzioni in cui i massi non spingono realmente indietro. Immagina che lo zaino sia fatto di una schiuma speciale. Se spingi sulla schiuma nella maggior parte delle direzioni, essa oppone resistenza. Ma se spingi in specifiche "zone silenziose", la schiuma offre zero resistenza.

In termini matematici, hanno trovato un "Null Space" nella struttura dei dati del modello in cui le modifiche non danneggiano l'intelligenza del modello. È come trovare una tasca segreta nello zaino dove puoi spostare oggetti pesanti senza che lo zaino senta il peso.

2. Il Trucco dell'"Auto-Assorbimento"

OSAQ funziona così:

Identifica quelle "zone silenziose" (il Null Space).
Prende i grandi massi (outlier) e aggiunge un po' di "schiuma magica" ad essi.
Poiché questa schiuma viene aggiunta in una "zona silenziosa", annulla il peso del masso senza cambiare il comportamento dello zaino.
Il masso scompare efficacemente (viene "assorbito"), lasciando dietro di sé una pila liscia e uniforme di sabbia facile da comprimere.

L'Analogia: Immagina di avere un cuscino irregolare con un sasso all'interno.

Vecchio modo: Provare a strizzare il cuscino più forte (scaling) o girarlo di lato (rotazione). Il sasso lo rende ancora irregolare.
Modo OSAQ: Ti rendi conto che il cuscino ha una cucitura nascosta dove puoi far scivolare un pezzo di argilla morbida. Fai scivolare l'argilla proprio accanto al sasso. L'argilla riempie lo spazio e fa sembrare il sasso parte del cuscino morbido. Ora l'intero cuscino è liscio e facile da schiacciare in una borsa minuscola.

Perché Questo è un Cambiamento di Paradigma

Nessun Lavoro Extra: La "schiuma magica" viene aggiunta direttamente ai massi all'interno dello zaino. Non è necessario cambiare le cinghie o gli altri strati della borsa. È una soluzione "plug-and-play".
Risoluzione Immediata: Non è necessario riaddestrare lo studente o passare settimane a regolare lo zaino. La matematica fornisce la quantità esatta di schiuma da aggiungere in un solo passaggio (una "soluzione in forma chiusa").
Risultati Superbri: Quando lo hanno testato sulla compressione a 2 bit (rendendo gli appunti estremamente piccoli), OSAQ ha reso il modello il 40% più intelligente (perplessità inferiore) rispetto al metodo precedente migliore. È come ridurre lo zaino alle dimensioni di un portafoglio senza che lo studente perda nulla del suo genio.

Riassunto

Il paper introduce un modo per rendere i modelli AI più piccoli e veloci trovando "zone silenziose" nei loro dati dove possono levigare i problematici "massi" (outlier) senza danneggiare le prestazioni del modello. È un nuovo ed efficiente modo per comprimere l'AI che funziona meglio del semplice allungamento o rotazione dei dati.

Riepilogo Tecnico: OSAQ – Auto-assorbimento degli Outlier per una Quantizzazione Precisa di LLM a Basso Bit

1. Enunciato del Problema

I Modelli Linguistici di Grandi Dimensioni (LLM) affrontano sfide significative nel deployment a causa delle loro massive scale di parametri, che comportano un elevato consumo di memoria e latenza di inferenza. La quantizzazione post-allenamento (PTQ), in particolare la quantizzazione solo sui pesi, offre una soluzione riducendo le dimensioni del modello e alleviando i colli di bottiglia legati alla memoria. Tuttavia, un ostacolo persistente per una quantizzazione precisa a basso bit è la presenza di outlier sistematici nei pesi del modello. Questi outlier, caratterizzati da grandi magnitudini, espandono l'intervallo numerico dei pesi, riducendo di conseguenza la risoluzione di quantizzazione e degradando le prestazioni del modello.

I metodi esistenti si basano principalmente su trasformazioni moltiplicative (ad esempio, scalatura o rotazione) tra strati adiacenti per mitigare gli outlier. Sebbene approcci come GPTQ (utilizzando informazioni dell'Hessiana), AWQ (scalatura consapevole dell'attivazione) e QuIP (rotazione ortogonale) abbiano fatto progressi, il documento sostiene che affidarsi esclusivamente a paradigmi moltiplicativi è fondamentalmente inadeguato per ottenere prestazioni soddisfacenti in contesti ultra-a basso bit (ad esempio, 2-bit o 3-bit).

2. Metodologia: Quantizzazione ad Auto-assorbimento degli Outlier (OSAQ)

Gli autori propongono OSAQ, un metodo innovativo che introduce una trasformazione additiva dei pesi guidata dalle proprietà a basso rango di secondo ordine della matrice Hessiana. A differenza dei metodi precedenti che richiedono aggiustamenti tra strati, OSAQ opera come un meccanismo di "auto-assorbimento" che modifica i pesi all'interno di un singolo strato senza influenzare gli strati adiacenti.

Componenti Tecnici Chiave:

Coerenza a Basso Rango dell'Hessiana:
Il metodo si fonda sull'osservazione che l'Hessiana della perdita del task rispetto ai pesi dello strato esibisce una pronunciata proprietà a basso rango attraverso diversi input. Nello specifico, certe direzioni nello spazio dei pesi mostrano costantemente una curvatura nulla (autovalori prossimi allo zero). Queste direzioni formano uno spazio nullo stabile che rimane coerente indipendentemente dal campione di input.
Trasformazione Additiva Invariante alla Perdita:
Sfruttando lo spazio nullo, OSAQ costruisce una perturbazione additiva $\Delta W$ tale che la trasformazione $W' = W + \Delta W$ garantisca che la perturbazione di secondo ordine della perdita del task rimanga zero ( $\Delta w^T H_w \Delta w = 0$ ). Questo assicura che le prestazioni del modello sul task originale siano preservate mentre i pesi vengono modificati.
Estrazione dello Spazio Nullo:
L'Hessiana $H_w$ viene approssimata e decomposta tramite decomposizione agli autovalori. Per gestire casi in cui gli autovalori non sono esattamente zero, viene impiegata una strategia di energia di coda. La dimensione dello spazio nullo $K$ è determinata accumulando gli autovalori più piccoli fino al raggiungimento di una soglia di energia predefinita $\gamma$ . La matrice risultante $N$ rappresenta lo spazio nullo stabile.
Ottimizzazione dei Coefficienti tramite Approssimazione Softmax- $\infty$ :
L'obiettivo è trovare una matrice di coefficienti $\beta$ tale che $\Delta W = \beta N$ minimizzi l'intervallo numerico (in particolare la norma $\ell_\infty$ ) dei pesi trasformati per sopprimere gli outlier.
- Poiché la norma $\ell_\infty$ non è differenziabile, gli autori impiegano un'approssimazione Softmax- $\infty$ . Ciò comporta l'applicazione di un'operazione softmax lungo la dimensione del canale di output con un coefficiente di temperatura $\tau$ . Quando $\tau \to 0$ , questa approssima la norma $\ell_\infty$ rimanendo differenziabile.
- L'obiettivo di ottimizzazione include un termine di regolarizzazione $\ell_2$ per prevenire correzioni eccessive e un vincolo anti-spostamento per penalizzare le traduzioni uniformi.
- Crucialmente, questa ottimizzazione produce una soluzione in forma chiusa per i coefficienti $\beta$ tramite un'equazione normale, eliminando la necessità di addestramento intensivo di risorse o procedure iterative.

3. Contributi Chiave

Paradigma Innovativo: Il documento introduce una strategia di trasformazione additiva per la soppressione degli outlier, che completa gli approcci moltiplicativi esistenti (scalatura/rotazione). Opera indipendentemente all'interno di uno strato, non richiedendo trasformazioni tra strati o sovraccarico di inferenza.
Insight Teorico: Identifica e sfrutta la coerenza a basso rango dello spazio nullo dell'Hessiana attraverso gli input, fornendo un sottospazio stabile per costruire aggiustamenti dei pesi invarianti alla perdita.
Costruzione Efficiente: Il metodo deriva i coefficienti di trasformazione ottimali in forma chiusa utilizzando un'approssimazione Softmax- $\infty$ differenziabile, evitando ottimizzazione iterativa o ri-addestramento.
Compatibilità Plug-and-Play: OSAQ è progettato per essere integrato con metodi PTQ esistenti (ad esempio, GPTQ, AWQ) per migliorare ulteriormente le prestazioni a basso bit.

4. Risultati Sperimentali

Sono stati condotti esperimenti estensivi su vari LLM (LLaMA2, LLaMA3, Mistral-Large, Llama-3.1) attraverso task di generazione linguistica e QA di senso comune.

Riduzione della Perplexity: Nella quantizzazione a 2-bit, OSAQ integrato con GPTQ ha raggiunto una perplexity inferiore di oltre il 40% rispetto al GPTQ vanilla su LLaMA2-7B. Ad esempio, su WikiText2, OSAQ+GPTQ ha ridotto la perplexity da 36.8 a 21.2 (e ulteriormente a 10.6 con iterazioni di discesa del gradiente coordinata) per LLaMA2-7B.
Miglioramenti dell'Accuratezza:
- Commonsense QA: Su LLaMA3-8B (2-bit), OSAQ+GPTQ ha migliorato l'accuratezza media zero-shot dal 38.3% al 44.4% (e al 51.7% con iterazioni).
- MMLU: Per LLaMA2-7B (4-bit), OSAQ+GPTQ ha alzato il punteggio medio dal 38.7% al 39.6%.
- Modelli Grandi: Il metodo si è dimostrato efficace su modelli istruiti massicci (123B e 405B parametri), superando il GPTQ vanilla sui benchmark MMLU e ARC.
Robustezza: Studi di ablazione hanno confermato che la trasformazione additiva ha un impatto trascurabile sui modelli in precisione intera (FP16) e che lo spazio nullo rimane stabile attraverso diversi batch di input. Il metodo ha dimostrato anche robustezza rispetto alle scelte degli iperparametri (ad esempio, soglia di energia di coda $\gamma$ , temperatura $\tau$ ).

5. Significato e Affermazioni

Il documento afferma che OSAQ rappresenta un passo significativo in avanti nella quantizzazione di LLM a basso bit affrontando il limite fondamentale dei paradigmi esclusivamente moltiplicativi. Sfruttando le proprietà geometriche intrinseche del paesaggio della perdita (spazio nullo dell'Hessiana), OSAQ fornisce un meccanismo computazionalmente efficiente e privo di addestramento per sopprimere gli outlier.

Gli autori sottolineano che questo approccio:

Preserva la Perdita del Task: La trasformazione è matematicamente garantita per mantenere la perturbazione della perdita di secondo ordine a zero.
Non Introduce Sovraccarichi: La trasformazione viene assorbita offline nei pesi, non richiedendo modifiche alla pipeline di inferenza o strati aggiuntivi.
Scalabilità: È applicabile a modelli che vanno da 7B a 405B parametri e si integra senza soluzione di continuità con algoritmi di quantizzazione all'avanguardia.

Il lavoro suggerisce che l'esplorazione di trasformazioni additive basate su proprietà di secondo ordine offre una strada promettente e complementare per raggiungere una quantizzazione precisa a basso bit per modelli linguistici su larga scala.