🤖 machine learning

Contraction-Gauge Preconditioning for Quantized Matrix Multiplication

Questo articolo introduce il precondizionamento contraction-gauge, un metodo che ottimizza le rappresentazioni dei fattori e i modelli di condivisione prima della quantizzazione per minimizzare l'errore di prodotto nella moltiplicazione di matrici a bassa precisione, supportato da un modello di errore stocastico esatto e validato da significative riduzioni dell'errore attraverso varie precisioni e benchmark.

Autori originali: Piyush Sao, Narasinga Miniskar, Pedro Valero-Lara, Keita Teranishi, Sudip Seal

Pubblicato 2026-07-22

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Piyush Sao, Narasinga Miniskar, Pedro Valero-Lara, Keita Teranishi, Sudip Seal

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di preparare una torta gigante e perfetta, ma hai a disposizione solo una tazzina misuratrice minuscola e sbriciolata. Nel mondo dell'intelligenza artificiale, la "torta" è un calcolo massiccio chiamato moltiplicazione tra matrici, dove due enormi griglie di numeri vengono schiacciate insieme per creare un nuovo risultato. La "tazzina misuratrice" è la memoria del computer, che spesso costringe questi numeri a essere arrotondati per adattarsi a scatole più piccole e semplici (un processo chiamato quantizzazione). Se arrotondi in modo troppo aggressivo, la torta crolla; l'IA si confonde, commette errori o smette del tutto di funzionare.

Per molto tempo, gli scienziati hanno cercato di risolvere il problema cercando semplicemente di essere più accurati con l'arrotondamento, o raggruppando i numeri insieme. Ma c'è un problema subdolo: i numeri non sono tutti uguali. Alcuni sono enormi e rumorosi (outlier), mentre altri sono minuscoli e silenziosi. Se li tratti tutti allo stesso modo, quelli rumorosi annegano quelli silenziosi, o gli errori di arrotondamento si accumulano in un modo che rovina il sapore finale. La grande domanda è stata: come possiamo riorganizzare questi numeri prima di schiacciarli nelle piccole scatole, in modo che, quando verranno uniti, il risultato sia ancora deliziosamente accurato?

Questo articolo, scritto da un team di ricercatori dell'Oak Ridge National Laboratory, funge da nuovo libro di ricette di uno chef maestro per riorganizzare quegli ingredienti. Hanno scoperto una regola matematica precisa — un'identità di errore di prodotto — che dice loro esattamente quanto errore si verificherà quando mescolano due griglie arrotondate. Immagina questo come una palla di cristallo che predice esattamente quanto la torta si sbriciolerà in base a come sono stati tagliati gli ingredienti.

Usando questa palla di cristallo, hanno sviluppato un metodo chiamato "Precondizionamento a Contrazione-Gauge". Immagina di avere una pila di mattoni di dimensioni irregolari (i numeri nella tua prima griglia) e una pila di sacchi di malta di dimensioni irregolari (i numeri nella tua seconda griglia). Se provi a costruire un muro con essi così come sono, il muro sarà traballante. I ricercatori hanno trovato un modo per allungare e restringere i mattoni e i sacchi di malta prima di iniziare a costruire, in modo che si incastrino perfettamente, anche se dovessi usare una malta leggermente più grossolana in seguito. Chiamano questo allungare e restringere un "fold" (piegatura).

L'articolo dimostra che trovare il modo perfetto di piegare questi numeri è come risolvere un tipo specifico di puzzle matematico chiamato "programma geometrico". Hanno mostrato che puoi risolvere questo puzzle per trovare il modo assolutamente migliore di riorganizzare i numeri per un compito specifico, invece di limitarti a indovinare. Hanno anche scoperto che, a volte, per ottenere il miglior risultato, potresti aver bisogno di fare alcune copie extra dei tuoi ingredienti (il "fattore opposto") per utilizzare diverse tecniche di piegatura in diverse parti del muro. Hanno creato un modo per contare queste copie extra in modo che gli ingegneri sappiano esattamente di quanta memoria extra avranno bisogno.

Il team ha testato la loro nuova ricetta in due modi. Primo, hanno costruito scenari fittizi e controllati in un laboratorio informatico per vedere se le loro previsioni matematiche corrispondevano alla realtà. Hanno scoperto che la loro "palla di cristallo" era incredibilmente accurata, prevedendo gli errori con una correlazione superiore al 90%. Secondo, hanno preso un'IA reale, addestrata per riconoscere cifre scritte a mano (come quelle che potresti scrivere su un tablet), e hanno cercato di rimpicciolire il suo cervello per usare meno memoria. Quando hanno usato il loro metodo "GP fold", l'IA ha commesso significativamente meno errori rispetto ai vecchi metodi standard di arrotondamento. Nello specifico, a una precisione di 8 bit, l'errore è sceso del 18%, e a 4 bit (che è molto piccola), l'errore è sceso di oltre il 20%.

L'articolo esclude anche alcune scorciatoie comuni. Hanno dimostrato che semplicemente ordinare i numeri per dimensione (come allineare i mattoni dal più grande al più piccolo) non è sempre la strategia migliore; a volte, devi guardare la forma dei numeri per raggrupparli correttamente. Hanno anche scoperto che, sebbene ruotare i numeri (rotazione) possa aiutare, non sempre funziona se i numeri sono già piatti e uniformi. Il loro metodo è un sistema intelligente e adattabile che controlla gli ingredienti specifici del tuo problema e sceglie la migliore strategia di riorganizzazione, che si tratti di un semplice allungamento, di una rotazione complessa o di un mix di entrambi.

In breve, questo articolo non si limita a dire che "l'arrotondamento è difficile". Fornisce un toolkit matematicamente provato e preciso per gli ingegneri per riorganizzare i dati in modo che, anche quando sono costretti a usare strumenti a bassa precisione e bassa memoria, il risultato finale rimanga nitido, accurato e affidabile. Trasforma l'arte disordinata di indovinare come rimpicciolire i modelli di IA in una scienza precisa di misurazione e ottimizzazione.

Sintesi Tecnica: Precondizionamento a Gauge di Contrazione per la Moltiplicazione di Matrici Quantizzate

Definizione del Problema

Il documento affronta la sfida della moltiplicazione di matrici a bassa precisione ($C = AB$) in cui entrambi i fattori $A \in \mathbb{R}^{m \times K}$ e $B \in \mathbb{R}^{K \times n}$ sono quantizzati. Una difficoltà primaria in questo dominio è che la perdita di quantizzazione non si propaga in modo uniforme; un errore in una specifica voce $A_{ik}$ influenza la riga di output $C_{i,:}$ in proporzione all'energia della corrispondente riga in $B$ ( $B_{k,:}$ ), e viceversa. I metodi esistenti, come il raggruppamento dei canali o le trasformazioni ortogonali, spesso mancano di un obiettivo unificato a livello di prodotto che tenga conto di queste propagazioni di errore asimmetriche e del costo di memorizzazione di più copie trasformate degli operandi. Gli autori mirano a derivare identità di errore esatte sotto assunzioni stocastiche e a formulare un framework di "gauge di contrazione" per ottimizzare la rappresentazione dei fattori prima della quantizzazione, gestendo esplicitamente il compromesso tra riduzione dell'errore e costo di memoria/traffico delle copie trasformate.

Metodologia

1. Fondamento Teorico: Identità dell'Errore di Prodotto
Gli autori derivano un'identità esatta in dimensione finita per l'errore quadratico atteso del prodotto sotto errori per elemento con media nulla, indipendenti e con campi di varianza noti. Per fattori quantizzati $\hat{A} = A + E_A$ e $\hat{B} = B + E_B$ , la norma di Frobenius del quadrato dell'errore atteso è:
$\mathbb{E}\|\hat{A}\hat{B} - AB\|_F^2 = \sum_{i,k} v^A_{ik} \|B_{k,:}\|_2^2 + \sum_{k,j} v^B_{kj} \|A_{:,k}\|_2^2 + \sum_{k} \left(\sum_i v^A_{ik}\right)\left(\sum_j v^B_{kj}\right)$
Questa identità è esatta per il dithering sottrattivo non-overloading e per il rounding stocastico con residui dipendenti dalla varianza. Funge da funzione obiettivo primaria, pesando gli errori in base all'energia del fattore opposto.

2. Precondizionamento a Gauge di Contrazione
Il metodo sfrutta l'equivalenza algebrica $AB = (AT)(T^{-1}B)$ per ogni $T \in GL(K)$ invertibile. Gli autori definiscono un "gauge di contrazione" come la scelta di $T$ applicata alla dimensione di contrazione condivisa $K$ prima della quantizzazione.

Domini di Gauge: Un dominio è un blocco di output fisso (ad esempio, un blocco di righe) assegnato a un singolo gauge.
Descrittore di Riutilizzo ( $n_{opp}$ ): Il costo del precondizionamento è misurato dal numero di copie trasformate, quantizzate e distinte del fattore opposto richieste. Se un singolo gauge è condiviso tra tutti i domini, $n_{opp}=1$ ; se vengono utilizzati gauge distinti per blocco, $n_{opp}$ aumenta.

3. Famiglie Strutturali e Regole di Ottimizzazione
Il documento propone strategie di ottimizzazione specifiche per diverse famiglie di gauge:

Pieghe Diagonali (Scaling): Per un dominio condiviso, trovare la scala diagonale ottima $D$ tale che $(AD, D^{-1}B)$ minimizzi l'errore è formulato come un Programma Geometrico (GP). Ciò consente la selezione globalmente ottimale di pieghe condivise. Un programma lineare (LP) è derivato per testare se la piega identità sia già ottimale.
Partizionamento: Per bilanciare accuratezza e conteggio delle copie, il documento sostiene di non utilizzare l'ordinamento per norma scalare (che può perdere un fattore lineare in termini di performance a causa di legami casuali) e propone il clustering in coordinate di log-ampiezza per raggruppare le righe con profili simili.
Rotazioni: Per i gauge ortogonali, il documento utilizza la coerenza blocco-locale per limitare i potenziali guadagni. Dimostra che le rotazioni casuali (es. Hadamard) possono ridurre i massimi delle coordinate entro un fattimento logaritmico.
Rotazioni Parziali (Householder): Quando l'energia pesata è a basso rango, gli autori propongono l'uso di un piccolo numero di riflettori di Householder ( $t$ ) per allineare il top eigenspace di una matrice Gram pesata a un target piatto, con un costo di $O(tK)$.
Gerarchie: Per i gauge ortogonali a diagonale a blocchi, viene derivato un criterio di anti-correlazione dell'energia delle slice. Se i profili di energia di $A$ e $B$ attraverso le slice sono anti-correlati, un raffinamento gerarchico riduce l'errore; altrimenti, è preferita una rotazione piatta. Un'identità telescopica permette la selezione della profondità bottom-up.

4. Design del Quantizzatore

Allocazione dei Bit: Sotto un vincolo di somma della larghezza di bit fissa ( $b_A + b_B = b_{sum}$ ), la divisione ottima è asimmetrica: $b_A - b_B = \frac{1}{2} \log_2(P_A/P_B)$ , dove $P_A$ e $P_B$ sono i coefficienti di errore pesati per prodotto.
Clipping e Diagnostica: Il documento introduce una diagnostica della funzione caratteristica troncata ( $\Xi$ ) per rilevare l'allineamento del reticolo in il rounding deterministico Round-to-Nearest (RTN), che può violare le assunzioni di indipendenza del modello di rumore.

Contributi Chiave

Contabilità dell'Errore Esatta: Derivazione di un'identità esatta dell'errore quadratico atteso del prodotto per la moltiplicazione di matrici quantizzate con dithering e rounding stocastico, separando esplicitamente i termini di errore principali dai termini cross-bilineari.
Framework di Contrazione-Gauge: Una formulazione unificata per il precondizionamento che accoppia la scelta della trasformazione $T$ , il suo schema di condivisione (domini di gauge) e il costo di rappresentazione del riutilizzo ( $n_{opp}$ ).
Selezione Ottimale delle Pieghe: Dimostrazione che il problema della piega condivisa limitata è un Programma Geometrico, risolvibile all'ottimo globale, e derivazione di un test LP esatto per l'ottimalità della piega identità.
Statistiche Decisionali: Sviluppo di statistiche computabili per guidare la selezione della trasformazione senza calcolare gli ottimi esatti per tutte le famiglie:
- Indice di coda per lo scaling.
- Diffusione del profilo per il partizionamento.
- Coerenza di blocco e spettro della matrice Gram pesata per le rotazioni.
- Covarianza dell'energia delle slice per la profondità gerarchica.
Design Consapevole del Riutilizzo: Introduzione di $n_{opp}$ come metrica per quantificare il costo di memoria e di traffico dei diversi schemi di condivisione del gauge, consentendo un'analisi del compromesso tra riduzione dell'errore e costo di implementazione.

Risultati

Esperimenti Sintetici Controllati:

Scaling: Il clustering log-ampiezza per il partizionamento ha ottenuto una diffusione quasi ottimale (1.015x rispetto al riferimento di purezza del profilo) rispetto all'ordinamento per norma scalare (2.116x).
Pieghe (Folds): La piega GP condivisa con il dominio ha ridotto l'errore modellato di un fattore di ~161x rispetto alla piega identità e di 4.86x rispetto ai limiti ottimizzati singolarmente per lato.
Allocazione dei Bit: Le divisioni asimmetriche dei bit (es. 9/7 invece di 8/8) hanno ottenuto un errore 1.7x inferiore rispetto alle divisioni simmetriche, corrispondendo alle previsioni teoriche.
Rotazioni: Le rotazioni di Hadamard casuali hanno fornito fino a 60x di riduzione dell'errore su dati a coda pesante con outlier iniettati, mentre i riflettori di Householder con $t=3$ hanno eguagliato le prestazioni della rotazione completa su dati di rango 3.
Gerarchie: Il criterio di anti-correlazione ha predetto con successo il punto di incrocio in cui il raffinamento gerarchico supera la rotazione piatta.

Validazione tramite Classificatore Addestrato:
Utilizzando un classificatore di immagini a tre blocchi (tipo ViT) su immagini di cifre scritte a mano:

Correlazione: Le previsioni del modello di dithering hanno mostrato un'alta correlazione mediana di Spearman con gli errori RTN deterministici (0.937 a 8 bit, 0.918 a 4 bit).
Performance: L'uso della piega GP invece della piega identità ha ridotto l'errore di prodotto misurato del 18.0% a 8 bit e del 20.5% a 4 bit (media geometrica).
Confronto: La piega GP ha superato una ricerca a griglia in stile SmoothQuant (selezionata tramite calibrazione) in 10 prodotti su 12 e ha ottenuto un errore inferiore rispetto a un oracle selezionato tramite test in media geometrica.
End-to-End: La quantizzazione di tutti i 12 prodotti insieme con la piega GP ha ridotto l'MSE dei logit del 15.4% (8-bit) e del 26.4% (4-bit) rispetto al modello di piega identità.

Significato e Rivendicazioni

Il documento rivendica di fornire una base stocastica rigorosa per la moltiplicazione di matrici quantizzate che vada oltre lo scaling euristico o il raggruppamento ad hoc. Stabilendo un'identità di errore esatta e collegandola a un framework di "contrazione-gauge", gli autori offrono:

Selezione Certificata: Selezione globalmente ottimale all'interno della famiglia diagonale limitata tramite Programmazione Geometrica.
Obiettivo Unificato: Un obiettivo comune (errore pesato per prodotto) per valutare diverse famiglie di trasformazione (pieghe, rotazioni, gerarchie) e i loro schemi di condivisione.
Compromessi Pratici: Un meccanismo per bilanciare esplicitamente la riduzione dell'errore rispetto al costo di memorizzazione di più copie trasformate ( $n_{opp}$ ), fondamentale per il deployment.

Gli autori sottolineano che, sebbene le identità esatte valgano per il dithering e il rounding stocastico, le statistiche e le regole di selezione derivate si trasferiscono efficacementamente al rounding deterministico Round-to-Nearest, come validato dagli esperimenti con il classificatore addestrato. Il lavoro non pretende di risolvere l'intero problema di ottimizzazione $GL(K)$, ma fornisce una procedura strutturata ed eseguibile per la selezione di candidati ad alte prestazioni all'interno di famiglie ristrette e pratiche.