🤖 machine learning

HARP: Hadamard-Preconditioned Adaptive Rotation Processor for Extreme LLM Quantization

HARP introduce un processore ortogonale strutturato a due lati e apprendibile che adatta la base di quantizzazione a specifici strati e dati di calibrazione, migliorando significativamente l'accuratezza della quantizzazione di LLM a bit estremamente bassi (2-4 bit) rispetto ai metodi Hadamard fissi, pur mantenendo l'efficienza di deployment.

Autori originali: Artur Zagitov, Gleb Molodtsov, Aleksandr Beznosikov

Pubblicato 2026-05-29

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Artur Zagitov, Gleb Molodtsov, Aleksandr Beznosikov

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere una biblioteca enorme e incredibilmente dettagliata (un Modello Linguistico di grandi dimensioni) che desideri portare in tasca. Il problema è che i libri sono troppo pesanti e gli scaffali troppo larghi per stare in una piccola borsa. Per renderla portatile, decidi di ridurre i libri a minuscole note compresse. Questo si chiama quantizzazione.

Tuttavia, quando riduci questi libri troppo (a soli 2 o 3 bit di informazione), alcune pagine si accartocciano o vanno perse. Queste "pagine accartocciate" sono chiamate valori anomali (outlier)—numeri estremamente importanti che sono molto più grandi degli altri. Se provi a comprimere l'intero libro usando un metodo standard, questi valori anomali rovinano la compressione, rendendo le note difficili da leggere.

Il Vecchio Metodo: Il "Mescolamento Casuale"

In precedenza, gli scienziati utilizzavano un trucco chiamato RHT (Trasformata di Hadamard Randomizzata). Pensa a questo come prendere tutte le pagine del tuo libro, mescolarle casualmente e poi comprimerle.

Il Buono: È veloce e distribuisce le pagine accartocciate in modo che non vengano tutte schiacciate in un unico punto.
Il Cattivo: È un mescolamento fisso. È come usare lo stesso schema di mescolamento casuale per ogni singolo libro, indipendentemente dal fatto che sia un libro di cucina, un romanzo o un dizionario. Non si adatta alla storia specifica all'interno.

Il Nuovo Metodo: HARP (Il "Sarto Intelligente")

Gli autori di questo articolo introducono HARP (Processore di Rotazione Adattiva Precondizionata con Hadamard). Pensa a HARP come a un sarto intelligente che non si limita a usare un mescolamento generico.

Impara la Calzata: Invece di un mescolamento casuale, HARP esamina la specifica "forma" dei dati in ogni strato del modello (come guardare il tessuto specifico di una camicia). Impara il modo perfetto di riorganizzare i numeri in modo che si adattino allo spazio compresso minuscolo senza perdere dettagli importanti.
È un Aggiornamento Plug-and-Play: La parte migliore è che HARP inizia sembrando esattamente il vecchio "Mescolamento Casuale" (RHT). È come un abito che inizia come una taglia standard pronta da indossare, ma ha cerniere nascoste e cuciture regolabili. Una volta indossato, il sarto (il processo di calibrazione) regola rapidamente la calzata per essere perfetta per te. Questo significa che puoi sostituire il vecchio metodo con HARP senza ricostruire l'intero sistema.
È Strutturato e Veloce: HARP non si limita a fare un riarrangiamento disordinato e complesso. Utilizza un pattern a "farfalla" (un modo specifico ed efficiente di mescolare le cose) che è matematicamente garantito come reversibile e veloce. È come organizzare una biblioteca non lanciando i libri ovunque in modo casuale, ma utilizzando un sistema di ordinamento altamente efficiente e pre-pianificato che richiede pochi secondi.

Cosa Succede Quando lo Usi?

L'articolo ha testato questo su modelli che vanno dal piccolo (1 miliardo di parametri) all'enorme (70 miliardi di parametri).

Migliore Qualità: Quando hanno compresso i modelli a dimensioni estreme (da 2 a 4 bit), HARP ha reso i modelli "più intelligenti" (perplessità inferiore, accuratezza superiore) rispetto al vecchio metodo di mescolamento casuale. È stato particolarmente efficace nel salvare le "pagine accartocciate" (valori anomali) che solitamente vanno perse.
Ancora Veloce: Anche se HARP impara una calzata personalizzata, non rallenta il modello. In effetti, i modelli compressi con HARP erano ancora molto più veloci (128 token al secondo) rispetto ai modelli originali non compressi (61 token al secondo).
Versatile: Hanno dimostrato che HARP funziona non solo con uno specifico strumento di compressione, ma può essere inserito in diversi sistemi di compressione (come QTIP) continuando a migliorarli.

La Conclusione

HARP è uno strumento che prende il mescolamento casuale "taglia unica" utilizzato nella compressione dell'IA e lo trasforma in una calzata su misura. Impara da un piccolo campione di dati per trovare il modo perfetto di riorganizzare i numeri prima di schiacciarli. Il risultato è un modello di IA più piccolo e veloce che legge meglio e commette meno errori, tutto senza bisogno di riaddestrare l'intero modello da zero.

Riepilogo Tecnico: HARP (Processore di Rotazione Adattiva Precondizionato con Hadamard)

1. Enunciato del Problema

La quantizzazione post-allenamento (PTQ) è fondamentale per il deployment di Large Language Models (LLM) sotto vincoli di memoria e larghezza di banda. Tuttavia, la quantizzazione a bit estremamente bassi (2–4 bit) affronta due sfide principali:

Outlier delle Attivazioni e Statistiche a Coda Pesante: Un piccolo sottoinsieme di coordinate trasporta una massa di peso sproporzionata e sensibilità alla curvatura, causando errori di ricostruzione gravi quando quantizzate.
Curvatura Anisotropa dei Pesi: I quantizzatori standard (scalari o vettoriali a blocchi) performano male quando la massa dei pesi o le direzioni sensibili alla curvatura si allineano con specifici assi di coordinate.

Le soluzioni esistenti si basano sull'Elaborazione di Incoerenza, che applica un cambiamento di base ortogonale strutturato prima della quantizzazione per distribuire la massa dei pesi sulle coordinate. Lo standard attuale è la Trasformata di Hadamard Randomizzata (RHT). Sebbene la RHT sia veloce ( $O(d \log d)$ ) e esattamente ortogonale, è fissa. Non si adatta a:

Statistiche specifiche del layer.
La distribuzione dei dati di calibrazione.
La struttura a blocchi del quantizzatore a valle.

Lavori recenti suggeriscono che l'apprendimento delle rotazioni end-to-end migliora la qualità, ma questi metodi spesso rilassano la natura "drop-in" delle pipeline PTQ, alterano il modello in precisione completa o introducono costi computazionali troppo elevati per l'inferenza. Esiste un vuoto per un processore che sia apprendibile dai dati di calibrazione, rimanga un cambiamento di base ortogonale esatto (preservando il modello in precisione completa) e mantenga un'efficienza simile a quella di Hadamard.

2. Metodologia: HARP

Gli autori propongono HARP (Processore di Rotazione Adattiva Precondizionato con Hadamard), un processore ortogonale a due lati apprendibile, progettato per sostituire la RHT fissa nelle pipeline PTQ.

2.1 Architettura Principale

HARP parametrizza la rotazione ortogonale come un prodotto di stadi sparsi basati su stride, imitando la struttura delle trasformate rapide di Hadamard e farfalla.

Struttura: Per una dimensione $d$ , HARP utilizza una schedula a Radice Mista $\mathbf{b} = (b_0, \dots, b_{m-1})$ dove $\prod b_t = d$ .
Stadi: Ogni stadio $t$ applica una matrice ortogonale a blocchi diagonali $\mathbf{B}_t$ a gruppi di coordinate, separati da permutazioni di stride.
Supporto a Radice Mista: A differenza delle trasformate Hadamard standard limitate alle potenze di due, HARP supporta dimensioni arbitrarie (es. 5120) utilizzando una schedula a Radice Mista (es. $8, 8, 8, 5, 2$). Le radici non potenze di due utilizzano un fallback ortogonale deterministico (fattorizzazione QR di una matrice Gaussiana fissa).

2.2 Precondizionamento Hadamard e Inizializzazione

Un'innovazione chiave sono i nuclei a blocchi precondizionati con Hadamard. Ogni blocco apprendibile $B_{t,c}$ è definito come:
$B_{t,c}(\theta) = Q_{t,c}(\theta) G_{b_t}$

$G_{b_t}$ è un mixer di base fisso (Hadamard di Sylvester normalizzato per le potenze di due, fallback QR altrimenti).
$Q_{t,c}(\theta)$ è una matrice ortogonale apprendibile (rotazione di Givens per $b_t=2$ , mappa di Cayley per $b_t > 2$ ).

Inizializzazione: Tutti i parametri apprendibili $\Theta$ sono inizializzati a zero. A $\Theta=0$ , $Q_{t,c}(0) = I$ , il che significa che $B_{t,c}(0) = G_{b_t}$ . Di conseguenza, la trasformata HARP recupera esattamente il processore RHT fisso (fino a una convenzione di permutazione fissa) all'inizializzazione. La calibrazione apprende quindi un raffinamento ortogonale strutturato attorno a questa solida linea di base.

2.3 Obiettivo di Ottimizzazione

HARP viene adattato per layer utilizzando solo dati di calibrazione. L'ottimizzazione minimizza una perdita surrogata allineata al quantizzatore a blocchi deployato:

Ricostruzione Ponderata dall'Elisse Diagonale: Minimizza l'errore tra il peso ruotato e il suo target del codice a blocchi, ponderato dalla diagonale del proxy dell'Elisse. I gradienti vengono bloccati attraverso l'assegnazione discreta del codice per garantire stabilità.
Penalità di Energia Fuori-Blocco dell'Elisse: Un termine di regolarizzazione ( $R_{bd}$ ) penalizza l'energia nei blocchi fuori diagonale del proxy dell'Elisse, incoraggiando la rotazione ad allineare la curvatura con la struttura a blocchi del quantizzatore.

La perdita totale è:
$\mathcal{L}_{fit}(\Theta) = \mathcal{L}_{diag}(\Theta) + \lambda_{bd} R_{bd}(\Theta_V)$

2.4 Efficienza di Deployment

Archiviazione: I parametri HARP possono essere archiviati in formato int8 con un impatto minimo sulla perplessità.
Computazione: Il costo di applicazione è $O(d \log d)$ , simile alla RHT. Gli autori implementano kernel GPU Triton fusi per gli stadi di stride per evitare permutazioni materializzate, mantenendo basso l'overhead di latenza.
Compatibilità: HARP è un sostituto drop-in per lo step di pre-elaborazione nelle pipeline QuIP# e QTIP, non richiedendo modifiche al backend del quantizzatore o al solver.

3. Contributi Chiave

Processore di Incoerenza Apprendibile: Introduzione di HARP, un processore ortogonale a due lati adattato tramite dati di calibrazione che si adatta alle statistiche del layer e alle strutture del quantizzatore backend.
Compatibilità Drop-in: HARP si inizializza esattamente al processore RHT fisso, garantendo di essere un aggiornamento trasparente per le pipeline PTQ esistenti basate su Hadamard senza richiedere il ri-allenamento completo del modello o il re-wiring del grafo.
Efficienza Strutturata: L'utilizzo di stadi a forma di farfalla a Radice Mista permette ortogonalità esatta e complessità $O(d \log d)$ su dimensioni non potenze di due, preservando i vantaggi di throughput dell'inferenza quantizzata.
Validazione Empirica: Dimostrazione di guadagni costanti di qualità (perplessità e accuratezza zero-shot) rispetto alla RHT fissa nelle impostazioni 2–4 bit su modelli che vanno da 1B a 70B parametri.

4. Risultati Sperimentali

Gli autori hanno valutato HARP su Llama 3.2 (1B, 3B) e Llama 2 (7B, 13B, 70B) utilizzando il backend QuIP#.

Perplessità (PPL): HARP supera costantemente la RHT fissa.
- 2-bit: I guadagni sono più significativi qui, dove la quantizzazione è più sensibile. Per Llama 2 7B, HARP riduce la PPL WikiText2 da 8.22 (RHT) a 7.23. Per Llama 2 70B, scende da 4.16 a 4.01.
- 3-4 bit: I miglioramenti persistono ma sono minori in grandezza assoluta poiché la linea di base si avvicina alla precisione completa.
Accuratezza Zero-Shot: HARP migliora l'accuratezza sui task ARC-Challenge, ARC-Easy e WinoGrande, confermando che i guadagni di perplessità si traducono in prestazioni a valle.
Latenza e Throughput:
- Su una NVIDIA RTX 5080, HARP a 2-bit raggiunge 128 token/sec per Llama 2 7B, rispetto a 61 token/sec per FP16.
- L'overhead di latenza di HARP rispetto alla RHT fissa è modesto (es. 0.0078s vs 0.0070s per token per 2-bit 7B), preservando la maggior parte dell'accelerazione della quantizzazione.
Portabilità: Quando integrato in QTIP (un backend diverso che utilizza quantizzazione codificata a trellis), HARP ha nuovamente migliorato la perplessità rispetto alla RHT fissa, dimostrando utilità agnostica rispetto al backend.
Overhead di Archiviazione: Utilizzando l'archiviazione dei parametri int8, l'aumento effettivo dei bit-per-parametro (BPP) è minimo (es. 2.00 $\to$ 2.05 per 2-bit 7B), con un impatto trascurabile sulla qualità del modello.

5. Significato e Affermazioni

Il paper afferma che HARP affronta un vuoto specifico nel panorama PTQ: la necessità di un pre-processing adattivo che non sacrifichi efficienza o esattezza.

Adattività vs Fisso: A differenza della RHT fissa, HARP adatta la base di rotazione allo specifico layer e alla struttura a blocchi del quantizzatore, riducendo l'errore di ricostruzione nei regimi a bit estremamente bassi.
Esattezza vs Approssimazione: A differenza di alcuni metodi di rotazione appresa che alterano il modello in precisione completa o richiedono un addestramento end-to-end, HARP è un cambiamento di base esatto. Il modello in precisione completa è preservato matematicamente; cambia solo il sistema di coordinate esposto al quantizzatore.
Efficienza vs Costo: A differenza delle rotazioni apprese dense o delle modifiche complesse al grafo (es. SpinQuant), HARP mantiene il costo computazionale $O(d \log d)$ delle trasformate Hadamard, rendendolo pratico per il deployment su larga scala di LLM.

Gli autori posizionano HARP non come una nuova pipeline autonoma, ma come un modulo riutilizzabile che potenzia i backend esistenti basati su Hadamard (come QuIP# e QTIP) apprendendo un raffinamento strutturato attorno a una solida linea di base fissa. I risultati suggeriscono che per la quantizzazione a bit estremamente bassi (2–3 bit), il costo di una calibrazione una tantum per apprendere queste rotazioni vale ampiamente il sostanziale recupero nella qualità del modello.