Riepilogo Tecnico: Adattarsi a Qualsiasi Bit-Width: Quantizzazione a Precisione Mista per Canale per gli LLM

1. Definizione del Problema

I Large Language Models (LLM) affrontano sfide significative di deployment su dispositivi edge a causa delle loro massicce dimensioni dei parametri, che impongono requisiti di memoria sostanziali. Sebbene la Post-Training Quantization (PTQ) basata solo sui pesi offra una soluzione riducendo la precisione (ad esempio, da FP16 a 3-bit), gli approcci esistenti soffrono di due limitazioni primarie:

1. Rigidità dell'Integer-Bit: La maggior parte dei metodi PTQ allo stato dell'arte (ad esempio, GPTQ, AWQ) si concentra sulla quantizzazione a bit interi uniformi su tutti i layer. Ciò limita la loro adattabilità a dispositivi che potrebbero supportare bit-width medi frazionari (ad esempio, 2.2 o 3.8 bit), portando a un sottoutilizzo dello storage disponibile.
2. Strategie di Precisione Mista Inefficaci: I metodi di precisione mista esistenti, come LLM-MQ, spesso si affidano alla stima della sensibilità per layer utilizzando informazioni del primo ordine (gradienti). Tuttavia, negli LLM convergente, i gradienti sono approssimativamente zero, rendendo difficile differenziare efficacemente le sensibilità dei layer. Inoltre, l'allocazione per layer può concentrare la perdita di informazione in specifici layer, degradando le prestazioni complessive. Inoltre, i metodi che mantengono passivamente gli outlier in FP16 spesso causano un aumento della latenza di inferenza senza guadagni proporzionali nelle prestazioni.

2. Metodologia: Quantizzazione a Precisione Mista per Canale (CMPQ)

Gli autori propongono CMPQ, un framework PTQ progettato per adattare gli LLM a qualsiasi vincolo di bit-width medio, inclusi i valori non interi, senza sacrificare le prestazioni. Il metodo opera attraverso tre componenti principali:

A. Quantizzazione Non Uniforme per Canale

A differenza della quantizzazione uniforme che divide gli intervalli di peso in bin equamente spaziati, CMPQ impiega la quantizzazione non uniforme (tramite clustering K-means) per gestire meglio le distribuzioni di peso non uniformi tipiche degli LLM.

• Allocazione della Precisione: Invece di assegnare un bit-width fisso a un intero layer, CMPQ assegna la precisione a livello di canale.
• Euristica Basata sull'Attivazione: Il metodo calcola la norma L2 delle attivazioni per ogni canale durante un passaggio in avanti (forward pass) su un set di calibrazione.
  • Se il bit-width medio target $b > 3$, i canali con grandi norme di attivazione (canali salienti) ricevono una precisione maggiore (ad esempio, 4-bit) per preservare le informazioni critiche.
  • Se $b < 3$, i canali meno critici ricevono una precisione minore (ad esempio, 2-bit) per minimizzare lo storage.
  • Per $b = 3$, una piccola frazione (~1%) di canali salienti è protetta con precisione a 4-bit, mentre il resto utilizza 3-bit.
• Algoritmo: L'allocazione è determinata dall'Algoritmo 1, che utilizza i quantili del vettore della norma di attivazione per assegnare i bit-width $c_i \in \{2, 3, 4\}$ a ciascun canale $i$.

B. Protezione Duale degli Outlier

Per mitigare il degrado causato dai valori estremi (outlier), CMPQ integra due distinte tecniche di estrazione degli outlier che preservano specifici pesi in FP16:

1. Outlier Basati sull'Attivazione ($O_{act}$): I canali corrispondenti allo 0.45% superiore delle norme L2 di attivazione vengono identificati e preservati in FP16. Questo affrontano l'osservazione secondo cui gli outlier spesso presentano un pattern per canale.
2. Outlier Consapevoli della Quantizzazione ($O_q$): Dopo la rimozione di $O_{act}$, i pesi rimanenti subiscono una quantizzazione non uniforme per canale. Lo 0.05% superiore dei pesi con i più grandi errori di quantizzazione assoluti ($|W' - W'_q|$) viene identificato e preservato in FP16. Ciò assicura che i centroidi di clustering utilizzati per la quantizzazione rappresentino la maggior parte della distribuzione dei pesi piuttosto che essere distorti da valori estremi.

• Overhead Totale: Il rapporto di outlier combinato è mantenuto allo 0.5%, coerentemente con i metodi baseline, garantendo confronti equi sullo storage.

C. Efficienza e Deployment

• Nessuna Backpropagation: CMPQ richiede solo un singolo passaggio in avanti per la calibrazione, evitando i passaggi di backpropagation intensivi in termini di memoria richiesti da metodi come SqueezeLLM.
• Inferenza: Il framework gestisce la moltiplicazione di matrici a precisione mista decomponendo i pesi in sottomatrici basate sull'allocazione dei canali. Gli outlier sono elaborati tramite kernel sparse CSR standard, mentre la massa dei pesi è elaborata tramite kernel a basso bit.

3. Contributi Chiave

1. Framework Adattivo: Introduzione di CMPQ, un framework di quantizzazione post-training che supporta bit-width medi arbitrari (inclusi i valori frazionari) tramite l'allocazione della precisione per canale.
2. Meccanismo Novello: Integrazione della quantizzazione non uniforme con una strategia di gestione duale degli outlier (basata sull'attivazione e consapevole della quantizzazione) che fornisce un controllo fine con un basso overhead.
3. Guadagni di Prestazioni: Dimostrazione che CMPQ supera i metodi precedenti sia in contesti di bit interi che in contesti di bit frazionari, ottenendo miglioramenti significativi delle prestazioni con modesti aumenti dell'uso della memoria.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su nove LLM (OPT, LLaMA2, LLaMA3) attraverso vari bit-width (2, 3, 4 bit) e dataset (WikiText-2, C4, PIQA, HellaSwag, MMLU).

• Prestazioni Integer-Bit: CMPQ raggiunge punteggi di perplexity state-of-the-art o competitivi rispetto ai baseline come GPTQ, AWQ, QuIP e LLM-MQ. Ad esempio, su OPT-2.7B a 3-bit, CMPQ raggiunge una perplexity di WikiText-2 di 13.38, superando LLM-MQ (18.09) e GPTQ (17.09).
• Prestazioni Fractional-Bit: CMPC dimostra una superiore adattabilità ai bit-width frazionari (ad esempio, 2.2, 3.4 bit). Su LLaMA2-7B, passare da una precisione media di 2 a 2.2 bit produce un miglioramento del 30% nella perplexity (da 15.97 a 11.11), un guadagno non raggiungibile con i metodi a soli interi.
• Robustezza: CMPC mostra una maggiore robustezza alle variazioni del set di calibrazione rispetto ai metodi basati sull'Essia come QuIP, che possono divergere quando il dataset di valutazione differisce dal set di calibrazione.
• Efficienza:
  • Memoria: L'overhead per la memorizzazione dei metadati di allocazione dei bit e dei centri di cluster è minimo (<0.03 bit per peso).
  • Latenza: La latenza di inferenza e l'uso di picco della memoria sono comparabili ai metodi di quantizzazione a soli interi come SqueezeLLM, con solo un modesto aumento (circa 11-12%) per i modelli più grandi (13B) dovuto al percorso ausiliario ad alta precisione.
  • Calibrazione: CMPC è altamente efficiente nei dati, raggiungendo le prestazioni desiderate con appena 1-2 campioni di calibrazione, mentre altri metodi richiedono spesso più di 50.

5. Significato e Rivendicazioni

Il paper afferma che CMPC rappresenta un passo avanti significativo nella quantizzazione degli LLM colmando il divario tra l'efficienza teorica dello storage e i vincoli pratici di deployment.

• Adattabilità: Permette l' "uso strutturato della precisione a bit frazionari", consentendo agli sviluppatori di utilizzare appieno i budget di memoria disponibili sul dispositivo invece di essere limitati a schemi a bit interi.
• Ottimizzazione del Trade-off: Il metodo ottiene un superiore trade-off memoria-accuratezza allocando proattivamente la precisione ai canali a basso bit pur mantenendo fisso l'impronta FP16, evitando le penalità di latenza associate alla ritenzione passiva degli outlier.
• Praticità: Eliminando la necessità di backpropagation e richiedendo una quantità minima di dati di calibrazione, CMPC offre una soluzione scalabile ed efficiente adatta a scenari di deployment nel mondo reale dove le risorse computazionali e di memoria sono limitate.

Gli autori riconoscono i limiti, incluso il focus sulla quantizzazione basata solo sui pesi, la dipendenza da un set discreto di livelli di precisione ({2, 3, 4}) e l'assunzione che il set di calibrazione sia rappresentativo della distribuzione di utilizzo target. Tuttavia, affermano che CMPC fornisce un approccio altamente adattabile ed efficace alla quantizzazione degli LLM attraverso diverse capacità dei dispositivi.