Riepilogo Tecnico: AAAC (Codebook Adattivi Consapevoli delle Attivazioni)

1. Enunciato del Problema

I Large Language Models (LLM) affrontano vincoli significativi di memoria e calcolo, rendendo la quantizzazione post-addestramento solo dei pesi a 4 bit (W4A16/W4A8) una strategia di deployment critica. I metodi esistenti di Quantizzazione Post-Addestramento (PTQ) operano generalmente sotto un'assunzione di griglia fissa. Tentano di migliorare l'accuratezza ottimizzando come i pesi vengono mappati su una griglia scalare predefinita e statica a 4 bit (ad esempio, formati standard INT4 o NVFP4) attraverso tecniche come la scalatura per canale (AWQ), il clipping o la compensazione dell'errore (GPTQ).

Gli autori sostengono che questo approccio lasci potenziale qualità inesplorata. Sebbene il formato a 4 bit fissi il numero di codici memorizzati e la struttura della scala per gruppi, non impone che la griglia di ricostruzione scalare stessa sia fissa. I valori dequantizzati, che determinano i pesi effettivi utilizzati durante l'inferenza, sono vincolati da questa tabella fissa. I metodi attuali migliorano la mappatura verso la tabella, ma non adattano la tabella stessa alla specifica distribuzione dei pesi e alle statistiche delle attivazioni di un dato strato.

2. Metodologia: AAAC

Il documento propone AAAC (Codebook Adattivi Consapevoli delle Attivazioni), un metodo leggero e privo di gradienti che sostituisce la singola tabella scalare fissa $T$ con due codebook scalari appresi ($T_0$ e $T_1$) per strato.

Meccanismo Principale

1. Codebook Adattivi: Invece di una singola griglia fissa, AAAC apprende due piccoli codebook scalari per strato. Questi codebook hanno la stessa cardinalità del formato base a 4 bit (ad esempio, 15 voci per NVFP4, 16 per INT4), ma i loro valori sono ottimizzati a partire da dati di calibrazione anziché fissati dalla specifica del formato.
2. Selezione Consapevole delle Attivazioni: Per ogni gruppo di pesi, il metodo seleziona il codebook ($T_0$ o $T_1$) che minimizza l'errore di ricostruzione pesato dalle attivazioni. L'importanza di ogni peso è determinata dall'energia quadratica dell'attivazione della sua colonna corrispondente nell'insieme di calibrazione ($I_k = \sum X_{t,k}^2$).
3. Archiviazione a Sovraccarico Zero:
   • Dimensione del Codebook: Ogni codebook contiene solo circa 15–16 valori BF16, per un totale di circa 64 byte per strato. Per un modello da 7B, questo aggiunge solo circa 14 KB di archiviazione, trascurabile.
   • Bit di Selezione: La scelta del codebook per un gruppo è codificata nel bit di segno inutilizzato del fattore di scala positivo del gruppo (poiché le scale sono sempre positive). Ciò consente una selezione per gruppo con zero sovraccarico di archiviazione aggiuntivo quando la dimensione del gruppo di selezione ($S$) corrisponde alla dimensione del gruppo di scala ($g$).
4. Algoritmo di Apprendimento:
   • Inizializzazione: $T_0$ e $T_1$ sono inizializzati utilizzando quantili equidistanti della distribuzione normalizzata dei pesi, con $T_1$ spostato di mezzo passo per fornire punti di partenza distinti.
   • Ottimizzazione Alternata: L'algoritmo alterna tra:
     • Assegnazione: Assegnare ogni gruppo di pesi al codebook che minimizza l'errore pesato dalle attivazioni.
     • Raffinamento: Aggiornare le voci del codebook utilizzando k-means pesato dalle attivazioni (calcolando il centroide pesato della cella di Voronoi per ogni voce).
   • Efficienza: Il processo non richiede retropropagazione, nessun calcolo dell'Hessiano e nessun gradiente del modello completo. Elaborazione degli strati in modo indipendente utilizzando solo le attivazioni del passaggio in avanti.

3. Contributi Chiave

• Ridefinizione dell'Obiettivo PTQ: AAAC sposta il focus dalla mappatura dei pesi su una griglia fissa all'apprendimento della griglia stessa, introducendo un nuovo grado di libertà nella quantizzazione.
• Ottimizzazione Leggera Senza Gradienti: A differenza dei metodi assistiti da gradienti (ad esempio, OmniQuant, SqueezeLLM) che richiedono ore di retropropagazione e un enorme sovraccarico di memoria (2–4× la dimensione del modello), AAAC apprende tramite semplici k-means sulle attivazioni in avanti.
• Sovraccarico di Archiviazione Zero: Sfruttando il bit di segno inutilizzato del fattore di scala, AAAC ottiene la selezione del codebook adattivo senza aumentare l'impronta di memoria del modello.
• Velocità: La quantizzazione si completa in 3–30 minuti su una singola GPU, ordini di grandezza più veloce rispetto alle baseline assistite da gradienti.

4. Risultati Sperimentali

Gli autori hanno valutato AAAC sulle famiglie di modelli Llama (1B–13B) e Qwen (0.5B–32B) utilizzando sia layout NVFP4 ($g=16$) che INT4 ($g=128$).

• Rispetto ai Metodi Senza Gradienti: AAAC supera costantemente RTN, IF4, AWQ e GPTQ.
  • Su WikiText-2, AAAC ha ottenuto un recupero del gap del 59,2% (rispetto a RTN) in media per NVFP4, superando significativamente AWQ (28,1%) e IF4 (12,3%).
  • Nelle impostazioni INT4 ($g=128$), AAAC con sovraccarico zero ($S=128$) ha già superato AWQ sulla maggior parte dei modelli; aggiungendo un sovraccarico trascurabile di 0,0625 bpw ($S=16$), le prestazioni sono ulteriormente migliorate.
• Rispetto ai Metodi Assistiti da Gradienti: AAAC eguaglia o supera le prestazioni dei metodi che richiedono ore di ottimizzazione e alta memoria.
  • AAAC ha ottenuto un recupero medio del gap del 60,0%, eguagliando QuIP# con fine-tuning (60,0%) e superando OmniQuant (55,0%), SqueezeLLM (55,0%) e GPTVQ (25,0%).
  • Crucialmente, AAAC ottiene questo risultato con una memoria di picco non superiore alla dimensione originale del modello e in minuti anziché ore.
• Compiti a Valle: Su 8 compiti a valle (ragionamento, conoscenza, senso comune, matematica) utilizzando modelli Qwen3.5, AAAC ha ottenuto la massima accuratezza media (64,21%) tra tutti i metodi quantizzati, recuperando il 49,3% del gap rispetto alla baseline BF16.
• Combinazione con AWQ: Quando combinato con AWQ (scalatura dei pesi prima della quantizzazione), AAAC recupera il 70,5% del gap di quantizzazione in media, dimostrando compatibilità con altre tecniche PTQ.

5. Significato e Affermazioni

Il documento afferma che AAAC sfida l'assunzione prevalente secondo cui i gradienti sono necessari per colmare il gap di qualità tra modelli quantizzati a 4 bit e baseline a precisione intera. Dimostrando che un metodo leggero e privo di gradienti può eguagliare o superare le prestazioni di algoritmi complessi assistiti da gradienti, gli autori suggeriscono che i codebook appresi su scala minima rappresentano una direzione pratica ed efficiente per la quantizzazione a 4 bit degli LLM.

Il significato risiede nel compromesso: AAAC offre un'accuratezza vicina allo stato dell'arte (rivaleggiando con metodi che richiedono 100 ore GPU) con costi computazionali minimi (minuti) e zero sovraccarico di memoria, rendendo la quantizzazione a 4 bit di alta qualità accessibile per un'ampia gamma di scenari di deployment.

Limitazioni notate dagli autori:

• La valutazione è limitata a modelli fino a 32B parametri; le dinamiche 70B+ non sono state testate.
• I confronti con i metodi assistiti da gradienti sono limitati a LLaMA 7B/13B a causa della coerenza del protocollo nella letteratura precedente.
• Il metodo mira alla quantizzazione solo dei pesi (W4A16/W4A8) e non affronta la quantizzazione congiunta pesi-attivazioni (W4A4).