Sintesi Tecnica: L'Illusione dell'Equivalenza nella Quantizzazione degli LLM

Problema

La quantizzazione post-training (PTQ) è una tecnica standard per l'implementazione di Large Language Models (LLM) in ambienti con risorse limitate, riducendo la precisione numerica di parametri e attivazioni. Tuttavia, le attuali pratiche di valutazione si affidano quasi esclusivamente a metriche aggregate come l'accuratezza e la perplessità. Gli autori sostengono che tali metriche non riescano a catturare i cambiamenti comportamentali indotti dalla quantizzazione. Nello specifico, modelli con punteggi di accuratezza o perplessità simili possono esibire divergenze sostanziali nelle loro predizioni su singoli esempi. Ciò crea un "illusione di equivalenza" in cui un modello quantizzato appare funzionalmente identico al suo controparte base, nonostante sottostanti distorsioni strutturali e inconsistenze a livello decisionale.

Metodologia

Lo studio formalizza la quantizzazione post-training come una famiglia di operatori che agisce sui parametri del modello e analizza il loro impatto congiunto sulle pesature interne dell'attenzione e sul comportamento decisionale. La ricerca impiega un approccio analitico a due stadi:

1. Analisi Strutturale: Gli autori trattano la quantizzazione come un operatore strutturale sulle matrici di proiezione dell'attenzione ($W^Q, W^K, W^V, W^O$). Quantificano le deviazioni strutturali utilizzando:

   • Funzionale Statistico: Momenti (media, deviazione standard, asimmetria, curtosi) calcolati sulle distribuzioni dei pesi.
   • Divergenza Distribuzionale: Metriche che includono la similarità del coseno, la distanza euclidea, la statistica di Kolmogorov–Smirnov (KS) e la divergenza di Kullback–Leibler (KL) tra i vettori di peso base e dequantizzati.
   • Granularità: L'analisi è eseguita a livello di modello (aggregata su tutti i blocchi) e a livello di strato (isolando le proiezioni Q, K, V e O).

2. Valutazione Comportamentale: Lo studio introduce la Correctness Agreement (CA), una metrica a livello decisionale definita come la frazione di esempi in cui sia il modello base che la variante quantizzata producono predizioni corrette. A differenza dell'accuratezza aggregata, la CA misura la sovrapposizione delle decisioni corrette, trascurando i casi in cui entrambi i modelli sbagliano.

Configurazione Sperimentale:

• Modelli: Llama-3.2-3B, Vicuna-7B-v1.5, Mistral-7B-v0.1, e Llama-3.1-8B.
• Schemi di Quantizzazione: Implementati tramite llama.cpp, coprendo i metodi Legacy (Q8_0, Q5_0, Q4_0) e i metodi di K-quantizzazione (da Q6_K a Q2_K).
• Dataset: WikiText-2 e C4 per la perplessità; HellaSwag, Winogrande e ARC per le prestazioni sui task zero-shot a valle.

Contributi Chiave

1. Formalizzazione della Quantizzazione come Operatore: Il lavoro modella la PTQ come una trasformazione $T_c(\theta)$ e studia il suo effetto congiunto sui pesi di proiezione dell'attenzione e sul comportamento decisionale.
2. Analisi di Sensibilità Basata su Statistica e Divergenza: Gli autori propongono un framework per quantificare lo scostamento strutturale per strato utilizzando i momenti statistici e le distanze distribuzionali, rivelando breakpoint non lineari a bassi bit-width.
3. Introduzione della Correctness Agreement (CA): Una nuova metrica che integra l'accuratezza e la perplessità misurando la coerenza delle predizioni corrette tra il modello base e quello quantizzato.
4. Comprensiva Analisi Empirica: Per quanto a conoscenza degli autori, questo è il primo studio controllato che effettua una scansione da 8-bit a 2-bit attraverso sia gli schemi legacy che quelli di K-quantizzazione, collegando lo scostamento delle proiezioni dell'attenzione a livello di blocco ai cambiamenti del comportamento decisionale.

Risultati Sperimentali

1. Distorsioni Statistiche e Strutturali

• Bit-Width Alti/Moderati (da 8-bit a 5-bit): La quantizzazione preserva ampiamente le proprietà statistiche (asimmetria vicina allo zero, curtosi stabile, deviazione standard di base). La quantizzazione legacy (es. Q5_0) mostra un impatto strutturale minimo.
• Bit-Width Bassi (da 4-bit a 2-bit): La quantizzazione aggressiva, in particolare Q3_K e Q2_K, introduce distorsioni pronunciate. Queste includono un aumento dell'asimmetria, una riduzione della curtosi, spostamenti sistematici della media e una maggiore varianza.
• Sensibilità dello Strato: Le proiezioni di Query (Q) e Key (K) sono costantemente più sensibili alla quantizzazione rispetto alle proiezioni di Value (V) e Output (O). Sotto compressione aggressiva (Q3_K, Q2_K), gli strati Q e K mostrano un'asimmetria volatile e un collasso della curtosi, mentre V e O rimangono relativamente stabili fino ai bit-width più bassi.
• Metriche di Divergenza: La similarità del coseno degrada gradualmente, mentre la divergenza KL e le statistiche KS mostrano aumenti netti ai bit-width inferiori, indicando una significativa ridistribuzione della massa dei pesi.

2. Valutazione Comportamentale

• Perplessità e Accuratezza: Queste metriche superficiali spesso rimangono stabili sotto quantizzazione moderata (es. Q4_K, Q5_K) o mostrano un comportamento non monotono. In alcuni casi, bit-width inferiori (es. Q3_K) generano una perplessità inferiore senza garantire la coerenza comportamentale.
• Correctness Agreement (CA): La CA è costantemente inferiore all'accuratezza aggregata e diminuisce al calare della precisione. Anche quando l'accuratezza appare preservata, la sovrapposizione nelle predizioni corrette tra il modello base e quello quantizzato scende drasticamente. Ciò indica che la quantizzazione altera quali esempi il modello indovina, anche se il conteggio totale delle risposte corrette rimane simile.

Significato e Rivendicazioni

Il documento sostiene di esporre un disconnessione fondamentale tra le convenzionali metriche di prestazione e l'effettiva fedeltà comportamentale dei modelli quantizzati.

• L'Illusione dell'Equivalenza: Gli autori dimostrano che un'alta accuratezza o una bassa perplessità non garantiscono che un modello quantizzato preservi la logica decisionale del modello base. Un modello può apparire performante pur divergendo fondamentalmente nelle sue predizioni specifiche.
• Breakpoint Non Lineari: Lo studio identifica soglie specifiche in cui l'integrità strutturale collassa. Q4_K è identificato come il limite superiore della quantizzazione "sicura", Q3_K segna l'inizio del degrado significativo, e Q2_K rappresenta un regime di rottura dove la coerenza strutturale e comportamentale è severamente compromessa.
• Vulnerabilità dei Componenti: I risultati evidenziano che le proiezioni Q e K sono i principali colli di bottiglia per la quantizzazione a basso bit, suggerendo che le future strategie di quantizzazione debbano considerare l'allocazione della precisione adattiva (es. preservare una precisione maggiore per Q/K mentre si comprimono V/O).
• Cambio di Paradigma nella Valutazione: Il lavoro motiva un passaggio nella valutazione oltre le metriche aggregate, avvocando per una valutazione comportamentale (come la Correctness Agreement) e un'analisi strutturale per garantire che i modelli quantizzati non siano solo statisticamente simili, ma anche comportamentalmente allineati con i loro modelli base.