💬 NLP

Through a Compressed Lens: Investigating The Impact of Quantization on Factual Knowledge Recall

Questo studio indaga l'impatto della quantizzazione sul richiamo delle conoscenze fattuali nei grandi modelli linguistici, rivelando che, sebbene la quantizzazione causi generalmente perdita di informazioni e degrado delle prestazioni, in particolare nei modelli più piccoli, non compromette sempre il richiamo e può occasionalmente migliorarlo, con BitSandBytes che dimostra la massima preservazione delle capacità originali.

Autori originali: Qianli Wang, Mingyang Wang, Nils Feldhus, Simon Ostermann, Yuan Cao, Hinrich Schütze, Sebastian Möller, Vera Schmitt

Pubblicato 2026-04-30

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Qianli Wang, Mingyang Wang, Nils Feldhus, Simon Ostermann, Yuan Cao, Hinrich Schütze, Sebastian Möller, Vera Schmitt

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere una biblioteca gigantesca e incredibilmente dettagliata di fatti all'interno di un cervello informatico (un Large Language Model). Questo cervello sa tutto, da "Chi è il padre di Beyoncé?" a "Qual è la capitale della Francia?".

Ora, immagina di voler ridurre questa biblioteca in modo che si adatti a uno scaffale più piccolo, rendendola più veloce ed economica da eseguire. Questo processo si chiama quantizzazione. È come prendere una foto ad alta risoluzione e comprimerla in un file di dimensioni ridotte. Di solito, perdi un po' di dettaglio nel processo, ma l'immagine appare comunque buona.

Questo articolo pone una domanda molto specifica: Quando comprimiamo questi cervelli AI, iniziano a dimenticare i fatti che conoscevano?

Ecco cosa hanno scoperto i ricercatori, spiegato attraverso semplici analogie:

1. Il processo di "Riduzione"

Pensa al modello AI come a un team di lavoratori. Nella versione originale "full-precision", ogni lavoratore ha una calcolatrice di alta gamma e un quaderno spesso.
La quantizzazione è come costringere i lavoratori a usare calcolatrici più piccole ed economiche e quaderni più sottili.

L'obiettivo: Risparmiare spazio e velocizzare il lavoro.
Il rischio: I lavoratori potrebbero perdere alcune informazioni perché i loro nuovi strumenti non sono precisi quanto i precedenti.

2. La scoperta principale: "I bambini piccoli dimenticano di più"

I ricercatori hanno testato tre diversi modi di comprimere i modelli (come usare diversi marchi di calcolatrici economiche) su tre diversi modelli AI (due piccoli e uno di dimensioni medie).

La scoperta: Quando riduci le dimensioni del modello, generalmente perde alcuni fatti. Tuttavia, i modelli più piccoli (come le versioni da 7B o 8B) sono molto più fragili.
L'analogia: Immagina un bambino piccolo che cerca di portare uno zaino pesante. Se rendi lo zaino leggermente più pesante (o, in questo caso, stringi le informazioni più strettamente), il bambino lascia cadere le cose. Un adulto più grande (il modello più grande da 14B) può gestire la compressione molto meglio e mantiene i suoi fatti al sicuro.

3. La sorpresa: A volte la compressione aiuta!

Potresti pensare che rendere uno strumento "più stupido" (meno preciso) lo renda sempre peggiore. Ma i ricercatori hanno scoperto qualcosa di strano: A volte, comprimere il modello lo fa ricordare i fatti meglio.

L'analogia: È come uno studente così stressato dall'avere troppe informazioni che non riesce a concentrarsi. Se gli dai un libro di testo leggermente più semplice (quantizzazione), potrebbe effettivamente performare meglio perché il "rumore" è scomparso. La compressione ha agito come un filtro, aiutando il modello a concentrarsi sui fatti giusti.

4. Dove va a finire la memoria?

I ricercatori non hanno controllato solo la risposta finale; hanno guardato dentro il modello per vedere dove veniva persa la memoria.

Il problema dell'"Ultimo strato": Hanno scoperto che la perdita di informazioni avviene principalmente negli ultimi passaggi del processo di pensiero del modello.
L'analogia: Immagina una staffetta. I corridori (strati) passano il testimone (informazione) lungo la linea. I ricercatori hanno scoperto che il testimone viene solitamente lasciato cadere proprio alla linea di arrivo quando il modello è compresso. I corridori iniziali stanno bene, ma l'ultimo corridore fatica a mantenere il fatto.

5. Il "miglior" metodo di compressione

L'articolo ha testato tre diverse tecniche di compressione:

GPTQ
AWQ
BitSandBytes (bib)

Il vincitore: BitSandBytes è stato il migliore nel mantenere intatti i fatti. Era come usare un sottovuoto di alta qualità che rimuove l'aria ma mantiene il cibo fresco.
Il perdente: Alcuni metodi, specialmente quando si comprime a precisione molto bassa (4-bit), hanno fatto sì che il modello dimenticasse molto, in particolare per i modelli più piccoli.

6. Il test del "Ponte"

Per testare quanto bene i modelli potessero collegare i puntini (come: "Chi è la madre del cantante di 'Superstition'?"), hanno utilizzato un test "multi-hop".

Il risultato: La compressione ha danneggiato di più il primo passo del ragionamento. Se il modello non riusciva a ricordare il primo fatto (chi canta 'Superstition'), non poteva risolvere l'intero puzzle. Tuttavia, se superava il primo passo, era sorprendentemente bravo a completare la catena.

La conclusione

Comprimere i modelli AI è un po' come fare una valigia per un viaggio.

Se la impacchi troppo stretta (alta compressione), potresti lasciare indietro alcuni calzini (dimenticare fatti).
Valigie più piccole (modelli più piccoli) sono più difficili da impacchettare senza perdere cose.
Alcuni metodi di impacchettamento (come BitSandBytes) sono molto migliori di altri.
Occasionalmente, impacchettare più stretto ti aiuta a trovare ciò che ti serve più velocemente, anche se hai perso un paio di calzini.

Complessivamente, l'articolo conclude che, sebbene la compressione causi una certa perdita di informazioni, è ancora una strategia molto efficace. I modelli non si rompono; diventano solo un po' più "sfocati" ai bordi, e per molti utilizzi, quella sfocatura è un compromesso equo per i risparmi di velocità e spazio.

1. Enunciato del Problema

Sebbene la quantizzazione sia ampiamente adottata per accelerare l'inferenza dei Large Language Model (LLM) e ridurre i costi di distribuzione, il suo impatto sul Richiamo della Conoscenza Fattuale (FKR) rimane poco esplorato. Studi precedenti hanno esaminato gli effetti della quantizzazione su multilinguità, bias e allineamento, ma manca una comprensione completa di come la riduzione della precisione dei parametri influisca sulla capacità di un modello di accedere e recuperare conoscenze fattuali memorizzate. Nello specifico, non è chiaro se la quantizzazione causi una perdita sistematica di informazioni, come tale perdita si manifesti attraverso diverse architetture e livelli del modello, e se i modelli a basso numero di bit performino costantemente peggio delle loro controparti a precisione intera in compiti ad alta intensità di conoscenza.

2. Metodologia

Gli autori hanno condotto uno studio empirico completo che combina il benchmarking delle prestazioni con un'analisi guidata dall'interpretabilità.

Modelli e Tecniche di Quantizzazione:
- Modelli: Llama3-8B, Qwen2.5-7B e Qwen2.5-14B.
- Tecniche: Sono state valutate tre metodologie di Quantizzazione Post-Addestramento (PTQ) a diverse larghezze di bit (4-bit e 8-bit):
  - GPTQ: Ottimizzazione basata sull'ematrice di Hessian di secondo ordine.
  - AWQ: Quantizzazione dei pesi consapevole dell'attivazione per gestire gli outlier.
  - BitSandBytes (bib): Quantizzazione intera che utilizza kernel a basso numero di bit ottimizzati (bib4 e bib8).
- Baseline: Modelli a precisione intera.
Dataset:
- LRE (Knowledge Probing): Un dataset di triple di conoscenza $(s, r, o)$ utilizzato per misurare l'accuratezza del richiamo fattuale diretto.
- TwoHop-Fact: Un dataset progettato per testare il Ragionamento Multi-hop Latente (LMHR), che richiede al modello di collegare due fatti (ad esempio, $e_1 \to e_2 \to e_3$ ) per rispondere a una query.
Analisi di Interpretabilità:
- Analisi della Memorizzazione della Conoscenza: Utilizzando la Teoria dei Neuroni della Conoscenza, gli autori hanno tracciato la perdita di informazioni fino a specifici neuroni e livelli. Hanno calcolato "punteggi di contributo" (aumento della log-probabilità dei token corretti) per i neurini nei modelli a precisione intera rispetto a quelli quantizzati per identificare quali neuroni perdono influenza.
- Analisi del Ragionamento Multi-hop Latente: Valutata utilizzando tre metriche:
  1. Entity Recall Score (ENTREC): Capacità di richiamare l'entità ponte ( $e_2$ ) in una catena a due hop.
  2. Consistency Score (CNSTSCORE): Somiglianza tra le distribuzioni di output dei prompt a un hop e a due hop.
  3. FKR Accuracy: Predizione corretta dell'oggetto target finale.

3. Contributi Chiave

Valutazione Sistematica del FKR: Fornisce la prima analisi completa di come diverse tecniche PTQ e larghezze di bit degradino o preservino specificamente il richiamo della conoscenza fattuale attraverso diverse famiglie di modelli.
Approfondimenti a Livello di Livello e Neurone: Ha mappato il degrado della conoscenza su componenti architetturali specifici, rivelando che la quantizzazione impatta principalmente gli ultimi livelli della rete, dove la conoscenza fattuale è spesso consolidata.
Risultati Controintuitivi: Ha dimostrato che la quantizzazione a basso numero di bit non porta sempre a prestazioni peggiori; in alcuni casi, la quantizzazione agisce come un regolarizzatore, migliorando involontariamente il richiamo fattuale.
Confronto tra Metodi: Ha identificato BitSandBytes (bib) come la tecnica più efficace per preservare il FKR rispetto a GPTQ e AWQ, in particolare nelle configurazioni a 8 bit.

4. Risultati Chiave

A. Tendenze Generali delle Prestazioni

Perdita di Informazioni: La quantizzazione causa tipicamente una perdita di informazioni, portando a una ridotta accuratezza del FKR. Questo effetto è amplificato nei modelli più piccoli (ad esempio 7B/8B) all'interno della stessa famiglia rispetto alle varianti più grandi (14B).
Sensibilità alla Larghezza di Bit:
- Modelli a 4 bit: Hanno mostrato costantemente cali significativi di accuratezza, specialmente con GPTQ e AWQ.
- Modelli a 8 bit: Hanno generalmente mantenuto prestazioni comparabili ai modelli a precisione intera.
- BitSandBytes (bib): Ha mostrato la più alta preservazione delle capacità originali di FKR. In molti casi, bib8 e persino bib4 hanno mantenuto un'accuratezza vicina alla precisione intera.

B. Analisi Granulare (Neuroni e Livelli)

Impatto per Livello: Il degrado non è uniforme. Lo studio ha rilevato che la quantizzazione influisce principalmente sugli ultimi livelli del modello.
- In Qwen2.5-7B, il calo più significativo nei punteggi di contributo dei neuroni si è verificato negli ultimi due livelli.
- In Llama3-8B, il declino si è verificato nei livelli medio-tardivi, con un certo recupero negli ultimi livelli, suggerendo differenze architetturali nel modo in cui la conoscenza viene memorizzata.
Contributo dei Neuroni: Il numero di neuroni ad "alto contributo" (quelli critici per le risposte corrette) è diminuito significativamente dopo la quantizzazione, in particolare per le relazioni in cui il modello a precisione intera non aveva ancora saturato (ad esempio, "padre di persona", "monumento su continente").

C. Ragionamento Multi-hop (TwoHop-Fact)

Sensibilità al Primo Hop: La quantizzazione influisce in modo sproporzionato sul primo hop ( $r_1$ ) delle catene di ragionamento. Il degrado nel primo hop correla fortemente (Spearman $\rho = 0.93$ ) con il fallimento nella previsione dell'entità ponte, che successivamente causa il fallimento del secondo hop.
Imprevedibilità: L'impatto della quantizzazione è eterogeneo. Sebbene alcuni modelli quantizzati abbiano performato peggio, altri (in particolare le varianti bib) hanno occasionalmente superato i modelli a precisione intera, probabilmente a causa di un effetto di regolarizzazione o di un'iniezione benefica di rumore.

D. Fragilità Specifica per Relazione

I tipi di conoscenza non completamente saturati nel modello a precisione intera (ad esempio, fatti biografici specifici) sono stati più fragili sotto quantizzazione rispetto alla conoscenza comune (ad esempio, "capitale del paese").

5. Significato e Implicazioni

Fattibilità di Distribuzione: Lo studio conferma che la quantizzazione rimane una strategia di compressione praticabile per gli LLM. Sebbene una certa perdita di accuratezza sia inevitabile, è generalmente modesta e non compromette l'utilità del modello per compiti fattuali, specialmente quando si utilizza la quantizzazione a 8 bit o il metodo BitSandBytes.
Selezione del Modello: Per applicazioni che richiedono un richiamo fattuale ad alta fedeltà, si raccomanda BitSandBytes (bib) rispetto a GPTQ o AWQ, in particolare per vincoli a 4 bit.
Comprensione Architetturale: I risultati suggeriscono che la conoscenza fattuale è memorizzata in modo diverso tra le famiglie di modelli (Llama vs Qwen) ed è concentrata negli ultimi livelli della rete. Questo fornisce un nuovo obiettivo per la ricerca futura sulla compressione dei modelli e sulla modifica della conoscenza.
Miglioramento Paradosso: L'osservazione che la quantizzazione possa talvolta migliorare il richiamo sfida l'assunzione che la compressione sia strettamente dannosa, suggerendo che il rumore controllato o la regolarizzazione derivante dalla quantizzazione potrebbero aiutare a filtrare correlazioni spurie.

Limitazioni

Ambito Linguistico: Gli esperimenti sono stati limitati a dataset in inglese; il FKR multilingue potrebbe essere influenzato diversamente.
Dimensione del Modello: Le analisi basate sul gradiente sono state limitate a modelli $\le$ 14B a causa dei vincoli di memoria GPU.
Ambito della Quantizzazione: Lo studio si è concentrato sulla PTQ solo sui pesi. La quantizzazione delle attivazioni, la compressione della cache KV e l'Addestramento Consapevole della Quantizzazione (QAT) non sono stati inclusi.