Through a Compressed Lens: Investigating The Impact of Quantization on Factual Knowledge Recall

1. Probleemstelling

Hoewel kwantisatie wijdverbreid wordt toegepast om de inferentie van Large Language Models (LLM's) te versnellen en implementatiekosten te verlagen, blijft de impact op Factual Knowledge Recall (FKR) onderbelicht. Eerdere studies hebben de effecten van kwantisatie onderzocht op meertaligheid, bias en uitlijning, maar er ontbreekt een uitgebreid begrip van hoe het verminderen van de parameterprecisie de mogelijkheid van een model beïnvloedt om opgeslagen feitelijke kennis te benaderen en op te halen. Specifiek is het onduidelijk of kwantisatie systematisch informatieverlies veroorzaakt, hoe dit verlies zich manifesteert over verschillende modelarchitecturen en lagen heen, en of modellen met een lagere bitdiepte consequent slechter presteren dan hun tegenhangers met volledige precisie in kennisintensieve taken.

2. Methodologie

De auteurs voerden een uitgebreide empirische studie uit waarbij prestatiebenchmarking werd gecombineerd met interpretatiegestuurde analyse.

• Modellen & Kwantisatietechnieken:

  • Modellen: Llama3-8B, Qwen2.5-7B en Qwen2.5-14B.
  • Technieken: Drie Post-Training Quantization (PTQ)-methoden werden geëvalueerd bij verschillende bitbreedtes (4-bit en 8-bit):
    • GPTQ: Optimalisatie op basis van tweede-orde Hessiaan.
    • AWQ: Actiegbewuste gewichtskwantisatie die uitschieters verwerkt.
    • BitSandBytes (bib): Gehele getalkwantisatie met behulp van geoptimaliseerde low-bit kernels (bib4 en bib8).
  • Basislijn: Modellen met volledige precisie.

• Datasets:

  • LRE (Knowledge Probing): Een dataset van kennisdrietallen $(s, r, o)$ die wordt gebruikt om de nauwkeurigheid van directe feitelijke herinnering te meten.
  • TwoHop-Fact: Een dataset ontworpen om Latent Multi-hop Reasoning (LMHR) te testen, waarbij het model twee feiten moet overbruggen (bijv. $e_1 \to e_2 \to e_3$) om een vraag te beantwoorden.

• Interpretatieanalyse:

  • Kennisinformatie-analyse: Met behulp van Knowledge Neuron Theory traceerden de auteurs informatieverlies naar specifieke neuronen en lagen. Ze berekenden "bijdragescores" (toename van de log-probabiliteit van correcte tokens) voor neuronen in modellen met volledige precisie versus gekwantiseerde modellen om te identificeren welke neuronen hun invloed verliezen.
  • Latent Multi-hop Reasoning-analyse: Geëvalueerd met drie metrieken:
    1. Entity Recall Score (ENTREC): Vermogen om de brugentiteit ($e_2$) in een twee-hops keten op te halen.
    2. Consistency Score (CNSTSCORE): Similariteit tussen uitgangsverdelingen van één-hop en twee-hop prompts.
    3. FKR-nauwkeurigheid: Correcte voorspelling van het uiteindelijke doelobject.

3. Belangrijkste Bijdragen

1. Systematische FKR-evaluatie: Biedt de eerste uitgebreide analyse van hoe verschillende PTQ-technieken en bitbreedtes specifiek de feitelijke kennisherinnering verslechteren of behouden over meerdere model families.
2. Inzichten op niveau van lagen en neuronen: In kaart brengen van de degradatie van kennis naar specifieke architecturale componenten, waarbij wordt geopenbaard dat kwantisatie voornamelijk invloed heeft op de laatste lagen van het netwerk waar feitelijke kennis vaak wordt geconsolideerd.
3. Tegenintuïtieve bevindingen: Aangetoond dat lagere bit-kwantisatie niet altijd leidt tot slechtere prestaties; in sommige gevallen werkt kwantisatie als een regularisator en verbetert het onbedoeld de feitelijke herinnering.
4. Methodenvergelijking: BitSandBytes (bib) geïdentificeerd als de meest effectieve techniek voor het behoud van FKR in vergelijking met GPTQ en AWQ, met name in 8-bit configuraties.

4. Belangrijkste Resultaten

A. Algemene Prestatietrends

• Informatieverlies: Kwantisatie veroorzaakt doorgaans informatieverlies, wat leidt tot verminderde FKR-nauwkeurigheid. Dit effect is versterkt in kleinere modellen (bijv. 7B/8B) binnen dezelfde familie in vergelijking met grotere varianten (14B).
• Gevoeligheid voor bitbreedte:
  • 4-bit modellen: Toonden consequent significante dalingen in nauwkeurigheid, vooral met GPTQ en AWQ.
  • 8-bit modellen: Behielden over het algemeen prestaties die vergelijkbaar waren met modellen met volledige precisie.
  • BitSandBytes (bib): Toonde de hoogste behoudswaarde van oorspronkelijke FKR-capaciteiten. In veel gevallen behielden bib8 en zelfs bib4 een nauwkeurigheid die dicht bij volledige precisie lag.

B. Gedetailleerde Analyse (Neuronen & Lagen)

• Invloed per laag: De degradatie is niet uniform. De studie vond dat kwantisatie voornamelijk de laatste lagen van het model beïnvloedt.
  • In Qwen2.5-7B trad de grootste daling in neuronbijdragescores op in de laatste twee lagen.
  • In Llama3-8B vond de daling plaats in de midden- tot late lagen, met enig herstel in de laatste lagen, wat wijst op architecturale verschillen in hoe kennis wordt opgeslagen.
• Neuronbijdrage: Het aantal "hoog-bijdragende" neuronen (die cruciaal zijn voor correcte antwoorden) nam aanzienlijk af na kwantisatie, met name voor relaties waarbij het model met volledige precisie nog niet verzadigd was (bijv. "persoon vader", "landmark op continent").

C. Multi-hop Redenering (TwoHop-Fact)

• Gevoeligheid eerste hop: Kwantisatie heeft een onevenredige invloed op de eerste hop ($r_1$) van redeneerketens. De degradatie in de eerste hop correleert sterk (Spearman $\rho = 0.93$) met het falen om de brugentiteit te voorspellen, wat vervolgens leidt tot het falen van de tweede hop.
• Onvoorspelbaarheid: De impact van kwantisatie is heterogeen. Hoewel sommige gekwantiseerde modellen slechter presteerden, presteerden anderen (specifiek bib-varianten) soms beter dan modellen met volledige precisie, waarschijnlijk vanwege een regularisatie-effect of gunstige ruisinjectie.

D. Relatie-specifieke Fragiliteit

• Kennistypes die niet volledig verzadigd waren in het model met volledige precisie (bijv. specifieke biografische feiten) waren kwetsbaarder onder kwantisatie dan algemene kennis (bijv. "hoofdstad van land").

5. Betekenis en Implicaties

• Implementatiehaalbaarheid: De studie bevestigt dat kwantisatie een haalbare compressiestrategie blijft voor LLM's. Hoewel enig verlies aan nauwkeurigheid onvermijdelijk is, is dit over het algemeen bescheiden en compromitteert het niet de bruikbaarheid van het model voor feitelijke taken, vooral bij gebruik van 8-bit kwantisatie of de BitSandBytes-methode.
• Modelselectie: Voor toepassingen die hoge-fideliteit feitelijke herinnering vereisen, wordt BitSandBytes (bib) aanbevolen boven GPTQ of AWQ, met name voor 4-bit beperkingen.
• Architecturale Inzicht: De bevindingen suggereren dat feitelijke kennis verschillend wordt opgeslagen over model families heen (Llama versus Qwen) en geconcentreerd is in de latere lagen van het netwerk. Dit biedt een nieuw doelwit voor toekomstig onderzoek naar modelcompressie en kennisbewerking.
• Paradoxale verbetering: De observatie dat kwantisatie soms de herinnering kan verbeteren, daagt de aanname uit dat compressie strikt schadelijk is, en suggereert dat gecontroleerde ruis of regularisatie door kwantisatie kan helpen om valse correlaties te filteren.

Beperkingen

• Taalbereik: Experimenten waren beperkt tot Engelstalige datasets; meertalige FKR kan anders worden beïnvloed.
• Modelgrootte: Op gradiënten gebaseerde analyses waren beperkt tot modellen $\le$ 14B vanwege GPU-geheugenbeperkingen.
• Kwantisatiebereik: De studie richtte zich op gewicht-only PTQ. Actiebgewekt kwantisatie, KV-cache compressie en Quantization-Aware Training (QAT) waren niet inbegrepen.