💬 NLP

Through a Compressed Lens: Investigating The Impact of Quantization on Factual Knowledge Recall

Diese Arbeit untersucht den Einfluss der Quantisierung auf den Abruf faktischen Wissens in großen Sprachmodellen und zeigt, dass die Quantisierung zwar allgemein zu Informationsverlust und Leistungsverschlechterung führt – insbesondere bei kleineren Modellen –, jedoch nicht immer den Abruf beeinträchtigt und ihn gelegentlich sogar verbessern kann, wobei BitSandBytes die beste Erhaltung der ursprünglichen Fähigkeiten aufweist.

Ursprüngliche Autoren: Qianli Wang, Mingyang Wang, Nils Feldhus, Simon Ostermann, Yuan Cao, Hinrich Schütze, Sebastian Möller, Vera Schmitt

Veröffentlicht 2026-04-30

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Qianli Wang, Mingyang Wang, Nils Feldhus, Simon Ostermann, Yuan Cao, Hinrich Schütze, Sebastian Möller, Vera Schmitt

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben eine riesige, unglaublich detaillierte Bibliothek von Fakten in einem Computerhirn (ein Large Language Model). Dieses Hirn weiß alles von „Wer ist Beyoncés Vater?" bis „Was ist die Hauptstadt von Frankreich?".

Stellen Sie sich nun vor, Sie möchten diese Bibliothek so verkleinern, dass sie auf ein kleineres Regal passt, wodurch sie schneller und günstiger zu betreiben ist. Dieser Prozess heißt Quantisierung. Es ist wie das Komprimieren eines hochauflösenden Fotos in eine kleinere Dateigröße. Normalerweise verlieren Sie dabei ein wenig Detail, aber das Bild sieht immer noch gut aus.

Diese Arbeit stellt eine sehr spezifische Frage: Wenn wir diese KI-Hirne komprimieren, beginnen sie dann, die Fakten zu vergessen, die sie vorher kannten?

Hier ist, was die Forscher herausfanden, erklärt durch einfache Analogien:

1. Der „Verkleinerungs"-Prozess

Stellen Sie sich das KI-Modell als ein Team von Arbeitern vor. In der ursprünglichen „Full-Precision"-Version hat jeder Arbeiter einen High-End-Rechner und ein dickes Notizbuch.
Quantisierung ist wie das Erzwingen, dass die Arbeiter kleinere, billigere Rechner und dünnere Notizbücher verwenden.

Das Ziel: Platz sparen und die Arbeit beschleunigen.
Das Risiko: Die Arbeiter könnten Informationen verlieren, weil ihre neuen Werkzeuge nicht so präzise sind.

2. Die Hauptentdeckung: „Die kleinen Kinder vergessen mehr"

Die Forscher testeten drei verschiedene Methoden zur Komprimierung der Modelle (wie die Verwendung verschiedener Marken billiger Rechner) an drei verschiedenen KI-Modellen (zwei kleine und eines mittelgroßes).

Die Erkenntnis: Wenn Sie das Modell verkleinern, verliert es im Allgemeinen einige Fakten. Allerdings sind die kleineren Modelle (wie die 7B- oder 8B-Versionen) viel anfälliger.
Die Analogie: Stellen Sie sich ein kleines Kind vor, das versucht, einen schweren Rucksack zu tragen. Wenn Sie den Rucksack etwas schwerer machen (oder in diesem Fall die Informationen enger zusammendrücken), lässt das Kind Dinge fallen. Ein größerer Erwachsener (das größere 14B-Modell) kann den Druck viel besser aushalten und behält seine Fakten sicher.

3. Die Überraschung: Manchmal hilft Komprimierung!

Man könnte denken, dass das „Dümmermachen" eines Werkzeugs (weniger präzise) es immer schlechter macht. Aber die Forscher fanden etwas Seltsames heraus: Manchmal machte die Komprimierung des Modells es tatsächlich besser, Fakten zu erinnern.

Die Analogie: Es ist wie ein Schüler, der so gestresst ist, zu viele Informationen zu haben, dass er sich nicht konzentrieren kann. Wenn Sie ihm ein etwas einfacheres Lehrbuch geben (Quantisierung), könnte er tatsächlich besser abschneiden, weil das „Rauschen" weg ist. Die Komprimierung wirkte wie ein Filter, der dem Modell half, sich auf die richtigen Fakten zu konzentrieren.

4. Wohin geht das Gedächtnis?

Die Forscher prüften nicht nur die endgültige Antwort; sie schauten in das Modell hinein, um zu sehen, wo das Gedächtnis verloren ging.

Das „Letzte-Schicht"-Problem: Sie fanden heraus, dass der Informationsverlust hauptsächlich in den sehr letzten Schritten des Denkprozesses des Modells auftritt.
Die Analogie: Stellen Sie sich eine Staffel vor. Die Läufer (Schichten) geben den Stab (Information) die Reihe entlang weiter. Die Forscher fanden heraus, dass der Stab normalerweise genau am Zielstrich fallen gelassen wird, wenn das Modell komprimiert ist. Die frühen Läufer sind in Ordnung, aber der letzte Läufer hat Schwierigkeiten, an der Tatsache festzuhalten.

5. Die „beste" Komprimierungsmethode

Die Arbeit testete drei verschiedene Komprimierungstechniken:

GPTQ
AWQ
BitSandBytes (bib)

Der Gewinner: BitSandBytes war am besten darin, die Fakten intakt zu halten. Es war wie die Verwendung eines hochwertigen Vakuumversiegelers, der die Luft entfernte, aber das Essen frisch hielt.
Der Verlierer: Einige Methoden, insbesondere bei der Komprimierung auf sehr geringe Präzision (4-Bit), veranlassten das Modell, viel zu vergessen, insbesondere bei kleineren Modellen.

6. Der „Brücken"-Test

Um zu testen, wie gut die Modelle Punkte verbinden konnten (wie: „Wer ist die Mutter des Sängers von 'Superstition'?"), verwendeten sie einen „Multi-Hop"-Test.

Das Ergebnis: Komprimierung beeinträchtigte den ersten Schritt des Denkens am meisten. Wenn das Modell sich den ersten Fakt nicht merken konnte (wer 'Superstition' singt), konnte es das gesamte Rätsel nicht lösen. Wenn es jedoch den ersten Schritt überstand, war es überraschend gut darin, die Kette zu Ende zu führen.

Das Fazit

Das Komprimieren von KI-Modellen ist ein bisschen wie das Packen eines Koffers für eine Reise.

Wenn Sie zu fest packen (hohe Komprimierung), lassen Sie vielleicht einige Socken zurück (Fakten vergessen).
Kleinere Koffer (kleinere Modelle) sind schwieriger zu packen, ohne Dinge zu verlieren.
Einige Packmethoden (wie BitSandBytes) sind viel besser als andere.
Gelegentlich hilft das festeres Packen dabei, schneller zu finden, was Sie brauchen, auch wenn Sie ein oder zwei Socken verloren haben.

Insgesamt kommt die Arbeit zu dem Schluss, dass Komprimierung zwar zu einem gewissen Informationsverlust führt, aber dennoch eine sehr effektive Strategie ist. Die Modelle brechen nicht; sie werden nur an den Rändern ein wenig „unscharf", und für viele Anwendungen ist diese Unschärfe ein fairer Tausch für die Geschwindigkeits- und Platzersparnis.

1. Problemstellung

Obwohl die Quantisierung weit verbreitet ist, um die Inferenz von Large Language Models (LLM) zu beschleunigen und die Bereitstellungskosten zu senken, bleibt ihre Auswirkung auf das Faktische Wissensabrufen (FKR) noch wenig erforscht. Bisherige Studien haben die Auswirkungen der Quantisierung auf Multilingualität, Verzerrungen und Ausrichtung untersucht, doch es fehlt ein umfassendes Verständnis dafür, wie die Reduzierung der Parameterpräzision die Fähigkeit eines Modells beeinflusst, gespeichertes faktisches Wissen abzurufen und zu nutzen. Insbesondere ist unklar, ob die Quantisierung zu einem systematischen Informationsverlust führt, wie sich dieser Verlust über verschiedene Modellarchitekturen und Schichten hinweg manifestiert und ob Modelle mit niedrigerer Bitbreite ihre Gegenstücke in voller Präzision bei wissensintensiven Aufgaben konsistent unterperformen.

2. Methodik

Die Autoren führten eine umfassende empirische Studie durch, die Leistungsbenchmarking mit interpretierbarkeitsgesteuerter Analyse kombinierte.

Modelle & Quantisierungstechniken:
- Modelle: Llama3-8B, Qwen2.5-7B und Qwen2.5-14B.
- Techniken: Drei Post-Training-Quantisierungsverfahren (PTQ) wurden bei verschiedenen Bitbreiten (4-Bit und 8-Bit) evaluiert:
  - GPTQ: Optimierung zweiter Ordnung auf Basis der Hesse-Matrix.
  - AWQ: Aktivitätsbewusste Gewichtsquantisierung zur Behandlung von Ausreißern.
  - BitSandBytes (bib): Ganzzahlige Quantisierung unter Verwendung optimierter Low-Bit-Kerne (bib4 und bib8).
- Basislinie: Modelle in voller Präzision.
Datensätze:
- LRE (Knowledge Probing): Ein Datensatz aus Wissenstripletts $(s, r, o)$ , der zur Messung der Genauigkeit des direkten faktischen Abrufs verwendet wird.
- TwoHop-Fact: Ein Datensatz, der entwickelt wurde, um Latentes Multi-Hop-Reasoning (LMHR) zu testen, wobei das Modell zwei Fakten verknüpfen muss (z. B. $e_1 \to e_2 \to e_3$ ), um eine Anfrage zu beantworten.
Interpretierbarkeitsanalyse:
- Analyse des Wissensspeichers: Unter Verwendung der Knowledge-Neuron-Theorie leiteten die Autoren den Informationsverlust auf spezifische Neuronen und Schichten zurück. Sie berechneten „Beitragswerte" (Zunahme der Log-Wahrscheinlichkeit korrekter Tokens) für Neuronen in Modellen in voller Präzision versus quantisierten Modellen, um zu identifizieren, welche Neuronen an Einfluss verlieren.
- Analyse des Latenten Multi-Hop-Reasonings: Evaluiert unter Verwendung dreier Metriken:
  1. Entity Recall Score (ENTREC): Fähigkeit, die Brücken-Entität ( $e_2$ ) in einer Zwei-Hop-Kette abzurufen.
  2. Consistency Score (CNSTSCORE): Ähnlichkeit zwischen den Ausgabeverteilungen von Ein-Hop- und Zwei-Hop-Prompts.
  3. FKR-Genauigkeit: Korrekte Vorhersage des finalen Zielobjekts.

3. Hauptbeiträge

Systematische FKR-Evaluation: Bereitstellung der ersten umfassenden Analyse, wie verschiedene PTQ-Techniken und Bitbreiten spezifisch das Abrufen faktischen Wissens über mehrere Modellfamilien hinweg verschlechtern oder erhalten.
Einblicke auf Schicht- und Neuronenebene: Zuordnung der Wissensdegradation zu spezifischen architektonischen Komponenten, wobei sich zeigte, dass die Quantisierung primär die letzten Schichten des Netzwerks beeinflusst, in denen faktisches Wissen oft konsolidiert wird.
Gegenintuitive Befunde: Nachweis, dass eine Quantisierung mit niedrigerer Bitbreite nicht zwangsläufig zu schlechterer Leistung führt; in einigen Fällen wirkt die Quantisierung als Regularisierer und verbessert das faktische Abrufen unbeabsichtigt.
Methodenvergleich: Identifizierung von BitSandBytes (bib) als effektivste Technik zur Erhaltung der FKR im Vergleich zu GPTQ und AWQ, insbesondere in 8-Bit-Konfigurationen.

4. Hauptergebnisse

A. Allgemeine Leistungstrends

Informationsverlust: Die Quantisierung verursacht typischerweise Informationsverlust, was zu einer reduzierten FKR-Genauigkeit führt. Dieser Effekt ist bei kleineren Modellen (z. B. 7B/8B) innerhalb derselben Familie im Vergleich zu größeren Varianten (14B) verstärkt.
Empfindlichkeit gegenüber der Bitbreite:
- 4-Bit-Modelle: Zeigten konsistent signifikante Genauigkeitsabfälle, insbesondere bei GPTQ und AWQ.
- 8-Bit-Modelle: Behielten im Allgemeinen eine Leistung bei, die mit Modellen in voller Präzision vergleichbar war.
- BitSandBytes (bib): Zeigte die höchste Erhaltung der ursprünglichen FKR-Fähigkeiten. In vielen Fällen behielten bib8 und sogar bib4 eine Genauigkeit nahe der vollen Präzision bei.

B. Granulare Analyse (Neuronen & Schichten)

Schichtweise Auswirkungen: Die Degradation ist nicht einheitlich. Die Studie ergab, dass die Quantisierung primär die letzten Schichten des Modells beeinflusst.
- Bei Qwen2.5-7B trat der signifikanteste Rückgang der Neuronen-Beitragswerte in den letzten beiden Schichten auf.
- Bei Llama3-8B erfolgte der Rückgang in den mittleren bis späten Schichten, mit einer gewissen Erholung in den letzten Schichten, was auf architektonische Unterschiede bei der Speicherung von Wissen hindeutet.
Neuronenbeitrag: Die Anzahl der „hochbeitragenden" Neuronen (die für korrekte Antworten kritisch sind) nahm nach der Quantisierung signifikant ab, insbesondere bei Relationen, bei denen das Modell in voller Präzision noch nicht gesättigt war (z. B. „Person Vater", „Landmarke auf Kontinent").

C. Multi-Hop-Reasoning (TwoHop-Fact)

Empfindlichkeit des ersten Hops: Die Quantisierung beeinflusst den ersten Hop ( $r_1$ ) von Reasoning-Ketten unverhältnismäßig stark. Die Degradation im ersten Hop korreliert stark (Spearman $\rho = 0.93$ ) mit dem Versagen, die Brücken-Entität vorherzusagen, was wiederum dazu führt, dass der zweite Hop scheitert.
Unvorhersehbarkeit: Die Auswirkungen der Quantisierung sind heterogen. Während einige quantisierte Modelle schlechter abschnitten, übertrafen andere (insbesondere bib-Varianten) gelegentlich Modelle in voller Präzision, wahrscheinlich aufgrund eines Regularisierungseffekts oder einer vorteilhaften Rauscheinjection.

D. Relationsspezifische Fragilität

Wissensarten, die im Modell in voller Präzision noch nicht vollständig gesättigt waren (z. B. spezifische biographische Fakten), waren unter Quantisierung fragiler als allgemeines Wissen (z. B. „Hauptstadt eines Landes").

5. Bedeutung und Implikationen

Einsatzfähigkeit: Die Studie bestätigt, dass die Quantisierung eine tragfähige Komprimierungsstrategie für LLMs bleibt. Obwohl ein gewisser Genauigkeitsverlust unvermeidbar ist, ist er im Allgemeinen moderat und beeinträchtigt die Nützlichkeit des Modells für faktische Aufgaben nicht, insbesondere bei Verwendung einer 8-Bit-Quantisierung oder der BitSandBytes-Methode.
Modellauswahl: Für Anwendungen, die eine hochfidele faktische Abrufleistung erfordern, wird BitSandBytes (bib) gegenüber GPTQ oder AWQ empfohlen, insbesondere bei 4-Bit-Einschränkungen.
Architektonisches Verständnis: Die Ergebnisse deuten darauf hin, dass faktisches Wissen über verschiedene Modellfamilien hinweg (Llama vs. Qwen) unterschiedlich gespeichert wird und in den späteren Schichten des Netzwerks konzentriert ist. Dies bietet ein neues Ziel für zukünftige Forschung zur Modellkomprimierung und Wissensbearbeitung.
Paradoxe Verbesserung: Die Beobachtung, dass die Quantisierung das Abrufen manchmal verbessern kann, stellt die Annahme in Frage, dass Komprimierung strikt nachteilig ist, und legt nahe, dass kontrolliertes Rauschen oder Regularisierung durch die Quantisierung helfen könnte, spuriose Korrelationen herauszufiltern.

Einschränkungen

Sprachumfang: Die Experimente beschränkten sich auf englische Datensätze; multilinguales FKR könnte unterschiedlich betroffen sein.
Modellgröße: Gradientenbasierte Analysen waren aufgrund von GPU-Speichereinschränkungen auf Modelle $\le$ 14B beschränkt.
Quantisierungsumfang: Die Studie konzentrierte sich auf gewichtsbasierte PTQ. Aktivierungsquantisierung, KV-Cache-Komprimierung und Quantization-Aware Training (QAT) wurden nicht einbezogen.