🤖 machine learning

RDQ: Residual Distribution Quantization for Large Language Models

Dieses Paper führt RDQ ein, ein Post-Training-Quantisierungs-Framework, das die superlineare Akkumulation von Quantisierungsrauschen in großen Sprachmodellen durch den Einsatz von kaskadierter Fehlerkompensation mildert, um Per-Channel-Skalierungen an driftende Residuenverteilungen anzupassen, wodurch eine State-of-the-Art-Perplexität bei 3-Bit- und 4-Bit-Präzision ohne Inferenz-Overhead erreicht wird.

Ursprüngliche Autoren: Prateek Singh

Veröffentlicht 2026-07-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Prateek Singh

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine geheime Nachricht durch einen langen, gewundenen Tunnel zu senden, der aus 32 miteinander verbundenen Räumen besteht. In der ursprünglichen, hochwertigen Version dieses Tunnels (FP16) reist Ihre Nachricht perfekt klar vom Anfang bis zum Ende. Aber wenn wir versuchen, die Nachricht zu verkleinern, um sie in ein winziges, komprimiertes Format (Quantisierung) zu pressen, um Platz auf Ihrem Telefon oder Edge-Gerät zu sparen, geht einiges schief.

Lange Zeit dachten Wissenschaftler, das Problem liege einfach darin, dass jeder Raum für sich genommen ein wenig unordentlich sei. Sie dachten: „Wenn wir nur Raum 1 säubern, dann Raum 2, dann Raum 3, dann wird alles gut sein.“ Aber diese neue Arbeit, RDQ (Residual Distribution Quantization), hat entdeckt, dass dieser „jeden Raum separat säubern“-Ansatz eigentlich der falsche Weg ist, über das Problem nachzudenken.

Der wahre Übeltäter: Der „Schneeballeffekt“

Die Autoren fanden heraus, dass das eigentliche Problem ein Schneeballeffekt ist. Jedes Mal, wenn eine Nachricht durch einen Raum gleitet, wird ein winziges bisschen „Rauschen“ oder statisches Rauschen hinzugefügt. In einem normalen Tunnel spielt das keine Rolle. Aber in einem komprimierten Tunnel verschwindet dieses winzige Rauschen nicht; es wird in den nächsten Raum getragen, wo es sich mit dem neuen Rauschen aus diesem Raum vermischt.

Bis die Nachricht den 32. Raum erreicht, hat sich dieses winzige statische Rauschen in ein massives Brüllen verwandelt. Die Autoren haben dieses „Rauschakkumulation“ (das sie Residual Stream Drift nennen) gemessen und festgestellt: Die Menge des Rauschens sagt perfekt voraus, wie schlecht die Nachricht klingt. Tatsächlich fanden sie eine so starke Korrelation (Pearson r=0,999), dass man, wenn man weiß, wie stark das Signal abgedriftet ist, genau vorhersagen kann, wie verwirrt der Computer sein wird.

Die große Entdeckung: Der Tunnel ist nicht glatt

Vor dieser Arbeit gingen die meisten Experten davon aus, dass das Rauschen in diesen Tunneln wie ein glatter, vorhersehbarer Hügel aussieht (eine „Gaußsche“ Verteilung). Sie bauten ihre Reinigungswerkzeuge basestehend auf diesem glatten Hügel.

Aber die Autoren sind hineingegangen und haben nachgesehen. Sie entdeckten, dass 84 % der Räume im LLaMA-3-8B-Modell überhaupt keine glatten Hügel haben! Stattdessen ist das Rauschen zackig, seltsam und manchmal zweigipfelig (bimodal). Es ist, als würde man einen ruhigen See erwarten und einen stürmischen Ozean mit plötzlichen Wellen vorfinden. Weil das Rauschen so seltsam ist, versagten die alten „glatte Hügel“-Reinigungswerkzeuge kläglich, besonders wenn sie versuchten, die Nachricht auf nur 3 Bit (eine sehr winzige Größe) zu schrumpfen.

Die Lösung: „Cascaded Error Compensation“ (CEC)

Wie also repariert man einen Tunnel, in dem sich das Rauschen verändert, während man tiefer hineingeht? Die Autoren schlagen eine neue Methode vor, die Cascaded Error Compensation (CEC) genannt wird.

Anstatt jeden Raum zu reinigen, während man so tut, als wäre die Nachricht noch frisch und sauber (wie es alte Methoden taten), sagt CEC: „Lasst uns zuerst durch den Tunnel gehen, sehen, wie die Nachricht in jedem Raum tatsächlich aussieht, und dann reinigen.“

So funktioniert es:

Der Rundgang: Der Computer lässt eine Testnachricht durch den Tunnel laufen. Er lässt die ersten Räume einfach „schmutzig“ werden (quantisiert), genau wie sie es im echten Leben tun würden.
Der reale Anblick: Wenn die Nachricht in Raum 10 ankommt, ist sie bereits durch die Räume 1 bis 9 etwas verrauscht. Das System erfasst dieses tatsächliche, unordentliche Signal.
Die maßgeschneiderte Korrektur: Anstatt ein generisches Reinigungswerkzeug zu verwenden, baut das System ein maßgeschneidertes Reinigungswerkzeug speziell für dieses unordentliche Signal. Es passt die „Lautstärke“ (Skalierungen) der Nachricht genau dort im Raum an.
Die magische Faltung: Sobald das Reinigungswerkzeug gebaut ist, wird es in den Türrahmen des Raums gefaltet (die RMSNorm-Gewichte). Das bedeutet, wenn die echte Nachricht später durchreist, geschieht die Reinigung automatisch, mit null zusätzlichem Zeit- oder Geschwindigkeitsverlust.

Die Ergebnisse: Eine massive Verbesserung

Das Team testete dies an drei berühmten KI-Modellen: LLaMA-3-8B, Qwen-2.5-7B und Mistral-7B.

Der alte Weg: Als sie versuchten, LLaMA-3-8B mit der Standardmethode (RTN) auf 3 Bit zu schrumpfen, wurde die Nachricht fast unverständlich, wobei der Wert (Perplexity) von 5,83 auf 14,09 sprang. Das ist ein enormer Qualitätsverlust.
Der RDQ-Weg: Mit ihrer neuen „Rundgang“-Methode brachten sie den Wert auf 7,55. Das ist eine 46,4 % Verbesserung gegenüber der alten Methode!
Bei 4 Bit: Sie erreichten auch die bisher besten jemals aufgezeichneten Ergebnisse und übertrafen die bisherigen Champions deutlich (z. B. 5,62 vs. 6,92 bei LLaMA).

Was das bedeutet

Die Autoren sind sich sehr sicher: Dies ist nicht nur ein besseres Werkzeug, sondern eine neue Art, das Problem zu betrachten. Sie haben bewiesen, dass der „Drift“ der Hauptgrund dafür ist, dass diese Modelle bei niedrigen Bit-Breiten versagen. Sie haben auch gezeigt, dass die alte Idee, „jeden Raum unabhängig voneinander zu reinigen“, eine Sackgasse ist, weil sie den Schneeball des Rauschens aus den vorherigen Räumen ignoriert.

Obwohl sie das Problem für eine 2-Bit-Kompression noch nicht lösen können (das Rauschen ist dort einfach zu stark), haben sie gezeigt, dass wir bei einer 3-Bit- und 4-Bit-Kompression die Modelle intelligent und schnell halten können. Das Beste daran? Diese neue Methode funktioniert mit den Standardwerkzeugen, die Ingenieure bereits verwenden, sodass sie ohne spezielle, langsame Hardware sofort auf Telefonen und Computern eingesetzt werden kann.

Kurz gesagt: Der Tunnel wurde unordentlich, weil wir die Räume in der falschen Reihenfolge gereinigt haben. Indem wir sie in der Reihenfolge reinigen, in der die Nachricht tatsächlich reist, können wir das Signal bis zum Ende klar halten.

Technisches Resümee: RDQ (Residual Distribution Quantization) für Large Language Models

1. Problemstellung: Die Degradationsbarriere unterhalb von 4 Bit

Die Post-Training-Quantisierung (PTQ) von Large Language Models (LLMs) stößt auf einen scharfen Leistungseinbruch, wenn die Präzision unter 4 Bit reduziert wird. Während 4-Bit-Methoden oft eine FP16-Qualität erreichen, führt eine 3-Bit-Quantisierung häufig zu einer katastrophalen Degradation. Beispielsweise springt die Perplexität (PPL) der Round-to-Nearest (RTN)-Methode bei LLaMA-3-8B von 5,83 bei W4 auf 14,09 bei W3 – ein 2,42-facher Anstieg bei nur einer 1,33-fachen Reduktion der Bitbreite.

Das Paper identifiziert die Ursache dieses Scheiterns als Drift der Verteilung im Residual Stream. In Transformer-Architekturen ist der Residual Stream $h_l$ eine gemeinsame Repräsentation, die von jeder Schicht gelesen und geschrieben wird. Wenn eine Schicht $l$ quantisiert wird, führt sie einen Fehler $\epsilon_l$ ein, der in den Residual Stream $h_{l+1}$ persistiert. Dieser Fehler akkumuliert über die Schichten hinweg, was dazu führt, dass die Verteilung der Aktivierungen in tieferen Schichten signifikant von der ursprünglichen FP16-Baseline abweicht.

Wichtige empirische Befunde zur Diagnose dieses Problems umfassen:

Superlineare Drift-Akkumulation: Die gesamte Kullback-Leibler-Divergenz (KL) zwischen den quantisierten und den FP16-Residual-Verteilungen korreliert mit der Log-Perplexität mit einem Pearson-Korrelationskoeffizienten von $r=0,999$ ( $p<0,001$ ) über alle getesteten Methoden und Bitbreiten hinweg.
Nicht-Gaußsche Verteilungen: 84 % der Schichten in LLaMA-3-8B weisen nicht-gaußsche Residual-Verteilungen auf (Kolmogorov-Smirnov-Test, $p \le 0,05$ ), was die impliziten Gaußschen Annahmen vieler bestehender PTQ-Theorien invalidiert.
Varianz-Explosion: Die Varianz des Residual Streams pro Schicht wächst über die Tiefe des Modells um den Faktor 6.548 an, was darauf hindeutet, dass spätere Schichten kategorisch sensitiver gegenüber den vorangegangenen Quantisierungsfehlern sind.

2. Methodik: Cascaded Error Compensation (CEC)

Die vorgeschlagene Lösung, RDQ (Residual Distribution Quantization), führt ein Framework ein, das auf Cascaded Error Compensation (CEC) basiert. Im Gegensatz zu bisherigen PTQ-Methoden (z. B. GPTQ, AWQ, SpinQuant), die jede Schicht unabhängig gegenüber sauberen FP16-Inputs optimieren, erkennt CEC an, dass eine Schicht $l$ während der Inferenz Inputs erhält, die bereits durch die Quantisierung aller vorangegangenen Schichten $0 \dots l-1$ verzerrt wurden.

Die CEC-Pipeline

CEC verwendet ein sequenzielles Kalibrierungsverfahren:

Sequenzielle Verarbeitung: Die Schichten werden nacheinander von $l=0$ bis $L-1$ quantisiert.
Erfassung der driftbehafteten Aktivierungen: Vor der Quantisierung der Schicht $l$ werden Kalibrierungsdaten durch das Modell geleitet, wobei die Schichten $0 \dots l-1$ bereits quantisiert sind. Dies erfasst die tatsächlichen, driftbehafteten Aktivierungsverteilungen ( $\hat{h}_l$ ), denen die Schicht $l$ während der Inferenz begegnen wird.
Per-Channel Scale Fitting: Unter Verwendung dieser erfassten driftbehafteten Inputs passt die Methode optimale Per-Channel-Skalierungen mittels einer AWQ-ähnlichen Grid-Suche an. Das Ziel ist es, den Rekonstruktionsfehler des Outputs angesichts der spezifischen driftbehafteten Input-Verteilung zu minimieren.
Mathematische Äquivalenz durch Folding: Die gelernten Skalen werden in die vorangehenden RMSNorm-Gewichte gefaltet ("folded"). Dies stellt sicher, dass die Methode mathematisch exakt ist und keinen Laufzeit-Overhead verursacht. Der Forward-Pass bleibt identisch mit einem Standard-quantisierten Modell, kompatibel mit bestehenden Inferenz-Stacks (Qualcomm AIMET, GGUF, etc.).

Wesentlicher Unterschied zu bisheriger Arbeit

Das Paper betont, dass die entscheidende Innovation nicht die Skalierungsformel selbst ist (die im AWQ-Stil bleibt), sondern die Quelle der Kalibrierungsdaten. Standardmethoden kalibrieren gegen idealisierte FP16-Inputs, die in tieferen Schichten während der Inferenz nicht existieren. CEC kalibriert gegen die tatsächliche driftbehaftete Verteilung.

3. Zentrale Beiträge

Identifikation des Residual Stream Drift: Die Autoren etablieren, dass der Drift im Residual Stream der dominante Mechanismus für die Degradation unterhalb von 4 Bit ist, belegt durch die nahezu perfekte Korrelation ( $r=0,999$ ) zwischen KL-Drift und Log-PPL.
Charakterisierung der Verteilung: Das Paper dokumentiert, dass 84 % der LLaMA-3-8B Schichten nicht-gaußsch sind und die Residual-Varianz über die Tiefe um den Faktor 6.548 wächst, was die Standard-PTQ-Annahmen infrage stellt.
Cascaded Error Compensation (CEC): Ein sequenzielles Kalibrierungsverfahren, das die kumulative Drift über Schichten hinweg korrigiert und im Vergleich zu RTN bei W3 auf LLaMA-3-8B eine Reduktion der PPL um 46,4 % erreicht.
State-of-the-Art Performance: RDQ erzielt die besten Ergebnisse über drei diverse Architekturen hinweg (LLaMA-3-8B, Qwen-2.5-7B, Mistral-7B) sowohl bei W3A16 als auch bei W4A16 und übertrifft die besten veröffentlichten Baselines (LeanQuant, SpinQuant) in jeder getesteten Konfiguration.
Zero-Overhead Deployment: Das Ergebnis ist eine Standard-Group-128-Asymmetrische-Quantisierung mit modifizierten RMSNorm-Skalaren, was keine benutzerdefinierten Kernel oder Laufzeit-Overhead erfordert.

4. Experimentelle Ergebnisse

Die Methode wurde auf WikiText-2 mit 32 Kalibrierungssequenzen evaluiert.

Performance-Metriken (Perplexität):

LLaMA-3-8B:
- W3A16: 7,55 (vs. RTN 14,09, LeanQuant 7,61).
- W4A16: 5,62 (vs. FP16 5,557, LeanQuant 6,92).
Qwen-2.5-7B:
- W3A16: 7,46 (vs. RTN 8,20, LeanQuant 8,30).
- W4A16: 6,38 (vs. FP16 6,158, LeanQuant 7,25).
Mistral-7B:
- W3A16: 6,88 (vs. RTN 7,44, LeanQuant 7,30).
- W4A16: 5,73 (vs. FP16 5,632, LeanQuant 6,20).

Ablationsstudien:

Sequenzielle Kalibrierung vs. Skalierung: Das Paper zeigt, dass die sequenzielle Kalibrierung allein (ohsten ohne AWQ-Skalierung) die Performance im Vergleich zu RTN auf Qwen tatsächlich verschlechtert (10,31 PPL vs. 8,20 PPL). Umgekehrt unterperformt die Anwendung von AWQ-Skalierung auf statische FP16-Kalibrierung ebenfalls (9,49 PPL). Die Kombination aus sequenzieller drift-bewusster Kalibrierung und AWQ-artiger Skalierung ist notwendig für die beobachteten Gewinne.
Generalisierung: Die Methode generalisiert über Architekturen mit unterschiedlichen Mechanismen (GQA, RoPE, Sliding Window) hinweg, was darauf hindeutet, dass der Drift-Korrektur-Mechanismus architekturagnostisch ist.

5. Bedeutung und Behauptungen

Das Paper positioniert RDQ nicht bloß als inkrementelle technische Verbesserung der PTQ, sondern als grundlegenden Einblick in die Verbindungsdynamik von Transformern unter Quantisierung.

Vorhersehbarkeit: Die Autoren behaupten, dass die Quantisierungsqualität von einem einzigen Skalar (gesamter KL-Drift) vorhersehbar ist und dass die Kontrolle dieses Drifts die Perplexität kontrolliert.
Korrektur des Failure-Mode: Die Arbeit identifiziert, dass der dominante Failure-Mode der Sub-4-Bit-PTQ nicht der Fehler der einzelnen Schichtgewichte ist, sondern die Akkumulation des Cross-Layer-Drifts. Statische Kalibrierungsmethoden scheitern, weil sie auf eine Verteilung optimieren (sauberes FP16), die die Schicht während der Inferenz nie sieht.
Robustheit: Durch das Anpassen der Skalen an die tatsächlichen driftbehafteten Aktivierungen umgeht CEC architekturspezifische Heuristiken (wie die Erkennung prominenter Kanäle bei AWQ), die bei Modellen mit anderen Gewichtverteilungen (z. B. Qwen) versagen könnten.
Theoretische Grenzen: Das Paper merkt bescheiden an, dass zwar eine theoretische Schranke für Gaußsche Regime existiert, diese aber nicht auf das tatsächliche Setting anwendbar ist, in dem 84 % der Schichten nicht-gaußsch sind. Die beobachteten Leistungssteigerungen sind empirisch getrieben durch den Drift-Korrektur-Mechanismus und nicht durch eine enge theoretische Schranke.

Zusammenfassend lässt sich sagen, dass RDQ etabliert, dass die Adressierung des "Drifts" im Residual Stream der Schlüssel zur Freisetzung einer robusten 3-Bit-Quantisierung ist, wobei eine skalierbare Lösung mit Null-Overhead geboten wird, die aktuelle State-of-the-Art-Methoden über mehrere Modellfamilien hinweg übertrifft.