🤖 machine learning

Theory-optimal Quantization Based on Flatness

Dieser Beitrag stellt die bidirektionale diagonale Quantisierung (BDQ) vor, ein neuartiges Post-Training-Quantisierungsframework, das eine theorieoptimale Lösung auf Basis einer neuen „Flatness"-Metrik ableitet, um Aktivierungsausreißer effektiv zu streuen und dadurch eine State-of-the-Art-Genauigkeit bei der Quantisierung von Large Language Models mit niedriger Bitbreite zu erreichen.

Ursprüngliche Autoren: Xiusheng Huang, Zhe Li, Xuanwu Yin, Lu Wang, Yequan Wang, Dong Li, Emad Barsoum, Kang Liu

Veröffentlicht 2026-05-20

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Xiusheng Huang, Zhe Li, Xuanwu Yin, Lu Wang, Yequan Wang, Dong Li, Emad Barsoum, Kang Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der „laute Nachbar" in einem ruhigen Raum

Stellen Sie sich vor, Sie haben eine riesige, unglaublich detaillierte Bibliothek von Büchern (ein Large Language Model, oder LLM). Um diese Bibliothek in einen kleinen Rucksack (Ihr Telefon oder einen günstigen Server) zu packen, müssen Sie die Bücher verkleinern. Dieser Vorgang heißt Quantisierung.

Normalerweise sind die Bücher in hochauflösender Tinte geschrieben (32-Bit- oder 16-Bit-Präzision). Um Platz zu sparen, möchten Sie sie nur noch mit wenigen einfachen Farben neu schreiben (4-Bit oder sogar 2-Bit).

Das Problem: Der Großteil des Textes in diesen Büchern ist normal, aber hin und wieder gibt es einen Satz, der in riesigen, neongrünen Buchstaben geschrieben ist und lauter schreit als alles andere. Im Papier werden diese Ausreißer genannt.

Wenn Sie versuchen, das ganze Buch zu verkleinern, um es in einen kleinen Raum zu passen, zwingen die „riesigen Neonbuchstaben" das gesamte System, sich auszudehnen, um sie unterzubringen. Dadurch wird der gesamte normale Text in eine winzige, unlesbare Ecke gequetscht. Das Ergebnis? Das Buch wird zu unverständlichem Kauderwelsch.

Die alten Lösungen: Versuche, den Raum zu drehen

Frühere Methoden versuchten, das Problem zu lösen, indem sie den Raum drehten oder die Möbel neu anordneten. Sie drehten die Daten herum (unter Verwendung linearer Transformationen) in der Hoffnung, dass die riesigen Neonbuchstaben sich mit dem normalen Text vermischen würden.

Die Autoren dieses Papiers betrachteten diese Methoden und sagten: „Es funktioniert nicht gut genug." Selbst nachdem der Raum gedreht wurde, sind die Neonbuchstaben immer noch da, nur an einem anderen Ort. Sie nehmen immer noch den ganzen Platz ein und lassen den Rest der Daten eng zusammengepfercht.

Die neue Idee: „Flachheit" und der Equalizer

Die Autoren entwickelten eine neue Art, über das Problem nachzudenken. Anstatt nur zu versuchen, die Neonbuchstaben zu verstecken, wollten sie die Landschaft flach machen.

Stellen Sie sich die Daten als hügeliges Gelände vor. Der Großteil des Landes ist flach, aber es gibt ein paar massive Berge (die Ausreißer).

Das Ziel: Sie möchten, dass das Gelände so flach wie möglich ist (wie ein ruhiger See). Das nennen sie Flachheit.
Die Metrik: Sie erfanden ein mathematisches Werkzeug, um zu messen, wie „uneben" die Daten sind. Wenn die Berge zu hoch sind, ist der „Flachheits"-Wert schlecht. Wenn das Land glatt ist, ist der Wert gut.

Sie bewiesen mathematisch, dass der beste Weg, dieses Gelände zu flachen, nicht darin besteht, es zu drehen, sondern ein zweiseitiges Streckwerkzeug zu verwenden.

Die Lösung: BDQ (Bidirectional Diagonal Quantization)

Die Autoren schlagen eine neue Methode namens BDQ vor. So funktioniert sie, unter Verwendung einer Metapher:

Stellen Sie sich die Daten als ein riesiges Gitter von Menschen vor, die in Reihen und Spalten stehen.

Das Problem: Einige wenige Menschen in bestimmten Reihen und Spalten sind Riesen (Ausreißer).
Der alte Weg: Sie versuchen, das ganze Gitter zu drehen. Die Riesen sind immer noch Riesen; sie schauen nur in eine andere Richtung.
Der BDQ-Weg: Sie geben jedem einzelnen Menschen in einer bestimmten Reihe eine Hose mit Gummibund (eine diagonale Matrix) und jedem Menschen in einer bestimmten Spalte ein Paar dehnbare Schuhe (eine weitere diagonale Matrix).
- Wenn eine Reihe einen Riesen hat, verkleinern Sie die Hose für alle in dieser Reihe.
- Wenn eine Spalte einen Riesen hat, verkleinern Sie die Schuhe für alle in dieser Spalte.
- Das Ergebnis: Die Riesen werden auf eine normale Größe geschrumpft, und die kleinen Menschen werden gedehnt. Plötzlich sind alle ungefähr gleich groß. Die „Landschaft" ist flach.

Da die Riesen den Raum nicht mehr dominieren, können Sie nun das ganze Gitter in einen winzigen Rucksack komprimieren, ohne wichtige Details zu verlieren.

Die „Overfitting"-Falle: Der Student, der gepaukt hat

Es gab noch ein weiteres Problem. Als sie dem Computer beibrachten, wie man diese dehnbaren Hosen und Schuhe verwendet, zeigten sie ihm nur eine winzige Datenprobe (wie 128 Sätze).

Der Computer war wie ein Student, der die Antworten auf diese 128 spezifischen Übungsfragen perfekt auswendig gelernt hatte, aber bei der echten Prüfung durchfiel, weil er die allgemeinen Regeln nicht verstand. In technischen Begriffen nennt man dies Overfitting.

Um dies zu beheben, fügten die Autoren eine spezielle Regel namens Recursive Cross-Entropy Loss hinzu.

Analogie: Anstatt dem Studenten nur zu sagen „Das ist die richtige Antwort", sagen sie auch: „Schauen Sie, was Sie vorhergesagt haben, dass richtig ist, und stellen Sie sicher, dass Ihr Vertrauen mit der tatsächlichen Antwort übereinstimmt."
Dies zwingt den Computer, das allgemeine Muster zu lernen, wie man die Daten flacht, anstatt nur die spezifischen Übungssätze auswendig zu lernen.

Die Ergebnisse: Einen Koffer perfekt packen

Das Papier testete diese neue Methode an einigen der intelligentesten KI-Modelle der Welt (wie LLaMA-3 und DeepSeek).

Der Test: Sie versuchten, die Modelle auf extrem kleine Größen zu verkleinern (unter Verwendung von nur 4 Bits für Gewichte und 4 Bits für Aktivierungen, oder sogar 2 Bits für Gewichte).
Das Ergebnis:
- Frühere Methoden machten die KI „dumm", wenn sie so klein verkleinert wurde (die Genauigkeit sank erheblich).
- BDQ hielt die KI fast so intelligent wie die ursprüngliche Vollversion.
- In einem extremen Test (Verkleinerung eines 70-Milliarden-Parameter-Modells auf 2-Bit-Gewichte) schloss BDQ die Leistungslücke um fast 40 % im Vergleich zu den besten bestehenden Methoden.

Zusammenfassung

Das Papier behauptet, dass sie durch den mathematischen Beweis, dass „Flachheit" der Schlüssel zu einer guten Komprimierung ist, und durch die Verwendung eines zweiseitigen Streckwerkzeugs (BDQ) kombiniert mit einer intelligenteren Lernregel (RCE), riesige KI-Modelle auf winzige Größen verkleinern können, ohne dass sie ihre Intelligenz verlieren. Sie verwandelten eine bucklige, bergige Landschaft in eine glatte, flache Ebene, die leicht in einen kleinen Rucksack passt.

Technische Zusammenfassung: Theoretisch optimale Quantisierung basierend auf Flachheit

1. Problemstellung

Die Quantisierung nach dem Training (Post-training Quantization, PTQ) hat sich zu einer Standardtechnik zur Komprimierung und Beschleunigung von Large Language Models (LLMs) entwickelt. Eine Haupt Herausforderung bleibt jedoch das Vorhandensein von Aktivierungs-Ausreißern – Werten mit Beträgen, die deutlich größer sind als die statistische Erwartung des restlichen Datensatzes. Diese Ausreißer zwingen den Quantisierungsfaktor, sich zu erweitern, um sie aufzunehmen, wodurch die Mehrheit der normalen Daten in einen engen Bereich ganzzahliger Stufen gepresst wird. Dies führt zu erheblichen Quantisierungsfehlern und Leistungsverschlechterungen, insbesondere bei niedrigen Bitbreiten (z. B. W4A4 oder W2A4).

Während neuere Ansätze versuchen, Ausreißer durch lineare Transformationen (wie Rotation) zu mildern, stellen die Autoren fest, dass diese Methoden oft versagen, Ausreißermuster vollständig zu zerstreuen, und konzentrierte Betragsverteilungen hinterlassen, die die Leistung weiterhin beeinträchtigen. Darüber hinaus verlassen sich bestehende Methoden auf heuristische Strategien, ohne eine direkte mathematische Beziehung zwischen Ausreißern und Quantisierungsfehlern herzustellen, und optimieren weder die Verteilung des gesamten Quantisierungsraums.

2. Methodik

Der Artikel schlägt Bidirektionale Diagonale Quantisierung (BDQ) vor, ein Rahmenwerk, das auf einer theoretischen Analyse der „Flachheit" (Flatness) basiert. Die Methodik besteht aus drei Hauptkomponenten:

2.1 Mathematische Modellierung von Ausreißern und Fehler

Die Autoren leiten zunächst die mathematische Beziehung zwischen Ausreißern und Quantisierungsfehler her. Sie zeigen, dass, wenn ein Ausreißer $|w_{outlier}|$ deutlich größer als der Quantisierungsbereich ist, der gesamte Quantisierungsfehler $E[\epsilon^2]$ vom Ausreißer dominiert wird und eine quadratische Beziehung zum Betrag des Ausreißers aufweist. Spezifisch skaliert der Fehler mit $w_{outlier}^2$ , was darauf hindeutet, dass Ausreißer der Schlüsselfaktor sind, der die Quantisierungsgenauigkeit begrenzt.

2.2 Das Flachheits-Metrik und die theoretisch optimale Lösung

Um die Verteilung von Ausreißern zu quantifizieren, führen die Autoren eine neue Metrik namens Flachheit (Flatness) ein, die von der informationstheoretischen Entropie inspiriert ist. Die Flachheit bewertet die Uniformität der Datenverteilung über eine Matrix hinweg, indem normalisierte quadrierte Elemente als Wahrscheinlichkeitsverteilung behandelt werden.

Definition: Die Flachheit ( $F$ ) ist definiert als die Summe von $p_{ij} \ln p_{ij}$ , wobei $p_{ij} = \frac{W_{ij}^2}{\alpha_i \beta_j}$ . Hier sind $\alpha_i$ und $\beta_j$ lernbare Energie-Gewichtungsfaktoren für Zeilen bzw. Spalten.
Optimierung: Das Ziel ist die Minimierung von $F$ (Maximierung der Entropie) unter Energiebeschränkungen. Durch Lagrange-Multiplikatoren beweisen die Autoren, dass die eindeutige optimale Lösung zur Erzielung maximaler Flachheit eine Transformation der Form $V = d_1 W d_2$ ist, wobei $d_1$ und $d_2$ Diagonalmatrizen sind. Diese Struktur ermöglicht eine unabhängige Skalierung von Zeilen und Spalten, um Ausreißer zu zerstreuen.

2.3 Das BDQ-Rahmenwerk

Aufbauend auf der theoretisch optimalen Lösung implementiert BDQ Folgendes:

Bidirektionale diagonale Transformationen: Für jede vollvernetzte Schicht im LLM lernt BDQ zwei Diagonalmatrizen ( $\Lambda_1, \Lambda_2$ ), um eine zeilen- und spaltenweise Skalierung durchzuführen. Dies verteilt die Ausreißerbeträge über beide Dimensionen neu.
Hadamard-orthogonale Transformation: Um Ausreißer weiter zu zerstreuen und starke Spaltenkorrelationen zu durchbrechen, die allein durch diagonale Skalierung möglicherweise nicht aufgelöst werden können, integriert BDQ eine lernbare Rotationsmatrix $R$ (aufgebaut aus einer Hadamard-Matrix und einer orthogonalen Matrix). Der Vorwärtsdurchlauf wird umformuliert als $y = Q(\Lambda_1 x \Lambda_2 R) \cdot Q(R^T \Lambda_2^{-1} W \Lambda_1^{-1})$ , wodurch eine äquivalente Transformation auf globaler Netzwerkebene sichergestellt wird.
Rekursiver Kreuzentropie-Verlust (RCE): Um das Problem des Overfittings auf kleinen Kalibrierungssätzen (z. B. 128 Proben) zu adressieren, das in PTQ üblich ist und die Ausreißerminderung behindert, führt BDQ einen rekursiven Kreuzentropie-Verlust ein. Diese Verlustfunktion passt gleichzeitig die Labelverteilung und die vom Modell vorhergesagte Token-Verteilung an, verhindert, dass das Modell in lokale Optima fällt, und verbessert die Generalisierung.

3. Hauptbeiträge

Theoretische Modellierung: Der Artikel ist der erste, der die mathematische Beziehung zwischen Ausreißern und Quantisierungsfehlern modelliert und beweist, dass Fehler quadratisch mit dem Ausreißerbetrag skalieren.
Flachheits-Metrik: Die Autoren schlagen die Flachheits-Metrik vor, um die Ausreißerverteilung zu quantifizieren und mathematisch die optimale Lösung (bidirektionale diagonale Skalierung) zur Minimierung dieser Metrik herzuleiten.
BDQ-Rahmenwerk: Sie schlagen die Bidirektionale Diagonale Quantisierung vor, die gelernte diagonale Operationen und Hadamard-Rotationen nutzt, um die theoretisch optimale Lösung für die Flachheit zu erreichen.
Minderung von Overfitting: Die Einführung des rekursiven Kreuzentropie-Verlusts adressiert das bei kleinen Kalibrierungssätzen inhärente Overfitting-Problem, eine Einschränkung, die bei früheren State-of-the-Art-Methoden beobachtet wurde.

4. Experimentelle Ergebnisse

Umfangreiche Experimente wurden an LLaMA-2, LLaMA-3 und DeepSeek-R1-Distill-Modellen über verschiedene Bitbreiten-Einstellungen (W4A4, W2A4, W3A3) durchgeführt.

W4A4-Einstellung: Auf LLaMA-3-8B erreicht BDQ einen Genauigkeitsverlust von weniger als 1 % im Vergleich zu Modellen mit voller Genauigkeit und übertrifft bestehende Methoden wie QuaRot, SpinQuant und FlatQuant.
W2A4-Einstellung (Herausfordernd): In der extrem niedrig-bitigen W2A4KV16-Einstellung auf DeepSeek-R1-Distill-LLaMA-70B reduziert BDQ die Leistungslücke im Vergleich zum Modell mit voller Genauigkeit um 39,1 % relativ zu den neuesten State-of-the-Art-Ansätzen.
Effizienz: Die Methode zeigt signifikante Beschleunigungen der Inferenz (bis zu 3,44-fach auf NVIDIA A100) und Speichereinsparungen (bis zu 3,74-fach auf AMD MI250) im Vergleich zu Modellen mit voller Genauigkeit.
Ablationsstudien: Experimente bestätigen, dass die Kombination aus BDQ und RCE-Verlust bessere Ergebnisse liefert als die Verwendung von BDQ mit standardmäßiger Kreuzentropie, was die Wirksamkeit der vorgeschlagenen Verlustfunktion bei der Verhinderung von Overfitting validiert.

5. Bedeutung und Behauptungen

Der Artikel behauptet, dass BDQ einen neuen Benchmark für die Quantisierung nach dem Training setzt. Seine primäre Bedeutung liegt darin, über heuristische Ausreißerminderung hinauszugehen und zu einem theoretisch optimalen Ansatz zu gelangen, der aus ersten Prinzipien abgeleitet ist. Indem sie mathematisch beweisen, dass die bidirektionale diagonale Skalierung die optimale Lösung zur Maximierung der Flachheit (und damit zur Minimierung des Quantisierungsfehlers) ist, bieten die Autoren eine rigorose Grundlage für zukünftige Quantisierungsmethoden.

Die Autoren erkennen Einschränkungen an und stellen fest, dass die Experimente durch Rechenressourcen auf Modelle bis zu 70 Milliarden Parametern und spezifische GPU-Architekturen beschränkt waren. Sie betonen jedoch, dass das theoretische Rahmenwerk und die demonstrierte Leistung bei großen Modellen (LLaMA-3-70B, DeepSeek-R1-Distill-70B) das Potenzial der Methode für eine effiziente, kostengünstige Bereitstellung von LLMs validieren.