🔢 mathematics

High-Rate Quantized Matrix Multiplication I

Dieser Artikel untersucht den fundamentalen informationstheoretischen Trade-off zwischen Quantisierungsrate und Verzerrung bei der generischen Matrixmultiplikation ohne vorherige statistische Kalibrierung, analysiert und leitet dabei zugleich heuristische Approximationen für gängige Quantisierungsschemata wie absmax INT und Gleitkomma her.

Ursprüngliche Autoren: Or Ordentlich, Yury Polyanskiy

Veröffentlicht 2026-05-14

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Or Ordentlich, Yury Polyanskiy

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einen riesigen, hochauflösenden Film durch einen winzigen, engen Tunnel zu senden. Der Film repräsentiert die komplexe Mathematik innerhalb eines Large Language Models (wie derjenigen, die Chatbots antreiben), und der Tunnel repräsentiert den Arbeitsspeicher und die Verarbeitungsgeschwindigkeit des Computers. Wenn Sie versuchen, den gesamten, unkomprimierten Film hindurchzudrücken, verstopft der Tunnel, und der Computer verlangsamt sich bis zum Stillstand.

Um dies zu beheben, verwenden Ingenieure Quantisierung. Stellen Sie sich dies vor wie das Komprimieren dieses hochauflösenden Films in eine niedrigauflösende, pixelige Version. Es ist nicht perfekt, aber es passt viel schneller durch den Tunnel, und das Bild ist immer noch erkennbar genug zum Anschauen.

Dieses Papier, verfasst von Or Ordentlich und Yury Polyanskiy, ist wie ein theoretischer Physikbericht über Kompression. Anstatt nur verschiedene Komprimierungswerkzeuge zu testen, um zu sehen, welches in der Praxis am besten funktioniert, fragen die Autoren: "Was ist das absolute, mathematische Limit dafür, wie gut wir diese Daten komprimieren können, bevor sie zu Müll werden?"

Hier ist eine Aufschlüsselung ihrer Erkenntnisse mit einfachen Analogien:

1. Die zwei Arten von „Kompression"

Die Autoren weisen auf eine Verwirrung hin, wie Mathematiker und Ingenieure über die „Rate" (wie viel Daten wir behalten) sprechen.

Die Sicht des Mathematikers: Stellen Sie sich vor, Sie nehmen einen ganzen Block von Pixeln und komprimieren sie alle zusammen in einen einzigen, cleveren Code. Dies ist der effizienteste Weg, aber es ist unglaublich schwierig, dies in Echtzeit zu tun.
Die Sicht des Ingenieurs: Stellen Sie sich vor, Sie betrachten jedes Pixel einzeln und sagen: „Du bist ein bisschen zu hell, also runde ich dich einfach auf die nächste Standardfarbe ab." So funktionieren aktuelle KI-Chips (unter Verwendung von Formaten wie INT8 oder FP8). Es ist schnell und einfach, aber die Autoren argumentieren, dass es nicht so effizient ist wie das theoretische Limit.

2. Die „Hoch-Rate"-Annahme

Das Papier konzentriert sich auf ein Szenario, in dem die Kompression nicht zu extrem ist (wie die Umwandlung eines Films in eine Strichzeichnung). Sie gehen davon aus, dass wir genügend Details behalten, sodass das „Rauschen" (die durch Rundung eingeführten Fehler) gering ist.

Die Analogie: Stellen Sie sich vor, Sie versuchen, einen Tisch mit einem Lineal zu messen. Wenn Ihr Lineal winzige, präzise Markierungen hat (hohe Rate), ist der Fehler nur ein winziger Bruchteil eines Millimeters. Wenn Sie ein Lineal mit riesigen Lücken verwenden (niedrige Rate), ist der Fehler massiv. Die Autoren gehen davon aus, dass wir das präzise Lineal verwenden, was es ihnen ermöglicht, einfache Mathematik zu verwenden, um die Fehler vorherzusagen.

3. Das „Perfekte" vs. das „Reale"

Die Autoren berechneten das Fundamentale Limit: die bestmögliche Genauigkeit, die Sie jemals erreichen könnten, wenn Sie ein magisches Komprimierungswerkzeug hätten, das das gesamte Bild auf einmal betrachten könnte.

Das Ergebnis: Sie stellten fest, dass bei einem perfekten System der Fehler sehr schnell abnimmt, wenn Sie mehr Bits hinzufügen (mehr Details).
Der Realitätscheck: Anschließend untersuchten sie beliebte Werkzeuge, die heute in der KI verwendet werden, wie INT (Ganzzahl) und FP (Gleitkomma) Formate.
- Das Problem: Diese Werkzeuge verwenden oft eine „Einheitsgröße für alle"-Skalierungsmethode (wie die Verwendung desselben Lineals für einen riesigen Elefanten und eine winzige Maus). Wenn die Daten einige riesige Zahlen und viele kleine enthalten, wird das Lineal gedehnt, um die großen zu passen, wodurch die kleinen wie verschwommene Punkte aussehen.
- Die Lösung: Sie stellten fest, dass wenn Sie die Daten drehen (wie das Drehen eines Bildes, damit die gezackten Ränder mit dem Gitter ausgerichtet sind), bevor Sie sie komprimieren, die „Verschmierung" viel gleichmäßiger und vorhersagbarer wird. Dies ist eine Technik namens zufällige Rotation.

4. Die „Schrumpfung"-Überraschung

Eine interessante Erkenntnis betrifft das „Schrumpfen".

Die Analogie: Wenn Sie ein Foto komprimieren und dann versuchen, es zu dekomprimieren, ist die beste Schätzung für das Original nicht einfach das dekomprimierte Foto; es ist tatsächlich eine leicht „geschrumpfte" Version davon.
Die Sicht des Papiers: Obwohl dieser „Schrumpf"-Effekt existiert, stellten die Autoren fest, dass in der Welt hoher Qualität (hohe Rate), die sie untersuchen, der Vorteil so winzig ist, dass wir ihn sicher ignorieren können, um die Mathematik einfach zu halten.

5. Testen der Werkzeuge

Die Autoren testeten ihre Theorien gegen reale Daten aus einem beliebten KI-Modell (Llama 3).

INT vs. FP: Sie stellten fest, dass für Standard-Ganzzahlformate (INT) das vorherige Drehen der Daten entscheidend ist. Ohne Rotation kann der Fehler enorm sein. Mit Rotation sinkt der Fehler auf nahezu das theoretische Limit.
Gleitkomma (FP): Überraschenderweise ist das Drehen der Daten bei Gleitkommaformaten tatsächlich schädlich. Die Autoren erklären, dass die Art und Weise, wie diese Formate Zahlen handhaben, die „gezackten Ränder" auf natürliche Weise besser bewältigt, sodass das Drehen der Daten die Dinge nur durcheinanderbringt.
NestQuant: Sie untersuchten eine neue, ausgefeilte Methode namens NestQuant (die komplexe geometrische Formen namens „Gitter" anstelle einfacher Würfel verwendet). Sie stellten fest, dass sie deutlich besser abschneidet als die Standardwerkzeuge und näher an dieses „magische" theoretische Limit herankommt.

Das Fazit

Dieses Papier liefert einen Bauplan für die Zukunft der KI-Kompression. Es sagt uns:

Es gibt eine harte mathematische Grenze dafür, wie gut wir KI-Mathematik komprimieren können.
Aktuelle Werkzeuge (wie INT8 und FP8) sind gut, lassen aber oft „Bits an Genauigkeit" auf dem Tisch liegen, weil sie die Form der Daten nicht berücksichtigen.
Rotation ist ein mächtiger Trick, aber ein zweischneidiges Schwert: Sie hilft der Ganzzahlmathematik, schadet aber der Gleitkomma-Mathematik.
Neuere, komplexere Methoden (wie NestQuant) beginnen, die Lücke zwischen dem, was wir tun, und dem, was mathematisch möglich ist, zu schließen.

Kurz gesagt sagt das Papier: „Wir kennen die Geschwindigkeitsbegrenzung der Autobahn. Aktuelle Autos fahren schnell, aber wenn wir den Motor anpassen (durch Verwendung von Rotation oder besseren Gittern), können wir dieser Geschwindigkeitsbegrenzung viel näher kommen, ohne zu crashen."

Technische Zusammenfassung: Quantisierte Matrixmultiplikation mit hoher Rate I

Problemstellung
Diese Arbeit behandelt das Problem der quantisierten Matrixmultiplikation (MatMul), einer kritischen Operation für den effizienten Einsatz von Large Language Models (LLMs). Die Autoren konzentrieren sich auf ein „generisches MatMul"-Setting, bei dem beide Matrizen (Gewichte und Aktivierungen) quantisiert werden müssen, ohne spezifisches a priori statistisches Wissen (Kalibrierung) der Faktoren zu besitzen. Die Kernherausforderung besteht darin, den fundamentalen informationstheoretischen Tradeoff zwischen der Quantisierungsrate (Bits pro Eintrag, $R$ ) und der resultierenden Verzerrung (Fehler) im Matrixprodukt zu charakterisieren. Die Arbeit unterscheidet zwischen der informationstheoretischen Definition von „Rate" (wobei ein Vektor von $N$ Einträgen global in $NR$ Bits kodiert wird) und der in der KI verwendeten praktischen Definition (wobei jeder Eintrag individuell oder in kleinen Gruppen quantisiert wird).

Methodik und Theoretischer Rahmen
Die Analyse stützt sich auf die Theorie der Quantisierung mit hoher Rate und geht davon aus, dass das Quantisierungsrauschen signifikant schwächer ist als das Signal ( $R$ ist hinreichend groß). Unter dieser Annahme wird der Quantisierungsfehler als additives, unabhängiges und gleichverteilt verteiltes Rauschen modelliert. Die Autoren vernachlässigen zudem „lineare Schrumpfungs"-Effekte, die von der Ordnung $O(2^{-4R})$ sind, um die Verzerrungsanalyse zu vereinfachen.

Die Arbeit formalisiert das Problem unter Verwendung eines Quantisierungsschemas der Rate $R$ , das Encoder und einen Decoder umfasst und möglicherweise geteilte Zufälligkeit (öffentliche Münzen) nutzt. Sie bewertet die Leistung in zwei Settings:

Schlechster Fall: Matrizen $A$ und $B$ haben beschränkte $\ell_2$ -Normen, aber keine Verteilungsannahmen.
Durchschnittlicher Fall (Gauß): Einträge von $A$ und $B$ sind unabhängig und identisch verteilt (i.i.d.) gaußverteilt.

Hauptbeiträge und Ergebnisse

Fundamentale Grenzen für generisches MatMul:
Die Arbeit zeigt, dass für generische Matrizen die kleinste erwartete Verzerrung für den $(i,j)$ -ten Eintrag des Produkts $A^\top B$ durch folgende Gleichung charakterisiert ist:
$D^*_{ij} = \frac{\|a_i\|^2 \cdot \|b_j\|^2}{n} \cdot 2 \cdot 2^{-2R}$
wobei $a_i$ und $b_j$ die Spalten von $A$ bzw. $B$ sind und $n$ die Dimension bezeichnet. Diese Schranke wird für gaußsche Eingaben als scharf nachgewiesen. Die Autoren zeigen, dass nicht-randomisierte Schemata oder einfache Sketching-Ansätze im Allgemeinen eine Verzerrung aufweisen, die linear mit der Dimension $n$ skaliert ( $\Omega(n)$ ), wohingegen Schemata, die Randomisierung (zufällige Rotation/Dither) mit Gitterquantisierung kombinieren, die fundamentale Grenze erreichen können.
Analyse populärer Quantisierungsschemata:
Die Autoren leiten genaue heuristische Approximationen für die Verzerrung weit verbreiteter Schemata ab und drücken diese in der Form $K(i,j) \cdot 2 \cdot 2^{-2R_{\text{eff}}}$ aus, wobei $R_{\text{eff}}$ die „effektive Rate" in Bits ist.
- INT-Multiplikatoren (absmax): Für standardmäßige INT $M$ mit absmax-Skalierung beträgt die effektive Rate $R_{\text{eff}} \approx M - \frac{1}{2}\log_2(\frac{2 \ln n}{3})$ . Dies deutet auf eine signifikante Ratenstrafe aufgrund des $\ell_\infty$ -Skalierungsfaktors hin. Die Arbeit zeigt, dass die Anwendung einer zufälligen Rotation (z. B. Hadamard-Transformation) vor der Quantisierung den Verzerrungsfaktor $\Delta_{\text{INT}}$ reduziert, sodass er sich um $2 \ln n$ konzentriert, was die Rotation für die INT-Quantisierung entscheidend macht.
- Gleitkomma-Multiplikatoren (FP): Unter Verwendung eines „Infinite-Exponent Independent Noise" (IEIN)-Modells leiten die Autoren ab, dass für FP mit $M$ Mantissenbits $R_{\text{eff}} \approx M + 2.23$ Bits beträgt. Im Gegensatz zu INT legt die Analyse nahe, dass für die FP-Quantisierung eine zufällige Rotation oft unnötig ist und sogar schädlich sein kann, da der Verzerrungsfaktor $\Delta_{\text{FP}}$ bei bestimmten Verteilungen ohne Rotation tendenziell kleiner als 1 ist.
- Multi-skalierte Formate (NVFP4/NVINT4): Die Arbeit analysiert 4-Bit-Formate (NVFP4, NVINT4), die Multi-Skalierung (Gruppenskalierung) verwenden. Sie argumentiert, dass NVFP4 effektiv wie ein Schema mit 1 Mantissenbit mit einer effektiven Rate von etwa 3,24 Bits verhält, während NVINT4 dieselben Skalierungsstrafen wie standardmäßiges INT erleidet, es sei denn, es wird sorgfältig verwaltet.
- NestQuant: Die Autoren überprüfen das NestQuant-Framework, das verschachtelte Gittercodes (insbesondere das $E_8$ -Gitter) und einen Satz von Skalen nutzt. Sie stellen fest, dass NestQuant INT- und FP-Schemata bei ähnlichen Bitraten signifikant übertrifft und etwa 0,6 zusätzliche Bits Genauigkeit erreicht.
Empirische Validierung:
Unter Verwendung von Aktivierungsmatrizen aus der 15. Schicht von Llama3-8B validiert die Arbeit die theoretischen Approximationen.
- Die abgeleiteten Formeln für INT- und FP-Verzerrung stimmen bemerkenswert gut mit empirischen Messungen des Root Mean Squared Error (RMSE) überein.
- Histogramme bestätigen, dass eine zufällige Rotation die Varianz des Verzerrungsfaktors für die INT-Quantisierung drastisch reduziert, jedoch einen anderen, oft negativen Einfluss auf die FP-Quantisierung hat.
- Vergleiche bei $R=4,5$ Bits zeigen, dass NestQuant sowohl NVINT4 als auch NVFP4 signifikant übertrifft.

Bedeutung und Behauptungen
Die Arbeit behauptet, die ersten informationstheoretischen Benchmarks für generische quantisierte MatMul zu liefern, bei denen keine Kalibrierungsstatistiken verfügbar sind. Ihre primäre Bedeutung liegt in der Quantifizierung der Lücke zwischen fundamentalen Grenzen und restriktiven praktischen Ansätzen (wie standardmäßigen INT/FP-Formaten).

Die Autoren betonen, dass zwar die Annahmen hoher Raten für sehr niedrige Bitraten ( $R < 2$ ) möglicherweise nicht gelten, sie jedoch für die typischerweise in LLMs verwendeten Raten (z. B. 4 bis 8 Bits) hinreichend genaue Ausdrücke liefern. Die Arbeit dient als theoretische Grundlage zur Bewertung aktueller Quantisierungsstrategien und hebt hervor, dass:

Zufällige Rotation eine kritische Komponente für die INT-Quantisierung ist, um fundamentale Grenzen zu erreichen.
FP-Quantisierung sich anders verhält, wobei Rotation möglicherweise nicht vorteilhaft ist.
Eine erhebliche Leistungslücke zwischen standardmäßigen Schemata und dem theoretischen Optimum besteht, die durch fortschrittliche Techniken wie NestQuant verringert werden kann.

Die Arbeit schließt mit dem Hinweis, dass Teil II dieser Arbeit das Setup der gewichtsnur-Quantisierung behandeln wird, bei dem zweite Ordnungsstatistiken der Aktivierungen verfügbar sind.