🤖 machine learning

Saturation Makes Quantization Error Additive: A Coverage Model with a Certificate

Diese Arbeit stellt die Prämisse infrage, dass Quantisierungsverlust strikt additiv ist, indem sie ein Coverage-Modell einführt, das Sättigungseffekte erfasst, und zeigt auf, dass dieser Ansatz herkömmliche sensitivitätsbasierte Methoden bei der Mixed-Precision-Allokation für große Sprachmodelle, insbesondere bei Präzisionen unter 4 Bit, signifikant übertrifft.

Ursprüngliche Autoren: Joshua Hill

Veröffentlicht 2026-07-15

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Joshua Hill

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen riesigen, komplexen Roboter, der aus tausenden winzigen Zahnrädern (Schichten) besteht. Sie möchten diesen Roboter schneller und kostengünstiger machen, indem Sie einige seiner schweren, vergoldeten Zahnräder gegen leichtere aus Kunststoff austauschen. Dies nennt man Quantisierung. Die große Frage ist: Welche Zahnräder sollten Sie austauschen?

Lange Zeit versuchten Ingenieure, dies zu lösen, indem sie jedes Zahnrad isoliert betrachteten. Sie sagten: „Dieses Zahnrad wackelt, also braucht es Gold“, oder „Das dort ist steif, also kann es aus Kunststoff sein“. Sie nahmen an, wenn man das „Wackeln“ jedes einzelnen ausgetauschten Zahnrads zusammenzählt, wüsste man genau, wie sehr der gesamte Roboter erzittern würde.

Die große Entdeckung des Papers ist, dass diese „Additions-Methode“ völlig falsch ist.

Die „Voller-Tank“-Analogie: Warum Addieren nicht funktioniert

Die Autoren fanden heraus, dass das „Zittern“ (oder der Fehler) des Roboters nicht wie ein Eimer funktioniert, in den man einfach nur mehr Wasser schüttet. Stattdessen funktioniert es wie ein Kraftstofftank mit einer Decke.

Stellen Sie sich vor, der Roboter hat eine maximale Menge an Zittern, die er vertragen kann, bevor er komplett zerbricht. Nennen wir dies die Decke.

Wenn Sie die ersten paar Zahnräder austauschen, wackelt der Roboter ein wenig.
Aber hier ist der Haken: Wenn Sie mehr Zahnräder austauschen, kommt der Roboter näher an diese Bruchdecke.
Da er bereits wackelt, fügt der Austausch eines weiteren Zahnrads nicht dieselbe Menge an Wackeln hinzu wie das erste Zahnrad. Es fügt weniger hinzu, weil weniger „Platz“ übrig ist, bevor der Roboter zerbricht.

Die Autoren nennen dies Sättigung. Der Schaden „sättigt“, weil es ein Limit gibt, wie schlimm es werden kann.

Das Problem der „Falschen Karte“

Aufgrund dieser Sättigung sind die alten Methoden (wie das Betrachten von Zahnrädern einzeln) wie eine Karte, die denkt, die Straße sei flach. Sie messen, wie holprig ein Zahnrad ist, während der Roboter perfekt glatt läuft (keine anderen Zahnräder ausgetauscht). Sie denken: „Oh, dieses Zahnrad fügt 10 Erschütterungen hinzu!“

In der Realität aber, wenn Sie bereits 50 andere Zahnräder ausgetauscht haben, fügt dasselbe Zahnrad vielleicht nur noch 1 Erschütterung hinzu, weil der Roboter bereits nahe an seinem Limit wackelt. Die alten Methoden überschätzen den Schaden um 71 % bis 376 %. Sie denken, der Roboter wird abstürzen, obwohl er eigentlich völlig in Ordnung ist.

Das neue „Coverage“-Modell

Die Autoren schlagen einen neuen Weg vor, wie man darüber nachdenken kann, den sie das Coverage-Modell nennen.

Stellen Sie sich vor, das Zittern des Roboters ist ein Ballon, der aufgeblasen wird.

Jedes Mal, wenn Sie ein Zahnrad austauschen, blasen Sie ein wenig Luft in den Ballon.
Aber der Ballon wird schwerer zu dehnen, je größer er wird. Der erste Luftstoß lässt ihn stark expandieren; der letzte Luftstoß lässt ihn nur sehr wenig expandieren.
Die Autoren fanden heraus, dass man das gesamte Zittern perfekt vorhersagen kann, wenn man misst, wie viel „Luft“ (Schaden) jedes Zahnrad hinzufügen würde, wenn es das einzige ausgetauschte Zahnrad wäre – unter Verwendung einer einfachen mathematischen Formel, die berücksichtigt, dass der Ballon schwerer zu dehnen wird.

Sie bewiesen dies, indem sie es an echten riesigen Robotern (Large Language Models) testeten, die von winzig (0,6 Milliarden Zahnräder) bis massiv (355 Milliarden Zahnräder) reichten.

Das Ergebnis: In 85 % bis 93 % der Fälle wird das gesamte Zittern vollständig durch das Betrachten der einzelnen Zahnräder erklärt, sofern man diese neue „Ballon“-Mathematik verwendet.
Die alte „Additions-Methode“ scheitert, weil sie vergisst, dass der Ballon schwerer zu dehnen ist.

Was ist mit „Paarweise“-Tricks?

Einige kluge Ingenieure versuchten, die alte Methode zu korrigieren, indem sie Paare von Zahnrädern betrachteten (z. B. „Was passiert, wenn ich Zahnrad A und Zahnrad B zusammen austausche?“). Sie hofften, dadurch verborgene Interaktionen zu erfassen.

Das Paper sagt: Verschwenden Sie keine Zeit mehr damit.
Sie haben das Zittern jeder möglichen Kombination von Zahnrädern in kleinen Blöcken gemessen. Sie fanden heraus, dass das Betrachten von Paaren nicht viel half. Das „zusätzliche“ Zittern, das nicht durch einzelne Zahnräder erklärt werden konnte, war fast ausschließlich die Krümmung des Ballons (die Sättigung) und kein geheimes Geheimnis zwischen den Zahnrädern.

Tatsächlich erhalten Sie das gleiche Ranking der Zahnräder wie die komplexen Paar-Methoden, wenn Sie einfach ein einfaches „Additions-Modell“ verwenden, aber die Mathematik so anpassen, dass sie die Ballon-Krümmung berücksichtigt – und das viel schneller und mit weniger Daten.

Das „Zertifikat“ (Wie sicher sind wir uns?)

Die Autoren gehen sehr sorgfältig vor. Sie haben nicht nur geraten; sie haben ein Zertifikat gebaut.

Sie haben das „Rauschen“ (zufällige Fehler) in ihren Tests gemessen und herausgerechnet.
Sie haben mathematisch bewiesen, dass, wenn ihre „Ballon“-Theorie richtig ist, der Fehler des einfachen Modells exakt dem „unerklärten“ Zittern entsprechen sollte, das sie gemessen haben.
Und raten Sie mal? Es passte perfekt. Sie können uns nun schon vor dem Bau des Roboters genau sagen, wie gut ein einfendes Modell sein wird.

Der reale Gewinn

Als sie diese neue Methode anwandten, um zu entscheiden, welche Zahnräder sie in realen KI-Modellen austauschen sollten:

Erzielten sie bessere Ergebnisse als die Industriestandard-Tools (wie NVIDIAs ModelOpt).
Bei einem 30-Milliarden-Zahnrad-Modell reduzierten sie den Fehler im Vergleich zur besten bestehenden Methode um 17 % bis 21 %.
Am wichtigsten ist: Als sie die Roboter dazu brachten, extrem leicht zu werden (unter 4 Bit), führten die alten Methoden dazu, dass die Roboter aufhörten zu sprechen (sie konnten ihre Sätze nicht beenden). Die neue Methode hielt die Roboter am Sprechen und beim Lösen von Matheaufgaben, selbst bei den niedrigsten Einstellungen.

Was sie ausgeschlossen haben

Sie haben die Idee ausgeschlossen, dass man jedes einzelne Paar von Zahnrädern messen muss, um ein gutes Ergebnis zu erzielen. Die „Paarweise“-Methoden sind zu teuer und bieten kaum Mehrwert.
Sie haben die Idee ausgeschlossen, dass das „Wackeln“ eines Zahnrads konstant ist. Es ändert sich, je nachdem, wie viele andere Zahnräder bereits ausgetauscht wurden.
Sie haben die Idee ausgeschlossen, dass komplexe „Black Box“-KI-Prädiktoren (wie Gauß-Prozesse) besser sind. Während diese funktionieren, wenn man viele Daten hat, versagen sie kläglich, wenn man versucht, Einstellungen vorherzusagen, die sie noch nicht gesehen haben. Die einfache „Ballon“-Mathematik bleibt auch dann genau, wenn sie neue Szenarien errät.

Das Fazit

Das Paper zeigt, dass Quantisierung kein chaotisches Puzzle aus verborgenen Interaktionen ist. Es ist ein einfacher, vorhersehbarer Prozess des Auffüllens eines Tanks. Wenn man aufhört, jede winzige Interaktion messen zu wollen, und stattdessen einfach misst, wie viel „Platz“ noch im Tank ist, kann man schnellere, günstigere und intelligentere KI-Modelle mit viel weniger Aufwand bauen.

Technisches Resümee: Sättigung macht Quantisierungsfehler additiv

Problemstellung

Die Mixed-Precision-Quantisierung für Large Language Models (LLMs) erfordert die Entscheidung, welche Schichten oder Tensoren unter Berücksichtigung eines strikten Speicherbudgets mit höherer Präzision beibehalten werden sollen. Aktuelle Industriestandard-Methoden (z. B. HAWQ, ModelOpt, CoopQ) stützen sich auf eine strukturelle Prämisse: Der Gesamtschaden durch die Quantisierung einer Menge von Schichten kann aus isoliert gemessenen pro-Schicht- oder paarweisen Sensitivitäten rekonstruiert werden. Diese Methoden aggregieren Scores, die aus Hessian-Spuren, Fisher-Scores oder paarweisen Interaktionstermen abgeleitet wurden, unter der Annahme, dass niedrigdimensionale Messungen ausreichen, um den Verlust einer gemeinsamen Konfiguration vorherzusagen.

Diese Prämisse wurde jedoch bei den derzeit eingesetzten 4-Bit-Gewichts- und Aktivierungspräzisionen nicht direkt getestet. Die Verlustfunktion $f(S)$ , definiert als der Anstieg des Verlusts bei der Quantisierung einer Teilmenge von Schichten $S$ , ist eine Set-Funktion über den Boole’schen Würfel $\{0, 1\}^L$ . Für realistische Modelltiefen ist das Enumerieren aller $2^L$ Konfigurationen unpraktikabel, was Approximationen erforderlich macht. Die Kernfrage ist, ob die Varianz dieser Verlustfunktion durch First-Order-Effekte (pro Schicht) dominiert wird oder ob höhere Interaktionen signifikant genug sind, um additive Heuristiken zu invalidieren.

Methodik

Die Autoren analysieren die Struktur des Quantisierungsschadens $f(S)$ durch zwei klassische Basistransformationen des Boole’schen Würfels: die Walsh-Transformation (funktional-ANOVA-Zerlegung) und die Möbius-Expansion.

Varianzzerlegung: Unter Verwendung der Walsh-Basis unter einer Deployment-Verteilung $\mu_p$ (bei der jede Schicht unabhängig mit Wahrscheinlichkeit $p=0,6$ quantisiert wird), zerlegen die Autoren die Varianz von $f$ nach der Ordnung. Theorem 1 stellt fest, dass der mittlere quadratische Fehler des besten additiven (Grad-1) Prädiktors exakt gleich der Summe der Varianzen aller Terme höherer Ordnung (Ordnung $\ge 2$ ) ist.
Ordinale Analyse: Um zu bestimmen, ob die verbleibende Energie höherer Ordnung echte Kopplung zwischen den Schichten oder lediglich die Krümmung der Verlustskala darstellt, testen die Autoren auf "Additivität bis zu einer streng monoton steigenden Transformation". Sie messen den ordinalen Defekt – den minimalen Bruchteil der paarweisen Konfigurations-Rankings, den jeder additive Index verletzen muss. Dieser wird mittels Split-Half-Schätzern und Matched-Noise-Nullmodellen gegen Messrauschen zertifiziert.
Das Coverage-Modell: Die Autoren schlagen ein "Coverage-Modell" vor, das durch Sättigung getrieben wird. Da der Quantisierungsverlust durch eine Obergrenze $c$ begrenzt ist, nimmt der „Spielraum“ $h(S) = c - f(S)$ ab, während mehr Schichten quantisiert werden. Das Modell postuliert, dass jede quantisierte Schicht einen festen Bruchteil $a_i$ des verbleibenden Spielraums konsumiert:
$f(S) = c \left(1 - \prod_{i \in S} (1 - a_i)\right)$
Dies impliziert, dass der Schaden additiv im Log-Spielraum ist: $-\log(1 - f(S)/c) = \sum_{i \in S} b_i$ .
Prädiktoren und Allokatoren:
- Additives Modell: Der optimale First-Order-Prädiktor, abgeleitet aus der Deployment-Verteilung.
- Coverage-Modell: Ein parametrischer Prädiktor mit $L+1$ Parametern ( $c$ und Break-Raten $a_i$ ), gefittet mittels Kleinste-Quadrate-Schätzung.
- Aumann–Shapley-Estimator: Ein fit-freier Pfadintegral, der den optimalen additiven Koeffizienten bei einer schichtspezifischen effektiven Dichte rekonstruiert und beweist, dass das Ranking der Schichten unter dem Coverage-Modell exakt erhalten bleibt.
- Allokation: Beide Modelle werden in Allokatoren umgewandelt, indem ein Knapsack-Problem über die vorhergesagten marginalen Schäden gelöst wird, um $\Delta$ LCE unter einem Speicherbudget zu minimieren.

Zentrale Ergebnisse

1. Dominanz von First-Order-Effekten

Über Konfigurationen, die aus der Deployment-Verteilung gezogen wurden, werden 85–93 % der Varianz im Quantisierungsschaden allein durch pro-Schicht-Effekte erklärt. Auf exakten Gittern (wo alle $2^L$ Konfigurationen gemessen werden) steigt dieser Wert unter Rauschkorrektur auf 98–99 %. Die unerklärte Varianz höherer Ordnung dient als „Zertifikat“ für die Leistungsfähigkeit jedes additiven Modells.

2. Sättigung erklärt die Struktur

Die verbleibende Energie höherer Ordnung deutet nicht auf komplexe Schichtkopplungen hin, sondern auf die Sättigung der Verlustfunktion.

Ordinaler Defekt: Der Schaden wird gut durch eine monotone Transformation einer Summe von pro-Schicht-Termen approximiert ( $f(S) \approx g(\sum b_i)$ ). Der gemessene ordinale Defekt beträgt höchstens 2 % (oft nicht von Null unterscheidbar), was zeigt, dass die scheinbare Nicht-Additivität auf die Krümmung der Verlustskala zurückzuführen ist, nicht auf eine Interaktion zwischen den Schichten.
Möbius-Spektrum: Das Coverage-Modell sagt ein spezifisches Möbius-Spektrum voraus, bei dem die Koeffizienten alternierende Vorzeichen aufweisen und in ihrer Magnitude wachsen, was dazu führt, dass niedrige Ordnungs-Approximationen (Truncations) die wahre Verlustgröße signifikant überschätzen (bis zu 32-mal höher), bevor sie konvergieren. Dieses Verhalten wird empirisch auf exakten Gittern bestätigt.

3. Versagen isolierter Sensitivitäten

Sensitivitäten, die in Isolation gemessen werden (z. B. der Hessian-Trace von HAWQ-v2), sind am unquantisierten Netzwerk verankert ( $p \to 0$ ). Unter dem Coverage-Modell werden diese isolierten Steigungen durch einen geschlossenen Faktor relativ zu den optimalen In-Context-Steigungen aufgebläht:
$\frac{s_i}{w_i} \approx e^{p \sum_j a_j}$
Dies führt zu einer Fehlbewertung des Konfigurationsverlusts um 71–376 %, wenn isolierte Sensitivitäten summiert werden. Die Inflation wächst exponentiell mit der Anzahl der quantisierten Schichten.

4. Leistung von Prädiktoren und Allokatoren

Vorhersage: Die additiven und Coverage-Modelle (mit $L+1$ Parametern) übertreffen oder gleichen Black-Box-Surrogaten (Random Forests, Gauß-Prozesse, RBF-Kernel) bei kleinen Messbudgets ( $N \approx L$ ) hinsichtlich der Genauigkeit. Entscheidend ist, dass sie bei der Extrapolation auf stark quantisierte Konfigurationen höchstens um den Faktor 2 degradieren, während Gauß-Prozesse um den Faktor 2–5 degradieren, da ihre stationären Kernel die Sättigungsstruktur nicht kodieren können.
Allokation: Bei identischen Speicherbudgets erzielen die vorgeschlagenen Allokatoren die niedrigste KL-Divergenz im Vergleich zu allen verglichenen Methoden (sensitivitätsbasiert, strukturell und surrogate-basiert) auf Modellen von 0,6B bis 355B Parametern.
- Auf Qwen3-30B erreichen sie eine um 17–21 % geringere KL-Divergenz als die produktive ModelOpt-Baseline.
- Bei Qwen3-235B und GLM-4.6 (355B) werden Margen von 13–37 % beobachtet.
Sub-4-Bit-Regime: Unterhalb von 4 Bit versagen Standard-Allokatoren oft darin, generierende Prozesse abzuschließen. Die vorgeschlagenen Allokationen, die aus den gefitteten Modellen abgeleitet wurden, bewahren die Denkfähigkeiten (Reasoning) bei effektiven Bitbreiten, bei denen andere Methoden kollabieren.

Bedeutung und Behauptungen

Das Paper behauptet, eine geschlossene Theorie für die Mixed-Precision-Quantisierung geliefert zu haben, die den Widerspruch zwischen der scheinbaren Nicht-Additivität des Verlusts und dem Erfolg von Pro-Schicht-Heuristiken auflöst.

** Theoretischer Beitrag:** Es beweist, dass Sättigung sowohl das konzentrierte Walsh-Spektrum (Dominanz der Ordnung 1) als auch das divergente Möbius-Spektrum (Überschießen der Interaktionen) erzeugt. Es liefert eine Zertifikats-Identität (Theorem 1), die die Grenze additiver Modelle vor dem Deployment quantifiziert.
Praktische Auswirkung: Es demonstriert, dass die vorherrschenden „Isolate-and-Sum“-Heuristiken aufgrund des Anchor-Bias fundamental fehlerhaft sind und den Verlust um Größenordnungen überschätzen. Das vorgeschlagene Coverage-Modell und der Aumann–Shapley-Estimator bieten eine genauere, interpretierbare und rechnerisch effizientere Alternative, die keine paarweisen Stichproben erfordert.
Robustheit: Die Methoden werden über verschiedene Modellskalen (0,6B bis 355B), Architekturen (Dense und MoE) und Aufgaben (Reasoning, Code, Bildgenerierung) validiert. Das Paper behauptet, dass die resultierenden Allokationen die ersten sind, die Reasoning-Aufgaben bei Sub-4-Bit-Budgets zuverlässig lösen, wo andere Methoden scheitern.

Die Autoren kommen zu dem Schluss, dass die „Interaktion“, die oft der Quantisierung zugeschrieben wird, weitgehend ein Artefakt der Krümmung der Verlustskala ist. Durch die explizite Modellierung dieser Sättigung kann man eine optimale Allokation mit einfachen, interpretierbaren und zertifizierbaren Prädiktoren erreichen.