🤖 AI

Model-Preserving Adaptive Rounding

Dieses Paper stellt YAQA vor, einen adaptiven Rounding-Quantisierungsalgorithmus, der theoretische End-to-End-Fehlergrenzen auf Basis von Hessian-Approximationen nutzt, um bestehende Methoden wie GPTQ und Quantization-Aware Training signifikant zu übertreffen, ohne den Inferenzaufwand zu erhöhen.

Ursprüngliche Autoren: Albert Tseng, Zhaofeng Sun, Christopher De Sa

Veröffentlicht 2026-06-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Albert Tseng, Zhaofeng Sun, Christopher De Sa

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen eine riesige, unglaublich detaillierte Bibliothek (ein Large Language Model), die Milliarden von Büchern (Parameter) enthält. Diese Bibliothek ist fantastärisch darin, Fragen zu beantworten, aber sie ist so massiv, dass sie ein ganzes Lagerhaus beansprucht und ein riesiges Team von Bibliothekaren erfordert, um sie zu betreiben. Sie möchten diese Bibliothek schrumpfen lassen, damit sie in einen Rucksack passt und von einem einzelnen Bibliothekar betrieben werden kann, ohne dabei die Fähigkeit zu verlieren, Geschichten zu erzählen oder Fragen präzise zu beantworten.

Dieser Prozess wird Quantisierung genannt. Es ist so, als würde man diese massiven, hochauflösenden Bücher nehmen und sie auf kleinerem, billigerem Papier mit weniger Farben drucken. Das Ziel ist es, dass die „geschrumpfte“ Bibliothek genauso klingt und handelt wie das Original.

Das Problem: Der „kurzsichtige“ Bibliothekar

Die meisten aktuellen Methoden, um diese Bibliotheken zu schrumpfen, nutzen eine Strategie, die die Autoren als „myopisch“ (kurzsichtig) bezeichnen.

Stellen Sie sich einen Bibliothekar vor, der versucht, ein Buch zu komprimieren. Er betrachtet die erste Seite, schrumpft sie und sagt: „Okay, diese Seite sieht gut aus.“ Dann geht er zur zweiten Seite, schrumpft sie und sagt: „Das sieht auch gut aus.“ Er macht dies für jede Seite einzeln.

Das Problem ist: Er ignoriert, wie die Seiten miteinander verbunden sind.
Wenn er die erste Seite schlecht schrumpft, ergibt die zweite Seite vielleicht keinen Sinn mehr, selbst wenn die zweite Seite für sich genommen völlig in Ordnung aussieht. Aktuelle Methoden (wie GPTQ oder LDLQ) versuchen, jede Schicht des Modells einzeln zu korrigieren, wobei sie ignorieren, dass ein Fehler in der ersten Schicht das Ergebnis der letzten Schicht ruiniert. Es ist, als würde man versuchen, einen Automotor zu reparieren, indem man die Schrauben einzeln festzieht, ohne jemals das Auto zu starten, um zu sehen, ob es tatsächlich fährt.

Die Lösung: YAQA (Yet Another Quantization Algorithm)

Die Autoren stellen YAQA vor, eine neue Methode, die wie ein Meistereditor agiert, der das gesamte Buch von Anfang bis Ende liest, bevor er eine einzige Änderung vornimmt.

Anstatt nur die unmittelbare Seite zu betrachten, fragt YAQA: „Wenn ich dieses Wort hier ändere, wie wird sich das auf den letzten Satz am Ende des Kapitels auswirken?“

So funktioniert YAQA, unterteilt mit einfachen Analogien:

1. Die „Landkarte“ der Fehler (Die Hesse-Matrix)

Um zu wissen, wie eine kleine Änderung in einem Teil des Modells das Ganze beeinflusst, benötigt man eine Landkarte. In der Mathematik ist diese Landkarte eine Hesse-Matrix (Hessian).

Alte Methoden verwendeten eine verschwommene, niedrig auflösende Karte, die nur die unmittelbare Nachbarschaft (die aktuelle Schicht) zeigte.
YAQA erstellt eine hochauflösende End-to-End-Karte. Es berechnet exakt, wie sich ein winziger Fehler am Anfang durch das gesamte System zieht, bis hin zur finalen Antwort.

2. Die „Kronecker“-Abkürzung

Den Aufbau dieser perfekten Karte für eine Bibliothek mit Milliarden von Büchern wäre normalerweise unmöglich, da die Karte zu riesig wäre, um sie zu speichern.

YAQAs Trick: Sie verwenden eine mathematische Abkürzung, die als Kronecker-faktorisierte Approximation bezeichnet wird.
Die Analogie: Stellen Sie sich vor, Sie müssen eine komplexe 3D-Skulptur beschreiben. Anstatt jedes einzelne Atom zu messen, erkennen Sie, dass die Skulptur lediglich eine Kombination aus ein paar einfachen Formen ist, die übereinander gestapelt wurden. YAQA erkennt, dass die „Fehlerkarte“ durch die Kombination zweier kleinerer, einfacherer Karten (einer für die Eingangsseite und einer für die Ausgangsseite) aufgebaut werden kann, anstatt eine riesige, unhandliche Karte zu erstellen. Dies macht die Berechnung schnell und handhabbar.

3. Die „Power Iteration“-Suche

Sob-ald sie das Gerüst für die Karte haben, müssen sie die beste mögliche Version davon finden.

Sie verwenden eine Technik namens Power Iteration. Denken Sie an das Einstellen eines Radios. Sie beginnen mit einem groben Signal, hören das Rauschen, drehen den Regler leicht nach, um ein klareres Signal zu erhalten, und wiederholen dies.
YAQA führt diesen „Tuning“-Prozess über einen Datensatz von Texten aus. Es rät nicht einfach nur; es beweist mathematisch, dass dieser Prozess auf die bestmögliche „Schrumpfungsstrategie“ konvergiert, die den Unterschied zwischen dem Originalmodell und dem neuen Modell minimiert.

Warum YAQA eine große Sache ist

Das Paper stellt drei Hauptbehauptungen darüber auf, warum dies besser ist als das, was wir heute haben:

Es ist bewiesen besser: Die Autoren haben nicht nur geraten; sie haben einen mathematischen Beweis geliefert, der zeigt, dass der Fehler von YAQA strikt niedriger ist als der älterer Methoden (wie GPTQ/LDLQ), weil es das Gesamtbild betrachtet und nicht nur die lokale Umgebung.
Es verringert den „Abstand“ um 30 %: Als sie gemessen haben, wie unterschiedlich das neue Modell vom Original ist (unter Verwendung einer Metrik namens KL-Divergenz), reduzierte YAQA diesen Unterschied im Vergleich zu den besten bestehenden Methoden um etwa 30 %.
- Analogie: Wenn das Originalmodell ein perfektes Foto ist und die alte Methode eine leicht unscharfe Kopie erstellt hat, macht YAQA eine Kopie, die vom Original kaum noch zu unterscheiden ist.
Es schlägt das „Training von Grund auf“ (QAT): Normalerweise muss man, um ein perfektes kleines Modell zu erhalten, das gesamte Modell von Grund auf neu trainieren (Quantization Aware Training), was eine enorme Zeit und Rechenleistung erfordert. YAQA erzielt bessere Ergebnisse als diese teure Trainingsmethode, aber es tut dies, ohne das Modell neu trainieren zu müssen. Es ist, als würde man einen maßgeschneiderten Anzug erhalten, indem man einfach den bestehenden anpasst, anstatt neuen Stoff zu kaufen und alles neu zu nähen.

Das Fazit

YAQA ist eine neue Art, KI-Modelle zu komprimieren. Anstatt das Modell Stück für Stück zu reparieren und auf das Beste zu hoffen, betrachtet es das gesamte System auf einmal. Es nutzt kluge Mathematik, um genau zu berechnen, wie das Modell geschrumpft werden muss, damit das Endergebnis so nah wie möglich am Original bleibt.

Das Ergebnis? Sie erhalten ein viel kleineres, schnelleres Modell, das sich fast exakt wie das riesige, teure Modell verhält – und das mit null zusätzlichem Aufwand bei der eigentlichen Nutzung (kein Inference-Overhead). Es ist der Unterschied zwischen einer unscharfen Fotokopie und einem hochauflösenden Scan, erreicht ohne einen Supercomputer zum Drucken zu benötigen.

Technisches Resümee: Modell-erhaltendes adaptives Rounding (YAQA)

Problemstellung

Das primäre Ziel der Quantisierung von Large Language Models (LLMs) besteht darin, Modellparameter in niedrigpräzise Repräsentationen zu komprimieren und dabei die ursprüngliche Output-Verteilung des Modells so eng wie möglich beizubehalten. Dies wird formal als Minimierung der Kullback-Leibler-Divergenz (KL-Divergenz) zwischen dem Originalmodell $M(\theta^*, X)$ und dem quantisierten Modell $M(\theta, X)$ definiert.

Derzeitige State-of-the-Art-Methoden der Post-Training-Quantisierung (PTQ), wie GPTQ und LDLQ, verlassen sich auf lokales, schichtweises adaptives Rounding. Diese Algorithmen minimieren den unmittelbaren Aktivierungsfehler einer einzelnen Schicht als Proxy für den End-to-End-Fehler. Dieser Ansatz ignoriert jedoch die Propagation von Quantisierungsfehlern durch nachfolgende Schichten, was ihn zu einem suboptimalen Proxy für das wahre Ziel macht. Während andere Methoden versuchen, globale Informationen einzubeziehen (z. B. über empirische Fisher-Matrizen oder blockdiagonale Approximationen), fehlt es ihnen oft an theoretischen Garantien bezüglich End-to-End-Fehlergrenzen, und sie verlassen sich auf Ad-hoc-Hessian-Approximationen, die die Leistung nicht konsistent verbessern.

Methodik: Yet Another Quantization Algorithm (YAQA)

YAQA ist ein neuer adaptiver Rounding-Algorithmus, der darauf ausgelegt ist, die End-to-End-KL-Divergenz direkt zu minimieren, anstatt nur lokale, schichtweise Fehler. Er besteht aus zwei Kernkomponenten: einem theoretisch fundierten Rounding-Algorithmus und skalierbaren Hessian-Sketchen.

1. End-to-End Schichtweises Adaptives Rounding

YAQA generalisiert die LDLQ-Fixpunktiteration, um den gesamten Modellfehler zu berücksichtigen. Anstatt die Hesse der unmittelbaren Aktivierung ( $H_1$ ) zu verwenden, nutzt YAQA eine Kronecker-faktorisierte Hessian-Approximation $\tilde{H} = H_O \otimes H_I$ , wobei $H_O$ und $H_I$ die Feedback-Seiten von Output bzw. Input repräsentieren.

Das Rounding-Update ist definiert als:
$W = \text{vec}^{-1} \left( Q \left( \text{vec}(W^*) + \text{vec}(W^* - W)(L - I) \right) \right)$
wobei $L$ die Dreiecks-Komponente der LDL-Zerlegung von $\tilde{H}$ ist.

Struktureller Nilpotenzgrad (Structural Nilpotence Degree, SND):
Um diese Iteration handhabbar zu machen, führen die Autoren das Konzept des strukturellen Nilpotenzgrades (SND) ein. Für eine allgemeine dichte Hesse wären die Konvergenzschritte $O(mn)$. Durch die Verwendung einer Kronecker-faktorierten Struktur ( $\tilde{H} = H_O \otimes H_I$ ) ist der SND jedoch durch $m + n - 1$ begrenzt. Dies ermöglicht es dem Algorithmus, in $m+n$ iterativen Schritten zu konvergieren, die jeweils hochgradig parallelisierbare Matrixmultiplikationen beinhalten, anstatt der $O(m^2n^2)$ -Komplexität eines dichten Ansatzes. Diese Struktur führt ein symmetrisches Feedback von sowohl Input- als auch Output-Kanälen ein, im Gegensatz zu früheren Methoden, die nur Input-seitiges Feedback nutzen.

2. Hessian-Sketche

Um die Kronecker-Faktoren $H_O$ und $H_I$ für große LLMs handhabbar zu berechnen, schlägt YAQA zwei Hessian-Sketche vor, die aus der Potenziteration auf der wahren Hesse der KL-Divergenz ( $\nabla^2 L(W^*)$ ) abgeleitet sind:

Sketch A: Nimmt an, dass Token innerhalb einer Sequenz unabhängig sind. Er führt eine Potenziteration auf einer Hessian-Schätzung durch, die die Varianz reduziert, indem er Token als unabhängige Stichproben behandelt, was jedoch eine leichte Verzerrung (Bias) einführt. Dies erfordert mehrere Durchläufe über die Daten.
Sketch B: Führt eine einzige Runde der Potenziteration auf der wahren Hesse durch, beginnend mit einer Identitäts-Initialisierung. Diese Methode berechnet Gradienten über ganze Sequenzen hinweg (unter Berücksichtigung des Sequence Mixing) und kann in einem einzigen Backward-Pass über einen Datensatz ausgeführt werden. Er ist konzeptionell ähnlich der Preconditioning-Basis von Shampoo, verwendet jedoch die reale Fisher-Informationsmatrix.

Die theoretische Analyse zeigt, dass der End-to-End-Fehler von YAQA durch die Kosinus-Ähnlichkeit zwischen der Kronecker-Approximation ( $H_O \otimes H_I$ ) und der wahren Hesse ( $\nabla^2 L(W^*)$ ) begrenzt ist. Beide Sketche sind darauf ausgelegt, diese Ähnlichkeit zu maximieren und gleichzeitig eine geringe Inkohärenz sowie einen niedrigen Rang beizubehalten.

Zentrale Beiträge

YAQA-Algorithmus: Einführung eines neuen adaptiven Rounding-Algorithmus, der lokale Methoden generalisiert, um die vollständige End-to-End-KL-Divergenz zu optimieren. Es ist der erste Quantisierungsalgorithmus, der mit theoretischen Grenzen für den End-to-End-Fehler ausgestattet ist.
Theoretischer Rahmen: Charakterisierung der Konvergenzzeit von adaptivem Rounding via Structural Nilpotence Degree (SND) und die Ableitung der ersten End-to-End-Fehlergrenzen für Quantisierungsalgorithmen. Diese Grenzen verknüpfen den Approximationsfehler mit der Kosinus-Ähnlichkeit zwischen dem Hessian-Sketch und der wahren Hesse.
Skalierbare Hessian-Sketche: Entwicklung zweier handhabbarer, nahezu optimaler Kronecker-faktorisierter Hessian-Sketche (Sketch A und Sketch B), die die Berechnung globaler Fehlerinformationen ohne prohibitive Rechenkosten ermöglichen.
Empirische Überlegenheit: Nachweis, dass YAQA eine signifikant geringere KL-Divergenz und eine bessere Performance bei Downstream-Aufgaben erreicht als bestehende SOTA-Methoden, einschließlich GPTQ, LDLQ und sogar Quantization-Aware Training (QAT).

Ergebnisse

Die Autoren evaluierten YAQA auf Llama 3.1 (1B, 3B, 8B, 70B), Gemma 3 (12B) und Qwen 3 (8B) Modellen.

KL-Divergenz: YAQA reduziert die KL-Divergenz um etwa 30 % im Vergleich zu LDLQ und GPTQ. Bemerkenswerterweise erreicht YAQA eine geringere KL-Divergenz als Googles Gemma 3 QAT-Rezept, obwohl QAT wesentlich mehr Rechenleistung und Daten erfordert.
Downstream-Performance: YAQA setzt neue State-of-the-Art-Ergebnisse bei Zero-Shot-Downstream-Aufgaben (z. B. MMLU, GSM8K, BoolQ) über verschiedene Bit-Breiten hinweg (2-Bit bis 4-Bit).
Effizienz: Die Methode verursacht keinen Inferenz-Overhead für das quantisierte Modell, da die Komplexität auf die Post-Training-Quantisierungsphase beschränkt ist.
Robustität: Experimente zeigen, dass Sketch B selbst mit nur 2.000 Sequenzen State-of-the-Art-Ergebnisse erzielt, was deutlich weniger Daten erfordert als typische QAT-Methoden.

Bedeutung und Ansprüche

Das Paper behauptet, dass YAQA einen fundamentalen Wandel in der Quantisierungsstrategie darstellt, indem es von der lokalen, schichtweisen Fehlerminimierung zur globalen, End-to-End-Fehlerminimierung übergeht. Die Bedeutung liegt in:

Theoretischen Garantien: Bereitstellung der ersten beweisbaren End-to-End-Fehlergrenzen für die Quantisierung, welche die algorithmische Performance mit den geometrischen Eigenschaften der Hessian-Approximationen (Kosinus-Ähnlichkeit) verknüpfen.
Performance: Erzielung einer höheren Treue der Quantisierung als sowohl lokale Rounding-Methoden als auch rechenintensive QAT-Methoden.
Praktikabilität: Angebot einer skalierbaren Lösung, die kein Retraining oder Fine-Tuning des Modells erfordert, was sie ideal für den effizienten Einsatz großer Modelle ohne Inferenz-Einbußen macht.

Die Autoren betonen, dass während frühere Methoden wie GuidedQuant globale Informationen untersuchten, ihnen die theoretische Rechtfertigung und konsistente Leistungssteigerungen fehlten. YAQA schließt diese Lücke durch einen mathematisch fundierten Ansatz, der sowohl theoretisch fundiert als auch empirisch überlegen ist.