🤖 machine learning

OffQ: Taming Structured Outliers in LLM Quantization by Offsetting

OffQ ist eine neuartige Low-Bit-Quantisierungsmethode, die Aktivitäts-Ausreißer in großen Sprachmodellen mildert, indem sie einen niedrigdimensionalen Ausreißer-Unterraum mittels Top-1-PCA identifiziert, hochintensive Aktivierungen in einen einzelnen Kanal rotiert und deren Magnitude in einen gemeinsamen Offset umwandelt, um eine effiziente und präzise W4A4KV4-Quantisierung zu ermöglichen.

Ursprüngliche Autoren: Haoqi Wang, Lorenz K. Mueller, Jiawei Zhuang, Mathieu Salzmann, Lukas Cavigelli

Veröffentlicht 2026-06-08

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Haoqi Wang, Lorenz K. Mueller, Jiawei Zhuang, Mathieu Salzmann, Lukas Cavigelli

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen eine riesige, unglaublich detaillierte Bibliothek des Wissens (ein Large Language Model, oder LLM). Um diese Bibliothek in einen kleinen Rucksack zu bekommen, damit Sie sie auf einem Telefon oder Laptop mitnehmen können, müssen Sie die Bücher verkleinern. Dieser Prozess wird Quantisierung genannt.

Normalerweise verkleinern Sie die Bücher, indem Sie die winzigen Details abrunden, also komplexe Zahlen in einfache, ganze Zahlen umwandeln (wie zum Beispiel 4,99 in 5 zu verwandeln). Das spart eine enorme Menge an Platz.

Das Problem: Die „Schreier“
Es gibt jedoch einen Haken: In diesen Bibliotheken sind die meisten Seiten ruhig und leise, aber einige wenige Seiten enthalten „Schreier“ – extrem laute, chaotische Zahlen, die viel größer sind als alles andere.

Wenn Sie versuchen, die gesamte Bibliothek zu verkleinern, um sie in eine kleine Kiste zu passen, zwingen diese „Schreier“ Sie dazu, ein sehr grobes Raster zu verwenden.
Es ist, als würde man versuchen, einen riesigen Elefanten und eine winzige Maus in dieselbe kleine Kiste zu stecken. Um den Elefanten unterzubringen, müsste man die Maus zu einem winzigen, unerkennbaren Klumpen zerquetschen.
In technischen Begriffen gesehen, ruinieren diese „Schreier“ (Aktivitäts-Ausreißer) die Genauigkeit des Modells, weil die Rundungsfehler für die ruhigen Teile der Daten zu groß werden.

Die alten Lösungen
Frühere Versuche, dieses Elephant-and-Mouse-Problem zu lösen, ähnelten diesen Ansätzen:

Einen neuen Weg zum Verkleinern lernen: Das Modell erneut trainieren, um besser im Verkleinern zu werden (teuer und langsam).
Verschiedene Größen für die Kisten verwenden: Den Elefanten in eine große Box und die Maus in eine kleine Box stecken (Mixed Precision). Das funktioniert, macht den Verpackungsprozess aber kompliziert und langsam.
Seltsame, maßgeschneiderte Boxen verwenden: Spezielle Boxen verwenden, die nicht auf Standardregale passen (nicht-uniforme Quantisierung), welche die meisten Computer jedoch nicht ohne Weiteres handhaben können.

Die neue Lösung: OffQ
Das Paper stellt eine neue Methode namens OffQ vor. Anstatt gegen die Schreier zu kämpfen oder verschiedene Boxen zu verwenden, nutzt OffQ einen cleveren Trick, um die Schreier zu „neutralisieren“.

So funktioniert OffQ, Schritt für Schritt, unter Verwendung einer einfachen Analogie:

1. Die „Schreier“ finden (Top-1 PCA)

Zuerst sucht OffQ in den Daten nach dem Ort, an dem die „Schreier“ sich verstecken.

Die Analogie: Stellen Sie sich einen überfüllten Raum vor, in dem alle flüstern, außer einer Person, die in der Ecke schreit. Standardmethoden könnten durch das Flüstern verwirrt werden. OffQ nutzt ein spezielles „Top-1“-Radar, das das Flüstern ignoriert und sich nur auf den lautesten Schrei konzentriert.
Das Ergebnis: Es identifiziert, dass diese Schreier alle einem bestimmten Muster folgen und in einem einzigen „lauten Kanal“ zusammengefasst werden können.

2. Die „Schreier“ an einen Ort bewegen (Rotation)

Sobald sie gefunden wurden, rotiert OffQ die Daten so, dass die gesamte schreiende Energie in genau einen einzigen Kanal konzentriert wird (wie das Verschieben aller schreienden Menschen in eine bestimmte Reihe in einem Theater).

Die Analogie: Anstatt dass ein paar Leute in verschiedenen Reihen schreien, bewegen Sie sie alle in die erste Reihe, Platz Nummer 1. Jetzt ist der Rest des Theaters vollkommen leise.

3. Der magische „Offset“-Trick (Hadamard-Rotation)

Dies ist die Kerninnovation. OffQ nimmt diesen einen „lauten Platz“ und nutzt eine mathematische Rotation (eine sogenannte Hadamard-Rotation), um das laute Geräusch gleichmäßig über jeden einzelnen Platz im Theater zu verteilen.

Die Analogie: Stellen Sie sich vor, das laute Geräusch von Platz 1 ist wie eine riesige, schwere Decke. Anstatt die Decke auf Platz 1 zu lassen (wo sie die Sicht versperrt), schneidet OffQ die Decke in winzige, gleich große Stücke und legt ein winziges Stück über jeden einzelnen Sitzplatz im Raum.
Das Ergebnis: Kein einzelner Platz ist mehr überfordert. Das „Geräusch“ ist nun ein leises, konstantes Hintergrundsummen, das für alle gleich ist.

4. Das Geräusch absorbieren (Quantisierung)

Da das Geräusch nun ein konstantes, gleichmäßiges Summen im ganzen Raum ist, kann der Quantisierungsprozess (das Verkleinern) einfach sagen: „Okay, wir wissen, dass es überall ein leichtes Summen gibt. Lassen Sie uns unseren Nullpunkt so anpassen, dass wir es ignorieren.“

Die Analogie: Es ist, als würde man dem Bibliothekar sagen: „Wir wissen, dass der Raum etwas staubig ist. Ziehen Sie einfach ein winziges bisschen Staub vom Gewicht jedes Buches ab, und nun passen sie perfekt in den kleinen Rucksack.“
Das Ergebnis: Die „Schreier“ sind effektiv neutralisiert. Das Modell kann nun auf 4-Bit geschrumpft werden (sehr klein), ohne seine Fähigkeit zu verlieren, Sprache zu verstehen.

Warum das wichtig ist

Keine spezielle Hardware nötig: Im Gegensatz zu anderen Methoden, die spezielle, komplizierte Computerchips erfordern, arbeitet OffQ mit Standard-Einheitsboxen. Es ist, als würde man Standard-Versandcontainer anstelle von maßgeschneiderten Kisten verwenden.
Bessere Genauigkeit: Das Paper zeigt, dass OffQ das Wissen der Bibliothek viel genauer bewahrt als bisherige Methoden, selbst wenn es auf die kleinste Größe geschrumpft wird (4-Bit für Gewichte, Aktivierungen und Speicher).
Effizienz: Es ist kein erneutes Training des Modells erforderlich und es wird kein zusätzlicher Speicher für unterschiedliche Boxgrößen benötigt. Es ordnet lediglich die Daten neu an und passt den „Nullpunkt“ an.

Zusammenfassend
OffQ ist ein cleverer Verpackungstrick. Anstatt zuzulassen, dass ein paar „laute“ Zahlen die gesamte Lieferung ruinieren, isoliert es sie, verteilt ihre Wirkung gleichmäßig über das gesamte Paket und passt dann die Skalierung so an, dass das Paket perfekt in eine winzige, effiziente Box passt, ohne den Inhalt zu beschädigen. Dies macht das Ausführen leistungsstarker KI-Modelle auf alltäglichen Geräten viel praktikabler.

Technische Zusammenfassung: OffQ – Bändigung strukturierter Ausreißer in der LLM-Quantisierung durch Offsetting

Problemstellung
Die Niedrig-Bit-Quantisierung (z. B. 4-Bit) ist essenziell für die Bereitstellung von Large Language Models (LLMs) auf ressourcenbeschränkter Hardware durch Reduzierung des Speicher-Footprints und der Rechenkosten. Die robuste gleichzeitige Quantisierung von Gewichten, Aktivierungen und KV-Caches (W4A4KV4) bleibt jedoch eine erhebliche Herausforderung. Das primäre Hindernis sind Aktivierungs-Ausreißer (Activation Outliers): spärlich verteilte, extrem große Werte in spezifischen Kanälen, die den Dynamikbereich dominieren. Diese Ausreißer zwingen Quantisierungsschemata dazu, grobe Schrittweiten zu verwenden, um den gesamten Bereich abzudecken, was zu großen Rundungsfehlern für den Großteil der Aktivierungsverteilung und einem schweren Leistungsabfall führt. Rotationsbasierte Methoden (z. B. QuaRot, SpinQuant) haben die Milderung von Ausreißern verbessert, indem sie die Aktivierungsenergie umverteilen, doch die resultierenden Verteilungen weisen oft eine hohe Varianz auf, was eine zuverlässige W4A4KV4-Quantisierung schwierig macht. Bestehende Alternativen, wie Mixed-Precision-Schemata oder nicht-uniforme Quantisierung, führen zu heterogener Ausführung, komplexen Kerneln oder Hardware-Inkompatibilität.

Methodik: OffQ
Die Autoren schlagen OffQ vor, eine Post-Training-Quantisierungsmethode (PTQ), die darauf ausgelegt ist, strukturierte Aktivierungs-Ausreißer zu mildern, ohne sich auf Mixed-Precision-Komponenten, nicht-uniforme Quantisierungsstufen oder rechenintensive, auf Backpropagation basierende Rotationslernverfahren zu verlassen. Die Methode arbeitet durch drei Kernstadien:

Konzentration mittels Top-1 PCA:
Die Methode nutzt die Beobachtung, dass Aktivierungs-Ausreißer in LLMs eine ausgeprägte niedrigdimensionale Struktur aufweisen, die über Layer, Token-IDs und Sequenzpositionen hinweg dieselbe Richtung teilt. Um dies zu nutzen, verwendet OffQ ein Top-1 PCA-Verfahren:
- Anstatt alle Token für die Kovarianzschätzung zu verwenden (die durch normale Tokens abgelenkt werden), wählt die Methode pro Sequenz aus einem Kalibrierungsdatensatz nur das einzelne Token mit der größten $L_\infty$ -Norm aus.
- Sie berechnet den führenden Eigenvektor der Kovarianzmatrix, die aus diesen extremen Tokens gebildet wird.
- Die Aktivierungen werden unter Verwendung dieser Eigenvektormatrix rotiert, wodurch die dominante Ausreißer-Varianz in den ersten Kanal (oder wenige Kanäle) konzentriert wird, während die verbleibenden Kanäle weitgehend ausreißerfrei bleiben.
Absorption mittels Offsetting (Hadamard-Rotation):
Soblich die Ausreißer in spezifische Kanäle konzentriert wurden, wendet OffQ eine spezialisierte Hadamard-Rotation an, um diese zu absorbieren:
- Eine teilweise zufällige Hadamard-Matrix $H$ wird konstruiert, wobei die erste Zeile vollständig aus Einsen besteht ( $H_{1,:} = [1, 1, \dots, 1]$ ).
- Die Anwendung dieser Rotation auf die ausreißer-konzentrierten Aktivierungen verteilt den Wert des Ausreißer-Kanals gleichmäßig über alle Kanäle der Gruppe um.
- Mathematisch gesehen wandelt dies die Ausreißer-Magnitude in einen konstanten Offset um, der zu jedem Kanal der Gruppe addiert wird.
- Dieser Offset wird dann in den Zero-Point ( $z$ ) der asymmetrischen Quantisierung absorbiert. Infolgedessen weisen die verbleibenden Aktivierungswerte eine flachere Verteilung mit reduzierter Standardabweichung auf, was sie hochgradig geeignet für die Standard-Uniform-Quantisierung mit niedriger Bitbreite macht.
Gruppenweise Implementierung:
Um mehrere Ausreißer-Kanäle zu handhaben, unterteilt die Methode die Kanäle in Gruppen. Innerhalb jeder Gruppe wird der primäre Ausreißer-Kanal identifiziert und rotiert, um einen gruppenweisen Offset zu erzeugen. Dies ermöglicht die Verwendung einer pro-Gruppe asymmetrischen Quantisierung, bei der jede Gruppe ihren eigenen Scale und Zero-Point besitzt, um die spezifische Ausreißer-Energie zu absorbieren.

Kernbeiträge

Identifizierung strukturierter Ausreißer: Die Arbeit identifiziert, dass LLM-Aktivierungs-Ausreißer eine niedrigdimensionale Struktur besitzen, die über Layer und Tokens hinweg geteilt wird und mittels eines gezielten Top-1 PCA-Ansatzes isoliert werden kann.
Das OffQ-Framework: Eine neuartige PTQ-Methode, die Top-1 PCA zur Konzentration von Ausreißern und eine Hadamard-basierte Offsetting-Technik kombiniert, um Ausreißer in Quantisierungs-Zero-Points zu transformieren. Dies ermöglicht eine effektive W4A4KV4-Quantisierung unter Verwendung von Standard-Uniform-Grid- und Uniform-Precision-Matrizen.
Leistung und Effizienz: Die Methode erreicht eine State-of-the-Art-Genauigkeit bei der 4-Bit-Quantisierung ohne den Overhead von Mixed-Precision-Ausführung oder komplexen gelernten Rotationen und bewahrt dabei die Einfachheit einer End-to-End Low-Bit-Inferenz.

Experimentelle Ergebnisse
Umfangreiche Experimente wurden an verschiedenen LLM-Architekturen (Llama 2, Llama 3, Llama 3.2 und Qwen 2.5 Serien) und Benchmarks (WikiText Perplexity und 0-Shot-Genauigkeit auf ARC-e, ARC-c, BoolQ, HellaSwag usw.) durchgeführt.

Überlegenheit gegenüber Baselines: OffQ übertraf konsistent State-of-the-Art-Baselines, einschließlich rotationsbasierter Methoden (QuaRot, SpinQuant, DFRot, KurTail) und Mixed-Precision-Ansätze (ResQ, QUIK).
W4A4KV4 Robustheit: Während Weight-only-Methoden (GPTQ) und Mixed-Precision-Methoden im W4A4KV4-Szenario einen schweren Leistungsabfall erlitten, hielt OffQ die Perplexity und Genauigkeit nahe an den 16-Bit-Baselines. Beispielsweise erreichte OffQ bei Llama 3-8B eine PPL von 6,98 im Vergleich zu 7,4 bei SpinQuant und 7,8 bei QuaRot.
Ablationsstudien: Die Studie bestätigte, dass die Top-1 Selektionsstrategie entscheidend für eine präzise Identifizierung des Ausreißer-Subraums ist und Standard-PCA übertrifft. Zudem wurde festgestellt, dass die sortierte Gruppierung der Kanäle effektiver ist als die Zigzag-Gruppierung, und eine Gruppengröße von 128 bot den besten Kompromiss zwischen Leistung und Metadaten-Overhead.

Bedeutung und Ansprüche
Das Paper behauptet, dass OffQ einen praktischen und effizienten Mechanismus bietet, um die 4-Bit-Quantisierung gegenüber Aktivierungs-Ausreißern robust zu machen. Durch die Transformation des Problems der „spitzen“ Ausreißer in ein handhabbares „Offset“-Problem ermöglicht OffQ eine zuverlässige W4A4KV4-Quantisierung unter Verwendung von deployment-freundlicher Uniform-Hardware. Die Autoren betonen, dass dieser Ansatz die Machbarkeit der Bereitstellung von LLMs in kosten- und ressourcenbeschränkten Umgebungen (z. B. Edge-Geräten) stärkt, ohne die Modellgenauigkeit zu opfern oder komplexe, heterogene Ausführungspipelines zu erfordern. Die Methode wird als ergänzende Technik präsentiert, die potenziell mit anderen fortgeschrittenen Quantisierungsstrategien in zukünftigen Arbeiten kombiniert werden kann, obwohl die aktuellen Ergebnisse bereits ihre Stärke als eigenständige Lösung demonstrieren.

1. Die „Schreier“ finden (Top-1 PCA)

2. Die „Schreier“ an einen Ort bewegen (Rotation)

3. Der magische „Offset“-Trick (Hadamard-Rotation)

4. Das Geräusch absorbieren (Quantisierung)

Mehr davon