🤖 machine learning

OSAQ: Outlier Self-Absorption for Accurate Low-bit LLM Quantization

Das Papier schlägt OSAQ vor, eine trainingsfreie Post-Training-Quantisierungsmethode, die die Low-Rank-Eigenschaft des Nullraums der Hesse-Matrix nutzt, um eine additive Gewichtstransformation zu konstruieren, die Ausreißer unterdrückt und die Genauigkeit der Low-Bit-LLM-Quantisierung erheblich verbessert, ohne Inferenz-Overhead einzuführen.

Ursprüngliche Autoren: Zhikai Li, Zhen Dong, Xuewen Liu, Jing Zhang, Qingyi Gu

Veröffentlicht 2026-05-07

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Zhikai Li, Zhen Dong, Xuewen Liu, Jing Zhang, Qingyi Gu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Der "schwere Rucksack"

Stellen Sie sich ein Large Language Model (LLM) wie einen genialen Schüler vor, der fast alles weiß. Dieser Schüler trägt jedoch einen massiven Rucksack, der mit Millionen schwerer Bücher (Parameter) gefüllt ist. Da der Rucksack so schwer ist, bewegt sich der Schüler sehr langsam und benötigt einen riesigen Raum, um ihn zu verstauen. Dies macht die Nutzung auf normalen Geräten wie Smartphones oder Laptops teuer und langsam.

Um dies zu beheben, versuchen Ingenieure, den Rucksack zu "verkleinern", indem sie die Bücher in kleinere, einfachere Notizen zusammenfassen. Dies nennt man Quantisierung. Anstatt jedes Detail mit hoher Präzision zu schreiben (wie 32-Bit-Zahlen), schreiben sie grobere Zusammenfassungen (wie 2-Bit- oder 4-Bit-Zahlen).

Der Haken: Der Rucksack ist nicht nur mit normalen Büchern gefüllt; er enthält ein paar riesige, schwere Felsbrocken, die sich darin verstecken (sogenannte Ausreißer). Diese Felsbrocken sind so schwer, dass sie den Versuch, den Rucksack zu verkleinern, zunichtemachen. Wenn Sie versuchen, den gesamten Rucksack zu komprimieren, zwingen diese Felsbrocken Sie dazu, den Rucksack riesig zu lassen, oder der Schüler beginnt, Dinge zu vergessen (das Modell wird dumm).

Die alten Lösungen: Dehnen und Drehen

Frühere Methoden versuchten, dies zu beheben durch:

Dehnen (Skalierung): Versuchen, die Felsbrocken auseinanderzuziehen, damit sie besser passen.
Drehen: Den gesamten Rucksack so drehen, dass sich die Felsbrocken an einer anderen Stelle befinden.

Das Papier argumentiert, dass diese Tricks zwar ein wenig helfen, aber nicht ausreichen. Es ist, als würde man versuchen, einen Felsbrocken in eine kleine Kiste zu bekommen, indem man die Kiste einfach dehnt oder sie auf die Seite legt. Der Felsbrocken ist immer noch da und verursacht immer noch Probleme.

Die neue Lösung: OSAQ (Der "magische Schwamm")

Die Autoren schlagen eine neue Methode vor, die OSAQ (Outlier Self-Absorption) heißt. Anstatt zu dehnen oder zu drehen, nutzen sie einen cleveren Trick, der auf der internen Struktur des Rucksacks basiert.

1. Die "stillen Zonen" (Der Hessian-Nullraum)

Die Forscher entdeckten, dass sich im Inneren des Rucksacks bestimmte Richtungen befinden, in denen die Felsbrocken tatsächlich nicht zurückdrücken. Stellen Sie sich vor, der Rucksack besteht aus einem speziellen Schaumstoff. Wenn Sie den Schaumstoff in die meisten Richtungen drücken, widersteht er. Wenn Sie jedoch in bestimmte "stille Zonen" drücken, bietet der Schaumstoff keinen Widerstand.

In mathematischen Begriffen fanden sie einen "Nullraum" in der Datenstruktur des Modells, in dem Änderungen die Intelligenz des Modells nicht beeinträchtigen. Es ist, als würde man eine geheime Tasche im Rucksack finden, in der man schwere Gegenstände bewegen kann, ohne dass der Rucksack das Gewicht spürt.

2. Der "Selbst-Absorptions"-Trick

OSAQ funktioniert wie folgt:

Es identifiziert diese "stillen Zonen" (den Nullraum).
Es nimmt die riesigen Felsbrocken (Ausreißer) und fügt ihnen ein wenig "magischen Schaum" hinzu.
Da dieser Schaum in einer "stillen Zone" hinzugefügt wird, hebt er das Gewicht des Felsbrockens auf, ohne das Verhalten des Rucksacks zu verändern.
Der Felsbrocken verschwindet effektiv (wird "absorbiert") und hinterlässt einen glatten, gleichmäßigen Haufen Sand, der leicht zu komprimieren ist.

Die Analogie: Stellen Sie sich ein klobiges Kissen vor, in dem ein Stein steckt.

Alte Methode: Versuchen Sie, das Kissen fester zu quetschen (Skalierung) oder es auf die Seite zu drehen (Rotation). Der Stein macht es immer noch klobig.
OSAQ-Methode: Sie merken, dass das Kissen eine versteckte Naht hat, durch die Sie ein Stück weichen Ton einschieben können. Sie schieben den Ton direkt neben den Stein. Der Ton füllt die Lücke und lässt den Stein so wirken, als wäre er Teil des weichen Kissens. Jetzt ist das gesamte Kissen glatt und lässt sich leicht in eine winzige Tasche quetschen.

Warum dies ein Game-Changer ist

Keine zusätzliche Arbeit: Der "magische Schaum" wird direkt zu den Steinen im Rucksack hinzugefügt. Sie müssen weder die Riemen noch andere Schichten des Rucksacks ändern. Es ist eine "Plug-and-Play"-Lösung.
Sofortige Lösung: Sie müssen den Schüler nicht neu ausbilden oder wochenlang den Rucksack anpassen. Die Mathematik liefert Ihnen die genaue Menge an Schaum, die in einem Schritt hinzugefügt werden muss (eine "geschlossene Lösung").
Überlegene Ergebnisse: Als sie dies bei einer 2-Bit-Komprimierung (bei der die Notizen extrem winzig gemacht werden) testeten, machte OSAQ das Modell 40 % intelligenter (niedrigere Perplexität) als die bisher beste Methode. Es ist, als würde man den Rucksack auf die Größe eines Geldbeutels verkleinern, ohne dass der Schüler auch nur ein bisschen von seiner Genialität verliert.

Zusammenfassung

Das Papier stellt eine Methode vor, um KI-Modelle kleiner und schneller zu machen, indem sie "stille Zonen" in ihren Daten finden, in denen sie die problematischen "Felsbrocken" (Ausreißer) glätten können, ohne die Leistung des Modells zu beeinträchtigen. Es ist eine neue, effiziente Art, KI zu komprimieren, die besser funktioniert als einfaches Dehnen oder Drehen der Daten.

Technische Zusammenfassung: OSAQ – Outlier Self-Absorption für präzise Low-Bit-LLM-Quantisierung

1. Problemstellung

Large Language Models (LLMs) stehen aufgrund ihrer massiven Parametrisierung vor erheblichen Herausforderungen beim Deployment, die zu einem hohen Speicherbedarf und hohen Inferenz-Latenzen führen. Post-Training-Quantisierung (PTQ), insbesondere die gewichtsbasierte Quantisierung (weight-only quantization), bietet eine Lösung, indem sie die Modellgröße reduziert und speichergebundene Engpässe entschärft. Ein persistierendes Hindernis für eine präzise Low-Bit-Quantisierung ist jedoch das Vorhandensein systematischer Ausreißer in den Modellgewichten. Diese Ausreißer, die durch große Beträge gekennzeichnet sind, erweitern den numerischen Bereich der Gewichte, verringern dadurch die Quantisierungsauflösung und verschlechtern die Modellleistung.

Bestehende Methoden stützen sich primär auf multiplikative Transformationen (z. B. Skalierung oder Rotation) zwischen benachbarten Schichten, um Ausreißer zu mildern. Obwohl Ansätze wie GPTQ (unter Verwendung von Hessian-Informationen), AWQ (aktivierungsbewusste Skalierung) und QuIP (orthogonale Rotation) Fortschritte erzielt haben, argumentiert die Arbeit, dass die ausschließliche reliance auf multiplikative Paradigmen für die Erzielung zufriedenstellender Leistungen in Ultra-Low-Bit-Szenarien (z. B. 2-Bit oder 3-Bit) grundsätzlich unzureichend ist.

2. Methodik: Outlier Self-Absorption Quantization (OSAQ)

Die Autoren schlagen OSAQ vor, eine neuartige Methode, die eine additive Gewichtstransformation einführt, die durch die second-order low-rank-Eigenschaften der Hessian-Matrix geleitet wird. Im Gegensatz zu früheren Methoden, die Anpassungen zwischen Schichten erfordern, funktioniert OSAQ als ein „Self-Absorption"-Mechanismus, der Gewichte innerhalb einer einzelnen Schicht modifiziert, ohne benachbarte Schichten zu beeinflussen.

Schlüsseltechnische Komponenten:

Low-Rank-Konsistenz der Hessian-Matrix:
Die Methode basiert auf der Beobachtung, dass die Hessian-Matrix des Aufgabenverlusts in Bezug auf die Schichtgewichte über verschiedene Eingaben hinweg eine ausgeprägte Low-Rank-Eigenschaft aufweist. Konkret zeigen bestimmte Richtungen im Gewichtsraum konsistent verschwindende Krümmung (Eigenwerte nahe Null). Diese Richtungen bilden einen stabilen Nullraum, der unabhängig vom Eingabesample konsistent bleibt.
Verlustinvariante additive Transformation:
Unter Ausnutzung des Nullraums konstruiert OSAQ eine additive Perturbation $\Delta W$ , sodass die Transformation $W' = W + \Delta W$ garantiert, dass die second-order-Perturbation des Aufgabenverlusts null bleibt ( $\Delta w^T H_w \Delta w = 0$ ). Dies stellt sicher, dass die Leistung des Modells bei der ursprünglichen Aufgabe erhalten bleibt, während die Gewichte modifiziert werden.
Extraktion des Nullraums:
Die Hessian-Matrix $H_w$ wird approximiert und mittels Eigenwertzerlegung dekomponiert. Um Fälle zu handhaben, in denen Eigenwerte nicht exakt null sind, wird eine Tail-Energy-Strategie angewendet. Die Dimension des Nullraums $K$ wird bestimmt, indem die kleinsten Eigenwerte akkumuliert werden, bis ein vordefinierter Energie-Schwellenwert $\gamma$ erreicht ist. Die resultierende Matrix $N$ repräsentiert den stabilen Nullraum.
Koeffizientenoptimierung via Softmax- $\infty$ -Approximation:
Das Ziel ist es, eine Koeffizientenmatrix $\beta$ zu finden, sodass $\Delta W = \beta N$ den numerischen Bereich (speziell die $\ell_\infty$ -Norm) der transformierten Gewichte minimiert, um Ausreißer zu unterdrücken.
- Da die $\ell_\infty$ -Norm nicht differenzierbar ist, wenden die Autoren eine Softmax- $\infty$ -Approximation an. Dies beinhaltet die Anwendung einer Softmax-Operation entlang der Ausgabekanäle-Dimension mit einem Temperaturkoeffizienten $\tau$ . Wenn $\tau \to 0$ , approximiert dies die $\ell_\infty$ -Norm, bleibt jedoch differenzierbar.
- Das Optimierungsziel umfasst einen $\ell_2$ -Regularisierungsterm, um übermäßige Korrekturen zu verhindern, sowie eine Anti-Verschiebungs-Bedingung, um einheitliche Translationen zu bestrafen.
- Entscheidend ist, dass diese Optimierung eine geschlossene Lösung für die Koeffizienten $\beta$ über eine Normalgleichung liefert, wodurch ressourcenintensive Trainings- oder iterative Verfahren überflüssig werden.

3. Hauptbeiträge

Neues Paradigma: Die Arbeit führt eine Strategie der additiven Transformation zur Unterdrückung von Ausreißern ein, die bestehende multiplikative Ansätze (Skalierung/Rotation) ergänzt. Sie arbeitet unabhängig innerhalb einer Schicht und erfordert keine Transformationen zwischen Schichten oder zusätzlichen Inferenz-Overhead.
Theoretische Einsicht: Sie identifiziert und nutzt die Low-Rank-Konsistenz des Nullraums der Hessian-Matrix über Eingaben hinweg und bietet einen stabilen Unterraum für die Konstruktion verlustinvarianter Gewichtsjustierungen.
Effiziente Konstruktion: Die Methode leitet die optimalen Transformationskoeffizienten in geschlossener Form unter Verwendung einer differenzierbaren Softmax- $\infty$ -Approximation ab und vermeidet iterative Optimierung oder Nachtraining.
Plug-and-Play-Kompatibilität: OSAQ ist so konzipiert, dass es mit bestehenden PTQ-Methoden (z. B. GPTQ, AWQ) integriert werden kann, um die Low-Bit-Leistung weiter zu verbessern.

4. Experimentelle Ergebnisse

Umfangreiche Experimente wurden an verschiedenen LLMs (LLaMA2, LLaMA3, Mistral-Large, Llama-3.1) über Sprachgenerierungs- und Common-Sense-QA-Aufgaben hinweg durchgeführt.

Perplexitätsreduktion: Bei der 2-Bit-Quantisierung erreichte OSAQ in Kombination mit GPTQ auf LLaMA2-7B eine Perplexität von über 40 % niedriger im Vergleich zum reinen GPTQ. Beispielsweise reduzierte OSAQ+GPTQ auf WikiText2 die Perplexität von 36,8 auf 21,2 (und weiter auf 10,6 mit Koordinatenabstiegs-Iterationen) für LLaMA2-7B.
Genauigkeitsverbesserungen:
- Commonsense QA: Auf LLaMA3-8B (2-Bit) verbesserte OSAQ+GPTQ die durchschnittliche Zero-Shot-Genauigkeit von 38,3 % auf 44,4 % (und 51,7 % mit Iterationen).
- MMLU: Für LLaMA2-7B (4-Bit) erhöhte OSAQ+GPTQ den Durchschnittswert von 38,7 % auf 39,6 %.
- Große Modelle: Die Methode erwies sich auch bei massiven, instruierten Modellen (123 Mrd. und 405 Mrd. Parameter) als effektiv und übertraf das reine GPTQ bei den MMLU- und ARC-Benchmarks.
Robustheit: Ablationsstudien bestätigten, dass die additive Transformation nur einen vernachlässigbaren Einfluss auf Modelle mit voller Genauigkeit (FP16) hat und dass der Nullraum über verschiedene Eingabe-Batches hinweg stabil bleibt. Die Methode zeigte zudem Robustheit gegenüber Hyperparameter-Wahlen (z. B. Tail-Energy-Schwellenwert $\gamma$ , Temperatur $\tau$ ).

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass OSAQ einen bedeutenden Fortschritt in der Low-Bit-LLM-Quantisierung darstellt, indem sie die grundlegende Einschränkung rein multiplikativer Paradigmen adressiert. Durch die Ausnutzung der intrinsischen geometrischen Eigenschaften des Verlustlandschafts (Hessian-Nullraum) bietet OSAQ einen rechnerisch effizienten, trainingfreien Mechanismus zur Unterdrückung von Ausreißern.

Die Autoren betonen, dass dieser Ansatz:

Aufgabenverlust bewahrt: Die Transformation ist mathematisch garantiert so, dass die second-order-Verlustperturbation bei null bleibt.
Keinen Overhead einführt: Die Transformation wird offline in die Gewichte absorbiert und erfordert keine Änderungen an der Inferenz-Pipeline oder zusätzliche Schichten.
Skalierbarkeit: Sie ist auf Modelle im Bereich von 7 Mrd. bis 405 Mrd. Parametern anwendbar und lässt sich nahtlos in fortschrittlichste Quantisierungsalgorithmen integrieren.

Die Arbeit legt nahe, dass die Erforschung additiver Transformationen basierend auf second-order-Eigenschaften einen vielversprechenden, komplementären Weg zur Erzielung präziser Low-Bit-Quantisierung für großskalige Sprachmodelle bietet.