🤖 machine learning

Influence-Inspired Spectral Rotations for Extreme Low-Bit LLM Quantization

Dieser Beitrag stellt „BBT-spectral" vor, eine ingenieurwissenschaftlich ausgerichtete Quantisierungsmethode, die einflussadaptive Walsh-Hadamard-Rotationen und energiebasierte Skalierung auf Gewichtsmatrizen anwendet, um die Perplexität bei der extremen Low-Bit-Quantisierung (W2A16) von LLMs über verschiedene Modellarchitekturen hinweg signifikant zu reduzieren und gleichzeitig die Hardware-Kompatibilität mit Intel-Geräten sicherzustellen.

Ursprüngliche Autoren: Gorgi Pavlov

Veröffentlicht 2026-05-26

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Gorgi Pavlov

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen eine riesige, unglaublich detaillierte Wissensbibliothek (ein Large Language Model), die Sie verkleinern möchten, damit sie in einen winzigen, billigen Rucksack passt (extreme Low-Bit-Quantisierung). Das Problem ist, dass Sie beim Versuch, diese Bibliothek zu quetschen, unvermeidlich einige Seiten verlieren oder den Text verschwimmen lassen, was das Modell verwirrt und ungenauer macht.

Diese Arbeit stellt einen cleveren Trick namens BBT-spectral vor, um dieses Problem zu lösen. Anstatt die Daten einfach zufällig zu quetschen, werden die Bücher vor dem Einpacken neu angeordnet, sodass die wichtigsten Informationen den besten Schutz erhalten.

So funktioniert es, unter Verwendung einfacher Analogien:

1. Das Problem: Die „One-Size-Fits-All"-Box

Normalerweise behandeln wir beim Komprimieren dieser Modelle jeden Teil der Daten gleich. Stellen Sie sich eine Box mit 64 Fächern vor. Sie legen 64 verschiedene Gegenstände hinein und versuchen, sie alle in einen kleineren Raum zu zwängen. Wenn Sie alles einfach um den gleichen Betrag verkleinern, werden die empfindlichen, zerbrechlichen Gegenstände (die wichtigsten „spektralen" Signale) zerquetscht, während die robusten Gegenstände (weniger wichtiges Rauschen) zu viel Platz einnehmen. Das Ergebnis ist ein chaotisches, verwirrtes Modell.

2. Die Lösung: Der „Spektrale Shuffle"

Die Autoren schlagen einen zweistufigen Tanz vor, bevor die Komprimierung stattfindet:

Schritt A: Der Magische Shuffle (Walsh-Hadamard-Rotation):
Betrachten Sie die Daten des Modells als ein Kartenspiel. Die Autoren verwenden eine spezifische, feste mathematische Mischoperation (eine Walsh-Hadamard-Transformation), um die Karten zu mischen. Dies ändert nicht die gesamte Information, sondern ordnet sie so um, dass die „lauten" und wichtigen Signale sich in bestimmten Spalten gruppieren, während das „leise" Rauschen in andere wandert. Es ist wie das Sortieren eines unordentlichen Haufens Wäsche, sodass alle teuren Seidenhemden in einem Haufen und die alten Socken in einem anderen liegen.
Schritt B: Die Maßgeschneiderte Größe (Spektrale Skalierung):
Jetzt, wo die wichtigen Signale gruppiert sind, wenden die Autoren einen „Lautstärkeregler" auf jede Spalte an. Sie drehen die Lautstärke an den Spalten hoch, die die wichtigen „Seidenhemden" (hohe Energie) enthalten, und drehen sie an den „Socken" (niedrige Energie) herunter.
- Warum? Wenn das Modell schließlich in winzige 2-Bit- oder 4-Bit-Zahlen gequetscht (quantisiert) wird, erhalten die „lauten" Spalten ein größeres, präziseres Raster, auf dem sie landen können. Die „leisen" Spalten erhalten ein kleineres, gröberes Raster.
- Das Ergebnis: Der Komprimierungsalgorithmus macht bei den wichtigen Teilen weniger Fehler, weil ihm dort mehr „Raum" für Genauigkeit gegeben wurde.

3. Die „Kein-Verlust"-Garantie

Die Autoren betonen, dass diese Neuordnung und Größenanpassung mathematisch perfekt ist, bevor die Komprimierung stattfindet. Wenn Sie den Prozess umkehren würden, erhielten Sie das exakte Originalmodell zurück, bis auf den letzten Dezimalpunkt. Es ist wie das Umstellen von Möbeln in einem Raum; der Raum sieht anders aus, aber die Möbel sind genau dieselben, bis Sie tatsächlich anfangen, sie in Kisten zu packen.

4. Umgang mit kniffligen Architekturen (Die „Sonderfälle")

Die Arbeit gibt zu, dass dieser „Magische Shuffle" nicht sofort für jede Art von Modellarchitektur perfekt funktionierte. Einige Modelle hatten spezielle „Gatter" oder „Normen", die durch den Shuffle verwirrt wurden. Die Autoren entwickelten drei spezifische „Patches", um diese zu beheben:

Der „Kopf"-Fix: Bei einigen Modellen mussten sie die Daten innerhalb der Attention-Köpfe drehen (wie das Justieren der Gläser einer Brille), um die Mathematik funktionsfähig zu halten.
Der „Paar"-Fix: Bei anderen Modellen drehten sie Daten in Paaren, um sicherzustellen, dass sie nicht mit der internen Uhr des Modells (RoPE) kollidierten.
Der „Gatter"-Fix: Sie entdeckten einen Fehler, bei dem ein bestimmter Typ von „Gatter" im Modell nicht korrekt skaliert wurde, und korrigierten den Code, um es einzubeziehen.

5. Die Ergebnisse: Große Gewinne bei winzigen Modellen

Die Autoren testeten dies an mehreren Modellen (von klein bis mittelgroß).

Das Ergebnis: Als sie diese Modelle auf nur 2 Bit komprimierten (extrem klein), machte die neue Methode die Modelle 15 % bis 58 % genauer (gemessen daran, wie gut sie das nächste Wort vorhersagen) im Vergleich zur Standardmethode.
Der Haken: Je mehr das Modell mit der Standardmethode kämpfte, desto größer war die Verbesserung. Es ist wie ein Rettungsboot, das die meisten Menschen rettet, wenn das Schiff am schnellsten sinkt.
Die Grenze: Als sie dies bei etwas größeren Modellen (4 Bit) versuchten, verschwand die Verbesserung. Das ergibt Sinn: Wenn Sie eine ausreichend große Box haben (4 Bit), müssen Sie nicht so clever sein, um die Möbel neu anzuordnen. Der Trick ist speziell für den Fall gedacht, wenn die Box sehr klein ist.

Zusammenfassung

Kurz gesagt sagt diese Arbeit: „Quetschen Sie Ihr KI-Modell nicht einfach in einen kleinen Raum. Schütteln Sie zuerst die Daten, damit die wichtigen Teile leicht zu erkennen sind, geben Sie diesen Teilen zusätzlichen Schutz und quetschen Sie es dann. Dies macht die winzigen Modelle viel schlauer, ohne dass sie von Grund auf neu trainiert werden müssen oder komplexe, langsame Lernalgorithmen verwendet werden müssen."

Die Autoren betonen sorgfältig, dass dies ein technischer Trick ist, der in der Praxis hervorragend funktioniert, auch wenn die tiefe mathematische Theorie dahinter, warum er funktioniert (Verbindung zur Booleschen Logik), noch erforscht wird. Sie bewiesen, dass es auf echter Hardware funktioniert und die Mathematik nicht bricht.

Technische Zusammenfassung: Einflussinspirierte spektrale Rotationen für die extreme Low-Bit-Quantisierung von LLMs

Problemstellung

Die Arbeit adressiert die Herausforderung der extremen Low-Bit-Quantisierung nur der Gewichte (insbesondere W2A16, 2-Bit-Gewichte, 16-Bit-Aktivierungen) für Large Language Models (LLMs). Bei solch geringen Bitbreiten leiden Standard-Quantisierungsmethoden (wie das vanilla Intel Auto-Round) unter signifikanten Rekonstruktionsfehlern, was zu drastischen Anstiegen der Perplexität (PPL) auf Benchmarks wie WikiText-2 führt. Die Kernschwierigkeit liegt im „Budget für Quantisierungsrauschen": Bei nur 2 Bit ist der Rundungsfehler groß, und die Standard-Quantisierung pro Gruppe versagt darin, die kritischsten Kanäle zu priorisieren, was zu einer schweren Verschlechterung der Modellleistung führt, insbesondere bei Modellen mit breiten MLP-Schichten oder spezifischen architektonischen Einschränkungen (z. B. Qwen3-artige Aufmerksamkeit).

Methodik

Die vorgeschlagene Methode, BBT-spectral, wendet eine feste, mathematisch invariante Vor-Quantisierungs-Transformation auf lineare Schichten an, bevor sie an einen Standard-Quantisierer mit Rekonstruktionsfehler (Intel Auto-Round) übergeben werden. Der Ansatz ist inspiriert von einer Begleittheoriearbeit über booleschen Einfluss und Walsh-Hadamard-Geometrie, wird jedoch heuristisch auf reellwertige LLM-Schichten angewendet.

1. Kern-Transformation

Die Methode besteht aus zwei Schritten, die auf die Gewichtsmatrix $W$ und den Eingabevektor $x$ einer linearen Schicht angewendet werden:

Spektrale Rotation: Der Eingabevektor wird mittels einer festen orthogonalen Matrix $Q = H_{dpad}/\sqrt{dpad}$ in die Walsh-Hadamard-Basis rotiert, wobei $H$ die Walsh-Hadamard-Matrix und $dpad$ die auf die nächste Zweierpotenz aufgefüllte Dimension ist.
Skalierung pro Koordinate: Die Spalten der rotierten Gewichtsmatrix werden mit einer Diagonalmatrix $D = \text{diag}(s)$ $D = diag (s)$ skaliert, wobei die Skalierungsfaktoren $s_\ell$ $s_{ℓ}$ aus der spektralen Aktivierungsenergie der Eingabekoordinaten abgeleitet werden.
- Der Spektralenergie-Proxy $\rho_\ell$ wird als erwarteter quadratischer Betrag der $\ell$ -ten Koordinate nach WHT-Rotation berechnet: $\rho_\ell = E[h_\ell^2] / \sum E[h_k^2]$ .
- Der Skalierungsfaktor ist definiert als $s_\ell = (1 + d_{pad} \cdot \rho_\ell)^\alpha$ , mit $\alpha = 0.5$ .

Mathematische Invarianz: Die Transformation ist bei voller Präzision eine exakte Identität ( $x W^T = (x Q D^{-1}) (D Q^T W^T)$ ). Die Skalierung „boostet" hochenergetische Kanäle vor der Quantisierung und teilt sie nach der Dequantisierung wieder herunter, wodurch das ganzzahlige Rundungsbudget effektiv auf Kanäle gelenkt wird, die ein stärkeres Spektralsignal tragen.

2. Architektonische Erweiterungen

Das Grundrezept versagte zunächst bei Modellen mit spezifischen Aufmerksamkeitsmechanismen. Die Arbeit stellt drei Erweiterungen vor, um diese Fälle zu handhaben:

Spectral-PCA (für Qwen3-artige Modelle): Für Architekturen mit pro-Kopf $q\_norm/k\_norm$ -Schichten (z. B. Qwen3) bricht die Standard-Skalierung auf der Eingabeseite den Nenner der Norm. Die Autoren ersetzen die Norm durch eine Matrix-Γ RMSNorm, die die Projektionsgewichte über pro-Kopf-PCA ( $U_h$ ) rotiert und eine Diagonalmatrix $\Gamma_h$ anwendet, um die vanilla-Ausgabe exakt wiederherzustellen.
Pair-PCA (für RoPE-kommutierende Architekturen): Für Modelle ohne $q\_norm$ (z. B. Llama, SmolLM, Qwen2.5) muss die Rotation mit Rotary Position Embeddings (RoPE) kommutieren. Da RoPE als 2D-Rotationen wirkt, berechnet die Methode eine eingeschränkte SO(2) PCA für jedes RoPE-Paar, rotiert die Gewichtszeilen in 2D-Ebenen, um mit der Aktivierungsvarianz auszurichten, ohne die RoPE-Invarianz zu brechen.
MoE-bewusste Absorption: Eine Korrektur, die durch „architektonisches Fuzzing" an einem synthetischen Laguna-Modell identifiziert wurde, erweitert die Liste der Eingabe-Absorption um $g\_proj$ (Kopf-Gates) zusätzlich zu den Standard- $q/k/v\_proj$ , um das Durchsickern von Nichtlinearitäten zu verhindern.

Hauptbeiträge

Drop-in Spektrale Transformation: Ein prinzipieller, nicht-lernender Vor-Quantisierungsschritt (WHT-Rotation + energiebasierte Skalierung), der die W2A16-Quantisierung verbessert, ohne gradientenbasiertes Rotationslernen zu erfordern.
Empirische Validierung: Nachgewiesene 15–58% Reduktion der WikiText-2 PPL über vier Modelle hinweg (SmolLM-135M/360M, Qwen2.5-0.5B/1.5B) im Vergleich zu vanilla Auto-Round. Die größten Gewinne wurden bei Modellen mit den am stärksten verschlechterten vanilla-Baselines beobachtet (z. B. Qwen2.5-0.5B zeigte eine Verbesserung von 57,9%).
Architektonische Generalisierung: Erfolgreiche Erweiterung der Methode auf komplexe Architekturen (Qwen3 mit $q\_norm$ , RoPE-lastige Modelle) via Spectral-PCA und Pair-PCA, wodurch vorherige Fehlermodi behoben wurden.
Bit-Breiten-Ablation: Zeigte, dass der Nutzen der Methode Schur-Konvexitäts-konsistent ist: Der Vorteil skaliert mit dem Quantisierungsrausch-Budget. Die Methode liefert massive Gewinne bei W2, aber vernachlässigbare (Rauschboden-)Verbesserungen bei W4, was bestätigt, dass sie auf den hochrauschenden Regime abzielt.
Ingenieurtechnische Robustheit: Validiert, dass die Methode keine zusätzlichen Laufzeit-Operatoren einführt (alle Transformationen sind in die Gewichte eingebettet) und eine geräteunabhängige PPL auf Intel NPU, GPU und CPU beibehält.

Ergebnisse

Leistung:
- SmolLM-135M: PPL sank von 81,03 auf 45,11 (−44,3%).
- Qwen2.5-0.5B: PPL sank von 119,31 auf 50,22 (−57,9%).
- Qwen2.5-1.5B: PPL sank von 36,93 auf 28,16 (−23,7%).
- Qwen3-0.6B: Unter Verwendung von Spectral-PCA sank die PPL von 136,76 (vanilla) auf 88,99 (35% Verbesserung gegenüber vanilla).
Durchsatz: Die eingebetteten Gewichte führen zu standardmäßigen dichten Transformer-Graphen. Der Durchsatz ist mit vanilla-Baselines vergleichbar (innerhalb von ±15%), ohne zusätzlichen Laufzeit-Overhead.
Rauschboden: Bei W4 betrug die Verbesserung +0,06 PPL (statistisch nicht signifikant), was bestätigt, dass die Methode spezifisch für extreme Low-Bit-Regime ist.

Behauptungen und Einschränkungen (Stimme der Autoren)

Die Autoren positionieren dies explizit als angewandte Ingenieursarbeit und nicht als theoretischen Durchbruch:

Keine formale Äquivalenz: Sie behaupten nicht, dass die hier verwendete reellwertige WHT-Aktivierungsenergie formal äquivalent zum im Begleittheoriepapier definierten booleschen Einfluss ist. Der Zusammenhang ist intuitiv und qualitativ (spektrale Masse pro Koordinate), keine formale Theorem-Übertragung.
Keine statistische Signifikanz: Die Ergebnisse basieren auf einem einzelnen Seed. Unterschiede unter ±0,5 PPL werden als Evaluierungsrauschen behandelt.
Baseline-Umfang: Vergleiche werden ausschließlich mit vanilla Auto-Round gezogen. Die Arbeit behauptet nicht die Überlegenheit gegenüber anderen starken Low-Bit-Baselines wie AWQ, GPTQ, SpinQuant oder QuaRot; direkte Vergleiche werden zukünftigen Arbeiten vorbehalten.
Umfang: Die Methode ist ein „Drop-in"-Heuristik. Sie beansprucht nicht, alle Quantisierungsprobleme zu lösen, und weist ausdrücklich darauf hin, dass das „Schur-Konvexitäts"-Argument ein heuristischer Leitfaden für die reellwertige Einstellung ist, kein bewiesenes Theorem dafür.

Der primäre Beitrag ist eine kleine, prinzipielle, exakt mathematisch invariante Transformation, die bei W2 über diverse Modellfamilien hinweg nicht-triviale empirische Gewinne erzielt und eine praktische Lösung für den extremen Low-Bit-Einsatz bietet, wo Standard-Rundung versagt.