🤖 machine learning

HARP: Hadamard-Preconditioned Adaptive Rotation Processor for Extreme LLM Quantization

HARP führt einen lernbaren, strukturierten zweiseitigen orthogonalen Prozessor ein, der die Quantisierungsbasis an spezifische Schichten und Kalibrierungsdaten anpasst, wodurch die Genauigkeit der extremen Low-Bit-Quantisierung (2–4 Bit) von LLMs im Vergleich zu festen Hadamard-Methoden erheblich verbessert wird, während die Bereitstellungseffizienz erhalten bleibt.

Ursprüngliche Autoren: Artur Zagitov, Gleb Molodtsov, Aleksandr Beznosikov

Veröffentlicht 2026-05-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Artur Zagitov, Gleb Molodtsov, Aleksandr Beznosikov

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie besitzen eine riesige, unglaublich detaillierte Bibliothek (ein Large Language Model), die Sie in Ihrer Hosentasche tragen möchten. Das Problem ist, dass die Bücher zu schwer und die Regale zu breit sind, um in eine kleine Tasche zu passen. Um sie tragbar zu machen, entscheiden Sie sich, die Bücher zu winzigen, komprimierten Notizen zu verkleinern. Dies nennt man Quantisierung.

Wenn Sie diese Bücher jedoch zu stark verkleinern (auf nur 2 oder 3 Bits Information), werden einige Seiten zerknittert oder gehen verloren. Diese „zerknitterten Seiten" nennt man Ausreißer – extrem wichtige Zahlen, die viel größer sind als der Rest. Wenn Sie versuchen, das gesamte Buch mit einer Standardmethode zu komprimieren, ruinieren diese Ausreißer die Komprimierung und machen die Notizen schwer lesbar.

Der alte Weg: Der „zufällige Mischvorgang"

Früher verwendeten Wissenschaftler einen Trick namens RHT (Randomized Hadamard Transform). Stellen Sie sich dies vor, als würden Sie alle Seiten Ihres Buches zufällig mischen und dann komprimieren.

Das Gute: Es ist schnell und verteilt die zerknitterten Seiten so, dass sie nicht alle an einer Stelle zerquetscht werden.
Das Schlechte: Es ist ein fester Mischvorgang. Es ist, als würde man dasselbe zufällige Mischmuster für jedes einzelne Buch verwenden, unabhängig davon, ob es ein Kochbuch, ein Roman oder ein Wörterbuch ist. Es passt sich nicht der spezifischen Geschichte im Inneren an.

Der neue Weg: HARP (Der „intelligente Schneider")

Die Autoren dieses Papiers stellen HARP (Hadamard-preconditioned Adaptive Rotation Processor) vor. Stellen Sie sich HARP als einen intelligenten Schneider vor, der nicht nur einen generischen Mischvorgang verwendet.

Es lernt die Passform: Anstatt eines zufälligen Mischvorgangs betrachtet HARP die spezifische „Form" der Daten in jeder Schicht des Modells (wie das Betrachten des spezifischen Stoffes eines Hemdes). Es lernt den perfekten Weg, die Zahlen neu anzuordnen, damit sie in den winzigen komprimierten Raum passen, ohne wichtige Details zu verlieren.
Es ist ein Plug-in-Upgrade: Das Beste ist, dass HARP am Anfang genau wie der alte „zufällige Mischvorgang" (RHT) aussieht. Es ist wie ein Anzug, der als Standardgröße aus dem Regal beginnt, aber über versteckte Reißverschlüsse und verstellbare Nähte verfügt. Sobald Sie ihn anziehen, passt der Schneider (der Kalibrierungsprozess) die Passform schnell perfekt an Sie an. Das bedeutet, Sie können die alte Methode durch HARP ersetzen, ohne das gesamte System neu aufzubauen.
Es ist strukturiert und schnell: HARP führt keine unordentliche, komplexe Neuordnung durch. Es verwendet ein „Schmetterlings"-Muster (eine spezifische, effiziente Art, Dinge zu mischen), das mathematisch garantiert umkehrbar und schnell ist. Es ist, als würde man eine Bibliothek nicht organisieren, indem man Bücher zufällig überall hinwirft, sondern indem man ein hoch effizientes, vorab geplantes Sortiersystem verwendet, das nur Sekunden dauert.

Was passiert, wenn Sie es verwenden?

Das Papier testete dies an Modellen, die von klein (1 Milliarde Parameter) bis riesig (70 Milliarden Parameter) reichten.

Bessere Qualität: Als sie die Modelle auf extreme Größen komprimierten (2 bis 4 Bits), machten HARP die Modelle „klüger" (niedrigere Perplexität, höhere Genauigkeit) als die alte Methode des zufälligen Mischvorgangs. Es war besonders gut darin, die „zerknitterten Seiten" (Ausreißer) zu retten, die normalerweise verloren gehen.
Immer noch schnell: Obwohl HARP eine benutzerdefinierte Passform lernt, verlangsamt es das Modell nicht. Tatsächlich waren die komprimierten Modelle mit HARP immer noch viel schneller (128 Tokens pro Sekunde) als die ursprünglichen, unkomprimierten Modelle (61 Tokens pro Sekunde).
Vielseitig: Sie zeigten, dass HARP nicht nur mit einem bestimmten Komprimierungswerkzeug funktioniert, sondern in verschiedene Komprimierungssysteme (wie QTIP) eingebaut werden kann und diese dennoch verbessert.

Das Fazit

HARP ist ein Werkzeug, das den „One-Size-Fits-All"-zufälligen Mischvorgang, der in der KI-Komprimierung verwendet wird, in eine maßgeschneiderte Passform verwandelt. Es lernt aus einer kleinen Stichprobe von Daten, um den perfekten Weg zu finden, die Zahlen neu anzuordnen, bevor sie zusammengedrückt werden. Das Ergebnis ist ein kleineres, schnelleres KI-Modell, das besser liest und weniger Fehler macht, alles ohne dass das gesamte Modell von Grund auf neu trainiert werden muss.

Technischer Zusammenfassung: HARP (Hadamard-Preconditioned Adaptive Rotation Processor)

1. Problemstellung

Die Post-Training-Quantisierung (PTQ) ist entscheidend für den Einsatz von Large Language Models (LLMs) unter Speicher- und Bandbreitenbeschränkungen. Extreme Low-Bit-Quantisierung (2–4 Bit) steht jedoch vor zwei Hauptherausforderungen:

Aktivierungs-Ausreißer und schwer尾ige Statistiken: Eine kleine Teilmenge von Koordinaten trägt ein unverhältnismäßig großes Gewichtsmass und eine hohe Krümmungsempfindlichkeit, was bei der Quantisierung zu schweren Rekonstruktionsfehlern führt.
Anisotrope Gewichts-Krümmung: Standard-Quantisierer (skalare oder blockweise Vektoren) schneiden schlecht ab, wenn sich das Gewichtsmaß oder krümmungsempfindliche Richtungen mit bestimmten Koordinatenachsen ausrichten.

Bestehende Lösungen verlassen sich auf Inkohärenz-Verarbeitung, die vor der Quantisierung eine strukturierte orthogonale Basiswechsel anwendet, um das Gewichtsmaß über die Koordinaten zu verteilen. Der aktuelle Standard ist die Randomized Hadamard Transform (RHT). Obwohl RHT schnell ( $O(d \log d)$ ) und exakt orthogonal ist, ist sie fest. Sie passt sich nicht an:

Spezifische Schichtenstatistiken.
Die Verteilung der Kalibrierungsdaten.
Die Blockstruktur des nachgelagerten Quantisierers.

Neuere Arbeiten deuten darauf hin, dass das Erlernen von Rotationen end-to-end die Qualität verbessert, doch diese Methoden lockern oft den „Drop-in"-Charakter von PTQ-Pipelines, verändern das Vollpräzisionsmodell oder führen zu Rechenkosten, die für die Inferenz zu hoch sind. Es besteht eine Lücke für einen Prozessor, der aus Kalibrierungsdaten lernbar ist, eine exakte orthogonale Basiswechsel bleibt (das Vollpräzisionsmodell bewahrt) und Hadamard-ähnliche Effizienz beibehält.

2. Methodik: HARP

Die Autoren schlagen HARP (Hadamard-Preconditioned Adaptive Rotation Processor) vor, einen lernbaren, zweiseitigen orthogonalen Prozessor, der dazu dient, die feste RHT in PTQ-Pipelines zu ersetzen.

2.1 Kernarchitektur

HARP parametrisiert die orthogonale Rotation als Produkt von dünnbesetzten, schrittweisen Stufen, die die Struktur schneller Hadamard- und Butterfly-Transformationen nachahmen.

Struktur: Für eine Dimension $d$ verwendet HARP einen Mixed-Radix-Plan $\mathbf{b} = (b_0, \dots, b_{m-1})$ , wobei $\prod b_t = d$ .
Stufen: Jede Stufe $t$ wendet eine blockdiagonale orthogonale Matrix $\mathbf{B}_t$ auf Gruppen von Koordinaten an, getrennt durch Stride-Permutationen.
Mixed-Radix-Unterstützung: Im Gegensatz zu Standard-Hadamard-Transformationen, die auf Zweierpotenzen beschränkt sind, unterstützt HARP beliebige Dimensionen (z. B. 5120) mittels eines Mixed-Radix-Plans (z. B. $8, 8, 8, 5, 2$). Nicht-Potenz-von-zwei-Radizes nutzen einen deterministischen orthogonalen Fallback (QR-Zerlegung einer festen Gaußschen Matrix).

2.2 Hadamard-Vorkonditionierung & Initialisierung

Eine Schlüsselinnovation sind die Hadamard-vorkonditionierten Blockkerne. Jeder lernbare Block $B_{t,c}$ ist definiert als:
$B_{t,c}(\theta) = Q_{t,c}(\theta) G_{b_t}$

$G_{b_t}$ ist ein fester Basis-Mixer (normalisierte Sylvester-Hadamard-Transformation für Zweierpotenzen, sonst QR-Fallback).
$Q_{t,c}(\theta)$ ist eine lernbare orthogonale Matrix (Givens-Rotation für $b_t=2$ , Cayley-Abbildung für $b_t > 2$ ).

Initialisierung: Alle lernbaren Parameter $\Theta$ werden auf Null initialisiert. Bei $\Theta=0$ gilt $Q_{t,c}(0) = I$ , was bedeutet, dass $B_{t,c}(0) = G_{b_t}$ . Folglich stellt die HARP-Transformation bei der Initialisierung exakt den festen RHT-Prozessor wieder her (bis auf eine feste Permutationskonvention). Die Kalibrierung lernt dann eine strukturierte orthogonale Verfeinerung um diese starke Basislinie herum.

2.3 Optimierungsziel

HARP wird pro Schicht unter Verwendung nur von Kalibrierungsdaten angepasst. Die Optimierung minimiert einen Surrogatverlust, der mit dem eingesetzten blockweisen Quantisierer abgestimmt ist:

Diagonale Hessian-gewichtete Rekonstruktion: Minimiert den Fehler zwischen dem rotierten Gewicht und seinem blockweisen Codebuch-Ziel, gewichtet mit der Diagonale des Hessian-Proxy. Gradienten werden durch die diskrete Codebuch-Zuweisung gestoppt, um Stabilität zu gewährleisten.
Off-Block Hessian-Energie-Strafterm: Ein Regularisierungsterm ( $R_{bd}$ ) bestraft Energie in den nicht-diagonalen Blöcken des Hessian-Proxy und fördert die Ausrichtung der Krümmung mit der Blockstruktur des Quantisierers.

Der Gesamtverlust lautet:
$\mathcal{L}_{fit}(\Theta) = \mathcal{L}_{diag}(\Theta) + \lambda_{bd} R_{bd}(\Theta_V)$

2.4 Bereitstellungseffizienz

Speicher: HARP-Parameter können im int8-Format gespeichert werden, mit minimalen Auswirkungen auf die Perplexität.
Berechnung: Die Anwendungskosten betragen $O(d \log d)$ , ähnlich wie bei RHT. Die Autoren implementieren fusionierte Triton-GPU-Kerne für Stride-Stufen, um materialisierte Permutationen zu vermeiden und den Latenz-Overhead gering zu halten.
Kompatibilität: HARP ist ein Drop-in-Ersatz für den Vorverarbeitungsschritt in QuIP#- und QTIP-Pipelines und erfordert keine Änderungen am Quantisierer-Backend oder Solver.

3. Hauptbeiträge

Lernbarer Inkohärenz-Prozessor: Einführung von HARP, eines zweiseitigen orthogonalen Prozessors, der über Kalibrierungsdaten angepasst wird und sich an Schichtenstatistiken und Backend-Quantisierer-Strukturen anpasst.
Drop-in-Kompatibilität: HARP initialisiert exakt auf den festen RHT-Prozessor, was sicherstellt, dass es ein nahtloses Upgrade für bestehende Hadamard-basierte PTQ-Pipelines ist, ohne ein vollständiges Modell-Neu-Training oder Graph-Umschaltung zu erfordern.
Strukturierte Effizienz: Die Nutzung von Mixed-Radix-Butterfly-ähnlichen Stufen ermöglicht exakte Orthogonalität und $O(d \log d)$ -Komplexität bei Nicht-Zweierpotenz-Dimensionen und bewahrt die Durchsatzvorteile der quantisierten Inferenz.
Empirische Validierung: Nachweis konsistenter Qualitätsgewinne (Perplexität und Zero-Shot-Accuracy) gegenüber fester RHT in 2–4-Bit-Einstellungen auf Modellen mit 1B bis 70B Parametern.

4. Experimentelle Ergebnisse

Die Autoren bewerteten HARP an Llama 3.2 (1B, 3B) und Llama 2 (7B, 13B, 70B) unter Verwendung des QuIP#-Backends.

Perplexität (PPL): HARP übertrifft die feste RHT konsistent.
- 2-Bit: Die Gewinne sind hier am signifikantesten, wo die Quantisierung am empfindlichsten ist. Für Llama 2 7B reduziert HARP die WikiText2-PPL von 8,22 (RHT) auf 7,23. Für Llama 2 70B sinkt sie von 4,16 auf 4,01.
- 3–4 Bit: Verbesserungen bestehen weiterhin, sind aber in absoluter Größe geringer, da die Basislinie sich der Vollpräzision nähert.
Zero-Shot-Accuracy: HARP verbessert die Genauigkeit bei den Aufgaben ARC-Challenge, ARC-Easy und WinoGrande, was bestätigt, dass Perplexitätsgewinne in die nachgelagerte Leistung übersetzt werden.
Latenz & Durchsatz:
- Auf einer NVIDIA RTX 5080 erreicht 2-Bit-HARP 128 Tokens/Sekunde für Llama 2 7B, verglichen mit 61 Tokens/Sekunde für FP16.
- Der Latenz-Overhead von HARP gegenüber fester RHT ist modest (z. B. 0,0078 s vs. 0,0070 s pro Token für 2-Bit 7B) und bewahrt den Großteil der Quantisierungsgeschwindigkeitssteigerung.
Portabilität: Bei der Integration in QTIP (ein anderes Backend mit trellis-codierter Quantisierung) verbesserte HARP erneut die Perplexität gegenüber fester RHT und demonstriert eine backend-unabhängige Nützlichkeit.
Speicher-Overhead: Bei Verwendung von int8-Parameterspeicher ist die effektive Erhöhung der Bits pro Parameter (BPP) minimal (z. B. 2,00 $\to$ 2,05 für 2-Bit 7B), mit vernachlässigbaren Auswirkungen auf die Modellqualität.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass HARP eine spezifische Lücke im PTQ-Landschaft adressiert: das Bedürfnis nach adaptiver Vorverarbeitung, die weder Effizienz noch Exaktheit opfert.

Adaptivität vs. Fest: Im Gegensatz zur festen RHT passt HARP die Rotationsbasis an die spezifische Schicht und die Blockstruktur des Quantisierers an und reduziert so den Rekonstruktionsfehler in extremen Low-Bit-Bereichen.
Exaktheit vs. Approximation: Im Gegensatz zu einigen gelernten Rotationsmethoden, die das Vollpräzisionsmodell verändern oder ein end-to-end-Training erfordern, ist HARP eine exakte Basiswechsel. Das Vollpräzisionsmodell bleibt mathematisch erhalten; nur das dem Quantisierer exponierte Koordinatensystem ändert sich.
Effizienz vs. Kosten: Im Gegensatz zu dichten gelernten Rotationen oder komplexen Graph-Modifikationen (z. B. SpinQuant) behält HARP die $O(d \log d)$ -Rechenkosten von Hadamard-Transformationen bei, was ihn für den Einsatz großer LLMs praktikabel macht.

Die Autoren positionieren HARP nicht als neue eigenständige Pipeline, sondern als wiederverwendbares Modul, das bestehende Hadamard-basierte Backends (wie QuIP# und QTIP) verbessert, indem es eine strukturierte Verfeinerung um eine starke, feste Basislinie herum lernt. Die Ergebnisse deuten darauf hin, dass für extreme Low-Bit-Quantisierung (2–3 Bit) die Kosten einer einmaligen Kalibrierung zum Erlernen dieser Rotationen den erheblichen Gewinn an Modellqualität wert sind.