🤖 machine learning

OrpQuant: Geometric Orthogonal Residual Projection for Multiplier-Free Power-of-Two Transformer Quantization

Dieser Beitrag stellt OrpQuant vor, einen Multiplikator-freien Quantisierungsrahmen auf Basis von Zweierpotenzen, der eine Geometrische Orthogonale Residuenprojektion einsetzt, um die niedrige Winkelauflösung logarithmischer Gitter zu überwinden und so einen effizienten, hochpräzisen Einsatz von LLMs und ViTs auf Edge-Geräten mit deutlich reduzierter Kalibrierzeit und Hardwarekomplexität zu ermöglichen.

Ursprüngliche Autoren: Maoyang Xiang, Bo Wang, Tao Luo

Veröffentlicht 2026-05-26

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Maoyang Xiang, Bo Wang, Tao Luo

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine riesige, komplexe 3D-Skulptur (ein riesiges KI-Modell) in eine winzige, flache Pappschachtel (ein Edge-Gerät wie ein Smartphone oder eine Drohne) zu packen. Das Problem ist, dass die Skulptur zu groß ist und die Werkzeuge, die Sie normalerweise zum Verkleinern verwenden (Standard-Mathematikoperationen), für die winzige Schachtel zu schwer und zu langsam sind.

Dieser Artikel stellt eine neue Methode namens ORP (Orthogonal Residual Projection) vor, um dieses Problem zu lösen. Hier ist die Funktionsweise, erklärt durch einfache Analogien:

1. Das Problem: Das "Lineal" ist kaputt

Die meisten KI-Modelle verwenden für ihre Arbeit viele schwere Multiplikationen (wie ein komplexer Taschenrechner). Um sie auf kleine Geräte zu bringen, versuchen Wissenschaftler, sie zu "quantisieren" – im Wesentlichen werden die Zahlen gerundet, um sie zu vereinfachen.

Der Artikel argumentiert, dass die aktuelle Methode zur Vereinfachung dieser Zahlen (genannt Power-of-Two oder PoT) wie die Verwendung eines Lineals ist, das nur Markierungen bei 1, 2, 4, 8 und 16 hat.

Der Fehler: Wenn Sie versuchen, etwas zu messen, das bei "3" liegt, müssen Sie es auf 2 oder 4 runden. Wenn Sie versuchen, etwas bei "6" zu messen, runden Sie auf 4 oder 8.
Das Ergebnis: Im hochdimensionalen Raum (in dem KI existiert) entstehen dadurch riesige "Lücken" in der Richtung. Es ist, als würde man versuchen, einen Kompass nur mit Norden, Osten, Süden und Westen zu bedienen. Wenn Sie nach Nordosten zeigen müssen, müssen Sie raten, und Sie bekommen die Richtung falsch. Der Artikel nennt dies das "Low Angular Resolution Regime". Die KI verliert ihr Richtungsgefühl, und ihre Intelligenz nimmt ab.

2. Die Lösung: Die "Zwei-Schritte"-Karte

Anstatt die Skulptur in ein einziges, kaputtes Lineal zu zwingen, verwendet ORP eine clevere Zwei-Schritte-Karte.

Schritt 1: Der Hauptanker (Die primäre Basis): Es wählt die nächste Standardmarkierung auf dem kaputten Lineal aus (z. B. "4").
Schritt 2: Die Korrektur (Das Residuum): Es erkennt: "Warte, die echte Zahl war eigentlich 4,5." Anstatt aufzugeben, berechnet es die Differenz (das "Residuum") und findet eine zweite, senkrechte Richtung, um dieses fehlende Stück zu beschreiben.
Die Magie: Durch die Kombination des Hauptankers und dieser zweiten "Korrektur"-Richtung kann es die Zahl mit viel höherer Präzision beschreiben, obwohl es immer noch dieselben einfachen "Power-of-Two"-Regeln verwendet.

Stellen Sie es sich wie das Geben von Wegbeschreibungen vor.

Alter Weg: "Gehen Sie nach Norden." (Sie könnten Ihr Ziel verfehlen, wenn Sie Nord-Nord-Ost hätten gehen müssen).
ORP-Weg: "Gehen Sie nach Norden, machen Sie dann einen kleinen Schritt nach Osten." Sie haben immer noch nur einfache Richtungen verwendet, aber die Kombination bringt Sie viel näher ans Ziel.

3. Die Hardware: Keine schweren Arbeiten

Normalerweise verwenden Computer zur Behebung dieser Rundungsfehler komplexe Mathematik (Multiplikation), was langsam ist und viel Batterie verbraucht.

ORPs Trick: Da es "Power-of-Two"-Zahlen verwendet, muss der Computer überhaupt nicht multiplizieren. Er muss nur Bits verschieben (nach links oder rechts bewegen) und sie addieren.
Die Analogie: Stellen Sie sich eine Fabrik vor. Der alte Weg verwendet einen riesigen, schweren Kran (einen Multiplikator), um jede Kiste zu bewegen. Es ist langsam und nimmt viel Platz weg. ORP ersetzt den Kran durch ein einfaches Förderband und einen Menschen, der Kisten schiebt (Shift-and-Add). Es ist schneller, verbraucht weniger Energie und passt in einen kleineren Raum.

4. Die Ergebnisse: Schnell und präzise

Die Autoren haben dies an zwei Arten von KI getestet:

Sprachmodelle (LLMs): Wie das berühmte LLaMA-2.
Visionsmodelle (ViTs): KI, die Bilder betrachtet.

Was sie fanden:

Geschwindigkeit der Einrichtung: Normalerweise dauert das Beheben dieser Modelle Stunden der "Kalibrierung" (Training). ORP erledigt dies in etwa 15 Minuten. Es ist, als würde man ein Puzzle sofort lösen, anstatt den ganzen Tag damit zu verbringen.
Genauigkeit: Selbst mit sehr geringer Präzision (3-Bit oder 4-Bit) bleibt die KI mit ORP intelligent. Sie funktioniert fast so gut wie die schweren, langsamen Methoden, aber ohne die schwere Hardware.
Hardware-Geschwindigkeit: Als sie das Chip-Design simulierten, stellten sie fest, dass der Chip, weil sie die schweren "Multiplikator"-Teile entfernt hatten, viel schneller laufen konnte (2,85 GHz), ohne überhitzt zu werden oder in Datenstaus zu geraten.

Zusammenfassung

ORP ist eine neue Art, riesige KI-Modelle zu verkleinern, damit sie auf kleinen Geräten laufen können. Anstatt schwere, langsame Mathematik zu verwenden, nutzt es einen cleveren geometrischen Trick, um zwei einfache Richtungen zu kombinieren, um eine präzise Antwort zu erhalten. Dies macht die KI schneller, energieeffizienter und viel schneller einzurichten, alles ohne komplexe Hardware-Multiplizierer.

Technische Zusammenfassung: ORPQUANT – Geometrische orthogonale Residualprojektion für multiplikatorfreie Transformer-Quantisierung mit Zweierpotenzen

1. Problemstellung

Der Einsatz von Large Language Models (LLMs) und Vision Transformern (ViTs) auf Edge-Geräten ist durch die „Multiplikatorsteuerung" eingeschränkt – den signifikanten Energieverbrauch, die Komplexität des Datenverkehrs und die Timing-Engpässe, die mit Hardware-Multiply-Accumulate-Einheiten (MAC) verbunden sind. Während die Quantisierung mit Zweierpotenzen (PoT) eine hardware-effiziente Alternative bietet, indem sie Multiplikation durch Bit-Shifts ersetzt, leidet sie unter einer fundamentalen geometrischen Einschränkung: dem Regime niedriger Winkelauflösung.

Bei der PoT-Quantisierung ist das diskrete Gitter nicht einheitlich, sondern durch eine $arctan(2^k)$ -Verteilung bestimmt. Dies erzeugt „Winkellücken", in denen die Ausrichtung quantisierter Vektoren erheblich von den ursprünglichen kontinuierlichen Vektoren abweicht, insbesondere in hochdimensionalen Räumen. Im Gegensatz zu skalaren Betragsfehlern, die vorhersehbar und korrigierbar sind, beeinträchtigen diese Winkelabweichungen die semantische Integrität von Merkmalsmannigfaltigkeiten und führen zu einer schweren Genauigkeitsverschlechterung in Ultra-Niedrig-Bit-Regimen (unter 4 Bit). Bestehende Methoden verlassen sich häufig auf rechenintensive gradientenbasierte Optimierung oder eine Laufzeit-Dequantisierung auf MAC-Einheiten, scheitern jedoch daran, Timing-Engpässe vollständig zu beseitigen oder die geometrische Fehlausrichtung, die PoT-Gitter innewohnt, zu adressieren.

2. Methodik: Orthogonale Residualprojektion (ORP)

Die Autoren schlagen ORP vor, ein Framework für das Co-Design von Algorithmus und Hardware, das die Quantisierung als duale geometrische Projektion neu formuliert. Anstatt Vektoren auf ein einziges 1D-PoT-Gitter abzubilden, konstruiert ORP einen 2D-orthogonalen Unterraum, um Richtungsfehler mittels strikter Shift-and-Add-Operationen zu erfassen und zu korrigieren.

Kernframework

Die ORP-Pipeline besteht aus drei entkoppelten Stufen:

Mannigfaltigkeitsausgerichtete Vorbedingung:
Um Aktivierungs-Ausreißer zu mildern, werden Gewichte unter Verwendung eines Glättungs-Skalierungsvektors, der aus Kalibrierungsstatistiken abgeleitet wird (z. B. RMS für CV, maximaler absoluter Wert für LLMs), vorbehandelt. Dies richtet den euklidischen Gewichtsraum mit der empirischen Merkmalsmannigfaltigkeit aus und priorisiert Kanäle, die die Ausgangsstabilität dominieren, ohne iterative Neugewichtung.
Geometrische Suche nach diskreten Basen:
- Primärprojektion ( $b_1$ ): Gewichte werden auf ein asymmetrisches PoT-Gitter projiziert (z. B. $\{-1, -0.5, \dots, 0, \dots, 1\}$ für 3 Bit), um einen absoluten Nullzustand für das Hardware-Null-Überspringen zu gewährleisten.
- Extraktion orthogonaler Residuen: Der Residualvektor $r_\perp$ wird mittels Gram-Schmidt-Orthogonalisierung berechnet: $r_\perp = w_{proc} - \frac{\langle w_{proc}, b_1 \rangle}{\|b_1\|^2}b_1$ .
- Konstruktion einer Sekundärbasis ( $b_2$ ): Um die verlorenen Richtungsinformationen zu erfassen, konstruiert ORP eine sekundäre diskrete Basis $b_2$ , die orthogonal zu $b_1$ ist. Dies wird durch den Strided Dual-Exchange-Theorem erreicht, der einen orthogonalen Vektor durch Anwendung lokaler Indexpermutationen und Vorzeicheninversionen innerhalb von Mikroblöcken erzeugt. Dieser Prozess ist deterministisch und arbeitet in $O(N)$ Zeit, wodurch eine erschöpfende Suche vermieden wird.
Datengetriebene gemeinsame Skalierungsoptimierung:
Sobald die diskreten Basen ( $b_1, b_2$ ) feststehen, werden kontinuierliche Skalierungskoeffizienten ( $c_1, c_2$ ) gelöst. Das Framework bietet zwei Modi:
- GEO-Modus (Geometrische Optimierung): Eine geschlossene Lösung, die den euklidischen Abstand ohne Kalibrierungsdaten minimiert und für Zero-Shot-Einsatz geeignet ist.
- REF-Modus (Aktivierungsbewusste Verfeinerung): Nutzt Ridge-Regression auf Kalibrierungseingaben, um Skalen zu optimieren, Merkmalskorrelationen und räumliches Rauschen auszugleichen und gleichzeitig die numerische Instabilität zu vermeiden, die durch die Einbettung diskreter Aktivierungsrauschen in den Löser entsteht.

Hardware-Datenfluss

Der finale Inferenz-Datenfluss transformiert die lineare Schicht $Y = XW$ in eine multiplikatorfreie Operation:
$\hat{Y} = (s_x s_{c1}) [(\tilde{X}B_1)\text{diag}(\tilde{c}_1)] + (s_x s_{c2}) [(\tilde{X}B_2)\text{diag}(\tilde{c}_2)]$
Die Kernmatrixmultiplikationen werden durch parallele Bit-Shifts und Additionen ausgeführt, wobei Skalierungsfaktoren nur im letzten Akkumulationsschritt angewendet werden.

3. Hauptbeiträge

Geometrische Formalisierung: Das Papier formalisiert das „Regime niedriger Winkelauflösung" extremer PoT-Quantisierung und schlägt ORP als deterministische, $O(N)$ geschlossene Lösung vor, um orthogonale diskrete Basen ohne gradientenbasierte Optimierung zu extrahieren.
Kalibrierungseffizienz: Durch den Ersatz stochastischer iterativer Suchen durch einen analytischen Löser reduziert ORP die Kalibrierungszeit für das Vollmodell von LLaMA-2-7B von Stunden (z. B. AWQ, SpinQuant) auf ungefähr 15,1 Minuten auf einer einzelnen Workstation.
Wettbewerbsfähige Fidelity unter Null-MAC-Bedingungen: ORP erzielt zuverlässige Genauigkeit über Modalitäten hinweg, ohne sich auf asymmetrische Skalierung oder Laufzeit-Dequantisierung zu verlassen. Es erreicht eine Perplexität von 5,09 auf LLaMA-2-13B (W4/A16) und 79,54% Top-1-Genauigkeit auf ViT-Base (W4/A4).
Hardware-Validierung: Durch 28-nm-RTL-Synthese demonstrieren die Autoren, dass der Ersatz dichter Multiplikatorbäume durch einen parallelen Shift-and-Add-Datenpfad die kritische Pfadverzögerung auf 0,35 ns reduziert, was eine theoretische Taktfrequenz von 2,85 GHz und eine Energieeffizienz von 3,33 TOPS/W bei 1,8 GHz ermöglicht.

4. Experimentelle Ergebnisse

Vision Transformer (ImageNet-1K): Unter W3/A4-Bedingungen erreicht ORP auf ViT-B eine Top-1-Genauigkeit von 78,49%, übertrifft 4/4-Bit-Baselines wie APQ-ViT (41,41%) und nähert sich mit W3/A6 der Vollpräzisionsleistung (80,32%) an.
LLM-Leistung (LLaMA-2):
- W3/A16: ORP erreicht eine Perplexität von 6,10 auf LLaMA-2-7B und übertrifft AWQ (6,49) und nähert sich der 4-Bit-Baseline (5,66) an, ohne asymmetrische Skalierung zu erfordern.
- W4/A16: Erzielt eine Perplexität von 5,09 auf LLaMA-2-13B.
- Zero-Shot-Reasoning: Der GEO-Modus bietet eine robuste Basis für diverse Reasoning-Aufgaben (z. B. 67,72% auf WinoGrande bei 3 Bit), während der REF-Modus weitere Präzisionsverbesserungen bietet.
Hardware-Metriken: Der ORP-Beschleuniger weist eine kritische Pfadverzögerung von 0,35 ns auf, verglichen mit 0,90 ns für AWQ-Baselines, was theoretisch einen Betrieb bei 2,85 GHz auf 28-nm-Silizium ermöglicht.

5. Bedeutung und Behauptungen

Das Papier behauptet, dass ORP einen gangbaren Weg zur agilen Bereitstellung großer Fundamentmodelle auf ressourcenbeschränkten Edge-Geräten bietet, indem es geometrische Prinzipien mit der Timing-Effizienz auf Siliziumebene in Einklang bringt.

Algorithmische Effizienz: Die primäre Bedeutung liegt im Wechsel von rechenintensiver, iterativer Kalibrierung zu einem deterministischen analytischen Löser, der eine schnelle On-Site-Anpassung am Edge ermöglicht.
Hardware-Synergie: Die Arbeit zeigt, dass strenge Hardware-Beschränkungen (multiplikatorfrei, Shift-and-Add) keinen Kompromiss bei der Repräsentationsfidelity erfordern. Durch die Adressierung der geometrischen „Winkellücke" mittels orthogonaler Residuen erreicht ORP eine Leistung, die mit MAC-intensiven Baselines wettbewerbsfähig ist.
Bereitstellungsflexibilität: Das Dual-Track-Paradigma (GEO vs. REF) bietet Praktikern eine flexible Wahl zwischen sofortigem, datenfreiem Zero-Shot-Reasoning und datengesteuerter Präzision und mindert die Risiken von Kalibrierungsverzerrungen.

Letztlich legt ORP nahe, dass extreme Quantisierung effektiv realisiert werden kann, ohne sich auf asymmetrische Skalierung, Laufzeit-Dequantisierung oder tiefe Multiplikatorbäume zu verlassen, und bietet ein neues Ausführungsparadigma für hochdurchsatzfähige Edge-Intelligenz.