Technische Samenvatting: ORPQUANT – Geometrische Orthogonale Residuprojectie voor Vermenigvuldiger-Vrije Kracht-van-Twee Transformer-Quantisatie

1. Probleemstelling

De implementatie van Large Language Models (LLM's) en Vision Transformers (ViT's) op randapparatuur wordt beperkt door de "vermenigvuldigerstaks"—het aanzienlijke energieverbruik, de complexiteit van de routering en de timing-bottlenecks die gepaard gaan met hardware Multiply-Accumulate (MAC)-eenheden. Hoewel Power-of-Two (PoT)-quantisatie een hardware-efficiënt alternatief biedt door vermenigvuldiging te vervangen door bit-shifts, kampt het met een fundamentele geometrische beperking: het Regime van Lage Hoekresolutie.

Bij PoT-quantisatie is het discrete rooster niet-uniform, bepaald door een $arctan(2^k)$-verdeling. Dit creëert "Hoekgaten" waarbij de oriëntatie van gekwantiseerde vectoren significant afwijkt van de oorspronkelijke continue vectoren, met name in hoog-dimensionale ruimten. In tegenstelling tot scalare magnitudefouten, die voorspelbaar en corrigeerbaar zijn, ondermijnen deze hoekafwijkingen de semantische integriteit van feature-manifolds, wat leidt tot ernstige nauwkeurigheidsdegradatie in ultra-lage bit-regimes (sub-4-bit). Bestaande methoden vertrouwen vaak op rekenkundig duur, op gradiënten gebaseerde optimalisatie of runtime-dequantisatie naar MAC-eenheden, waardoor ze de timing-bottlenecks niet volledig elimineren of de geometrische misalignering inherent aan PoT-roosters niet aanpakken.

2. Methodologie: Orthogonale Residuprojectie (ORP)

De auteurs stellen ORP voor, een algoritme-hardware co-ontwerpraamwerk dat quantisatie herformuleert als een dubbel-basis geometrische projectie. In plaats van vectoren af te beelden op een enkel 1D PoT-rooster, construeert ORP een 2D orthogonale deelruimte om richtingsfouten te vangen en te corrigeren met strikt shift-en-add-operaties.

Kernraamwerk

De ORP-pijplijn bestaat uit drie ontkoppelde fasen:

1. Manifold-geregistreerde Preconditie:
   Om activatie-uitbijters te mitigeren, worden gewichten gepreconditioneerd met een gladmakende schalingsvector afgeleid van kalibratiestatistieken (bijv. RMS voor CV, maximale absolute waarde voor LLM's). Dit aligneert de Euclidische gewichtsruimte met de empirische feature-manifold, met prioriteit voor kanalen die de outputstabiliteit domineren zonder iteratieve herweging.

2. Geometrisch Discreet Basiszoektocht:

   • Primaire Projectie ($b_1$): Gewichten worden geprojecteerd op een asymmetrisch PoT-rooster (bijv. $\{-1, -0.5, \dots, 0, \dots, 1\}$ voor 3-bit) om een absolute nul-toestand voor hardware-nul-skippen te garanderen.
   • Orthogonale Residu-extractie: Het residuvector $r_\perp$ wordt berekend via Gram-Schmidt-orthogonalisatie: $r_\perp = w_{proc} - \frac{\langle w_{proc}, b_1 \rangle}{\|b_1\|^2}b_1$.
   • Secundaire Basisconstructie ($b_2$): Om de verloren richtingsinformatie te vangen, construeert ORP een secundaire discrete basis $b_2$ die orthogonaal is aan $b_1$. Dit wordt bereikt via de Strided Dual-Exchange Stelling, die een orthogonale vector genereert door gelokaliseerde index-permutaties en tekeninversies binnen micro-blokken toe te passen. Dit proces is deterministisch en werkt in $O(N)$ tijd, waardoor een exhaustieve zoektocht wordt vermeden.

3. Gegevensgedreven Gezamenlijke Schaaloptimalisatie:
   Zodra de discrete bases ($b_1, b_2$) vaststaan, worden continue schalingscoëfficiënten ($c_1, c_2$) opgelost. Het raamwerk biedt twee modi:

   • GEO-modus (Geometrische Optimalisatie): Een gesloten-formule oplossing die de Euclidische afstand minimaliseert zonder kalibratiegegevens, geschikt voor zero-shot implementatie.
   • REF-modus (Activatie-bewuste Verfijning): Gebruikt Ridge-regressie op kalibratie-invoer om schalen te optimaliseren, wat feature-correlaties en ruimtelijke ruis compenseert terwijl het de numerieke instabiliteit van het inbedden van discrete activatieruis in de solver vermijdt.

Hardware Dataflow

De uiteindelijke inferentie-dataflow transformeert de lineaire laag $Y = XW$ in een vermenigvuldiger-vrije operatie:
$$\hat{Y} = (s_x s_{c1}) [(\tilde{X}B_1)\text{diag}(\tilde{c}_1)] + (s_x s_{c2}) [(\tilde{X}B_2)\text{diag}(\tilde{c}_2)]$$
De kernmatrixvermenigvuldigingen worden uitgevoerd via parallelle bit-shifts en optellingen, waarbij schalingsfactoren alleen worden toegepast in de laatste accumulatiestap.

3. Belangrijkste Bijdragen

• Geometrische Formalisering: Het artikel formaliseert het "Regime van Lage Hoekresolutie" van extreme PoT-quantisatie en stelt ORP voor als een deterministische, $O(N)$ gesloten-formule oplossing om orthogonale discrete bases te extraheren zonder gradiënt-gebaseerde optimalisatie.
• Kalibratie-efficiëntie: Door stochastische iteratieve zoektochten te vervangen door een analytische solver, reduceert ORP de kalibratietijd voor het volledige model van LLaMA-2-7B van uren (bijv. AWQ, SpinQuant) tot ongeveer 15,1 minuten op één werkstation.
• Concurrerende Fideliteit onder Zero-MAC-beperkingen: ORP bereikt betrouwbare nauwkeurigheid over modaliteiten zonder te vertrouwen op asymmetrische schaling of runtime-dequantisatie. Het bereikt een perplexiteit van 5,09 op LLaMA-2-13B (W4/A16) en 79,54% Top-1 nauwkeurigheid op ViT-Base (W4/A4).
• Hardware-validatie: Via 28nm RTL-synthese tonen de auteurs aan dat het vervangen van dichte vermenigvuldigerbomen door een parallelle shift-en-add datapad de kritieke padvertraging reduceert tot 0,35 ns, wat een theoretische klokkfrequentie van 2,85 GHz en een energie-efficiëntie van 3,33 TOPS/W bij 1,8 GHz mogelijk maakt.

4. Experimentele Resultaten

• Vision Transformers (ImageNet-1K): Onder W3/A4-beperkingen bereikt ORP 78,49% Top-1 nauwkeurigheid op ViT-B, wat beter is dan 4/4-bit baselines zoals APQ-ViT (41,41%) en de prestaties van volledige precisie (80,32%) benadert met W3/A6.
• LLM-prestaties (LLaMA-2):
  • W3/A16: ORP bereikt een perplexiteit van 6,10 op LLaMA-2-7B, wat beter is dan AWQ (6,49) en de 4-bit baseline (5,66) benadert zonder asymmetrische schaling te vereisen.
  • W4/A16: Bereikt 5,09 perplexiteit op LLaMA-2-13B.
  • Zero-Shot Redenering: De GEO-modus biedt een robuuste baseline voor diverse redeneertaken (bijv. 67,72% op WinoGrande bij 3-bit), terwijl de REF-modus verdere precisieverbeteringen biedt.
• Hardware-metrieken: De ORP-accelerator vertoont een kritieke padvertraging van 0,35 ns in vergelijking met 0,90 ns voor AWQ-baselines, wat theoretisch bediening mogelijk maakt bij 2,85 GHz op 28nm silicium.

5. Betekenis en Claims

Het artikel beweert dat ORP een haalbare weg biedt naar de wendbare implementatie van grote fundamentele modellen op middelen-beperkte randapparatuur door geometrische principes af te stemmen met timing-efficiëntie op siliciumniveau.

• Algoritmische Efficiëntie: De primaire betekenis ligt in de verschuiving van rekenkundig intensieve, iteratieve kalibratie naar een deterministische analytische solver, wat snelle aanpassing ter plaatse op de rand mogelijk maakt.
• Hardware Synergie: Het werk toont aan dat strikte hardware-beperkingen (vermenigvuldiger-vrij, shift-en-add) geen afweging in representatieve fideliteit vereisen. Door de geometrische "Hoekgat" aan te pakken via orthogonale residuen, bereikt ORP prestaties die concurrerend zijn met MAC-intensieve baselines.
• Implementatieflexibiliteit: Het dubbel-track paradigma (GEO vs. REF) biedt praktijkmensen een flexibele keuze tussen directe, data-vrije zero-shot redenering en gegevensgedreven precisie, waardoor de risico's van kalibratie-bias worden gemitigeerd.

Uiteindelijk suggereert ORP dat extreme quantisatie effectief kan worden gerealiseerd zonder te vertrouwen op asymmetrische schaling, runtime-dequantisatie of diepe vermenigvuldigerbomen, en biedt het een nieuw uitvoeringsparadigma voor high-throughput edge-intelligentie.