🤖 machine learning

HARP: Hadamard-Preconditioned Adaptive Rotation Processor for Extreme LLM Quantization

HARP introduceert een leerbaar, gestructureerd tweezijdig orthogonaal verwerkingsmechanisme dat de kwantisatiebasis aanpast aan specifieke lagen en kalibratiegegevens, waardoor de nauwkeurigheid van extreme low-bit (2-4 bit) kwantisatie van LLM's aanzienlijk wordt verbeterd ten opzichte van vaste Hadamard-methoden, terwijl de implementatie-efficiëntie behouden blijft.

Oorspronkelijke auteurs: Artur Zagitov, Gleb Molodtsov, Aleksandr Beznosikov

Gepubliceerd 2026-05-29

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Artur Zagitov, Gleb Molodtsov, Aleksandr Beznosikov

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, ongelooflijk gedetailleerde bibliotheek (een Large Language Model) hebt die je in je broekzak wilt dragen. Het probleem is dat de boeken te zwaar zijn en de planken te breed om in een kleine tas te passen. Om het draagbaar te maken, besluit je de boeken te verkleinen tot tiny, gecomprimeerde notities. Dit heet quantisatie.

Echter, wanneer je deze boeken te veel verkleint (tot slechts 2 of 3 bits informatie), worden een paar pagina's gekreukt of gaan ze verloren. Deze "gekreukte pagina's" worden outliers genoemd—extreem belangrijke getallen die veel groter zijn dan de rest. Als je probeert het hele boek met een standaardmethode te comprimeren, verstoren deze outliers de compressie, waardoor de notities moeilijk leesbaar worden.

De Oude Manier: De "Willekeurige Shuffle"

Vroeger gebruikten wetenschappers een truc genaamd RHT (Randomized Hadamard Transform). Denk hierbij aan het nemen van alle pagina's van je boek, ze willekeurig te shuffelen en ze vervolgens te comprimeren.

Het Goede: Het is snel en spreidt de gekreukte pagina's uit zodat ze niet allemaal op één plek worden verpletterd.
Het Slechte: Het is een vaste shuffle. Het is alsof je hetzelfde willekeurige shuffelpatroon gebruikt voor elk enkel boek, ongeacht of het een kookboek, een roman of een woordenboek is. Het past zich niet aan aan het specifieke verhaal erin.

De Nieuwe Manier: HARP (De "Slimme Kleermaker")

De auteurs van dit paper introduceren HARP (Hadamard-preconditioned Adaptive Rotation Processor). Denk aan HARP als een slimme kleermaker die niet zomaar een generieke shuffle gebruikt.

Het Leert de Passvorm: In plaats van een willekeurige shuffle, bekijkt HARP de specifieke "vorm" van de data in elke laag van het model (alsof je naar de specifieke stof van een overhemd kijkt). Het leert de perfecte manier om de getallen te herschikken zodat ze in de kleine gecomprimeerde ruimte passen zonder belangrijke details te verliezen.
Het is een Plug-and-Play Upgrade: Het beste deel is dat HARP er aanvankelijk precies uitziet als de oude "Willekeurige Shuffle" (RHT). Het is alsof een pak begint als een standaard maat uit de kast, maar met verborgen ritsen en verstelbare naden. Zodra je het aantrekt, past de kleermaker (het kalibratieproces) de pasvorm snel aan om perfect voor jou te zijn. Dit betekent dat je de oude methode kunt vervangen door HARP zonder het hele systeem opnieuw te moeten bouwen.
Het is Gestructureerd en Snel: HARP doet geen rommelige, complexe herschikking. Het gebruikt een "vlinder"-patroon (een specifieke, efficiënte manier van mengen) die wiskundig gegarandeerd omkeerbaar en snel is. Het is alsof je een bibliotheek organiseert niet door boeken willekeurig overal te gooien, maar door een zeer efficiënt, vooraf gepland sorteerdersysteem te gebruiken dat seconden kost.

Wat Er Gebeurt Als Je Het Gebruikt?

Het paper testte dit op modellen variërend van klein (1 miljard parameters) tot enorm (70 miljard parameters).

Betere Kwaliteit: Toen ze de modellen comprimeerden tot extreme maten (2 tot 4 bits), maakte HARP de modellen "slimmer" (lagere perplexiteit, hogere nauwkeurigheid) dan de oude willekeurige shuffle-methode. Het was vooral goed in het redden van de "gekreukte pagina's" (outliers) die normaal gesproken verloren gaan.
Nog steeds Snel: Hoewel HARP een aangepaste pasvorm leert, vertraagt het het model niet. Sterker nog, de gecomprimeerde modellen met HARP waren nog steeds veel sneller (128 tokens per seconde) dan de originele, niet-gecomprimeerde modellen (61 tokens per seconde).
Veelzijdig: Ze toonden aan dat HARP niet alleen werkt met één specifiek compressiemiddel, maar in verschillende compressiesystemen (zoals QTIP) kan worden ingewisseld en ze toch verbetert.

De Conclusie

HARP is een tool die de "one-size-fits-all" willekeurige shuffle die wordt gebruikt in AI-compressie omzet in een op maat gemaakte pasvorm. Het leert van een kleine steekproef data om de perfecte manier te vinden om de getallen te herschikken voordat ze worden platgedrukt. Het resultaat is een kleiner, sneller AI-model dat beter leest en minder fouten maakt, allemaal zonder het hele model opnieuw te hoeven trainen vanaf nul.

Technische Samenvatting: HARP (Hadamard-Preconditioned Adaptive Rotation Processor)

1. Probleemstelling

Post-training kwantisatie (PTQ) is cruciaal voor het implementeren van Large Language Models (LLM's) onder beperkingen van geheugen en bandbreedte. Extreme kwantisatie met lage bitdiepte (2–4 bits) staat echter voor twee hoofduitdagingen:

Activatie-uitbijters en statistieken met zware staarten: Een kleine subset van coördinaten draagt een disproportioneel gewicht en krommingsgevoeligheid, wat leidt tot ernstige reconstructiefouten bij kwantisatie.
Anisotrope gewichtskromming: Standaard kwantisatoren (scalar of blokgewijze vector) presteren slecht wanneer de gewichtsverdeling of krommingsgevoelige richtingen uitlijnen met specifieke coördinaatassen.

Bestaande oplossingen vertrouwen op Incoherentie-verwerking, waarbij een gestructureerde orthogonale basiswisseling wordt toegepast voor kwantisatie om de gewichtsverdeling over coördinaten te spreiden. De huidige standaard is de Gegenwille Hadamard-transformatie (RHT). Hoewel RHT snel is ( $O(d \log d)$ ) en exact orthogonaal, is het vast. Het past zich niet aan aan:

Specifieke laagstatistieken.
De verdeling van de kalibratiegegevens.
De blokstructuur van de downstream-kwantisator.

Recent werk suggereert dat het leren van rotaties end-to-end de kwaliteit verbetert, maar deze methoden verstoren vaak het 'drop-in'-karakter van PTQ-pijplijnen, wijzigen het model met volledige precisie, of introduceren rekentijd die te hoog is voor inferentie. Er is een gat voor een processor die leerbaar is vanuit kalibratiegegevens, een exacte orthogonale basiswisseling blijft (het model met volledige precisie behoudt), en Hadamard-achtige efficiëntie handhaaft.

2. Methodologie: HARP

De auteurs stellen HARP (Hadamard-Preconditioned Adaptive Rotation Processor) voor, een leerbaar, tweezijdig orthogonaal processor ontworpen om de vaste RHT in PTQ-pijplijnen te vervangen.

2.1 Kernarchitectuur

HARP parameteriseert de orthogonale rotatie als een product van spare, op stapgrootte gebaseerde stadia, die de structuur van snelle Hadamard- en vlindertransformaten nabootsen.

Structuur: Voor een dimensie $d$ gebruikt HARP een Mixed-Radix-schema $\mathbf{b} = (b_0, \dots, b_{m-1})$ waarbij $\prod b_t = d$ .
Stadia: Elk stadium $t$ past een blok-diagonale orthogonale matrix $\mathbf{B}_t$ toe op groepen coördinaten, gescheiden door stapel-permutaties.
Ondersteuning voor Mixed-Radix: In tegenstelling tot standaard Hadamard-transformaten die beperkt zijn tot machten van twee, ondersteunt HARP willekeurige dimensies (bijv. 5120) met een Mixed-Radix-schema (bijv. $8, 8, 8, 5, 2$). Niet-machten-van-twee-radices maken gebruik van een deterministische orthogonale fallback (QR-factorisatie van een vaste Gaussische matrix).

2.2 Hadamard-Preconditioning & Initialisatie

Een belangrijke innovatie zijn de Hadamard-gepreconditioneerde blok-kernen. Elke leerbare blok $B_{t,c}$ wordt gedefinieerd als:
$B_{t,c}(\theta) = Q_{t,c}(\theta) G_{b_t}$

$G_{b_t}$ is een vaste basis-mixer (Genormaliseerde Sylvester-Hadamard voor machten van twee, QR-fallback anders).
$Q_{t,c}(\theta)$ is een leerbare orthogonale matrix (Givens-rotatie voor $b_t=2$ , Cayley-afbeelding voor $b_t > 2$ ).

Initialisatie: Alle leerbare parameters $\Theta$ worden geïnitieerd op nul. Bij $\Theta=0$ geldt $Q_{t,c}(0) = I$ , wat betekent dat $B_{t,c}(0) = G_{b_t}$ . Bijgevolg herstelt de HARP-transformatie exact de vaste RHT-processor (tot een vaste permutatieconventie) bij initialisatie. Kalibratie leert vervolgens een gestructureerde orthogonale verfijning rond deze sterke basislijn.

2.3 Optimalisatiedoel

HARP wordt per laag gefit met uitsluitend kalibratiegegevens. De optimalisatie minimaliseert een surrogaatverlies dat is afgestemd op de ingezette blokgewijze kwantisator:

Diagonale Hessiaan-gewogen Reconstructie: Minimaliseert de fout tussen het geroteerde gewicht en zijn blokgewijze codeboekdoel, gewogen door de diagonaal van de Hessiaan-proxy. Gradienten worden gestopt via de discrete codeboektoewijzing om stabiliteit te garanderen.
Off-Block Hessiaan-Energieboete: Een regularisatieterm ( $R_{bd}$ ) straft energie in niet-diagonale blokken van de Hessiaan-proxy, wat de rotatie aanmoedigt om kromming uit te lijnen met de blokstructuur van de kwantisator.

Het totale verlies is:
$\mathcal{L}_{fit}(\Theta) = \mathcal{L}_{diag}(\Theta) + \lambda_{bd} R_{bd}(\Theta_V)$

2.4 Implementatie-efficiëntie

Opslag: HARP-parameters kunnen worden opgeslagen in int8-formaat met een minimaal effect op perplexiteit.
Berekening: De toepassing kost $O(d \log d)$ , vergelijkbaar met RHT. De auteurs implementeren samengevoegde Triton GPU-kernen voor stapelstadia om gematerialiseerde permutaties te vermijden, waardoor de latentie-overhead laag blijft.
Compatibiliteit: HARP is een drop-in vervanging voor de voorverwerkingsstap in QuIP# en QTIP-pijplijnen, zonder vereisten voor wijzigingen in de kwantisator-backend of solver.

3. Belangrijkste Bijdragen

Leerbaar Incoherentie-Processor: Introductie van HARP, een tweezijdig orthogonaal processor dat via kalibratiegegevens wordt gefit en zich aanpast aan laagstatistieken en backend-kwantisatorstructuren.
Drop-in Compatibiliteit: HARP initieert exact naar de vaste RHT-processor, waardoor het een naadloze upgrade is voor bestaande Hadamard-gebaseerde PTQ-pijplijnen zonder volledige modelhertraining of grafische herschakeling.
Gestructureerde Efficiëntie: Gebruik van Mixed-Radix vlinder-achtige stadia zorgt voor exacte orthogonaliteit en $O(d \log d)$ complexiteit op niet-machten-van-twee-dimensies, waardoor de doorvoervoordelen van gekwantiseerde inferentie behouden blijven.
Empirische Validatie: Demonstratie van consistente kwaliteitswinsten (perplexiteit en zero-shot nauwkeurigheid) ten opzichte van vaste RHT over 2–4 bit-instellingen op modellen variërend van 1B tot 70B parameters.

4. Experimentele Resultaten

De auteurs evalueerden HARP op Llama 3.2 (1B, 3B) en Llama 2 (7B, 13B, 70B) met behulp van de QuIP#-backend.

Perplexiteit (PPL): HARP presteert consequent beter dan vaste RHT.
- 2-bit: De winsten zijn hier het meest significant, waar kwantisatie het meest gevoelig is. Voor Llama 2 7B verlaagt HARP de WikiText2 PPL van 8,22 (RHT) naar 7,23. Voor Llama 2 70B daalt deze van 4,16 naar 4,01.
- 3-4 bit: Verbeteringen blijven bestaan maar zijn kleiner in absolute omvang naarmate de basislijn dichter bij volledige precisie komt.
Zero-Shot Nauwkeurigheid: HARP verbetert de nauwkeurigheid op ARC-Challenge, ARC-Easy en WinoGrande-taken, wat bevestigt dat perplexiteitswinsten vertalen naar downstream-prestaties.
Latentie & Doorvoer:
- Op een NVIDIA RTX 5080 bereikt 2-bit HARP 128 tokens/sec voor Llama 2 7B, vergeleken met 61 tokens/sec voor FP16.
- De latentie-overhead van HARP ten opzichte van vaste RHT is bescheiden (bijv. 0,0078s versus 0,0070s per token voor 2-bit 7B), waardoor het grootste deel van de snelheidswinst van kwantisatie behouden blijft.
Portabiliteit: Bij integratie in QTIP (een andere backend die trellis-gecodeerde kwantisatie gebruikt) verbeterde HARP opnieuw de perplexiteit ten opzichte van vaste RHT, wat backend-agnostische bruikbaarheid demonstreert.
Opslag-Overhead: Met int8-parameteropslag is de effectieve toename van bits-per-parameter (BPP) minimaal (bijv. 2,00 $\to$ 2,05 voor 2-bit 7B), met een verwaarloosbaar effect op de modelkwaliteit.

5. Betekenis en Claims

Het artikel claimt dat HARP een specifiek gat in het PTQ-landschap opvult: de behoefte aan adaptieve voorverwerking die efficiëntie of exactheid niet opoffert.

Adaptiviteit vs. Vast: In tegenstelling tot vaste RHT past HARP de rotatiebasis aan aan de specifieke laag en kwantisator-blokstructuur, waardoor reconstructiefouten in extreme lage-bit-regimes worden verminderd.
Exactheid vs. Benadering: In tegenstelling tot sommige geleerde rotatiemethoden die het model met volledige precisie wijzigen of end-to-end training vereisen, is HARP een exacte basiswisseling. Het model met volledige precisie wordt wiskundig behouden; alleen het coördinatenstelsel dat aan de kwantisator wordt blootgesteld, verandert.
Efficiëntie vs. Kosten: In tegenstelling tot dichte geleerde rotaties of complexe grafische modificaties (bijv. SpinQuant) handhaaft HARP de $O(d \log d)$ rekentijd van Hadamard-transformaten, waardoor het praktisch is voor grootschalige LLM-implementatie.

De auteurs positioneren HARP niet als een nieuwe standalone-pijplijn, maar als een herbruikbare module die bestaande Hadamard-gebaseerde backends (zoals QuIP# en QTIP) verbetert door een gestructureerde verfijning te leren rond een sterke, vaste basislijn. De resultaten suggereren dat voor extreme lage-bit kwantisatie (2–3 bits) de kosten van een eenmalige kalibratie om deze rotaties te leren ruimschoots worden opgewogen door de substantiële herstelwinst in modelkwaliteit.