💻 computer science

HQ-DM: Single Hadamard Transformation-Based Quantization-Aware Training for Low-Bit Diffusion Models

Het artikel introduceert HQ-DM, een nieuw Quantization-Aware Training-framework dat een enkele Hadamard-transformatie gebruikt om effectief activatie-outliers te mitigeren en gewicht-outlier-amplificatie te voorkomen, waardoor hoogwaardige low-bit kwantisatie (W4A4 en W4A3) voor diffusiemodellen mogelijk wordt met significante verbeteringen in de beeldgeneratiekwaliteit ten opzichte van bestaande state-of-the-art methoden.

Oorspronkelijke auteurs: Shizhuo Mao, Hongtao Zou, Qihu Xie, Song Chen, Yi Kang

Gepubliceerd 2026-08-12

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Shizhuo Mao, Hongtao Zou, Qihu Xie, Song Chen, Yi Kang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een digitale kunstenaar probeert te leren hoe hij een meesterwerk moet schilderen, maar in plaats van hem een volledige studio met high-definition penselen te geven, overhandig je hem een klein, laag-resolutie schetsboekje. Dit is de uitdaging waar "diffusiemodellen" voor staan, een type kunstmatige intelligentie dat prachtige afbeeldingen creëert door stap voor stap willekeurige statische ruis om te zetten in heldere plaatjes. Denk hierbij aan een beeldhouwer die begint met een enorm blok marmer en steeds kleine stukjes wegbeitelt totdat er een standbeeld verschijnt. Het probleem is dat dit proces ongelooflijk zwaar is; het vereist enorme computers en veel geheugen, waardoor het moeilijk te draaien is op alledaagse apparaten zoals telefoons of laptops.

Om dit op te lossen, gebruiken wetenschappers een truc genaamd "kwantisatie". Stel je voor dat je een high-definition foto neemt en deze verkleint tot een gepixelde versie die minder ruimte inneemt. In de wereld van AI betekent dit het omzetten van de superprecieze getallen van het model (die veel geheugen gebruiken) naar kleinere, eenvoudigere getallen (die minder bits gebruiken). Maar er is een addertje onder het gras: wanneer je deze getallen te veel verkleint, raakt de AI in de war door "outliers" (uitschieters). Dit zijn zeldzame, extreme waarden in de data die fungeren als een enkele, verblindend heldere ster in een donkere hemel. Als je probeert die ster in een klein, laag-resolutie raster te passen, vervormt het de hele afbeelding, wat ervoor zorgt dat de AI wazige of vreemde beelden produceert. De grote vraag is: hoe verkleinen we het model zonder de details te verliezen die de kunst er goed uit laten zien?

Hier komt een nieuwe studie genaamd HQ-DM met een slimme oplossing. De onderzoekers ontdekten dat de "outliers" die voor problemen zorgen in diffusiemodellen, lijken op eigenwijze gasten op een feestje die in de deuropening staan en de doorgang blokkeren. Eerdere methoden probeerden deze gasten erin te proppen of de meubels te verplaatsen, maar dat maakte de kamer vaak alleen maar rommeliger. Het HQ-DM-team ontdekte een betere manier: ze gebruiken een wiskundig hulpmiddel genaamd een Single Hadamard Transformation. Je kunt dit zien als een magische "mengtechniek". In plaats van te proberen de heldere ster in een klein doosje te dwingen, laten ze de hele hemel ronddraaien zodat het licht van de ster gelijkmatig over het hele canvas wordt verspreid. Plotseling is er geen enkel punt dat te helder is om te verwerken, en kan de AI de getallen gemakkelijk verkleinen zonder de kwaliteit van de afbeelding te verliezen.

Wat deze aanpak bijzonder maakt, is hoe het omgaat met de "gewichten" (het geheugen van het model) versus de "activaties" (de data die door het model beweegt). Oudere methoden probeerden beide te mengen, maar dit creëerde vaak nieuwe heldere punten in het geheugen, wat de situatie verergerde. HQ-DM is slimmer: het mengt alleen de bewegende data (activaties) vlak voordat deze wordt verkleind, waardoor het geheugen onaangetast blijft. Dit is als het herordenen van de gasten in de gang zonder de meubels in de woonkamer te verplaatsen. Hierdoor werkt de methode perfect met standaard computerchips die zijn ontworpen voor snelle, eenvoudige berekeningen, waardoor de AI veel sneller kan draaien.

De resultaten van deze "mengtruc" zijn indrukwekkend. Wanneer de onderzoekers hun methode testten op een populaire beeldgenerator genaamd LDM-4 met de ImageNet-dataset (een collectie van 256×256 pixel afbeeldingen), ontdekten ze dat hun model kon worden verkleind naar zeer kleine formaten zonder zijn artistieke gevoel te verliezen. Specifiek, wanneer ze een zeer agressieve instelling gebruikten waarbij zowel het geheugen als de data werden verkleind naar slechts 4 bits (W4A4), verbeterde hun methode de beeldkwaliteitsscore (Inception Score) met 12,8% vergeleken met de beste vorige methode. Nog dramatischer was dat, toen ze de data verlaagden naar slechts 3 bits (W4A3)—een niveau waarop de meeste andere methoden volledig falen—hun model de score met een verbazingwekkende 467,73% verbeterde.

Het paper laat ook zien dat deze methode efficiënt is. Het kost niet veel extra tijd om het model te trainen, en omdat het goed samenwerkt met standaard computerhardware, kan het ongeveer 1,10 tot 1,14 keer sneller draaien dan eerdere pogingen tot vergelijkbare low-bit kwantisatie. De onderzoekers hebben dit getest op verschillende soorten modellen, inclusief modellen gebaseerd op "Transformers" (een andere AI-architectuur), en ontdekten dat de "mengtruc" daar net zo goed werkte. Kortom, HQ-DM suggereert dat door simpelweg de data te herschikken voordat deze wordt verkleind, we krachtige AI-beeldgeneratoren klein genoeg kunnen maken om op de apparaten die we dagelijks gebruiken te draaien, zonder de schoonheid van de beelden die ze creëren op te offeren.

Technische Samenvatting: HQ-DM – Single Hadamard Transformation-Based Quantization-Aware Training voor Low-Bit Diffusiemodellen

1. Probleemstelling

Diffusiemodellen hebben zich gevestigd als state-of-the-art generatieve frameworks voor beeld-synthese; echter, hun implementatie in real-time of door middelen beperkte omgevingen wordt gehinderd door hoge computationele kosten en geheugengebruik. Hoewel modelkwantisatie een oplossing biedt om opslag te verminderen en inferentie te versnellen, brengt het toepassen ervan op diffusiemodellen unieke uitdagingen met zich mee die verschillen van traditionele classificatie- of generatieve taken.

De primaire bottleneck ligt in de niet-stationaire aard van activatiedistributies tijdens het multi-step denoising proces. In tegenstelling tot statische taken variëren de schaal, feature-structuren en statistische eigenschappen van activaties in diffusiemodellen aanzienlijk over verschillende tijdstappen (timesteps). Bovendien vertonen deze modellen long-tailed distributies met prominente uitschieters (outliers). Onder low-bit kwantisatie (bijv. 4-bit of lager) veroorzaken deze uitschieters ernstige clipping- en afrondingsfouten. Cruciaal is dat deze fouten accumuleren en worden versterkt over de iteratieve sampling-stappen, wat leidt tot substantiële degradatie in de kwaliteit van de generatie. Bestaande Quantization-Aware Training (QAT) en Post-Training Quantization (PTQ) methoden worstelen met het effectief mitigeren van deze activatie-uitschieters, wat vaak resulteert in slechte prestaties bij lage bit-breedtes.

2. Methodologie: HQ-DM

De auteurs stellen HQ-DM voor, een nieuw Quantization-Aware Training (QAT) framework dat is ontworpen om activatie-uitschieters te mitigeren terwijl de hardware-efficiëntie behouden blijft. De kerninnovatie is de toepassing van een Single Hadamard Transformation op activatiematrices voorafgaand aan de kwantisatie.

2.1 Single vs. Double Hadamard Transformation

Eerdere werken (bijv. QuaRot, Xi et al.) maakten gebruik van een "Double Hadamard Transformation", waarbij de transformatie werd toegepast op zowel gewichten als activaties. De auteurs identificeren twee kritieke beperkingen in deze conventionele aanpak voor diffusiemodellen:

Incompatibiliteit met convolutie: De distributieve eigenschap die vereist is voor Double Hadamard is niet direct toepasbaar op convolutie-operaties, vooral bij multi-stride convoluties die veel voorkomen in diffusiemodellen.
Versterking van gewicht-uitschieters: Het toepassen van de Hadamard-transformatie op gewichtsmatrices die oorspronkelijk weinig uitschieters hebben, kan onbedoeld nieuwe uitschieters genereren in de getransformeerde gewichten, waardoor kwantisatiefouten worden versterkt.

HQ-DM introduceert de Single Hadamard Transformation, die de transformatie alleen toepast op de activatiematrices vóór de kwantisatie, waardoor de gewichten ongetransformeerd blijven.

Mechanisme: De input activatiematrix $X$ wordt vermenigvuldigd met een blokdiagonaal Hadamard-matrix $H$ (geconstrueerd uit standaard Hadamard-matrices $H_k$ ). De getransformeerde activaties $(XH)$ worden vervolgens gekwantiseerd.
Herstel: Vanwege de orthogonaliteit van de Hadamard-matrix ( $H^T = H^{-1} = H$ ), kunnen de oorspronkelijke waarden tijdens de inferentie worden hersteld via de operatie $\hat{X} = S_{XH} \cdot (XH)_{int} \cdot H$ .
Hardware-efficiëntie: Door de normalisatiefactor $2^{-k/2}$ te extraheren naar de floating-point kwantisatieschalen, bestaat de kernberekening alleen uit integer matrixvermenigvuldiging en convolutie. Dit zorgt voor compatibiliteit met hardware-accelerators die INT-operaties ondersteunen.

2.2 LoRA-gebaseerd Distillatie-framework

HQ-DM integreert de Single Hadamard Transformation in een distillatie-framework geïnspireerd door EfficientDM:

Teacher-Student Setup: Een full-precision (FP32) teacher-model begeleidt een gekwantiseerd student-model.
LoRA Adaptatie: De originele pre-trained gewichten zijn bevroren. In plaats daarvan worden Low-Rank Adaptation (LoRA) matrices ( $A$ en $B$ ) getraind om het model aan te passen aan de kwantisatieruis. Het aangepaste gewicht is $W' = W + B \cdot A$ .
Timestep-bewuste Kwantisatie: In het besef van de niet-stationaire aard van activaties, gebruikt het framework timestep-bewuste leerbare kwantisatieschalen (LSQ) voor zowel gewichten als activaties, waarbij deze onafhankelijk voor elke denoising-stap worden geoptimaliseerd.
Symmetrische Kwantisatie: In tegenstelling tot sommige bestaande methoden die asymmetrische kwantisatie gebruiken voor activaties, hanteert HQ-DM symmetrische kwantisatie om volledige compatibiliteit met integer convolutie-operaties te garanderen.

3. Belangrijkste Bijdragen

Single Hadamard Transformation Framework: De auteurs stellen een distillatie-framework voor dat de Single Hadamard Transformation toepast op activaties om uitschieters te verminderen. Deze aanpak verbetert de prestaties van diffusiemodellen onder low-bit kwantisatie-instellingen aanzienlijk.
Implementatievriendelijk Ontwerp: De voorgestelde Single Hadamard Transformation adresseert de beperkingen van de Double Hadamard aanpak door:
- Naadloze ondersteuning te bieden voor integer (INT) convolutie-operaties, die cruciaal zijn voor diffusiemodellen.
- Het versterken van gewicht-uitschieters te voorkomen, waardoor extra kwantisatiefouten in de gewichtsmatrices worden vermeden.
Superieure Low-Bit Prestaties: De methode demonstreert uitzonderlijke prestaties over meerdere datasets (ImageNet, LSUN) en architecturen (U-Net gebaseerde LDMs en Transformer-gebaseerde DiTs), met name in scenario's met ultra-low-bit activatie-kwantisatie (bijv. W4A3).

4. Experimentele Resultaten

De auteurs evalueerden HQ-DM op de ImageNet 256×256 dataset met het LDM-4 model, evenals op LSUN-Bedrooms, LSUN-Churches, en DiT-XL modellen.

ImageNet 256×256 (LDM-4):
- W4A4 Kwantisatie: HQ-DM verbeterde de Inception Score (IS) met 12,8% vergeleken met de state-of-the-art EfficientDM.
- W4A3 Kwantisatie: HQ-DM bereikte een enorme 467,73% verbetering in IS ten opzichte van EfficientDM. Het toonde ook verbeteringen van meer dan 100% over alle vier de metrieken (IS, FID, sFID, Precision).
LSUN Datasets: HQ-DM presteerde consequent beter dan EfficientDM en andere baselines (PTQD, QuEST) over diverse bit-breedtes (W8A4, W4A4, W4A3, W4A2). Bijvoorbeeld, op LSUN-Bedrooms verminderde HQ-DM de FID met respectievelijk 5,56, 3,66 en 4,92 voor de W8A4, W4A4 en W4A3 instellingen.
DiT-XL: Op Transformer-gebaseerde modellen bereikte HQ-DM een relatieve IS-verbetering van 60,92% en een precisie-verbetering van 13,79% ten opzichte van EfficientDM onder W4A4 kwantisatie.
Efficiëntie: De training- en kalibratietijden voor HQ-DM zijn vergelijkbaar met die van EfficientDM, wat aangeeft dat de computationele overhead van de sparse Hadamard-transformatie verwaarloosbaar is. De inferentie-latentie is met ongeveer 10%–14% verminderd vergeleken met Double Hadamard-benaderingen vanwege betere hardware-compatibiliteit.

5. Betekenis en Claims

Het artikel claimt dat HQ-DM een systematische oplossing biedt voor de belangrijkste bottlenecks die de nauwkeurige kwantisatie van diffusiemodellen hinderen: de niet-stationaire activatie-distributies en de accumulatie van uitschieters. Door de introductie van de Single Hadamard Transformation tonen de auteurs aan dat het mogelijk is om hoogwaardige generatie te bereiken bij ultra-low-bit breedtes (W4A3) zonder de hardware-efficiëntie op te offeren.

De auteurs benadrukken dat hun methode bijzonder significant is omdat het de trade-off tussen het onderdrukken van uitschieters en hardware-compatibiliteit oplost. In tegenstelling tot eerdere methoden die ofwel faalden in het ondersteunen van convoluties of de kwaliteit van de gewichten degradeerden, ondersteunt HQ-DM direct integer convolutie-operaties terwijl het effectief activatie-uitschieters afvlakt. De resultaten suggereren dat HQ-DM een praktische en generaliseerbare oplossing is voor het inzetten van efficiënte, low-bit diffusiemodellen in real-world scenario's.