🤖 machine learning

Closing the Null Space: Guidance-Aware Quantization for Classifier-Free Diffusion

Dit artikel identificeert de "branch-drift trap" in bestaande post-training kwantisatie van classifier-free guidance diffusiemodellen, waarbij het optimaliseren voor enkel de guidance gap faalt in het behoud van de onvoorwaardelijke branch-getrouwheid, en stelt Guidance-Aware Mixed Precision (GAMP) voor om direct te kalibreren op geleide voorspellingen en bits toe te wijzen om deze drift te voorkomen terwijl efficiënte real-world implementatie wordt gewaarborgd.

Oorspronkelijke auteurs: Abdullah Al Shafi, Sumaiya Rahim Suma

Gepubliceerd 2026-07-10

📖 7 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Abdullah Al Shafi, Sumaiya Rahim Suma

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een super-slimme kunstenaar-robot hebt die tekeningen maakt op basis van jouw beschrijvingen. Deze robot, een Diffusion Model genoemd, werkt door een beeld vol ruis en statische storingen stap voor stap op te schonen, totdat er een perfect plaatje verschijnt. Om de robot precies te laten tekenen wat jij wilt (zoals "een kat met een hoed" in plaats van alleen "een kat"), gebruiken we een speciale truc genaamd Classifier-Free Guidance (CFG).

Zo werkt de truc: de robot tekent niet slechts één keer. Bij elke stap van het opschonen van de afbeelding voert hij tegelijkertijd twee mentale simulaties uit:

De Dromer: Hij stelt zich het plaatje voor zonder jouw specifieke instructies (gewoon een generieke kat).
De Regisseur: Hij stelt zich het plaatje voor met jouw instructies (een kat met een hoed).

Vervolgens neemt hij de visie van de Regisseur en trekt daar de visie van de Dromer vanaf. Het verschil tussen de twee is de "magische saus" die de robot precies vertelt hoe hij de hoed moet toevoegen. Ten slotte mengt hij deze magische saus weer terug in de afbeelding van de Dromer om het uiteindelijke resultaat te krijgen.

Het Probleem: De "Ghost Drift" Valstrik

Stel je nu voor dat je deze robot op een kleine, goedkope computer (zoals een telefoon of een budget cloud-server) wilt plaatsen om geld te besparen en snelheid te verhogen. Hiervoor moet je de hersenen van de robot verkleinen met een techniek genaamd Quantization. Dit is als het vertalen van de complexe gedachten van de robot naar simpelere, kortere getallen, zodat ze minder ruimte innemen.

De paper ontdekt een sluwe valstrik die optreedt wanneer je probeert deze robot te verkleinen.

De Valstrik:
De meeste mensen die de robot proberen te verkleinen, controleren alleen of de "magische saus" (het verschil tussen de Regisseur en de Dromer) er correct uitziet. Ze meten de kloof tussen de twee simulaties en zeggen: "Geweldig! De kloof is perfect!"

Maar de paper bewijst dat dit een vals alarm is. Het is mogelijk dat de kloof tussen de twee simulaties perfect is, terwijl de "Dromer"-tak volledig de weg kwijt is geraakt en afdwaalt naar onzin.

De Analogie:
Stel je voor dat je een liedje probeert te kopiëren door te luisteren naar het verschil tussen twee zangers.

Zanger A (de Regisseur) zingt: "Ik hou van pizza."
Zanger B (de Dromer) zingt: "Ik hou van pizza."
Het verschil is nul. Perfect!

Maar wat als Zanger B eigenlijk begon te zingen: "Ik hou van broodroosters", maar je controleerde alleen het verschil? Als Zanger A ook is overgeschakeld naar "Ik hou van broodroosters", dan is het verschil nog steeds nul! Je zou denken dat alles in orde is, maar beide zangerses zingen nu over broodroosters in plaats van pizza.

In het geval van de robot dwaalt de "Dromer"-tak af naar onzin (zingen over broodroosters), en omdat de "Regisseur"-tak met de Dromer meedwaalt om het verschil gelijk te houden, komt het uiteindelijke plaatje uit als een enorme, verwarde broodrooster-kat. De paper noemt dit de "Branch-Drift Trap".

Het Bewijs: Een Vals Overwinning

De auteurs gokten dit niet alleen; ze bewezen het met wiskunde en experimenten.

De Wiskunde: Ze lieten zien dat als je alleen probeert de kloof te herstellen, er een "null space" bestaat: een wiskundige lus waarbij de robot beide takken om exact dezelfde hoeveelheid kan verschuiven zonder dat je het merkt.
Het Experiment: Ze bouwden een robot die "perfect" was in het corrigeren van de kloof. Deze had een score van 0,882 (zeer dicht bij perfecte uitlijning). Maar toen ze de robot de plaatjes lieten tekenen, waren de resultaten een ramp. De kwaliteitsscore (FID) was 334, wat verschrikkelijk is. Sterker nog, het was slechter dan een robot die nauwelijks was gekwantiseerd!
De Conclusie: Alleen de kloof controleren is niet genoeg. Je moet het uiteindelijke plaatje controleren, niet alleen het verschil tussen de twee gedachten.

De Oplossing: GAMP (Guidance-Aware Mixed Precision)

Om dit op te lossen, creëerden de auteurs een nieuwe methode genaamd GAMP.

In plaats van alleen de kloof te controleren, kijkt GAMP naar de uiteindelijke geleide voorspelling—het eigenlijke plaatje dat de robot probeert te maken. Het vraagt: "Als ik dit specifieke deel van de hersenen van de robot verklein, wordt het uiteindelijke plaatje dan slechter?"

Hoe het werkt:

De Gevoeligheidstest: De robot probeert verschillende delen van zijn brein te verkleinen naar 4 bits (zeer kleine getallen). Het meet hoeveel het uiteindelijke plaatje hieronder lijdt voor elke laag.
Het Budget: De robot heeft een beperkt "bit-budget" (zoals een beperkte hoeveelheid geheugen).
De Knapzak: Het werkt als een slimme shopper. Het besteedt bits aan de lagen die het belangrijkst zijn voor het uiteindelijke plaatje en bespaart bits op de lagen die er minder toe doen.

De Resultaten:

Toen ze de oude "gap-only" methode gebruikten, produceerde de robot waardeloze afbeeldingen (FID 334).
Wanneer ze GAMP gebruikten, produceerde de robot veel betere afbeeldingen (FID rond de 39–40).
Nog beter: GAMP bereikte deze kwaliteit met 13% minder berekeningen dan de standaardmethode, wat bewijst dat slim zijn over waar je de bits plaatst belangrijker is dan simpelweg veel bits hebben.

De Verborgen Kosten: De "Double-Tax"

De paper vond ook iets interessants over hoe snel deze robots draaien.

De Mythe: Mensen denken dat omdat de robot twee passes doet (Dromer + Regisseur), het precies 2x zo lang moet duren.
De Realiteit: De auteurs maten dit op een standaard cloud-computer (een NVIDIA T4 GPU). Ze vonden dat de robot in werkelijkheid 1,99x de tijd neemt. Het is bijna precies het dubbele, maar het enge is dat standaard efficiëntierapporten dit vaak verbergen. Ze rapporteren de snelheid van één pass, waardoor de robot er twee keer zo snel uitziet als hij in werkelijkheid is.
De INT8 Ramp: Ze probeerden ook de robot te draaien met "INT8" (super-compacte getallen) om hem super snel te maken. Theoretisch zou dit 16 keer sneller moeten zijn. Maar op echte hardware zonder speciale software (TensorRT) was het in werkelijkheid 147 keer langzamer! Waarom? Omdat de software de speciale instructies niet kon afhandelen en alles op de trage manier moest doen. Het is alsoal je een Ferrari koopt, maar hem over een onverharde weg moet rijden met een kapotte transmissie.

De Takeaway

Als je deze beeldmakende robots voor echt wereldgebruik wilt verkleinen:

Vertrouw niet alleen op de "Gap". Alleen omdat het verschil tussen de twee gedachten er goed uitziet, betekent niet dat de gedachten zelf goed zijn. Je moet het uiteindelijke resultaat controleren.
Gebruik GAMP. Verdeel je geheugenbits op basis van hoeveel het uiteindelijke beeld aan die bits heeft, niet alleen op basis van hoeveel de individuele onderdelen veranderen.
Let op de "Double Tax". Houd er rekening mee dat deze robots altijd twee passes uitvoeren, dus de snelheid is ongeveer de helft van wat single-pass rapporten beweren.
Controleer je softwarestack. Alleen omdat een robot klein (gekwantiseerd) is, betekent niet dat hij ook snel zal draaien. Als de software de speciale "snelle modus" niet ondersteunt, kan hij zelfs langzamer draaien dan de grote, zware versie.

De paper bewijst dat door deze "drift trap" te sluiten, we deze krachtige beeldrobots eindelijk klein en snel genoeg kunnen maken voor dagelijkse apparaten, zonder dat ze je kat in een broodrooster veranderen.

Technische Samenvatting: Het sluiten van de nulruimte: Guidance-Aware Quantization voor Classifier-Free Diffusion

Probleemstelling
Het implementeren van Classifier-Free Guidance (CFG) diffusiemodellen onder reële rekenrestricties vereist Post-Training Quantization (PTQ). Bestaande PTQ-methoden behandelen CFG-modellen echter als single-branch netwerken, waarbij het fundamentele gekoppelde conditionele/unconditionele structuurvereiste voor inferentie wordt genegeerd. Dit structurele overzicht creëert twee kritieke uitdagingen voor implementatie:

Meetblindheid: Standaard efficiëntie-metrieken (parameteraantallen, Bit-Operations of BOPs) rapporteren single-pass kosten, waardoor de ~2× latency overhead die wordt opgelegd door het twee-pass CFG-executiepatroon ( $\tilde{\varepsilon} = \varepsilon_\emptyset + w(\varepsilon_y - \varepsilon_\emptyset)$ ) onzichtbaar wordt weggelaten. Bovendien falen gangbare INT8-inferentiestacks (bijv. ONNX Runtime zonder TensorRT) vaak in het realiseren van de theoretische versnellingen door software-stack fallbacks, wat een enorme kloof creëert tussen voorspelde en werkelijke efficiëntie.
De Branch-Drift Valstrik: Het kalibreren van quantisatie uitsluitend op de "guidance gap" ( $\Delta = \varepsilon_y - \varepsilon_\emptyset$ ) staat een exacte mathematische nulruimte toe. Een gekwantiseerd model kan een perfecte gap-fidelity diagnostiek bereiken (het behoud van het verschil tussen de branches) terwijl de unconditionele branch ( $\varepsilon_\emptyset$ ) willekeurig afwijkt door een vector $\delta$ . Omdat de geleide voorspelling $\tilde{\varepsilon}$ afhankelijk is van de absolute waarde van $\varepsilon_\emptyset$ , corrumpeert deze ongecontroleerde drift de uiteindelijke monsterkwaliteit, zelfs wanneer gap-metrieken ideaal lijken.

Methodologie: Guidance-Aware Mixed Precision (GAMP)
Om deze problemen op te lossen, stellen de auteurs Guidance-Aware Mixed Precision (GAMP) voor, een PTQ-framework dat ontworpen is om de nulruimte door constructie te sluiten.

Kalibratie-objectief: In plaats van alleen de reconstructiefout van de gap te minimaliseren, minimaliseert GAMP direct de fout van de geleide voorspelling: $L_{GAMP} = \|\tilde{\varepsilon}^q - \tilde{\varepsilon}^{fp}\|^2$ . Dit dwingt de unconditionele branch om uit te lijnen met zijn full-precision referentie, waardoor de gedeelde drift-nulruimte wordt geëlimineerd.
Sensitiviteitsanalyse: De methode identificeert dat activaties aanzienlijk gevoeliger zijn voor bit-reductie dan gewichten in CFG-modellen. Het fixeert gewichten op 4 bits en wijst activatie-bits per laag toe op basis van hun bijdrage aan de degradatie van de geleide output ( $E(l) = \|\tilde{\varepsilon}^q_l - \tilde{\varepsilon}^{fp}_l\|^2$ ).
Allocatiestrategie: Een greedy knapsack-algoritme wijst activatie-bits toe (het promoten van lagen van 4-bit naar 8-bit) op basis van sensitiviteit per Bit-Operation, waardoor precisie wordt geconcentreerd waar dit de grootste impact heeft op de uiteindelijke geleide output.
Dual-Branch Kalibratie: Het kalibratieproces draait zowel de conditionele als de unconditionele passes om het volledige activatiebereik te vangen, wat het onderschatten van clipping-drempels voorkomt die gebruikelijk is bij single-pass kalibratie.

Belangrijkste Bijdragen

CFG Latency Karakterisering: Empirische meting op NVIDIA T4 GPU's onthult een consistente 1.99× latency belasting voor geleide inferentie over verschillende batchgroottes en formaten, een kostenpost die verborgen blijft door standaard BOPs-metrieken.
Null-Space Theorema & Empirische Bevestiging: Het paper bewijst formeel dat gap-only kalibratie een ongecontroleerde unconditionele branch-drift toestaat. Dit wordt empirisch bevestigd door een "false-positive" resultaat waarbij het model met de beste gap-diagnostiek (Gap-only-W4A8) de slechtste monsterkwaliteit produceerde (FID 334), terwijl een model met slechtere gap-scores maar betere geleide-output kalibratie (GAMP) een significant hogere kwaliteit bereikte.
GAMP Algoritme: Een PTQ-methode die direct kalibreert op de geleide voorspelling, de branch-drift valstrik sluit en de bit-allocatie optimaliseert op basis van geleide-output sensitiviteit.
Implementatie-richtlijnen: Concrete aanbevelingen voor practitioners, waaronder het rapporteren van geleide-step BOPs, het valideren van kalibratie via geleide-voorspellingsfout in plaats van enkel gap-metrieken, en het gebruik van GAMP voor activatie-precisie allocatie.

Experimentele Resultaten
Experimenten werden uitgevoerd op een 6.1M-parameter ADM UNet getraind op CIFAR-10 (32×32).

Software Stack Diagnose: De studie identificeerde dat het falen van INT8-inferentie om theoretische versnellingen te bereiken (een 147× vertraging versus FP16 in sommige gevallen) te wijten is aan software-stack beperkingen (ontbrekende TensorRT bibliotheken die GPU↔CPU memcpy fallbacks veroorzaken), en niet aan rekenkundige beperkingen.
Precisie Sensitiviteit: Het reduceren van de activatie-precisie van 8-bit naar 4-bit veroorzaakte een 4.6× steilere degradatie in FID vergeleken met het reduceren van de gewichtsprecisie, wat de focus op activatie-bit allocatie valideert.
GAMP Prestaties:
- Gap-Only Falen: De "Gap-only" configuratie bereikte bijna ideale gap-uitlijning ( $\cos(\Delta) = 0.882$ ) maar catastrofale monsterkwaliteit (FID 334), wat de branch-drift valstrik bevestigt.
- GAMP Succes: GAMP met een gemiddelde van 6 activatie-bits bereikte een FID van 39.4, een verbetering van 49% ten opzichte van een lineaire uniforme spending baseline bij dezelfde gemiddelde precisie.
- Efficiëntie: GAMP bereikte bijna W4A8 kwaliteit (FID ~40) met 13% minder BOPs dan de uniforme W4A8 tegenhanger. Opvallend genoeg bereikte GAMP een lagere FID ondanks het hebben van zwakkere gap-fidelity scores ( $\rho=1.509$ ) dan het Gap-only model, wat bevestigt dat de fout in de geleide output, en niet de gap-fidelity, de monsterkwaliteit bepaalt.

Betekenis en Claims
Het paper claimt de eerste te zijn die de "branch-drift valstrik" identificeert en analytisch bewijst die inherent is aan gap-only PTQ voor CFG-modellen. Het stelt dat standaard diagnostiek (zoals $\rho$ en $\cos(\Delta)$ ) onvoldoende en zelfs misleidend zijn voor PTQ-kalibratie. Door het kalibratie-objectief te verschuiven naar de geleide voorspelling, voorkomt GAMP bewezen de unconditionele branch van te driften. Het werk biedt een noodzakelijke correctie voor de deployment pipeline van CFG diffusiemodellen, waarbij een methode wordt geboden om hoge kwaliteit generatie te bereiken tegen lagere rekenbudgetten, terwijl de werkelijke latency en efficiëntiekosten van geleide inferentie accuraat worden gekarakteriseerd. De auteurs merken op dat hoewel de experimenten momenteel beperkt zijn tot CIFAR-10, de structurele aard van de valstrik impliceert dat dit gelijkelijk van toepassing is op grotere latente modellen (bijv. Stable Diffusion) en transformer-gebaseerde architecturen.

Het Probleem: De "Ghost Drift" Valstrik

Het Bewijs: Een Vals Overwinning

De Oplossing: GAMP (Guidance-Aware Mixed Precision)

De Verborgen Kosten: De "Double-Tax"

De Takeaway

Meer zoals dit