🤖 machine learning

On the Quantization Robustness of Diffusion Language Models in Coding Benchmarks

Dit onderzoek toont aan dat diffusion-taalmodellen voor codering, zoals CoDA, bij post-training kwantisatie robuuster presteren op lage bitbreedtes dan autoregressieve modellen, wat wijst op voordelen voor efficiënte implementatie.

Oorspronkelijke auteurs: Aarav Gupta, Gururaj Deshpande, Chandreyi Chakraborty

Gepubliceerd 2026-04-23

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Aarav Gupta, Gururaj Deshpande, Chandreyi Chakraborty

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

🧱 De Basis: Twee Manieren om Tekst te Schrijven

Stel je voor dat je twee verschillende schrijvers hebt die een verhaal moeten schrijven:

De Autoregressive Schrijver (Qwen3): Deze schrijver werkt als een traditionele schrijver. Hij schrijft één woord, kijkt ernaar, schrijft dan het volgende woord, en zo gaat het door. Het is een strakke, lineaire lijn. Dit werkt heel goed, maar het kan traag zijn als het verhaal lang wordt, omdat hij steeds opnieuw moet kijken naar wat hij al heeft geschreven.
De Diffusie-Schrijver (CoDA): Deze schrijver werkt als een schilder die een schilderij van een wazige vlek naar een scherp beeld toewerkt. Hij begint met een "ruis" van willekeurige woorden en verfijnt het beeld stap voor stap tot het verhaal helder is. Hij kijkt naar het hele verhaal tegelijk, niet alleen naar het laatste woord.

Het probleem: Beide schrijvers zijn erg groot en zwaar. Ze hebben veel computergeheugen (RAM) nodig om te werken. Om ze op kleinere computers (zoals je laptop of telefoon) te laten werken, willen we ze "verkleinen" door de getallen in hun hersenen minder nauwkeurig te maken. Dit noemen we kwantisatie (van 32-bit naar bijvoorbeeld 4-bit).

🔍 De Vraag: Wie is sterker als je ze "verkleint"?

De onderzoekers wilden weten: Als we deze twee schrijvers extreem verkleinen (tot ze bijna niet meer te herkennen zijn, bijvoorbeeld 2 of 4 bit), wie houdt dan het beste zijn werkvermogen?

De verwachting: De traditionele schrijver (Qwen3) is al jarenlang getest en geoptimaliseerd.
De verrassing: De diffusie-schrijver (CoDA) bleek veel sterker te zijn tegen deze verkleining.

🧪 Wat hebben ze gedaan? (De Experimenten)

De onderzoekers hebben twee soorten tests gedaan, net als een auto-test:

De "Schaar" Test (GPTQ): Ze hebben de schrijvers met een grote schaar in stukken geknipt (verlaagd naar 2, 3, 4 en 8 bits).
- Resultaat: De traditionele schrijver (Qwen3) viel bijna volledig in elkaar bij 3 bits. Het was alsof hij zijn geheugen verloor en alleen nog maar onzin schreef.
- De diffusie-schrijver (CoDA) hield zijn hoofd koel. Tot 4 bits schreef hij nog steeds goede zinnen. Hij was veel robuuster (standvastiger).
De "Snelheid" Test:
- In de normale stand (16-bit) was de traditionele schrijver iets sneller.
- Maar zodra ze verkleind waren (gekwantiseerd), veranderde het spel. De diffusie-schrijver werd plotseling sneller dan de traditionele schrijver.
- De analogie: Stel je voor dat je twee auto's hebt. De ene heeft een enorme motor maar veel luchtweerstand. De andere heeft een kleinere motor maar is aerodynamisch. Als je de motor van beide auto's "dempt" (verkleint), blijft de aerodynamische auto sneller omdat hij minder last heeft van de extra weerstand die overblijft. Bij de diffusie-modellen zijn de "extra kosten" voor het verwerken van de tekst lager als de rekenkracht minder wordt.
De "Mix" Test (HAWQ):
- Hier probeerden ze slim te zijn. Ze gaven de "slimmere" delen van de schrijver (die gevoelig zijn voor fouten) nog steeds veel geheugen (16-bit), en de "dommere" delen (die minder gevoelig zijn) kregen heel weinig geheugen (4-bit).
- Dit werkte als een smakelijke taart: Je kunt de taart zo snijden dat je precies de grootte hebt die je nodig hebt voor je computer, zonder dat de smaak (de kwaliteit van de tekst) te veel verandert.

💡 Waarom is dit belangrijk?

Stel je voor dat je een enorme bibliotheek hebt (het AI-model).

De traditionele methode is als een zware, marmeren standbeeld. Als je er een stuk van afbreekt (kwantisatie), valt het misschien in duigen.
De diffusie-methode is als een flexibele, rubberen bal. Als je er een stuk van afknijpt, veert hij terug en behoudt hij zijn vorm.

De conclusie:
Diffusie-talenmodellen (zoals CoDA) lijken veel beter bestand te zijn tegen het "verkleinen" van hun hersenen dan de huidige standaardmodellen. Dit betekent dat we in de toekomst waarschijnlijk snellere, kleinere en krachtigere AI's op onze eigen apparaten kunnen draaien, zonder dat ze gek worden of slechte code schrijven.

Kortom: De nieuwe "schilder" (Diffusion) is blijkbaar beter in het behouden van zijn talent, zelfs als hij met minder verf moet werken dan de "schrijver" (Autoregressive).

Probleemstelling

Hoewel autoregressieve Large Language Models (LLMs) zoals GPT-4 en Qwen uitstekende prestaties leveren op coderingstaken, gaan ze gepaard met hoge geheugeneisen en inferentiekosten. Diffusion-based Language Models (d-LLMs), zoals CoDA, bieden een alternatief met een gebonden inferentiekost via iteratieve denoising. Echter, het gedrag van d-LLMs onder Post-Training Quantization (PTQ) is tot nu toe weinig onderzocht. Terwijl PTQ-technieken (zoals GPTQ en HAWQ) standaard zijn toegepast op autoregressieve modellen om deze efficiënter te maken, is het onduidelijk of diffusion-modellen even robuust zijn of juist voordelen bieden bij het verkleinen van de bitbreedte (bijv. 2-4 bits) zonder significante kwaliteitsverlies.

Methodologie

De auteurs hebben een gestandaardiseerde empirische vergelijking uitgevoerd tussen een diffusion-based LLM (CoDA 1.7B) en zijn autoregressieve tegenhanger (Qwen3-1.7B). Beide modellen hebben dezelfde architectuur (Transformer), maar verschillen in het trainingsparadigma (diffusion vs. autoregressief).

Quantization Techniques:
- GPTQ (GPTQ): Een weight-only PTQ-methode die een geschatte inverse Hessian-matrix gebruikt om kwantisatiefouten te compenseren. De modellen werden gekwantiseerd naar 2, 3, 4 en 8 bits.
- HAWQ (Hessian-Aware Quantization): Een aangepast algoritme voor mixed-precision quantization. Omdat de originele HAWQ te rekenintensief was voor een 1.7B parameter model, hebben de auteurs het algoritme aangepast met:
  - Finite differences om Hessian-vector producten te benaderen (vanwege incompatibiliteit met Flash Attention).
  - Sparse sampling (een sample ratio $\rho$ ) om de sensitiviteit van lagen te berekenen zonder alle parameters te verwerken.
  - Een greedy toewijzing van bitbreedtes (16, 8, 4 bits) gebaseerd op de gevoeligheid van de lagen.
Evaluatie:
- Benchmarks: HumanEval en MBPP (Mostly Basic Programming Problems), inclusief de "Plus" en "Instruct" varianten.
- Metingen: Pass@1 en Pass@5 voor nauwkeurigheid, en gemiddelde latentie (ms) per stap/token op een NVIDIA L40S GPU.
- Calibratie: De WikiText-dataset werd gebruikt voor het kalibreren van de kwantisatie.

Belangrijkste Bijdragen

Gestandaardiseerde Vergelijking: De eerste empirische vergelijking van PTQ-robustheid tussen een diffusion-LLM en zijn autoregressieve tegenhanger onder gecontroleerde omstandigheden.
Aanpassing van HAWQ: Een implementatie van HAWQ die efficiënt werkt op grote diffusion-modellen door gebruik te maken van sparse sampling en finite differences, waardoor mixed-precision configuraties mogelijk worden zonder hertraining.
Pareto-frontier Analyse: Het in kaart brengen van de trade-offs tussen nauwkeurigheid, latentie en geheugengebruik voor beide modeltypes.

Resultaten

1. Nauwkeurigheid en Robuustheid (GPTQ)

CoDA (Diffusion) is robuuster: CoDA behoudt zijn prestaties tot 4 bits. Bij 4 bits is het nauwkeurigheidsverlies minimaal (1,8 punten op HumanEval Plus, 5 punten op MBPP Instruct).
Qwen3 (Autoregressief) is minder robuust: Qwen3 vertoont een catastrofale daling in prestaties bij 3 bits en verliest aanzienlijk meer nauwkeurigheid bij 4 bits (tot 23,2 punten verlies op sommige benchmarks).
Conclusie: Diffusion-modellen lijken beter bestand tegen extreme kwantisatie (2-4 bits) dan autoregressieve modellen in deze setup.

2. Latentie en Systeemkosten

Baseline: Het autoregressieve model (Qwen3) is in de 16-bit baseline iets sneller (26,8 ms vs 28,3 ms) vanwege geoptimaliseerde kernels voor causale masking.
Gekwantiseerd: Bij lagere bitbreedtes (4 en 8 bits) presteert CoDA beter of gelijk aan Qwen3. Dit komt doordat bij kwantisatie de rekenkosten dalen, waardoor vaste systeemkosten (zoals token-handling en context-setup bij autoregressie) een groter deel van de totale latentie uitmaken. CoDA's single forward pass over de volledige sequentie profiteert hier meer van.

3. Mixed-Precision (HAWQ)

HAWQ toont aan dat CoDA soepele trade-offs mogelijk maakt tussen geheugengebruik en nauwkeurigheid. Configuraties waarbij de meest gevoelige lagen 16-bit en de rest 8-bit zijn, behouden bijna de volledige nauwkeurigheid.
Echter, complexe mixen (16/8/4 bits) leidden soms tot modelinstorting, wat suggereert dat verdere fine-tuning of QAT (Quantization-Aware Training) nodig is voor de meest extreme configuraties.

Betekenis en Conclusie

Het paper concludeert dat Diffusion Language Models potentieel superieur zijn voor efficiënte implementatie in omgevingen met beperkte middelen, vanwege hun hogere weerstand tegen kwantisatie.

Efficiëntie: CoDA vertoont een veel kleinere prestatiedaling (gemiddeld 8% verlies) bij het verlagen van 16-bit naar 4-bit, vergeleken met Qwen3 (gemiddeld 40% verlies).
Toekomstperspectief: Hoewel de resultaten veelbelovend zijn, wijzen de auteurs erop dat verschillen in trainingsdata (Qwen3 is getraind op veel meer tokens) een confounder kunnen zijn. Toekomstig werk zou moeten focussen op het trainen van beide modellen op exact dezelfde data om het effect van het generatieparadigma (diffusion vs. autoregressief) volledig te isoleren.

Kortom, diffusion-LLMs bieden een veelbelovende richting voor het deployen van robuuste, compacte taalmodellen die minder gevoelig zijn voor de degradatie die vaak optreedt bij extreme kwantisatie van autoregressieve modellen.