💬 NLP

Sink-Aware Pruning for Diffusion Language Models

Dit paper introduceert 'Sink-Aware Pruning', een methode die de hoge inferentiekosten van Diffusie Taalmodellen verlaagt door onstabiele 'sink'-tokens te verwijderen, in plaats van ze te behouden zoals bij autoregressieve modellen gebruikelijk is.

Oorspronkelijke auteurs: Aidar Myrzakhan, Tianyi Li, Bowei Guo, Shengkun Tang, Zhiqiang Shen

Gepubliceerd 2026-02-20

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Aidar Myrzakhan, Tianyi Li, Bowei Guo, Shengkun Tang, Zhiqiang Shen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een kunstenaar bent die een schilderij maakt, maar in plaats van één penseelstreek per keer te zetten (zoals een traditionele kunstenaar), begin je met een volledig wit canvas dat vol staat met ruis en vlekken. Je moet dit canvas dan stap voor stap "ontstoornen" (denoising) totdat het beeld helder en duidelijk is. Dit is hoe Diffusion Language Models (DLM's) werken: ze genereren tekst niet woord voor woord, maar verbeteren de hele zin tegelijkertijd, net als het verwijderen van ruis uit een foto.

Het probleem is dat dit proces heel veel rekenkracht kost. Het is alsof je het hele schilderij elke seconde opnieuw bekijkt en bijstuurt, in plaats van alleen de laatste streep te maken.

Om dit sneller te maken, willen onderzoekers het model "versnellen" door onbelangrijke onderdelen weg te halen. Dit heet pruning (snoeien). Maar hier zit een valkuil.

Het oude idee: De "Anker-Regel"

Bij traditionele taalmodellen (die woord voor woord schrijven) hebben onderzoekers ontdekt dat er een paar speciale woorden zijn die als een anker fungeren. Vaak zijn dit de eerste woorden van een zin of een systeembericht. Deze woorden trekken constant de aandacht van het model, alsof het de zwaartepunten zijn die het hele schip stabiel houden.

De oude regel was: "Snoei nooit deze ankers weg, anders zakt het hele schip!"

De nieuwe ontdekking: Ankers die dansen

De auteurs van dit paper hebben gekeken naar de nieuwe Diffusion-modellen en ontdekten iets verrassends: die ankers zijn hier niet stabiel.

Stel je voor dat je in een drukke danszaal staat.

In een traditioneel model (woord-voor-woord) staat er één persoon (het anker) die de hele avond op dezelfde plek blijft staan. Iedereen kijkt naar hem. Als je die persoon weghaalt, is de dansvloer in chaos.
In een Diffusion-model (ontstoornen) is het een dansfeest waar de "belangrijkste persoon" elke seconde verandert. Soms is het de persoon links, soms rechts, soms iemand in het midden. De plek waar de meeste aandacht naartoe gaat, drijft rond terwijl het model het beeld scherper maakt.

De onderzoekers noemen dit "Sink Variance" (variatie in de anker-positie). In Diffusion-modellen is deze variatie enorm hoog. De "ankers" zijn vaak tijdelijk: ze zijn belangrijk om de grote lijnen te trekken in de beginfase (wanneer het nog erg wazig is), maar later zijn ze minder belangrijk of verplaatsen ze zich.

De oplossing: "Sink-Aware Pruning" (Sluipsnoeien)

Omdat deze ankers in Diffusion-modellen vaak maar kort bestaan, is het oude advies ("houd ze allemaal vast") eigenlijk fout. Het houdt onnodig veel rekenkracht vast aan mensen die straks toch weglopen.

De auteurs bedachten een slimme nieuwe methode: Sink-Aware Pruning.

In plaats van blindelings alle ankers te redden, kijkt het algoritme naar de stabiliteit:

Meet de dans: Kijk hoe vaak de "belangrijkste plek" verplaatst tijdens het genereren van de tekst.
Identificeer de drijvers: Als een plek (een woord of token) als een anker fungeert, maar dan ineens verplaatst naar een andere plek, is het een tijdelijk anker.
Snoei de drijvers: Deze tijdelijke, onstabiele ankers worden weggehaald. Ze kosten te veel energie voor te weinig blijvende waarde.
Behoud de echte ankers: Alleen de plekken die echt stabiel blijven, worden bewaard.

Waarom is dit geweldig?

Stel je voor dat je een zware rugzak draagt met 100 stenen.

De oude methode zegt: "Houd de eerste 10 stenen vast, want die zijn misschien belangrijk," en gooit de rest weg.
De nieuwe methode zegt: "Ik zie dat de eerste 10 stenen maar 2 minuten meegaan en dan wegrollen. Ik gooi die weg en houd de stenen vast die de hele wandeling meedragen."

Het resultaat? Je loopt sneller (minder rekenkracht) en je raakt je evenwicht niet kwijt (de kwaliteit van de tekst blijft goed).

Samenvatting in één zin

De onderzoekers hebben ontdekt dat de "magische ankers" in nieuwe AI-modellen eigenlijk als dansende schaduwen zijn die voortdurend veranderen; door deze onstabiele schaduwen weg te halen in plaats van ze te beschermen, kunnen we AI-modellen veel sneller maken zonder dat ze gekke dingen gaan zeggen.

Probleemstelling

Diffusie-taalmodellen (Diffusion Language Models of DLMs) genereren tekst via een iteratief proces van ontdoening (denoising) over meerdere tijdstappen, waarbij de volledige token-sequentie continu wordt bijgewerkt. Hoewel DLMs interessante generatie-eigenschappen hebben, leidt dit iteratieve inferentieproces tot aanzienlijke reken- en geheugenkosten. Efficiëntieverbeteringen, zoals pruning (het verwijderen van onnodige parameters), zijn daarom cruciaal voor praktische implementatie.

Het bestaande probleem is dat de meeste huidige pruning-methoden zijn overgenomen van autoregressieve (AR) Large Language Models (LLMs). Deze methoden gebruiken een heuristiek die attention sinks (aandachtssluizen) altijd behoudt. In AR-modellen zijn deze sinks (vaak vroege tokens zoals het begin van de zin of systeem-prompten) stabiele globale ankers die essentieel zijn voor de stabiliteit van het model. De auteurs tonen echter aan dat deze aanname niet geldt voor DLMs:

In DLMs verandert de positie van de dominantste attention sinks aanzienlijk tijdens het ontdoeningstraject.
Sinks in DLMs zijn vaak tijdelijk (transient) en niet structureel essentieel op dezelfde manier als in AR-modellen.
Het blind behouden van deze tokens (zoals in AR-pruning) leidt tot suboptimale resultaten en minder effectieve compressie bij DLMs.

Methodologie: Sink-Aware Pruning

De auteurs stellen Sink-Aware Pruning voor, een strategie die specifiek is ontworpen voor de dynamiek van diffusiemodellen. De kern van de methode is het automatisch identificeren en verwijderen van onstabiele sinks in plaats van ze te beschermen.

De methode bestaat uit de volgende stappen:

Analyse van Sink-Variantie:
De auteurs definiëren twee statistieken om het gedrag van attention sinks te kwantificeren:
- Ruimtelijke variantie: Hoe ongelijk de aandacht over posities verdeeld is.
- Temporele variantie: Hoe sterk de locatie van de sink verschuift over de verschillende diffusiestappen.
- Observatie: AR-modellen hebben hoge ruimtelijke maar zeer lage temporele variantie (stabiliteit). DLMs hebben daarentegen een zeer hoge temporele variantie, wat aangeeft dat de "belangrijkste" tokens voortdurend veranderen.
Identificatie van Onstabiele Sinks:
Voor elke token wordt een "sink-score" berekend op basis van de geaggregeerde aandacht die deze token ontvangt over alle lagen en koppen tijdens het ontdoeningstraject. Tokens met een hoge score worden als potentiële sinks beschouwd.
Gewichtsreductie (Down-weighting):
In plaats van deze tokens te behouden, wordt een zachte down-weighting factor ( $\omega$ ) toegepast op de activaties van deze tokens.
- Voor tokens met een hoge sink-score (onstabiele sinks) wordt de activatie onderdrukt (waarde dicht bij 0).
- Voor andere tokens blijft de activatie intact (waarde dicht bij 1).
Integratie met Bestaande Pruning-Algoritmen:
Deze "sink-masked" activaties ( $\tilde{X}$ ) worden gebruikt als invoer voor bestaande post-training pruning-algoritmen, zoals Wanda en SparseGPT.
- Bij Wanda: De belangrijkheidsscore wordt berekend als $|W_{ij}| \cdot \|\tilde{X}_{\cdot j}\|_2$ . Door de activaties van onstabiele sinks te verlagen, krijgen deze tokens een lagere belangrijkheidsscore en worden ze vaker verwijderd.
- Bij SparseGPT: De empirische Hessian wordt berekend op basis van de gemaskerde activaties, waardoor de reconstructie zich richt op semantisch betekenisvolle posities in plaats van tijdelijke aandachtspieken.

Belangrijkste Bijdragen

Inzicht in DLM-dynamiek: De auteurs tonen empirisch aan dat attention-sink-posities in DLMs aanzienlijk minder stabiel zijn dan in AR-modellen, wat de fundamentele aanname van bestaande pruning-methoden ondermijnt.
Nieuwe Heuristiek: Ze introduceren het concept van "sink-position variance" en stellen vast dat het behoud van sinks geen universeel principe is, maar afhangt van het generatieparadigma.
Sink-Aware Pruning: Ze ontwikkelen een generatie-paradigma-bewuste pruning-strategie die onstabiele sinks in DLMs activeert voor verwijdering, terwijl deze in AR-modellen (waar variantie laag is) effectief negeert of anders handelt.
Retraining-vrij: De methode vereist geen hertraining van het model en werkt direct op voorgeïmplementeerde (pre-trained) modellen.

Resultaten

De methode is getest op meerdere DLM-architecturen (zoals LLaDA, Dream, LLaDA-1.5) en diverse benchmarks (MMLU, ARC-C, GSM8K, etc.) tegenover sterke baselines (Wanda, SparseGPT, magnitude-based pruning).

Kwaliteit-Efficiëntie Trade-off: Sink-Aware Pruning presteert consistent beter dan of gelijk aan de baselines bij gelijke rekenkracht (matched compute).
Hoge Sparsiteit: De verbeteringen zijn het meest opvallend bij hoge sparsiteitsniveaus (50% tot 75%). Bij agressieve compressie is het verwijderen van onstabiele, maar structureel minder essentiële tokens cruciaal om kwaliteitsverlies te voorkomen.
Robuustheid: De methode werkt goed over verschillende modelgroottes en taken heen. Bij 75% sparsiteit behoudt de Sink-Aware methode significant meer prestaties dan traditionele methoden die onnodig veel gewicht behouden aan tijdelijke sinks.
Structuur vs. Unstructured: De voordelen gelden zowel voor ongestructureerde (unstructured) als gestructureerde pruning, waarbij de verbetering toeneemt naarmate de pruning agressiever wordt.

Betekenis en Conclusie

Dit artikel is significant omdat het een fundamenteel inzicht biedt in hoe attention-mechanismen verschillen tussen autoregressieve en diffusie-taalmodellen. Het toont aan dat optimalisatietechnieken niet zomaar van het ene paradigma naar het andere kunnen worden overgeheveld.

De conclusie is dat attention sinks niet universeel behouden moeten worden. Voor DLMs is het juist efficiënter om de tijdelijke, onstabiele nature van deze tokens te benutten voor compressie. Sink-Aware Pruning biedt een principieel en effectief pad om de inferentie van Diffusion Language Models te versnellen zonder de kwaliteit van de gegenereerde tekst in te leveren, wat een belangrijke stap is naar de praktische toepasbaarheid van DLMs.