Why Diffusion Language Models Struggle with Truly Parallel (Non-Autoregressive) Decoding?

Probleemstelling: De Illusie van Parallelle Decoding

Diffusie-taalmodellen (DLMs) worden vaak geprezen om hun potentieel voor parallelle token-generatie, wat in theorie de inferentielatentie aanzienlijk zou moeten verlagen ten opzichte van traditionele autoregressieve (AR) modellen. In de praktijk blijken "snelle" DLM-implementaties echter vaak te convergeren naar autoregressieve decoding-dynamieken (links-naar-rechts), zelfs wanneer de modelarchitectuur bidirectionele context toestaat.

De auteurs identificeren de kernoorzaak van dit probleem als een mismatch tussen het leerdoel en de trainingsdata:

1. Sequentiële Data: Bestaande trainingscorpora (zoals FineWeb) en lange Chain-of-Thought (CoT) datasets zijn fundamenteel sequentieel opgebouwd. Ze coderen redenering als een lineaire keten met een bevoororde volgorde.
2. AR-bias: Zelfs als het diffusieproces positie-agnostisch is, leert het model uit deze data dat het beste denoising-strategie is om tokens in een AR-vorm te reconstrueren.
3. Trade-off: Het forceren van echte parallelle decoding (bijv. via willekeurige volgorde) leidt vaak tot een instorting van de redeneerprestaties, terwijl het behouden van hoge prestaties vaak gepaard gaat met het handhaven van een hoge "AR-ness" (autoregressiviteit).

Methodologie: NAP (Non-Autoregressive Parallel DLMs)

Om dit probleem aan te pakken, stellen de auteurs NAP voor, een proof-of-concept benadering die data en decoding co-design. In plaats van alleen de inferentie-algoritmen te optimaliseren, herontwerpen ze de supervisie en het decodeerproces.

1. Data Curation (Parallele Redeneringstrajecten)

In plaats van de gebruikelijke lineaire CoT-datasets, cureren de auteurs een dataset ($D_{parallel}$) met de volgende kenmerken:

• Onafhankelijke Trajecten: Voor elke vraag worden meerdere, onafhankelijke redeneringstrajecten gegenereerd door een sterke "teacher" model (met hoge sampling-temperatuur voor diversiteit).
• Geen Bevoororde Volgorde: Deze trajecten worden niet als één lange keten gepresenteerd, maar als parallelle "takken" (bijv. <think1>, <think2>, etc.).
• Aggregatie: Een samenvattingsblok (<summary>) kondigt het juiste antwoord aan op basis van de combinatie van deze (soms foutieve) parallelle paden. Dit dwingt het model om geldige redeneringen te identificeren en ruis te filteren, zonder afhankelijk te zijn van een strikte links-naar-rechts volgorde.

2. Parallel-Forced Decoding Strategie

Tijdens inferentie wordt een gestructureerd "canvas" gebruikt om parallelisme te forceren:

• Decoding Canvas: De output wordt opgedeeld in $m$ onafhankelijke redeneringsblokken en één samenvattingsblok.
• Macro-Parallelisme: Het budget voor het "unmasken" (ontmaskeren) van tokens wordt gelijkmatig verdeeld over alle $m$ redeneringsblokken in elke stap. Dit voorkomt dat het model eerst een pad stabiliseert voordat het een ander begint.
• Micro-Confidence: Binnen elk blok worden tokens op basis van vertrouwen geselecteerd, zonder lokale links-naar-rechts dwang.

Kernbijdragen

1. Diagnose van AR-bias: Het paper biedt een systematische analyse die aantoont dat de AR-achtige dynamiek in DLMs niet inherent is aan de diffusie-architectuur, maar het gevolg is van trainingsdata die sequentiële afhankelijkheid belonen.
2. SeqDep-metriek: De auteurs introduceren en toepassen een metriek voor Sequentiële Afhankelijkheid (SeqDep) om aan te tonen dat standaard datasets sterke intrinsieke sequentieelheid vertonen, terwijl hun gepareerde dataset deze afhankelijkheid flatteert.
3. NAP Framework: Een nieuwe aanpak die bewijst dat het herzien van de supervisie (data) in combinatie met een parallelle decodeerstrategie leidt tot echt niet-autoregressieve generatie.

Resultaten

De experimenten zijn uitgevoerd op benchmarks zoals GSM8K, MATH-500 en GPQA met modellen LLaDA-8B en Dream-7B.

• Prestaties onder Parallelisme: NAP presteert significant beter dan modellen getraind op standaard lange CoT-data, vooral bij agressieve parallelle decoding (weinig stappen, veel tokens per stap).
  • Voorbeeld: Op GSM8K met Dream-7B en 256 stappen (4x parallel), daalt de prestatie van het Long-CoT baseline van 78,0% naar 46,5%. NAP-Dream behoudt echter een prestatie van 60,9%.
  • Het prestatieverschil tussen NAP en de baseline neemt toe naarmate de paralleliteit toeneemt (van +5,6% bij 1024 stappen naar +14,4% bij 256 stappen).
• Vermindering van AR-ness: Visualisaties van de decoding-dynamiek tonen aan dat standaard modellen een strikt diagonaal patroon vertonen (links-naar-rechts), terwijl NAP meerdere parallelle banen toont, wat aantoont dat het model echt meerdere trajecten tegelijk genereert.
• Ablatie-studies:
  • Het toepassen van parallelle decoding op een standaard model (zonder NAP-data) leidt tot prestatieverlies.
  • Het verhogen van het aantal parallelle paden ($m$) verbetert de nauwkeurigheid, wat wijst op een "intern ensemble"-effect.

Betekenis en Conclusie

Het paper concludeert dat de beperkingen van DLMs in het bereiken van ware parallelle generatie niet opgelost kunnen worden door alleen inferentie-algoritmen te optimaliseren. De oplossing ligt in het fundamenteel herontwerpen van de supervisie.

• Paradigmaverschuiving: Om DLMs hun volledige potentieel te laten benutten, moeten we afstappen van lineaire Chain-of-Thought-data en overgaan naar data die onafhankelijke, parallelle redenering belonen.
• Toekomstperspectief: Hoewel NAP momenteel een proof-of-concept is op post-training schaal, suggereert het dat toekomstige pre-training op niet-sequentiële, parallel gestructureerde data essentieel zal zijn om de autoregressieve bottleneck volledig te elimineren en de latentie van taalmodellen drastisch te verlagen.