CreditDecoding: Accelerating Parallel Decoding in Diffusion Large Language Models with Trace Credit

Probleemstelling

Diffusie-grootte taalmodellen (dLLMs) genereren tekst via iteratief ontdoening (denoising) in plaats van de traditionele autoregressieve (links-naar-rechts) benadering. Hoewel dit paradigma voordelen biedt voor redenering en contextafhankelijkheid, lijdt het onder ernstige inefficiënties bij de inferentie:

1. Computational Redundancy (Rekenkundige redundantie): In standaard parallelle decoderingsschema's worden alleen tokens met een hoge betrouwbaarheid (confidence) op een bepaald tijdstip gedecodeerd. Tokens die al vroeg correct worden voorspeld maar nog niet voldoende vertrouwen hebben om de drempelwaarde te halen, worden opnieuw gemaskerd en in volgende stappen opnieuw voorspeld. Dit creëert een tijdsverschil tussen de eerste correcte voorspelling en de uiteindelijke decoding, wat leidt tot overbodige iteraties.
2. History-agnostic Decoding (Geschiedenis-onafhankelijke decoding): Bestaande methoden nemen beslissingen puur op basis van de instantane voorspelling van de huidige stap. Ze negeren de historische consistentie van tokens. Als een token tijdelijk een lage betrouwbaarheid krijgt door ruis, wordt het opnieuw gemaskerd, wat de convergentie vertraagt en fouten kan verspreiden.

Methodologie: CreditDecoding

De auteurs introduceren CreditDecoding, een trainingsvrije (training-free) parallelle decoderingsstrategie die de bovenstaande inefficiënties aanpakt door gebruik te maken van "Trace Credit".

• Trace Credit (Spoor Krediet): Het kernidee is om voor elk token een "kredietwaarde" bij te houden die historische bewijzen accumuleert. Als een token consistent als top-1 voorspelling wordt gekozen tijdens het ontdoeningproces, bouwt het krediet op.
• Update-mechanisme: Het krediet wordt bijgewerkt met een EMA-achtige (Exponential Moving Average) regel:
  • Global Decay: Het krediet van alle tokens wordt licht afgezwakt (factor $\beta$) om verouderd bewijs te vergeten.
  • Focused Enhancement: Alleen het token dat op dat moment de hoogste betrouwbaarheid heeft, krijgt extra krediet toegevoegd (gebaseerd op de huidige waarschijnlijkheid verheven tot een macht $\gamma$).
• Logits Fusie: De geschatte kredietwaarde ($C$) wordt gefuseerd met de huidige logits van het model om de voorspelling te versterken. De nieuwe logit wordt berekend als:
  $$\hat{l}_{t} = l_{t} + \alpha \cdot \log(C_{t} + 1)$$
  Hierbij is $\alpha$ de sterkte van de prior. Dit verhoogt de effectieve betrouwbaarheid van tokens die consistent goed presteren, waardoor ze eerder de drempelwaarde voor decoding bereiken.
• Tuning-Free Variant: Om hyperparameter-tuning te vermijden, stellen de auteurs een adaptieve schema voor waarbij de sterkte van het krediet ($\alpha$ en $\beta$) automatisch wordt gekoppeld aan de voortgang van het ontdoeningproces (mask ratio).

Belangrijkste Bijdragen

1. Analyse van Inefficiëntie: Het paper identificeert en kwantificeert de "temporale kloof" tussen vroege correcte voorspellingen en late decoding als een hoofdfactor voor redundantie in dLLMs.
2. CreditDecoding Methode: Een nieuwe, trainingsvrije decoderingsstrategie die historische consistentie gebruikt als een prior om de convergentie te versnellen zonder de modelarchitectuur te wijzigen.
3. Schaalbaarheid en Orthogonaliteit: De methode werkt effectief over verschillende modelgroottes (van 8B tot 100B parameters) en architecturen (Dense en MoE). Cruciaal is dat het orthogonaal is ten opzichte van andere optimalisaties zoals KV-cache, kernel fusion en vroege stopcondities (Early Stop), waardoor het kan worden gecombineerd voor cumulatieve snelheidswinst.

Resultaten

De methode is geëvalueerd op acht benchmarks (waaronder MMLU, GSM8K, HumanEval, SQuAD) met modellen zoals LLaDA-8B-Instruct en LLaDA-MoE-Instruct:

• Snelheidswinst: CreditDecoding bereikt een 5.48x snelheidswinst (gemeten in Tokens Per Forward - TPF) op LLaDA-8B-Instruct in vergelijking met de baseline.
• Prestatieverbetering: In tegenstelling tot veel versnellingsmethoden die ten koste gaan van de nauwkeurigheid, verbetert CreditDecoding de prestaties met +0.48 punten in de gemiddelde score.
• Lange Context: De methode schaalt goed naar langere contexten (tot 4096 tokens) en behoudt een consistente snelheidswinst van ongeveer 7x, wat aantoont dat het nuttig is voor langere tekstgeneratie.
• Compatibiliteit: Wanneer gecombineerd met bestaande versnellingstechnieken (zoals Fast-dLLM of KV-cache), behoudt CreditDecoding de snelheidswinst en mitigeert het vaak de nauwkeurigheidsverliezen die door die technieken worden geïntroduceerd.

Significantie

CreditDecoding biedt een praktische en efficiënte oplossing voor een fundamenteel probleem in diffusie-taalmodellen: de inefficiëntie van iteratieve ontdoening. Door het gebruik van historische informatie ("trace credit") om de beslissingen van het model te stabiliseren en te versnellen, overbrugt de methode de kloof tussen theoretische parallelle mogelijkheden en praktische inferentiesnelheid.

Het is een belangrijke stap naar het maken van dLLMs competitief met autoregressieve modellen in termen van snelheid, terwijl het de voordelen van bidirectionele context behoudt. De "trainingsvrije" aard van de methode maakt het direct toepasbaar op bestaande modellen zonder dure hertraining, wat het een zeer aantrekkelijke oplossing maakt voor de industrie en onderzoeksgemeenschap.