Technische Samenvatting: VoidPadding

Probleem: [EOS] Overloop in Masked Diffusion Language Models

Masked Diffusion Language Models (MDLMs) genereren tekst door een vooraf toegewezen, volledig gemaskeerd respons-canvas parallel te denoisen met behulp van bidirectionele aandacht. Deze architectuur verschilt van autoregressieve modellen (ARLMs), die tokens sequentieel genereren. Een kritieke uitdaging ontstaat tijdens de instructie-afstemming (IT) voor MDLMs: om efficiënte batching te faciliteren, worden prompt-respons paren gepaard naar een uniforme sequentielengte. Volgens conventies overgenomen van ARLM-training gebruiken bestaande MDLMs doorgaans herhaalde [EOS] (End-of-Sequence) tokens als padding.

Deze praktijk creëert een training-inferentie rolmismatch die leidt tot [EOS] overloop, met name bij large-block decoding:

1. Dubbele Rol van [EOS]: Tijdens de training dient [EOS] een dubbele functie: het fungeert als een semantische terminator voor de werkelijke respons en als een padding-token voor de rest van de sequentie. Bijgevolg leert het model om hoge [EOS] waarschijnlijkheden te associëren met de staart van de sequentie, waardoor het [EOS] effectief behandelt als een "lengtesignaal" dat aangeeft waar de respons zou moeten eindigen.
2. Inferentie-falen: Tijdens de inferentie opereren MDLMs op een vast canvas. Als het model zich committeert aan hoog-betrouwbare [EOS] tokens aan de staart van het canvas (gebaseerd op het geleerde lengtesignaal), worden deze gecommitteerde tokens onderdeel van de bidirectionele context voor daaropvolgende denoising-stappen. Dit veroorzaakt dat het model [EOS] waarschijnlijkheden naar links voortplant, wat leidt tot voortijdige beëindiging en herhaalde [EOS] tokens, zelfs wanneer de semantische inhoud incompleet is. Dit fenomeen, getiteld [EOS] overloop, degradeert de generatiekwaliteit en beperkt de effectiviteit van large-block decoding strategieën.

Methodologie: VoidPadding

De auteurs stellen VoidPadding voor, een training-inferentie co-design die de semantische terminatierol ontkoppelt van de padding-rol.

1. Training Ontwerp: Introductie van [VOID]

In plaats van te padden met [EOS], wordt de trainingsdata geformatteerd als [prompt] [response] [EOS] [VOID]*.

• [EOS]: Exclusief gereserveerd als de semantische terminator. Het verschijnt exact één keer per voorbeeld, direct volgend op de respons.
• [VOID]: Geïntroduceerd als een nieuw type token dat uitsluitend wordt gebruikt om de rest van de sequentie op te vullen (padding).
• Trainingsdoel: Het model wordt getraind om het originele token op gemaskeerde posities te voorspellen. Cruciaal is dat de enkele [EOS] token altijd gemaskeerd wordt tijdens de training, waardoor het model wordt gedwongen [EOS] strikt als een stabiele semantische terminator te leren in plaats van een padding-artefact. De [VOID] tokens worden ook gemaskeerd, wat het model leert om [VOID] te associëren met het "ongebruikte" deel van het canvas.

2. Inferentie Ontwerp: Ontkoppelde Stopping en Expansie

VoidPadding introduceert twee complementaire mechanismen voor inferentie:

• [EOS]Terminatie (Vroege Stopping):

  • Standaard MDLM stopping regels (VanillaStopping) vereisen het decoderen van het volledige canvas of totdat alle maskers zijn ingevuld, wat vaak leidt tot redundante generatie na het semantische eindpunt.
  • VoidPadding implementeert [EOS]Termination: het decoderen stopt zodra alle posities links van de meest linkse zichtbare [EOS] niet langer gemaskeerd zijn. Het model verwerpt de resterende canvas (inclusclusief eventuele [VOID] padding).
  • Om te voorkomen dat [VOID] in de output verschijnt, worden de logits ervan ingesteld op $-\infty$ tijdens de tokenselectie, zodat het een verborgen signaal blijft.

• VoidExpansion (Adaptieve Canvas Allocatie):

  • MDLMs vereisen een vooraf gealloceerd canvas. Als het initiële canvas te kort is, daalt de generatiekwaliteit.
  • VoidExpansion maakt gebruik van het geleerde [VOID] lengtesignaal. Voordat de decoding begint, evalueert het model de staart van het huidige canvas. Als de staartposities een sterke voorkeur vertonen voor niet-[VOID] tokens (wat aangeeft dat het canvas onvoldoende is), wordt het canvas uitgebreid met één block size ($B$).
  • Dit proces herhaalt zich totdat de voorkeur in de staart verschuift naar [VOID] (wat duidt op voldoende lengte) of een maximale lengte is bereikt. Dit stelt het model in staat om adaptief canvasruimte toe te wijzen zonder afhankelijk te zijn van fragiele [EOS] signalen.

Belangrijkste Bijdragen

1. Mechanisme Analyse: Het paper identificeert systematisch de kernoorzaak van [EOS] overloop als het dubbelgebruik van [EOS] voor zowel padding als terminatie tijdens instructie-afstemming, wat een geleerd lengtesignaal creëert dat conflicteert met de bidirectionele context tijdens inferentie.
2. VoidPadding Framework: Het voorstel van een lichtgewicht training-inferentie co-design dat [VOID] introduceert voor padding en [EOS] reserveert voor terminatie. Dit maakt betrouwbare vroege stopping ([EOS]Termination) en adaptieve canvas expansie (VoidExpansion) mogelijk.
3. Empirische Validatie: Uitgebreide experimenten tonen aan dat VoidPadding [EOS] overloop voorkomt, de generatiekwaliteit aanzienlijk verbetert over benchmarks voor wiskundig redeneren en code generatie, en de computationele kosten van decoding (NFE) vermindert door vroege terminatie mogelijk te maken.

Resultaten

Experimenten werden uitgevoerd op LLaDA-8B-Instruct en Dream-7B-Instruct over vier benchmarks: GSM8K, MATH500, HumanEval, en MBPP.

• Robuustheid tegen Block Size:

  • Op Dream-7B-Instruct verbeterde VoidPadding de block-size-gemiddelde vier-taak gemiddelde score met +17,84 punten ten opzichte van het originele model en met +6,95 punten ten opzichte van de vorige state-of-the-art methode, RainbowPadding.
  • Op LLaDA-8B-Instruct was de verbetering +7,06 punten ten opzichte van het originele model en +3,59 punten ten opzichte van RainbowPadding.
  • Cruciaal is dat terwijl de originele modellen ernstige prestatievermindering leden naarmate de block size toenam (bijv. een daling van 76% naar ~28% op GSM8K voor LLaDA bij block size 512), VoidPadding een stabiele prestatie handhaafde (78%).

• Decoding Efficiëntie:

  • Door gebruik te maken van [EOS]Termination, reduceerde VoidPadding het aantal Forward Evaluations (NFE) aanzienlijk. Op Dream-7B-Instruct werd de NFE gemiddeld met 55,7% verminderd, met specifieke reducties van 69,3% op GSM8K en 84,6% op MBPP vergeleken met de standaard 512-stappen vereiste.

• Variabele Lengte Generatie:

  • De VoidExpansion strategie stelde het model in staat om korte initiële canvases (bijv. $L_0=64$) effectief te behandelen. Op LLaDA bereikte de volledige VoidPadding + VoidExpansion methode een gemiddelde score van 51,34, waarmee het de inference-only baselines zoals DAEDAL (50,77) en $\rho$-[EOS] (45,50) versloeg, terwijl het ook 2,12$\times$ sneller was in wall-clock tijd.
  • Onder grote-block stress tests ($L_0=256, B=256$), stortten inference-only methoden die vertrouwen op het originele [EOS] signaal in (DAEDAL daalde naar een gemiddelde van 23,46), terwijl VoidExpansion een robuuste gemiddelde score van 50,04 handhaafde.

Betekenis en Claims

Het paper claimt dat [EOS] overloop geen falen is van modelcapaciteit, maar een structureel falen dat voortkomt uit de interactie tussen geleerde lengte-priors, bidirectionele context en standaard sampling regels. Door padding te ontkoppelen van terminatie, lost VoidPadding deze mismatch op.

De auteurs positioneren VoidPadding als een noodzakelijke aanpassing voor MDLMs, waarbij ze beargumenteren dat conventies overgenomen van ARLMs (zoals het gebruik van [EOS] voor padding) "grotendeels onschadelijk" zijn onder causale masking, maar "fragiel" worden onder bidirectionele denoising. De methode biedt een praktisch pad om het volledige potentieel van large-block decoding in diffusiemodellen te ontsluiten, wat zowel de kwaliteit van complexe redeneeroutputs als de efficiëntie van het generatieproces verbetert. Het paper concludeert dat toekomstige MDLM-ontwerpen expliciet rekening moeten houden met token commitment timing, canvas allocatie en stopping beslissingen onder bidirectionele condities, in plaats van te vertrouwen op autoregressieve aannames.