Technische Samenvatting: Wanneer plannen, wanneer polijsten

Probleemstelling

Standaard discrete diffusie taalmodellen (LM's) opereren met een vaste token-gewijze granulariteit gedurende de gehele denoising-traject. In deze modellen vindt zowel de corruptie tijdens de training (maskering) als de commitment tijdens de inferentie (het onthullen van tokens) plaats op het niveau van individuele tokens, ongeacht het ruisniveau.

De auteurs stellen dat deze vaste granulariteit een fundamentele beperking is voor generatieve taken die vereisen dat er gepland wordt (bijv. langvorm storytelling, gestructureerd schrijven).

• Het probleem: Bij hoge ruisniveaus (vroege denoising-stappen) laat uniforme token-gewijze maskering het model achter met verspreide, geïsoleerde woordfragmenten ("woordkruimels") in plaats van coherent semantisch bewijs. Bij een consequentie wordt het model gedwongen om lokale token-gissingen te doen op basis van zwakke aanwijzingen, in plaats van vroegtijdig een coherente globale structuur (een "skelet") te vormen.
• De kloof: Hoewel hiërarchische planningmethoden bestaan (bijv. "Plan and Write"-systemen of blok-niveau diffusie), vereisen deze expliciete planners, blok-niveau latents of multi-stage ontwerpen. Het artikel vraagt zich af of een single-level diffusie LM inherent ondersteuning kan bieden voor vroege planning en late polijsting door gebruik te maken van zijn bestaande ruisniveau als een granulariteitscue, zonder extra architecturale complexiteit toe te voegen.

Methodologie: Noise Dependent Granularity Control (NDGC)

De auteurs stellen Noise Dependent Granularity Control (NDGC) voor, een methode die de granulariteit van de blootstelling tijdens de training en de commitment tijdens de inferentie afstemt op het ruisniveau ($t$). De kernintuïtie is: Hoge ruis = Planning (grove groepen); Lage ruis = Polijsten (fijne tokens).

1. Gestructureerde Blootstelling (Training)

In plaats van tokens onafhankelijk te maskeren, introduceert NDGC een ruis-afhankelijke span-maskeringsstrategie:

• Granulariteitscoëfficiënt ($s(t)$): Een functie van het ruisniveau $r(t)$ die schaalt van 0 (lage ruis) naar 1 (hoge ruis).
• Groepsgrootte ($B(t)$): De doelgroepslengte wordt berekend als $B(t) = \max(1, \text{round}(1 + s(t)(B_{\max} - 1)))$.
• Mechanisme: Bij hoge ruis wordt het model getraind op aaneenhangende groepen tokens (spans). Als een groep wordt gemaskeerd, wordt de hele span verborgen; als een groep wordt onthuld, is de hele span zichtbaar. Dit zorgt ervoor dat het model bij hoge ruis coherente semantische blokken ziet in plaats van verspreide kruimels.
• Marginale Preservatie: De methode behoudt de marginale maskeringwaarschijnlijkheid $r(t)$ voor elk token, waardoor wordt gewaarborgd dat de verwachte corruptiegraad consistent blijft met standaard diffusie; alleen de correlatie van de corruptie verandert.

2. Matchende Commitment (Inferentie)

Om een mismatch tussen training en inferentie te voorkomen, spiegelt het inferentieproces de trainingsgranulariteit:

• Georganiseerde Commitment: Bij hoge ruisstappen evalueert de sampler de betrouwbaarheid van volledige groepen (door de betrouwbaarheid van tokens binnen een gemaskeerde groep te middelen).
• Selectie: Groepen met een hoge betrouwbaarheid worden gezamenlijk gecommitteerd (onthuld).
• Verfijning: Naarmate de ruis afneemt, krimpt $B(t)$, om uiteindelijk terug te keren naar standaard token-niveau commitment en verfijning bij lage ruis.

3. Afstemming (Alignment)

De belangrijkste innovatie is de afstemming van blootstelling en commitment. Door hetzelfde ruis-afhankelijke schema $s(t)$ te gebruiken voor zowel training als inferentie, leert het model grove semantische structuren te vormen in een vroeg stadium en de bewoording later te verfijnen, wat effectief een "coarse-to-fine" denoising-proces simuleert zonder een expliciete planner.

Belangrijkste Bijdragen

1. Identificatie van Beperking: Het artikel identificeert dat vaste token-granulariteit in discrete diffusie vroege structuurvorming verhindert, wat leidt tot een afhankelijkheid van lokale gissingen in plaats van globale planning.
2. NDGC Voorstel: Introductie van een single-level diffusiemethode die het ruisniveau gebruikt als een granulariteitssignaal, waarbij gestructureerde span-blootstelling tijdens de training wordt gekoppeld aan matchende groep-commitment tijdens de inferentie.
3. Empirische Validatie: Demonstratie dat NDGC de vorming van het skelet verschuift naar een eerder stadium in het denoising-traject, de geordende herwinning van onderwerpen verbetert en degeneratieve outputs (repetitie) vermindert vergeleken met uniforme token-gewijze baselines.

Experimentele Resultaten

De auteurs evalueerden NDGC op SYNTHETIC-V4 (een gecontroleerde benchmark met geordende latente topic-skeletten) en WritingPrompts (een natuurlijke verhalende dataset).

SYNTHETIC-V4 (BD3LM Backbone)

• Baseline Falen: Standaard uniforme token-gewijze diffusie faalde significant op deze taak, met slechts 27,8% uiteindelijke topic coverage en een 99,7% rate van slechte outputs (gedreven door repetitie en gebrek aan diversiteit).
• NDGC Prestaties: NDGC ($B_{\max}=16$) bereikte 84,2% uiteindelijke topic coverage, 79,8% orde-accuratesse en verminderde slechte outputs tot 3,7%.
• Vroege Vorming: Cruciaal was dat NDGC een significant hogere Early Recovery (79,1%) en Early Order (77,0%) liet zien vergeleken met de baseline (28,7% en 27,5%), wat bewijst dat de structuur eerder wordt gevormd, en niet alleen aan het einde wordt gerepareerd.
• Ablaties:
  • Alleen Gestructureerde Commitment: Verbeterde de coverage, maar slaagde er niet in om slechte outputs te corrigeren (89,0%), wat aangeeft dat inferentie-heuristieken alleen onvoldoende zijn.
  • Alleen Gestructureerde Blootstelling: Verbeterde de gezondheid van de output, maar slaagde er niet in om een hoge exacte match met het skelet te bereiken, wat wijst op een mismatch tussen training en inferentie.
  • Tokenwise Early: Zelfs met gestructureerde training, leidde het forceren van token-niveau commitment bij hoge ruis tot een vertraging van de skeletvorming.

Cross-Backbone en Naturalistische Checks

• MDLM & SEDD: NDGC verbeterde de skelet-herwinning en behield gezonde outputs op andere backbones (MDLM, SEDD), hoewel de omvang van de winst varieerde.
• WritingPrompts: Op natuurlijke data zonder gouden skeletten verbeterde NDGC de output-gezondheid (slechte output daalde van 22,8% naar 10,9%) en de referentie-gealigneerde segment-gelijkenis (RASC-best), terwijl het repetitie verminderde.

Betekenis en Claims

Het artikel claimeert dat ruisniveau kan dienen als een semantische granulariteitsas voor single-level diffusie taalmodellen.

• Mechanisme: Door de blootstelling tijdens de training en de commitment tijdens de inferentie af te stemmen, stelt NDGC het model in staat om te "plannen" (zich committeren aan coherente spans) wanneer bewijs schaars is (hoge ruis) en te "polijsten" (zich committeren aan tokens) wanneer bewijs overvloedig is (lage ruis).
• Efficiëntie: Deze aanpak bereikt planning-achtig gedrag zonder dat daarvoor expliciete planners, hiërarchische architecturen of multi-stage pipelines nodig zijn.
• Bescheidenheid: De auteurs erkennen dat hun sterkste bewijs komt uit de gecontroleerde SYNTHETIC-V4 setting. Hoewel WritingPrompts de bevindingen met betrekking tot output-gezondheid en coherentie ondersteunt, levert het geen direct bewijs voor de herwinning van latente skeletten. Zij merken op dat toekomstig werk de mogelijkheid kan verkennen van geleerde semantische grenzen en langere documenten.

Samenvattend stelt het artikel dat het "verspreide kruimels"-probleem in standaard diffusie oplosbaar is door de granulariteit van het denoising-proces dynamisch aan te passen, waardoor een single-level model natuurlijk kan overgaan van structurele planning naar lexicale verfijning.