Neither Parallel Nor Sequential: How DiffusionGemma Actually Commits Tokens

Technische Samenvatting: Noch Parallel, Noch Sequentieel

Probleemstelling
Open diffusie-taalmodellen (DLM's) worden theoretisch gekenmerkt als parallelle, niet-autoregressieve decoders die tokens iteratief vastleggen door een gemaskeerd canvas te denoisen. Echter, de werkelijke volgorde waarin een uitgerold checkpoint tokens definitief vastlegt, wordt zelden empirisch gemeten. Het blijft onduidelijk of deze modellen strikte parallelliteit, zuivere blok-autoregressie of een hybride gedrag vertonen. Deze ambiguïteit vertroebelt de werkelijke latentievoordelen en de dynamiek van het decoderen binnen dit paradigma.

Methodologie
De auteurs voerden een interpretatiestudie uit op de inferentie-zijde van de publieke checkpoint google/diffusiongemma-26B-A4B-it, een discrete-diffusie mixture-of-experts model met 25,2 miljard parameters (3,8 miljard actief) gebouwd op Gemma 4.

• Instrumentatie: De studie koppelde de EntropyBoundSampler.accept_canvas methode van het model binnen de Hugging Face transformers bibliotheek. Dit stelde de auteurs in staat om voor elke generatie exact vast te leggen welke canvasposities werden vastgelegd bij elke accept-call, evenals de entropie per positie van de vastleggende logits.
• Experimenteel Ontwerp: De evaluatie maakte gebruik van een suite van 686 prompts over zes regimes: Wiskunde (GSM8K), Code Completion (HumanEval), Code Synthese (MBPP), Feitelijke Herinnering, Open-ended Instructies en Constrained JSON.
• Versterkingsronde: Om robuustheid te garanderen, voerden de auteurs een "versterkingsronde" uit met 5 willekeurige seeds en 20 prompts per regime (100 traces per regime, 600 generaties in totaal).
• Metrieken:
  • Volgorde: De primaire metriek was de tie-aware Kendall rangcorrelatie ($\tau_b$) tussen de commit-call index van een token en de positie van links naar rechts.
  • Granulariteit: Een block-$\tau_b$ sweep werd uitgevoerd over bin-groottes $B \in \{4, 8, 16, 32, 64\}$ om te testen op geprivilegieerde architecturale blokken.
  • Betrouwbaarheid-Correctheid: De voorspellende kracht van commit-vertrouwen (negatieve entropie) op correctheid werd gemeten via AUROC en betrouwbaarheidscurves, strikt binnen het regime om Simpson's paradox te vermijden.
  • Controles: Een synthetische blok-sequentiële controle (commit tijd = positie // 16) werd gebruikt om de verwachte $\tau_b$ van een zuiver blok-autoregressief proces te begrenzen.

Belangrijkste Bevindingen

1. Partiële, Granulariteit-afhankelijke Links-naar-Rechts Bias:
   DiffusionGemma vertoont geen zuivere blok-autoregressie. In plaats daarvan vertoont het een partiële links-naar-rechts bias die matig is op tokenniveau en gladjes richting sequentieel gedrag stijgt naarmate de analyse bin-grootte toeneemt.

   • Token-niveau $\tau_b$: Varieert van 0,43 (Code) tot 0,60 (Code Synthese), wat aanzienlijk lager is dan de +1 van strikte autoregressie en ruim onder de 0,94–0,96 van de blok-sequentiële controle.
   • Bin-grootte Sensitiviteit: Block-$\tau_b$ stijgt monotoon met de bin-grootte (bijv. voor Wiskunde: 0,59 bij $B=4$ tot 0,91 bij $B=64$). Cruciaal is dat er geen sprong optreedt bij $B=16$, wat aangeeft dat 16 een door de analist gekozen bin is, en geen geprivilegieerd architecturaal blokformaat.
   • Sub-blok Disorde: Het gat tussen de werkelijke tokenvolgorde en de blok-sequentiële controle bevestigt echte wanorde binnen blokken.

2. Grote Commit-batches en Onopgeloste Volgorde:
   Vastlegging vindt plaats in grote batches. Gemiddeld worden 13–26 content-tokens vastgelegd per accept-call. Een aanzienlijk deel van de tokenparen (tot 0,72 in JSON) wordt in dezelfde call vastgelegd, wat betekent dat hun relatieve volgorde onopgelost blijft. De gemeten $\tau_b$ weerspiegelt een tendens op het niveau van de accept-call in plaats van een strikte volgorde binnen de stap.

3. Regime-afhankelijkheid:

   • Gestructureerde JSON: Het beperkte JSON-regime is ongeveer volgorde-onafhankelijk ($\tau_b \approx -0,044$), afwijkend van de matige positieve bias van proza, code en wiskunde regimes.
   • Vertrouwen-Correctheid Discriminatie: Commit-vertrouwen voorspelt correctheid op Wiskunde (GSM8K AUROC 0,749, CI sluit kans uit) maar is nul op Feitelijke Herinnering (AUROC 0,471, CI bevat 0,5). Het samenvoegen van deze regimes creëert een Simpson's paradox artefact, wat de trend omdraait.

4. Agressieve Vroege Stopzetting:
   Ondanks een denoising-budget van 48 stappen, worden generaties voltooid in een kleine burst van accept-calls (3,3–17,1 calls). De entropie bij commit is ver onder de 0,1 grens (0,002–0,012 nats), wat aangeeft dat het model content vastlegt ruim voordat het step-budget is uitgeput.

5. Nauwkeurigheid:
   Op scorebare regimes (Wiskunde, Feitelijk, JSON) is de nauwkeurigheid van DiffusionGemma vergelijkbaar met die van zijn overeenkomstige autoregressieve broer, Gemma-4 26B-A4B, hoewel de studie niet gepowered was voor een equivalentietest.

Significantie en Bijdragen
Het artikel beweert de opvatting over diffusie-decoding te herzien van "stiekem links-naar-rechts" of "gestructureerd uit-volgorde" naar een meer genuanceerde realiteit: een partiële, granulariteit-afhankelijke links-naar-rechts bias die regime-specifiek is en gekenmerkt wordt door grote, onopgeloste commit-batches.

Methodologisch draagt het papier een framework bij voor het meten van decoderingsvolgorde dat specifieke valkuilen aanpakt:

• EOS Padding Artifacts: Naïve metrieken worden gedomineerd door de vroege vastlegging van padding-tokens; het beperken van de analyse tot content-posities is essentieel.
• Simpson's Paradox: Het samenvoegen van vertrouwen-correctheid data over regimes met verschillende basisnauwkeurigheden en entropieschalen levert ongeldige conclusies op.
• Commit Niet-monotoniciteit: De studie houdt rekening met "un-accept" gebeurtenissen (hernieuwde maskering) door de volgorde te definiëren als de volgorde van de eerste acceptatie, en verifieert de robuustheid op de strikt monotone subset.
• Blok-grootte Sensitiviteit: Het demonstreert dat waargenomen blokgroottes vaak artefact zijn van de binning-keuze van de analist in plaats van de modelarchitectuur.

De auteurs concluderen dat de instrumentatie-lens — het observeren van de werkelijke per-stap commitments van een geleverde sampler in plaats van het voorstellen van een nieuwe strategie — een noodzakelijke tool biedt voor het auditeren van het werkelijke gedrag van diffusie-taalmodellen.