Diffusion LLMs can think EoS-by-EoS

Dit paper toont aan dat diffusie-LLMs complexe redeneertaken kunnen oplossen door end-of-sequence (EoS)-tokens te gebruiken als een verborgen kladblok voor berekeningen, wat wordt bevestigd door zowel gedragsexperimenten als causale interventies.

De kern

Hoe Diffusie-LLM's "Stil" Denken: Een Verhaal over Lege Stoelen en Verborgen Notitieblokjes

Stel je voor dat je een slimme robot hebt die vragen moet beantwoorden. Er zijn twee soorten robots: de traditionele robots (autoregressieve modellen) en de nieuwe diffusie-robots (diffusion models).

Traditionele robots werken als een schrijver die woord voor woord schrijft. Ze beginnen met "De", dan "hemel", dan "is", enzovoort. Als ze een vraag krijgen, moeten ze direct het antwoord opschrijven. Als ze denken, schrijven ze hun gedachten op (zoals "Laten we eerst 5 plus 5 doen..."). Dit heet Chain-of-Thought.

De nieuwe diffusie-robots werken heel anders. Ze beginnen met een volledig blanco vel papier (alleen maar "MASK" of lege plekken) en proberen het hele antwoord tegelijk te raden. Dan kijken ze: "Welke woorden zijn al goed? Laten we die vastzetten. De rest proberen we opnieuw." Ze herhalen dit totdat het hele vel vol staat met de juiste woorden.

Het Raadsel: Waarom werken ze beter als ze "leeg" zijn?

De onderzoekers van dit paper merkten iets vreemds op. Als je de diffusie-robots een vraag gaf en je gaf ze meer ruimte dan nodig was voor het antwoord, werden ze plotseling veel slimmer.

Stel je voor:

• Vraag: "Wat is 12 + 52?" (Antwoord: "64", 2 woorden).
• Opdracht aan de robot: "Geef een antwoord van 80 woorden."

De robot schrijft dan "64" en vult de rest van de 80 woorden op met EoS-tokens (End-of-Sequence). In de wereld van AI is dit als het woord "Einde" of een lege stoel. Normaal gesproken zou je denken: "Waarom zou een robot 78 keer 'Einde' typen? Dat is zonde van de tijd!"

Maar de onderzoekers ontdekten dat deze robots beter werden naarmate ze meer van die "Einde"-woorden mochten typen.

De Hypothese: Het Verborgen Notitieblok

De auteurs van het paper hebben een leuk idee: De robots gebruiken die "Einde"-woorden als een verborgen notitieblok.

Stel je voor dat de robot een bord heeft met 80 vakjes.

1. Het antwoord "64" neemt 2 vakjes in.
2. De andere 78 vakjes worden gevuld met "Einde".
3. Maar voor de robot zijn die "Einde"-vakjes niet leeg. Ze zijn als stille stoelen in een klaslokaal. De robot kan daar zijn gedachten in "steken" zonder dat ze zichtbaar zijn in het eindantwoord.

Het is alsof de robot zegt: "Ik heb 78 extra stoelen om op te zitten en te rekenen. Hoe meer stoelen ik heb, hoe makkelijker het is om de moeilijke sommen op te lossen, zelfs als ik maar 2 woorden als antwoord mag geven."

Dit noemen ze "Thinking EoS-by-EoS" (Denken van 'Einde' tot 'Einde').

Hoe hebben ze dit bewezen?

De onderzoekers hebben drie proeven gedaan om dit te checken:

1. De "Ruimte" Proef
Ze gaven de robots steeds meer ruimte (meer "Einde"-woorden).

• Resultaat: De robots werden slimmer! Ze losten lastige puzzels (zoals Sudoku's of het bijhouden van objecten in dozen) beter op als ze meer "Einde"-woorden mochten gebruiken.
• Vergelijking: De traditionele robots (die woord voor woord schrijven) werden niet slimmer door meer ruimte. Ze hadden gewoon een langere uitleg nodig om te denken. De diffusie-robots dachten "stil" in de lege ruimte.

2. De "Lege Stoel" Proef
Ze hielden het aantal rekenstappen gelijk, maar voegden handmatig extra "Einde"-woorden toe aan de start.

• Resultaat: Zelfs zonder meer rekenstappen, werden de robots slimmer door simpelweg meer "Einde"-woorden toe te voegen. Dit bewijst dat die lege woorden echt als een hulpmiddel dienen.

3. De "Magische Ruil" Proef (De meest coole test!)
Dit is het bewijs dat het echt "denken" is.

• Ze namen een robot die een vraag over Doos A had beantwoord.
• Ze namen de "gedachten" (de interne code) van de "Einde"-woorden van die robot.
• Ze plakten die gedachten in een robot die een vraag over Doos B moest beantwoorden.
• Resultaat: De robot die over Doos B moest denken, gaf plotseling het antwoord voor Doos A!
• Conclusie: De "Einde"-woorden bevatten dus echt de berekeningen. Ze zijn niet leeg; ze zijn vol met informatie.

Waarom is dit belangrijk?

Tot nu toe dachten we dat slimme AI's hun gedachten hardop moesten zeggen (zoals "Eerst doe ik dit, dan dat..."). Dit paper laat zien dat er een andere manier is: stil denken.

• Efficiëntie: Diffusie-robots kunnen moeilijke problemen oplossen met heel weinig zichtbare woorden, zolang ze maar genoeg "ruimte" (EoS-tokens) hebben om in stilte te rekenen.
• Vergelijking: Traditionele robots zijn als iemand die een lange, gedetailleerde uitleg schrijft. Diffusie-robots zijn als iemand die in zijn hoofd een heel groot notitieblok heeft, maar alleen het eindresultaat opschrijft.

Samenvatting in één zin

Deze paper toont aan dat nieuwe AI-modellen (diffusie-LLM's) slimmer worden door extra "lege" plekken in hun antwoord te gebruiken als een verborgen notitieblok, waardoor ze complexe problemen kunnen oplossen zonder hun gedachten hardop te hoeven zeggen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Diffusion LLMs can think EoS-by-EoS" in het Nederlands.

Titel: Diffusion LLMs kunnen "EoS-by-EoS" denken

Auteurs: Sarah Breckner en Sebastian Schuster (Universiteit van Wenen)

---

1. Het Probleem

Diffusiemodellen voor taal (Diffusion LLMs) zijn een alternatief voor autoregressieve Large Language Models (LLMs) en presteren opmerkelijk goed bij complexe redeneertaken met onderling afhankelijke subdoelen, zoals Sudoku en code-infilling. Echter, de reden voor deze superieure prestaties is grotendeels onbekend.

Er is een curieuze observatie: de prestaties van diffusiemodellen verbeteren aanzienlijk wanneer de generatielengte (het aantal tokens dat het model moet genereren) hoger wordt ingesteld dan strikt noodzakelijk is voor het antwoord. In deze gevallen vult het model het extra ruimte op met End-of-Sequence (EoS) tokens. De vraag is: waarom helpt het toevoegen van semantisch "lege" EoS-tokens het redeneervermogen?

2. Hypothese en Kernidee

De auteurs hypothetiseren dat diffusiemodellen "EoS-by-EoS" denken. Dit betekent dat het model de verborgen representaties van de EoS-tokens gebruikt als een verborgen kladblok (hidden scratchpad). In tegenstelling tot expliciete "Chain-of-Thought" (CoT) redenering, waarbij het model zichtbare stappen schrijft, gebruiken diffusiemodellen deze EoS-tokens voor impliciete, latente berekeningen zonder de output te verstoren.

3. Methodologie

De auteurs hebben drie experimenten uitgevoerd om deze hypothese te testen, gebruikmakend van drie diffusiemodellen (LLaDA1.5, LLaDA2.0-mini, Dream-v0) en twee autoregressieve baselines (Llama3.1, Qwen3). De geteste taken waren:

• Optellen: Wiskundige sommen (2 tot 6 operanden).
• Entiteitstracking: Het volgen van objecten in dozen na een reeks operaties.
• Sudoku: Het oplossen van 4x4-puzzels.

Experiment 1: Prompting-experiment (Invloed van generatielengte)

• Opzet: De totale generatielengte werd systematisch verhoogd (van 20 tot 80 tokens), terwijl het aantal te behouden tokens per stap constant werd gehouden (decoding steps = 50% van de lengte).
• Doel: Kijken of een langere generatielengte (en dus meer EoS-tokens) de nauwkeurigheid verbetert.

Experiment 2: Gecontroleerd prompting-experiment (Isolatie van EoS-tokens)

• Opzet: Het aantal decoding-steps en het aantal maskers (te voorspellen tokens) werden constant gehouden. Er werd handmatig een variabele hoeveelheid EoS-tokens aan het begin van de generatie toegevoegd.
• Doel: Het effect van het aantal decoding-steps uitsluiten en puur het effect van de aanwezigheid van EoS-tokens meten.

Experiment 3: Interventie-experiment (Causale patching)

• Opzet: Een causale interventie waarbij de verborgen staten (hidden states) van de EoS-tokens van een generatie met een counterfactual prompt (bijv. een andere som of een andere doos in de tracking-taak) werden "gepatcht" in de generatie van de originele prompt.
• Doel: Controleren of de EoS-tokens daadwerkelijk informatie bevatten over de berekening. Als de output verandert naar het antwoord van de counterfactual, bewijst dit dat de EoS-tokens als rekenruimte dienen.

Experiment 4: Vergelijking met expliciete Chain-of-Thought (CoT)

• Opzet: Vergelijking tussen "EoS-by-EoS" denken (verborgen) en expliciete tekstuele CoT, zowel met gelijke token-begrotingen als met een zeer hoge token-begroting (1504 tokens).

4. Belangrijkste Resultaten

1. Generatielengte en Prestaties:

   • Voor diffusiemodels neemt de nauwkeurigheid toe naarmate de generatielengte toeneemt, zelfs als het antwoord al volledig is gegenereerd en de rest EoS-tokens zijn.
   • Autoregressieve modellen (Llama, Qwen) presteren niet beter met een langere generatielengte als er geen expliciete redenering wordt gevraagd; ze profiteren alleen van CoT.
   • Diffusiemodellen presteren robuuster bij moeilijke problemen (meer operanden, meer operaties) met een hogere generatielengte.

2. Het Effect van EoS-tokens:

   • In het gecontroleerde experiment leidde het toevoegen van EoS-tokens (bijv. 4 tokens) tot een directe stijging in nauwkeurigheid, zelfs bij een vast aantal decoding-steps.
   • Dit bewijst dat de verbetering niet komt door meer iteraties, maar door de aanwezigheid van de EoS-tokens zelf.
   • Uitzondering: LLaDA2.0-mini presteerde slecht met extra EoS-tokens. Dit wordt toegeschreven aan de "block-causal attention" architectuur van dit model, die de toegang tot achterliggende tokens beperkt, in tegenstelling tot de volledige bidirectionele attention van de andere modellen.

3. Causale Interventie:

   • Het patchen van de hidden states van EoS-tokens met die van een counterfactual prompt veranderde de output van het model significant.
   • Bijvoorbeeld: Als de EoS-tokens van een som "12 + 5" werden vervangen door die van "12 - 5", veranderde het antwoord van het model naar het resultaat van de aftrekking.
   • Dit bevestigt dat de EoS-tokens informatie dragen over het probleem en als werkgeheugen fungeren.

4. Efficiëntie vs. CoT:

   • "EoS-by-EoS" denken is efficiënter voor eenvoudige tot gemiddelde problemen. Het vereist veel minder tokens dan een expliciete Chain-of-Thought.
   • Autoregressieve modellen en LLaDA2.0 profiteren het meest van expliciete, lange CoT, maar dit kost aanzienlijk meer rekenkracht en tokens.
   • De beste strategie voor LLaDA1.5 en Dream is het toevoegen van slechts 4 EoS-tokens aan de start, wat de beste resultaten oplevert met minimale overhead.

5. Bijdragen en Significance

• Nieuw Inzicht in Diffusie-LLMs: Het paper onthult dat diffusiemodellen een unieke vorm van "stil denken" hanteren. Ze gebruiken semantisch lege tokens (EoS) als een latent scratchpad, wat een fundamenteel verschil is met autoregressieve modellen die expliciete tekst genereren voor redenering.
• Hyperparameter Optimalisatie: Het toont aan dat de generatielengte een cruciale hyperparameter is voor diffusiemodellen. Het simpelweg verhogen van de lengte (en dus het aantal EoS-tokens) kan de redeneercapaciteit vergroten zonder de modelarchitectuur te wijzigen.
• Efficiëntie: De methode "EoS-by-EoS" biedt een zeer efficiënte manier om complex redeneren te activeren met een minimale token-begroting, in tegenstelling tot de vaak lange en dure Chain-of-Thought prompts.
• Causaal Bewijs: Door middel van activation patching leveren de auteurs causaal bewijs dat deze "lege" tokens daadwerkelijk computationele informatie bevatten, wat de theorie van latent reasoning ondersteunt.

Conclusie:
Diffusie-LLMs kunnen effectief "EoS-by-EoS" denken. Ze gebruiken de extra ruimte die wordt opgevuld met EoS-tokens niet als ruis, maar als een essentieel werkgeheugen voor complexe berekeningen. Dit biedt een nieuwe richting voor het optimaliseren van diffusiemodellen voor redeneertaken, waarbij het toevoegen van een klein aantal EoS-tokens vaak voldoende is om de prestaties te maximaliseren.