🤖 machine learning

Scheduling Thoughts: Learning the Order of Thought in Diffusion Language Models

Dit artikel introduceert Self-Aware Scheduling (SAS), een principieel kader dat de volgorde van token-unmasking in gemaskeerde diffusie-taalmodellen optimaliseert door een hanteerbare bovengrens op decoding-mismatch af te leiden om een lichtgewicht beleid te trainen, waardoor de generatiekwaliteit op taken zoals Sudoku en wiskundige redenering aanzienlijk wordt verbeteren vergeleken met heuristische schema's.

Oorspronkelijke auteurs: Jiawei Xu, Minghui Liu, Aakriti Agrawal, Yifan Chen, Furong Huang

Gepubliceerd 2026-06-23

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Jiawei Xu, Minghui Liu, Aakriti Agrawal, Yifan Chen, Furong Huang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Hoe een Robot "Denkt" Is Belangrijk

Stel je voor dat je probeert een enorme legpuzzel op te lossen, maar je kunt de afbeelding op de doos niet zien. Je moet raden waar elk stukje thuishoort.

De meeste AI-modellen (zoals diegene die essays of code schrijven) werken als een persoon die een boek leest: ze schrijven één woord, dan het volgende, dan het volgende, in een strikte lijn van links naar rechts. Dit wordt Autoregressieve generatie genoemd.

Een nieuw type AI, een Diffusiemodel, werkt echter anders. Stel je een puzzel voor waarbij elk stukje bedekt is door een zwart vierkant (een "masker"). De taak van de AI is om deze stukjes één voor één te onthullen totdat de hele afbeelding zichtbaar is.

Het Probleem: De AI heeft een keuze. Hij kan de stukjes in elke gewenste volgorde onthullen.

Het zou kunnen beginnen met de hoekstukjes (makkelijk).
Het zou kunnen beginnen met de middelste stukjes (moeilijk).
Het zou gewoon willekeurige stukjes kunnen kiezen.

In het verleden vertelden wetenschappers de AI om stukjes te kiezen op basis van eenvoudige regels, zoals "kies altijd het stukje dat op dit moment het meest zeker lijkt." De auteurs noemen deze regels Heuristische Schema's. De auteurs beargumenteren dat deze regels "myopic" (kortzichtig) zijn. Ze kiezen eerst de makkelijke stukjes, maar dat kan het oplossen van de rest van de puzzel later juist moeilijker maken.

De Oplossing: "Zelfbewuste Planning" (SAS)

De auteurs creëerden een nieuwe methode genaamd Self-Aware Scheduling (SAS). In plaats van een starre regel te volgen, leert de AI zijn eigen "volgorde van denken".

Denk aan een student die een toets maakt:

De Oude Manier (Heuristisch): De student kijkt naar de toets en beantwoordt direct elke vraag waarvan hij 100% zeker is, en slaat de moeilijke vragen over tot het einde. Als de makkelijke vragen niet genoeg aanwijzingen geven voor de moeilijke vragen, loopt de student vast.
De SAS-manier: De student kijkt naar de hele toets en vraagt zich af: "Als ik eerst Vraag 5 beantwoord, geeft dat mij dan de aanwijzingen die ik nodig heb om Vraag 10 op te lossen?" De student leert de vraag te kiezen die het eenvoudigst maakt om de rest van de toets af te ronden, zelfs als die vraag op dit moment niet de makkelijkste is om te beantwoorden.

Hoe het Werkt (Het "Geheime Recept")

Het paper gebruikt wat ingewikste wiskunde, maar het concept is simpel:

De "Zelfbewuste" Beloning: De AI heeft een "brein" (het model) dat al getraind is. Het nieuwe deel is een "manager" (de policy) die de volgorde bepaat.
De Test: De manager probeert verschillende volgordes uit om de puzzel te onthullen.
De Score: In plaats van te wachten tot het einde om te zien of de puzzel is opgelost (wat traag en zeldzaam is), controleert de manager: "Hoe goed verklaart mijn brein het antwoord op dit moment, gegeven de volgorde die ik net heb gekozen?"
- Als de volgorde ervoor zorgt dat het brein zich zelfverzekerd en logisch voelt, krijgt de manager een hoge score.
- Als de volgorde het brein in de war brengt, is de score laag.
Leren: De manager gebruikt deze score om te leren welke volgordes het beste werken. Het is als een coach die tegen een speler zegt: "Ren niet alleen snel; ren in de richting die helpt om het hele team te laten winnen."

Wat Ze Hebben Gevonden (De Resultaten)

De onderzoekers hebben dit getest op drie verschillende soorten puzzels:

Sudoku (Logische Puzzels):
- Ze gebruikten een AI met 1 miljard parameters.
- Oude Manier: De beste "regelgebaseerde" methode loste ongeveer 82% van de puzzels op.
- SAS-manier: De AI leerde zijn eigen volgorde en loste 91,8% van de puzzels op.
- Verrassing: Zelfs de "logische" volgorde van een menselijke expert (eerst de makkelijkste getallen oplossen) was slechter dan de volgorde die de AI leerde! De AI vond een ander pad dat beter werkte voor zijn specifieke "brein".
Wiskundige Problemen (GSM8K):
- Ze gebruikten een grotere AI (8 miljard parameters).
- Oude Manier: Loste 64% van de problemen correct op.
- SAS-manier: Loste 76% correct op.
Coderen (MBPP):
- Oude Manier: Loste 39,5% van de problemen op.
- SAS-manier: Loste 41% op.

De "Tweede Fase" Bonus

Het paper vond ook dat zodra de AI de beste volgorde om te denken heeft geleerd, je de AI extra specifieke training kunt geven op dat pad.

Het is als een muzikant die leert wat de beste manier is om een nummer te oefenen, en vervolgens alleen op die manier oefent tot hij het beheerst.
Bij Sudoku bracht deze extra stap de nauwkeurigheid van 91,8% omhoog naar 97,5%.

Waarom Dit Belangrijk Is

Het paper beweert dat hoe een AI denkt (de volgorde waarin informatie wordt onthuld) net zo belangrijk is als wat het weet. Door de AI te leren om zijn eigen denkpad te plannen, in plaats van hem te dwingen een starre regel te volgen, kunnen we het veel slimmer maken in het oplossen van complexe problemen zoals wiskunde, logica en programmeren.

Kortom: Het paper leert AI om te stoppen met alleen maar "het volgende woord raden" en te beginnen met "het beste pad naar het antwoord plannen".

Technische Samenvatting: Scheduling Thoughts (SAS)

1. Probleemstelling

Masked Diffusion Models (MDM's) genereren discrete sequenties door iteratief tokens te ontmaskeren, een proces dat een flexibel alternatief biedt voor de vaste links-naar-rechts factorisatie van autoregressieve modellen. Deze flexibiliteit introduceleert echter een kritieke vrijheidsgraad: de volgorde van het denken (het ontmaskeringsschema).

Huidige benaderingen vertrouwen op heuristische schema's (bijv. het selecteren van tokens op basis van lokale zekerheid, marge of entropie). De auteurs stellen dat deze heuristieken "myopic" (kortzichtig) zijn: ze optimaliseren de onmiddellijke volgende stap in plaats van de globale decoderingsbaan. Bijgevolg selecteren ze vaak "makkelijke" tokens die lokaal zeker zijn, maar er niet in slagen om restricties effectief te propageren voor toekomstige stappen. Bovsamen kunnen zelfs door experts ontworpen logische volgordes (bijv. menselijke strategieën voor het oplossen van Sudoku's) suboptimaal zijn voor een specifieke voorgetrainde diffusiemodel, aangezien de conditionele voorspellingen van het model het meest betrouwbaar kunnen zijn langs paden die afwijken van de menselijke logica.

Het kernprobleem is het leren van een optimale ontmaskeringsvolgorde die de kwaliteit van de generatie maximaliseert zonder het basis-diffusiemodel opnieuw te trainen, waarbij de onhandelbaarheid van het zoeken over $n!$ mogelijke volgordes wordt geadresseerd.

2. Methodologie: Self-Aware Scheduling (SAS)

Het artikel stelt Self-Aware Scheduling (SAS) voor, een plug-and-play framework dat een lichtgewicht volgordebeleid ( $v_\phi$ ) leert terwijl het basis-diffusiemodel ( $p_\theta$ ) bevroren blijft.

Theoretische Fundering

De auteurs kaderen diffusie-decodering als een latent-order generatief proces. Ze streven ernaar de Kullback–Leibler (KL) divergentie te minimaliseren tussen de ware datadistributie $\pi(x)$ en de distributie geïnduceerd door het decoderingsproces $P^{seq}_{\theta,\phi}(x)$ .

Onhandelbaarheid: Het direct minimaliseren van deze KL-divergentie is onhandelbaar vanwege de noodzaak om te middelen over alle $n!$ decorderingsvolgordes.
Hanteerbare Bovenlimiet: De auteurs leiden een hanteerbare bovenlimiet af op deze mismatch. Ze tonen aan dat het minimaliseren van de KL-divergentie equivalent is (op een constante na) aan het minimaliseren van een gezamenlijke KL-mismatch tussen de gezamenlijke data-beleidsdistributie en de gezamenlijke model-beleidsdistributie.
Self-Aware Beloning: Deze afleiding levert een dichte, model-zelfbewuste beloningsfunctie op, gedefinieerd als de pathwise log-likelihood van de doelsequentie onder de bevroren denoiser:
$R_\theta(x, \sigma) = \log p_\theta(x | \sigma) = \sum_{t=1}^n \log p_{i_t}^\theta(x_{i_t} | \tilde{x}^{(t-1)}(\sigma))$
Deze beloning kent krediet toe aan elke onthullingsbeslissing op basis van hoe goed het model de data kan verklaren wanneer het wordt gedwongen de tokens in die specifieke volgorde te onthullen.

Algoritme

Parameterisatie van het Beleid: Het volgordebeleid $v_\phi$ is een lichtgewicht neuraal netwerk (bijv. MLP of Transformer) dat een categorische distributie over de momenteel gemaskeerde posities output.
Optimalisatie: Het beleid wordt getraind met behulp van Group Relative Policy Optimization (GRPO). Het proces wordt geformuleerd als een Markov Decision Process (MDP) met een eindig horizontont.
- Toestand (State): Gedeeltelijk onthulde sequentie.
- Actie (Action): Selecteer de volgende index om te ontmaskeren.
- Beloning (Reward): De log-likelihood van de grondwaarheidstoken op die positie gegeven de huidige context (Teacher-forced).
Twee-fasen Framework:
1. Order Learning: Optimaliseer $\phi$ met $\theta$ bevroren om de beste trajectorie voor het bestaande model te vinden.
2. Tweede-fase Fine-tuning: Optioneel het geleerde volgordebeleid bevriezen en het diffusiemodel $\theta$ finetunen langs de geleerde trajectorieën om fouten verder te reduceren.

3. Belangrijkste Bijdragen

Theorie: Het artikel leidt een hanteerbare bovenlimiet af die de decoderingsmismatch (KL-divergentie) koppelt aan de cumulatieve pathwise log-likelihood van de denoiser. Dit vestigt een theoretische rechtvaardiging voor het gebruik van de eigen likelihood van het model als een dichte beloning voor volgordeselectie.
Algoritme (SAS): Introductie van een plug-and-play framework dat een ontmaskeringsvolgorde-beleid leert via GRPO. Het is toepasbaar op zowel any-order sequential decoding als semi-autoregressive (block) decoding.
Empirische Validatie: Demonstratie dat het optimaliseren van de volgorde van het denken substantiële, consistente verbeteringen oplevert ten opzichte van heuristische en expert-schema's over diverse redeneertaken (Sudoku, Wiskunde, Code) en model-schalen (1B tot 8B parameters).

4. Experimentele Resultaten

Sudoku (1B Model)

Prestaties: SAS verbeterde de puzzelnauwkeurigheid van 82,0% (beste heuristiek: Confidence) naar 91,8%.
Vergelijking: Het geleerde beleid presteerde significant beter dan een menselijke expert-volgorde (76,6%), wat suggereert dat voor imperfecte diffusiemodellen de optimale route niet noodzakelijkerwijs de menselijke logische route is.
Analyse: Visualisatie toonde aan dat het beleid een "easy-to-hard" curriculum adopteert, waarbij eerst tokens met een hoge zekerheid (naked singles) worden opgelost om restricties te propageren, maar afwijkt van de menselijke logica waar dat voordelig is.
Tweede fase: Het finetunen van het model langs de geleerde trajectorieën verhoogde de nauwkeurigheid verder naar 97,5%.

Wiskundig Redeneren (LLaDA-8B)

GSM8K: Pass@1 verbeterde van 64% naar 76%.
MBPP (Code): Pass@1 verbeterde van 39,5% naar 41%.
Generalisatie: Het geleerde beleid bleef robuust bij variërende generatielengtes (128 tot 512) en blokgroottes (semi-autoregressive decoding), waarbij het consequent de baselines inclusief Left-to-Right heuristieken versloeg.

Cross-Domain Transfer

Beleid getraind op wiskundige taken vertaalde effectief naar code-taken (en vice versa), waarbij het de sterkste heuristische baselines in alle geteste settings versloeg. Dit geeft aan dat het beleid overdraagbare scheduling-principes leert met betrekking tot informatiedichtheid in plaats van taakspecifieke patronen te memoriseren.

Vergelijking van Beloningen

Wanneer vergeleken met een ijle (sparse) 0/1 terminal beloning (correct/incorrect antwoord), bood de dichte self-aware beloning meer stabiele en vaak superieure prestaties, wat het voordeel van dichte, model-consistente signalen boven ijle terminale feedback benadrukt.

5. Betekenis en Claims

Het artikel positioneert decorderingsvolgorde als een controleerbaar en optimaliseerbaar "redeneer-primitief". De auteurs beweren dat men, naast het leren wat te genereren, ook kan leren wanneer men zich aan elk stuk informatie committeert.

Geprincipeerde Optimalisatie: In tegen afhankelijk van heuristische schema's die de lokale onzekerheid optimaliseren, optimaliseert SAS voor de globale trajectorie-likelihood, waardoor het decoderingspad wordt uitgelijnd met de voorspellende sterktes van het model.
Efficiëntie: De aanpak is computationeel efficiënt, omdat het slechts de training van een lichtgewicht beleid vereist in plaats van dure reinforcement learning updates op de volledige diffusie-backbone.
Zelfverbetering: Het framework suggereert een praktische weg naar zelfverbeterende diffusie-LLM's via iteratieve scheduling en modelverfijning, waarbij het model zijn eigen meest betrouwbare redeneerpaden leert.

De auteurs erkennen beperkingen, waaronder het potentiële gat tussen teacher-forced training en free-running inference, en de huidige afhankelijkheid van per-taak training voor beleidsleren, waarbij zij opmerken dat cross-domain transfer veelbelovend is maar nog niet volledig gekarakteriseerd is.