Stel je voor dat je een robot probeert te leren een verhaal te schrijven of een wiskundig probleem op te lossen. Lange tijd was de beste manier om dit te doen de robot te leren om één woord tegelijk te spreken, strikt van links naar rechts, zoals een mens een boek leest. Dit wordt "autoregressieve" generatie genoemd. Het werkt goed, maar het is een beetje rigide. Als de robot een fout maakt in de eerste zin, moet hij de rest van het verhaal op basis van die fout blijven schrijven, of hij moet helemaal opnieuw beginnen. Hij kan niet gemakkelijk terugspringen om het begin te herstellen terwijl hij het midden schrijft, zoals een menselijke redacteur dat doet.

Onlangs ontdekten wetenschappers een nieuw type AI genaamd een "Masked Diffusion Model". Denk aan dit als een "invul-de-blanks"-spel. In plaats van woorden één voor één te schrijven, kijkt de AI naar een zin waarin sommige woorden verborgen (gemaskeerd) zijn en probeert te raden wat ze zijn. Omdat de AI elk verborgen woord op elk moment kan bekijken, zou hij in theorie in staat moeten zijn om rond te springen, het begin te herstellen, dan het einde, dan het midden, in elke volgorde die hij wil. Dit wordt "any-order inference" genoemd. Het klinkt als het perfecte hulpmiddel voor complexe taken zoals programmeren, waarbij programmeurs vaak schakelen tussen het grote plaatje en de kleine details. Maar hier is de crux: alleen omdat de AI de mogelijkheid heeft om rond te springen, betekent dat niet dat hij het ook daadwerkelijk doet.

Dit paper onderzoekt waarom deze krachtige "invul-de-blanks"-robots vaak in een sleur terechtkomen en zich gedragen als de oude "van links naar rechts"-robots, ondanks de vrijheid die ze hebben om iets anders te doen. De auteurs, een team onderzoekers van de University of Texas at Austin en Harvard University, ontdekten een verborgen valstrik genaamd "positional uncertainty" (positionele onzekerheid). Ze ontdekten dat hoewel de AI misschien weet wat voor woord het nodig heeft (zoals een specifieke functie in een computerprogramma), de AI verward raakt over waar dat woord in de uiteindelijke zin moet komen te staan. Omdat de AI onzeker is over de locatie, speelt hij op safe en vult hij de lege plekken in een saaie, voorspelbare volgorde in, waardoor hij de creatieve, niet-lineaire denkstijl mist waar hij juist goed in zou moeten zijn.

Om dit op te lossen, hebben de onderzoekers de robot niet alleen meer zelfvertrouwen gegeven; ze gaven hem twee nieuwe superkrachten. De eerste is alsof je de robot een schaar en een lijmstift geeft. In plaats van vast te zitten aan een vast aantal lege plekken, kan de robot nieuwe lege plekken invoegen waar hij dat nodig heeft, waardoor de hele zin verschuift om ruimte te maken voor nieuwe ideeën. De tweede superkracht is alsof je de robot leert om in "chunks" of "paragrafen" te denken in plaats van in individuele woorden. In plaats van één letter tegelijk te raden, raadt hij hele blokken betekenis tegelijk, waardoor hij kan beslissen welk groot idee hij als volgende gaat bouwen zonder verloren te raken in de details.

Het team testte deze ideeën op computerprogrammering en wiskundige problemen. Ze ontdekten dat de robots door deze nieuwe methoden daadwerkelijk meer gingen denken als menselijke programmeurs, waarbij ze heen en weer sprongen tussen verschillende delen van de code om hun werk te verfijnen. Dit leidde tot betere resultaten, waarbij de robots meer problemen correct oplosten dan voorheen. Het paper suggereert dat om AI echt te laten redeneren zoals een mens, we modellen moeten ontwerpen die niet alleen de capaciteit hebben om rond te springen, maar die ook zo gebouwd zijn dat rondspringen de natuurlijke, gemakkelijke keuze is.

Het Probleen: De "Fixed Canvas" Valstrik

De onderzoekers begonnen met de vraag waarom deze "invul-de-blanks"-modellen (Masked Diffusion Models, of MDM's) niet aan de verwachtingen voldeden. In theorie zou een MDM in staat moeten zijn om elk verborgen token in een sequentie op elk gewenst moment te onthullen. Als je de AI vraagt een Python-programma te schrijven, zou hij de functienaam kunnen schrijven, dan naar de loop kunnen springen, en dan terug naar de variabele definitie kunnen gaan, allemaal in een chaotische, menselijke volgorde.

Toch zagen ze bij het observeren van de modellen iets teleurstellends. Hoewel de modellen de vrijheid hadden om elke volgorde te kiezen, kozen ze bijna altijd om de lege plekken van links naar rechts in te vullen, net als de ouderwetse robots. De auteurs noemen dit "causal collapse". Het is alsof de robot een kaart van de hele stad heeft, maar toch besluit om elke dag slechts één blokje verder te lopen, waarbij hij alle afkortingen negeert.

Het paper betoogt dat dit niet slechts een slechte gewoonte is, maar een fundamenteel gebrek in de bouw van deze modellen. Het probleem is positional uncertainty. Stel je voor dat je een LEGO-kasteel bouwt. Je weet dat je een "toren"-stuk nodig hebt. Maar je weet nog niet precies waar de toren komt te staan, omdat je de muren eromheen nog niet hebt gebouwd. Als je de toren nu probeert te plaatsen, plaats je hem misschien op de verkeerde plek.

In een standaard MDM is het "canvas" (de sequentie van tokens) vast. Het model moet beslissen: "Zet ik het woord 'return' hier, of daar, of daar?" De kwestie is dat de AI wel weet wat voor woord hij nodig heeft (zoals een specifieke functie in een computerprogramma), maar verward raakt over waar dat woord in de uiteindelijke zin moet komen te staan. Omdat de AI onzeker is over de locatie, speelt hij op safe en vult hij de lege plekken in een saaie, voorspelbare volgorde in, waardoor hij de creatieve, niet-lineaire denkstijl mist die hij juist zou moeten hebben.

Als je de toren nu probeert te plaatsen, plaats je hem misschien op de verkeerde plek. In een standaard MDM is het "canvas" (de sequentie van tokens) vast. Het model moet beslissen: "Zet ik het woord 'return' hier, of daar, of daar?" Als het model weet dat het een 'return'-statement nodig heeft, maar niet zeker weet of dit binnen of na een loop hoort, wordt zijn vertrouwen verdeeld over al die mogelijke plekken. Omdat het vertrouwen verspreid is, voelt het model zich "minder zeker" over het plaatsen van dat 'return'-statement dan over het plaatsen van een simpel woord dat duidelijk volgt op het vorige. Om veilig te spelen, vult het dus eerst de makkelijke, lokale woorden in, waardoor het zichzelf effectief opsluit in een volgorde van links naar rechts. Het paper laat zien dat dit gebeurt, zelfs wanneer het model zeer intelligent is; het vaste raster van het canvas dwingt het tot voortijdige keuzes.

De Oplossing 1: FlexMDM (De Schaar en de Lijmstift)

Om het "waar zet ik dit?"-probleem op te lossen, is de eerste oplossing genaamd FlexMDM. Deze aanpak verandert de regels van het spel door het vaste canvas te verwijderen.

Stel je voor dat je een verhaal schrijft op een stuk papier, maar in plaats van vast te zitten aan de lijnen die je bent begonnen, heb je een magische gum en een lijmstift. Als je een zin schrijft en beseft dat je midden in de tekst een nieuwe alinea nodig hebt, kun je magisch een nieuwe regel ruimte invoegen. De woorden die je eerder hebt geschreven, schuiven op om ruimte te maken.

FlexMDM doet precies dit. Het stelt het model in staat om nieuwe tokens (of masks) te invoegen tijdens het generatieproces. Wanneer het model een token onthult, hoeft het zich niet te committeren aan een permanente plek in de uiteindelijke sequentie. Later, als het model besluit dat het meer ruimte of een andere structuur nodig heeft, kan het nieuwe gaten invoegen, waarna de eerder onthulde tokens naar hun nieuwe, juiste positie verschuiven.

Deze eenvoudige verandering doorbreekt de valstrik van "positional uncertainty". Het model hoeft zich niet langer af te vragen: "Is dit de juiste plek?", want de plek kan bewegen. De onderzoekers ontdekten dat dit de AI in staat stelde om code op een veel menselijker niveau te genereren. In plaats van een regel volledig af te maken voordat de volgende begint, kon het model een functienaam ontwerpen, dan naar een loop springen om deze te schrijven, en dan weer teruggaan om de details van de functie in te vullen. Ze maten dit door naar de "boomstructuur" van de code te kijken en ontdekten dat FlexMDM veel vaker tussen verschillende takken van de code sprong, terwijl het standaardmodel gewoon recht naar beneden marcheerde.

In hun tests verfijnden ze een model met 7 miljard parameters (Dream-Coder) om deze methode te gebruiken. Op coding-benchmarks zoals HumanEval en MBPP presteerde dit nieuwe "flexibele" model beter dan het origineel, vooral wanneer ze het model toestonden om meerdere pogingen te doen (Pass@16). Het toonde aan dat door het model het canvas te laten herschikken, het meer creatieve oplossingen kon verkennen.

De Oplossing 2: LatentMDM (Denken in Chunks)

De tweede oplossing, LatentMDM, hanteert een andere aanpak. In plaats van te vechten met de positie van individuele woorden, verandert het het niveau waarop het model denkt.

Stel je voor dat je een film probeert te beschrijven aan een vriend. Als je probeert het woord voor woord te doen ("De man liep, toen stopte hij, toen keek hij..."), is het moeilijk om het grote plaatje te krijgen. Maar als je het beschrijft in "scènes" of "chunks" ("Eerst komt de held de kamer binnen. Dan ziet hij de schurk. Ten slotte vechten ze."), is het veel gemakkelijker om rond te springen. Je kunt zeggen: "Laten we eerst over de vechtscène praten," zonder je zorgen te maken over de exacte woorden die in de introductiescène worden gebruikt.

LatentMDM doet dit door tokens te groeperen in semantische segmenten (zoals regels code of logische blokken) en elk segment te behandelen als een enkele eenheid in een "latente ruimte" (een gecomprimeerde, abstracte representatie van betekenis). In plaats van één token tegelijk te raden, raadt het model welk segment het als volgende zal onthullen.

Dit verplaatst de "positional uncertainty" van het niveau van individuele woorden naar het niveau van hele ideeën. Het model hoeft zich geen zorgen te maken over of een specifief woord in positie 5 of 6 komt te staan; het beslist simpelweg: "Ik ga nu het 'loop'-segment schrijven." Omdat de segmenten grover zijn, kan het model veel zekerder zijn over de volgorde van de ideeën, zelfs als de exacte woorden binnen hen nog worden uitgewerkt.

De onderzoekers trainden een kleiner model van 125 miljoen parameters vanaf nul met deze methode op een wiskundige dataset genaamd TinyGSM. Ze ontdekten dat dit model daadwerkelijk kon kiezen om segmenten in een niet-links-naar-rechts volgorde te onthullen, iets wat de standaardmodellen niet effectief konden. Sterker nog, LatentMDM presteerde beter dan standaardmodellen en zelfs sommige grotere autoregressieve modellen op wiskundige problemen, terwijl het sneller draaide. Dit suggereert dat door in "chunks" te denken, het model de oplossingsruimte efficiënter kan navigeren en het juiste pad vindt zonder vast te lopen in de details.

Wat dit betekent

Het paper concludeert dat het hebben van de interface voor any-order inference (de mogelijkheid om elk gat te kiezen) niet genoeg is. De interne mechanica van het model moet dit ook ondersteunen. Als het model vastzit op een vast raster van woorden, zal het van nature vervallen in een links-naar-rechts volgorde omdat het te bang is om een fout te maken over waar dingen komen te staan.

Door ofwel het raster flexibel te maken (FlexMDM) of door in grotere chunks te denken (LatentMDM), lieten de onderzoekers zien dat AI echt kan ontsnappen aan de "links-naar-rechts"-gewoonte. Deze modellen genereren niet alleen tekst; ze genereren deze met een structuur die nabootst hoe mensen echt denken en complexe zaken opbouwen — door heen en weer te springen, ideeën te verfijnen en verschillende paden te verkennen voordat ze tot een definitieve oplossing komen.

De auteurs merken er voorzichtig bij op dat dit veelbelovende stappen zijn, maar geen definitieve oplossing voor alle problemen van AI-redeneren. Ze testten deze ideeën primair op programmeren en wiskunde, en hoewel de resultaten sterk waren, suggereren ze dat er meer werk nodig is om te zien of deze "any-order" gedragingen ook werken voor andere soorten taken of op grotere schaal. Maar de kernboodschap is duidelijk: om AI te laten redeneren zoals een mens, moeten we stoppen met het dwingen om te schrijven als een typemachine en het beginnen te laten denken als een architect.