🤖 AI

Generative Recursive Reasoning

Dit artikel introduceert Generatieve Recursieve Redeneringsmodellen (GRAM), een probabilistisch raamwerk dat recursief redeneren verbetert door stochastische, multi-traject latente states-verfijning mogelijk te maken, waardoor schaalbaarheid tijdens inferentie, diverse hypothese-generatie en zowel conditioneel redeneren als onvoorwaardelijke generatie worden ondersteund.

Oorspronkelijke auteurs: Junyeob Baek, Mingyu Jo, Minsu Kim, Mengye Ren, Yoshua Bengio, Sungjin Ahn

Gepubliceerd 2026-05-20

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Junyeob Baek, Mingyu Jo, Minsu Kim, Mengye Ren, Yoshua Bengio, Sungjin Ahn

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote Vraag: Hoe Moet AI Denken?

Stel je voor dat je een heel moeilijk raadsel probeert op te lossen, zoals een complexe Sudoku of een logische raadsel.

Oude AI (Autoregressieve Modellen): Deze zijn als een persoon die zijn gedachten één voor één opschrijft, van begin tot eind. Als ze een fout maken in de eerste zin, moeten ze de rest van het verhaal met die fout erin blijven schrijven, of ze moeten helemaal opnieuw beginnen. Ze zijn "lineaire" denkers.
Recursieve AI (De Vorige Generatie): Deze modellen zijn als een persoon die "in zijn hoofd kan denken" zonder iets op te schrijven. Ze houden één idee in hun gedachten, verfijnen het, verfijnen het opnieuw en verfijnen het nogmaals totdat het goed voelt. Dit is efficiënt, maar het is alsof je een enkel pad bergafwaarts loopt. Als dat pad leidt tot een doodlopende weg, blijft de AI steken. Het heeft geen noodplan.

Het Probleem: Het paper stelt dat bestaande "recursieve" AIs te stijf zijn. Ze volgen één enkel pad naar een oplossing. Als dat pad verkeerd is, faalt de AI. Ze zijn deterministisch, wat betekent dat als je ze twee keer hetzelfde raadsel geeft, ze op precies dezelfde manier zullen denken en precies hetzelfde resultaat zullen krijgen (zelfs als dat resultaat verkeerd is).

De Oplossing: GRAM (De "Veel-Paden" Denker)

De auteurs introduceren GRAM (Generative Recursive reAsoning Models).

De Analogie: Het Wandelteam
Stel je voor dat je de uitgang moet vinden van een enorm, mistig doolhof.

De Oude Manier (Deterministische Recursie): Je stuurt één wandelaar. Die kiest een pad en loopt het af totdat hij tegen een muur loopt. Als hij tegen een muur loopt, zit hij vast. Hij kan niet terug en een andere route proberen, omdat hij geprogrammeerd is om dat ene specifieke pad te volgen.
De GRAM Manier: Je stuurt een heel team wandelaars (meerdere "trajecten").
1. Stochasticiteit (De "Wiggle"): In plaats van in een rechte lijn te lopen, mag elke wandelaar kleine, willekeurige omwegen maken. Soms stappen ze links, soms rechts. Deze willekeur helpt hen om verschillende delen van het doolhof te verkennen.
2. Parallelle Verkenning: Omdat je een team hebt, als één wandelaar vastloopt in een doodlopende weg, kan een andere wandelaar op een compleet ander pad zitten dat leidt naar de uitgang.
3. Verfijning: Alle wandelaars praten constant met elkaar (updaten hun interne staat) om slimmer te worden.

Hoe Het Werkt (De Mechanica)

Het paper beschrijft een tweelaagsysteem, wat vergelijkbaar is met het hebben van een Manager en een Werknemer:

De Werknemer (Laag niveau): Dit deel doet het zware werk. Het neemt het huidige idee en verfijnt het snel en nauwkeurig. Het is zeer gefocust en deterministisch (geen willekeur hier).
De Manager (Hoog niveau): Dit deel bepaalt de richting. Cruciaal is dat de Manager een beetje "willekeurige ruis" of "creatieve chaos" toevoegt aan het plan.
- Waarom? Om te voorkomen dat het team vastloopt in een lokale val (een doodlopende weg die eruitziet als een oplossing).
- Het Resultaat: De AI volgt niet zomaar één pad; het genereert een verdeling van mogelijke paden. Het zegt in feite: "Hier zijn 20 verschillende manieren waarop ik dit kan oplossen. Laten we kijken welke het beste werkt."

De Twee Superkrachten van GRAM

Het paper benadrukt twee hoofdmanieren waarop dit nieuwe systeem opschalen:

1. Diepte (Langer Denken)
Net als de oude recursieve modellen kan GRAM lang denken. Het kan een antwoord keer op keer verfijnen.

Analogie: Je kunt een diamant blijven polijsten totdat het schijnt.

2. Breedte (Breder Denken)
Dit is de nieuwe truc. In plaats van alleen langer te denken, kan GRAM parallel denken. Het kan 20 verschillende "wat-als" scenario's tegelijkertijd uitvoeren.

Analogie: In plaats van te proberen een Rubik's kubus op te lossen door één kant per keer te draaien gedurende 10 uur, stel je 20 verschillende mensen voor die verschillende kanten tegelijkertijd draaien, en kies je degene die het snelst opgelost is.
De Claim van het Paper: Deze "Breedte"-schaling is sneller en effectiever dan gewoon de AI langer laten denken (Diepte).

Waar Hebben Ze Het Op Getest?

De onderzoekers hebben niet alleen over theorie gesproken; ze hebben GRAM getest op specifieke, moeilijke raadsels waar vaak meerdere juiste antwoorden zijn of waar het makkelijk is om vast te lopen.

Sudoku (Het Beperkingsraadsel):
- Resultaat: GRAM loste extreem moeilijke Sudoku-puzzels veel beter op dan eerdere recursieve modellen. Het kreeg niet alleen het juiste antwoord; het vond het juiste antwoord sneller door verschillende mogelijkheden te verkennen.
N-Queens & Grafkleuring (Het "Veel Oplossingen" Raadsel):
- De Uitdaging: In deze puzzels zijn er tientallen of honderden geldige oplossingen. Oude AIs zouden vastlopen op slechts één oplossing en de andere missen (of falen als die ene oplossing geblokkeerd was).
- Resultaat: Omdat GRAM veel paden verkent, kan het meerdere geldige oplossingen vinden voor dezelfde puzzel. Het lijdt niet aan "mode collapse" (waar het slechts één antwoord vindt).
Afbeeldingsgeneratie (De "Onvoorwaardelijke" Test):
- De Uitdaging: Kan deze logica werken zonder een raadsel op te lossen? Kan het gewoon een afbeelding "dromen"?
- Resultaat: Ja. Als het werd gevraagd om afbeeldingen (zoals cijfers uit de MNIST-dataset) vanaf nul te genereren, produceerde GRAM helderdere, nauwkeurigere afbeeldingen dan eerdere recursieve modellen. Het toonde aan dat het "denkproces" ook kan worden gebruikt voor "creëren".

De Conclusie

Het paper stelt dat GRAM een grote stap voorwaarts is omdat het "recursief redeneren" (denken in lussen) verandert van een stijf, enkelbaans proces in een flexibel, probabilistisch, meerbaans proces.

Oude AI: "Ik zal dit ene pad volgen totdat ik het antwoord vind."
GRAM: "Ik zal een team van ontdekkingsreizigers sturen over veel paden, laat ze een beetje dwalen, en kies het beste resultaat."

De auteurs concluderen dat deze aanpak AI in staat stelt om omgang te hebben met onzekerheid, meerdere oplossingen te vinden en zijn intelligentie op te schalen, niet alleen door het model groter te maken, maar door het meer mogelijkheden tegelijkertijd te laten verkennen.

Technische Samenvatting: Generatieve Recursieve Redeneringsmodellen (GRAM)

Probleemstelling

Toekomstige neurale redeneersystemen staan voor een centrale uitdaging: hoe implementeert men uitgebreide berekening op een efficiënte manier? Waar grote autoregressieve modellen redenering schalen door het verlengen van sequentiegeneratie (bijvoorbeeld Chain-of-Thought), bieden Recursieve Redeneringsmodellen (RRM's) een alternatief door een persistente latente toestand te verfijnen via herhaalde toepassing van gedeelde overgangsfuncties. Deze benadering ontkoppelt de diepte van het redeneren van de parametergrootte en de uitvoerlengte.

Bestaande RRM's (bijvoorbeeld HRM, TRM) zijn echter fundamenteel deterministisch. Gegeven dezelfde invoer en initialisatie volgen ze een enkele latente trajectorie en convergeren ze naar één voorspelling. Deze determinisme collapseert de ruimte van plausibele redeneerpaden tot één attractor, faalt in het handhaven van onzekerheid, het overwegen van alternatieve hypothesen, of het verkennen van meerdere oplossingsstrategieën. Dit is bijzonder beperkend voor problemen met intrinsieke ambiguïteit, meerdere geldige oplossingen, of waar een enkel verfijningstraject kan vastlopen in suboptimale redeneertrajecten. De kernvraag die wordt behandeld is: Kan recursieve latente berekening probabilistisch, generatief, multi-hypothese redeneren ondersteunen terwijl de efficiëntie van compacte recurrente modellen behouden blijft?

Methodologie: Generatieve Recursieve Redeneringsmodellen (GRAM)

GRAM introduceert een raamwerk dat recursieve latente redenering transformeert in probabilistische multi-trajectorieberekening. Het behandelt het redeneerproces als een stochastische latente trajectorie, waardoor het model meerdere hypothesen kan handhaven en alternatieve oplossingsstrategieën kan verkennen.

1. Architectuur

GRAM modelleert de conditionele verdeling $p_\theta(y | x)$ door te marginaliseren over stochastische latente redeneertrajecten. De architectuur bestaat uit een encoder, een recursieve kern en een decoder, georganiseerd in twee geneste lussen:

Binnenste lus (Lage-niveau verfijning): Binnen een enkele overgang wordt een lage-niveau latente component $l$ $K$ keer verfijnd met behulp van een deterministische functie $f_L$ , geconditioneerd op de hoog-niveau toestand $h$ en de invoerembedding $e_x$ .
Buitenste lus (Hoog-niveau overgang): De hoog-niveau component $h$ wordt één keer per overgang bijgewerkt. In tegenstelling tot deterministische RRM's definieert GRAM deze update als een stochastische overgang:
1. Een deterministische update $u_t$ wordt berekend: $u_t = f_H(h_{t-1}, l_t; \theta)$ .
2. Een leerbare stochastische sturing $\epsilon_t$ wordt gesampled uit een toestand-afhankelijke Gaussische verdeling: $\epsilon_t \sim \mathcal{N}(\mu_\theta(u_t), \sigma^2_\theta(u_t)I)$ .
3. De nieuwe toestand is $h_t = u_t + \epsilon_t$ .
Dit ontwerp stelt het model in staat onzekerheid te vangen en de trajectorie te sturen via het gemiddelde $\mu_\theta$ , terwijl exploratie wordt beheerst via de variantie $\sigma^2_\theta$ . De lage-niveau verfijning blijft deterministisch, terwijl stochastiek alleen wordt ingebracht op de hoog-niveau abstracte toestand.
Recursieve structuur: De berekening verloopt via $N_{sup}$ supervisiestappen. De terminale toestand van één stap dient als de initiële toestand van de volgende, vormend een volledige recursieve keten.

2. Training

GRAM wordt getraind met behulp van geamortiseerde variatie-inferentie om de Evidence Lower Bound (ELBO) te maximaliseren.

Formulering met latente variabelen: Het model marginaliseert over latente trajecten $\tau$ . De ELBO wordt geoptimaliseerd met betrekking tot generatieve parameters $\theta$ en variatieparameters $\phi$ .
Diepe supervisie: Om dichte leersignalen te bieden, past het model diepe supervisie toe over $N_{sup}$ opeenvolgende stappen. Gradienten worden alleen doorgegeven via de laatste overgang van elke supervisiestap (afgekorte backpropagatie) om geheugenefficiëntie te waarborgen, dienend als een surrogaatdoelstelling voor de volledige ELBO.
Unconditionele generatie: Door de invoer te vervangen door een lege conditionele embedding, definieert hetzelfde recursieve proces een unconditioneel generatief model $p_\theta(x)$ .

3. Schalen tijdens inferentie

GRAM ondersteunt twee assen van schaling:

Diepte: Met behulp van Adaptive Computation Time (ACT) kunnen trajecten eindigen op een geleerde halteringsdiepte.
Breedte: Het model sampleert meerdere latente trajecten parallel vanuit de geleerde prior. Kandidaten worden geselecteerd via meerderheidsstemming of een Latent Process Reward Model (LPRM), dat de uiteindelijke kwaliteit van een traject voorspelt op basis van zijn latente toestand. Dit maakt het mogelijk inferentie te schalen zonder de sequentiële recursielengte te verhogen.

Belangrijkste bijdragen

Probabilistische formulering: De auteurs formuleren recursieve redenering als een generatief proces met latente variabelen waarbij oplossingen worden verkregen door te marginaliseren over stochastische redeneertrajecten, in plaats van een enkel deterministisch pad te volgen.
Schaling op basis van breedte: Het paper introduceert "breedte-gebaseerde" schaling tijdens inferentie, waardoor prestatieverbeteringen mogelijk worden door meerdere latente trajecten parallel te samplemen, wat de traditionele diepte-gebaseerde schaling aanvult.
Empirische validatie: De auteurs leveren bewijs dat deze formulering architecturale voordelen biedt ten opzichte van deterministische recurrente en recursieve baselines, specifiek in gestructureerd redeneren, multi-oplossing constraint satisfaction, en unconditionele generatie.

Experimentele resultaten

GRAM werd geëvalueerd op gecontroleerde redenerings- en generatietaken, vergeleken met deterministische baselines (Looped Transformers, HRM, TRM) en grote redeneringsmodellen (LRM's) als externe referenties.

Gestructureerd redeneren (Sudoku-Extreme, ARC-AGI): GRAM presteert consequent beter dan deterministische recursieve baselines. Op Sudoku-Extreme bereikt GRAM 97,0% nauwkeurigheid vergeleken met 87,4% voor TRM en 55,0% voor HRM. Op ARC-AGI-1 bereikt GRAM 52,0%, waarmee het TRM (44,6%) en HRM (40,3%) overtreft. De auteurs schrijven dit toe aan het vermogen om diverse redeneertrajecten te verkennen.
Multi-oplossing taken (N-Queens, Graph Coloring): Deterministische modellen lijden aan mode-collapse naarmate het aantal geldige oplossingen toeneemt. GRAM behoudt consistente nauwkeurigheid ongeacht het aantal oplossingen. Op 8x8 N-Queens bereikt GRAM 99,7% nauwkeurigheid en 90,3% dekking (unieke geldige oplossingen gevonden), wat aanzienlijk beter is dan deterministische modellen (max 36,1% dekking) en generatieve baselines zoals AR (84,8% dekking).
Unconditionele generatie:
- Binarized MNIST: GRAM produceert herkenbare cijfers met Inception Scores (IS) en FID vergelijkbaar met D3PM, terwijl de deterministische TRM-baseline ernstige mode-collapse vertoont (FID 303,29).
- Sudoku-generatie: Vanuit een leeg bord genereert GRAM geldige Sudoku-borden met 99,05% validiteit met slechts 16 inferentiestappen en 10,9M parameters, beter dan D3PM-baselines die tot 1000 stappen en 55,1M parameters gebruiken.
Ablatiestudies: Het verwijderen van stochastische sturing leidt tot prestatiedalingen, vooral in multi-oplossing taken. Het volledig verwijderen van stochastiek veroorzaakt volledig falen (0% nauwkeurigheid), wat bevestigt dat de winst voortkomt uit het variatiekader en niet uit louter willekeur.

Betekenis en claims

Het paper claimt dat GRAM probabilistische multi-trajectorie recursie vestigt als een ontwerpprincipe voor toekomstige recurrente en recursieve redeneringsarchitecturen. Door deterministische recursie om te zetten in een generatief proces, stelt GRAM het volgende in staat:

Robuuste exploratie: Het vermogen om complexe probleemruimtes te navigeren en lokale minima te ontvluchten door meerdere hypothesen te handhaven.
Efficiënte schaling: Een nieuwe as voor schaling tijdens inferentie (breedte) die de latentieknelpunten van alleen-diepte schaling omzeilt.
Gefuseerde modellering: Het vermogen om te fungeren als zowel een conditioneel redeneringsmodel ( $p(y|x)$ ) als een unconditioneel generatief model ( $p(x)$ ) met behulp van hetzelfde recursieve mechanisme.

De auteurs merken op dat hoewel GRAM potentieel toont in gestructureerd redeneren en generatie, de sequentiële aard van diepe supervisie de trainings-efficiëntie beperkt ten opzichte van Transformers, wat een barrière vormt voor schaling naar grotere foundation modellen. Ze waarschuwen ook dat plausibele maar ongeldige generaties in hoog-risico situaties kunnen worden verward met geverifieerde oplossingen, wat rigoureuze validatie en onzekerheidskalibratie vereist.