🤖 AI

Form Follows Function: Recursive Stem Model

Dit paper introduceert het Recursive Stem Model (RSM), een efficiëntere en diepteneutrale recursieve redeneerbenadering die de trainingstijd aanzienlijk verkort, de nauwkeurigheid verbetert en testtijd-schaalbaarheid mogelijk maakt door alleen verlies te berekenen in de laatste iteratie, terwijl het tevens een inheems betrouwbaarheidssignaal biedt via convergentiegedrag.

Oorspronkelijke auteurs: Navid Hakimi

Gepubliceerd 2026-03-18

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Navid Hakimi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Kern: Een slimme "Denk-Apparaat" dat niet stopt tot het het goed heeft

Stel je voor dat je een heel moeilijk raadsel probeert op te lossen, zoals een Sudoku of een labyrint. De meeste kunstmatige intelligenties (zoals de chatbots die je kent) proberen het antwoord in één keer te gissen. Ze denken: "Ik heb een idee, hier is het antwoord!" en hopen dat het klopt. Als ze een foutje maken in de eerste stap, is het hele antwoord vaak verkeerd.

De auteurs van dit papier, Navid Hakimi, hebben een nieuw soort "denk-machine" bedacht die niet in één keer gis. In plaats daarvan denkt hij stap voor stap, en hij mag zo lang doorgaan als hij wil totdat hij zeker is dat het goed is.

Hoe werkt het? De "Stamcel" Vergelijking

De naam van het model is RSM (Recursive Stem Model). De auteurs gebruiken een mooie biologische vergelijking om dit uit te leggen:

Stel je voor dat je een stamcel hebt. In een lichaam hebben alle cellen exact hetzelfde DNA (dezelfde instructies), maar ze doen verschillende dingen afhankelijk van waar ze zich bevinden en wat er om hen heen gebeurt. Een cel in je huid doet iets anders dan een cel in je lever, maar ze zijn allemaal gemaakt van hetzelfde blauwdruk.

Het oude model (TRM/HRM): Dit was alsof je de cel dwong om altijd precies op hetzelfde moment te doen wat er van hem verwacht werd. Als je het model te lang liet "nadenken" tijdens het leren, raakte het in de war en leerde het slechte gewoontes. Het was alsof je een leerling dwong om elke stap van een wiskundeprobleem direct te controleren, waardoor hij geen ruimte had om te experimenteren.
Het nieuwe model (RSM): Dit model leert als een stamcel. Het heeft één set instructies (het "DNA"), maar het mag die instructies herhaaldelijk toepassen.
- De snelle denk-cel ( $z_L$ ): Dit is de cel die snel denkt, probeert, fouten maakt en dingen uitprobeert. Het is het "werkblad" waar chaos mag zijn.
- De trage bewaarder-cel ( $z_H$ ): Dit is de cel die rustig kijkt naar wat de snelle cel heeft gedaan, het consolideert en het "opschrijft" in een veilig geheugen.

Het geheim is dat het model alleen wordt beloond (of gestraft) als hij klaar is met nadenken. Tijdens het leren mag hij eerst 100 keer "warmlopen" (proberen en fouten maken) zonder dat de leraar kijkt. Pas op het allerlaatste moment kijkt de leraar: "Is het antwoord nu goed?"

De Creatieve Analogieën

Hier zijn drie manieren om je dit voor te stellen:

1. De Kunstenaar die niet stopt tot het perfect is

Stel je een schilder voor die een schilderij maakt.

Oude manier: De schilder krijgt de opdracht: "Maak in 5 minuten een perfect schilderij." Als hij halverwege een foutje maakt, kan hij niet meer terug. Hij moet doorgaan met de fout.
RSM-methode: De schilder krijgt een potlood en zegt: "Teken, veeg uit, teken opnieuw, veeg uit..." Hij mag zo lang doorgaan als hij wil. De leraar kijkt pas naar het schilderij als de schilder zegt: "Ik ben klaar, ik heb het niet meer veranderd."
- Het resultaat: Omdat de schilder mag "warmlopen" en fouten mag maken zonder straf, leert hij veel sneller en beter hoe hij het perfecte schilderij moet maken. En als hij later een heel moeilijk schilderij moet maken, mag hij gewoon langer doorgaan met tekenen (meer "denktijd" investeren) zonder dat hij opnieuw naar school hoeft.

2. De "Stemcel" in je lichaam

Zoals in de tekst wordt uitgelegd: in je lichaam hebben cellen hetzelfde DNA, maar ze gedragen zich anders afhankelijk van hun omgeving.

In dit model gebruikt het AI-systeem dezelfde code (hetzelfde DNA) voor elke stap van het denkproces.
Maar omdat de "omgeving" (de staat van het denkproces) verandert met elke stap, doet de code op stap 1 iets anders dan op stap 100.
Dit maakt het systeem enorm flexibel. Het kan een simpel raadsel in 2 stappen oplossen en een heel moeilijk raadsel in 20.000 stappen, zonder dat het model zelf groter of complexer hoeft te worden.

3. De "Stabiele" Zee

Stel je voor dat je een steen in een modderpoel gooit.

De modder (het antwoord) golft eerst wild heen en weer.
Bij de oude modellen probeerden ze de golven direct te stoppen, wat vaak leidde tot een rommelig resultaat.
Bij RSM laten ze de modder gewoon golven. Ze kijken pas als de modder stil is geworden. Als de modder nog steeds golft, weten ze: "Nog niet klaar, laat hem nog even doorgaan."
Als de modder stilstaat (een "vast punt" bereikt), is de kans groot dat het antwoord correct is. Als het blijft trillen, is het antwoord waarschijnlijk nog niet goed. Dit geeft het model een ingebouwd "alarm": als het niet stopt met nadenken, is het waarschijnlijk nog niet klaar.

Waarom is dit zo belangrijk?

Snel leren, lang denken: Het model leert extreem snel (20x sneller dan de vorige beste modellen) omdat het niet hoeft te "leren" hoe het elke stap moet doen, maar alleen hoe het uiteindelijk tot het goede antwoord komt.
Onbeperkt denken: Je kunt het model bij het gebruik (inference) laten nadenken voor 1 seconde of voor 1 uur. Het maakt niet uit hoe lang het duurt, het model wordt niet "moe" of "verkeerd". Het kan gewoon blijven verbeteren totdat het klopt.
Geen hallucinaties: Omdat het model stopt als het antwoord "stabiliseert" (niet meer verandert), kun je weten of het zeker is. Als het blijft draaien, weet je dat het nog twijfelt. Dit is een enorme stap voor betrouwbaarheid.

Samenvatting in één zin

Het Recursive Stem Model is een slimme AI die leert om een probleem stap voor stap op te lossen door te "warmlopen" zonder straf, en pas te stoppen als het antwoord stabiel is, waardoor het veel sneller leert en veel moeilijker raadsels kan oplossen dan eerdere systemen.

Het is alsof je een leerling niet dwingt om het antwoord direct te hebben, maar hem toestaat om te oefenen, te experimenteren en pas te presenteren als hij echt zeker is.

Titel: Form Follows Function: Recursive Stem Model (RSM)

Auteur: Navid Hakimi

1. Het Probleem

Veel redeneerproblemen (zoals Sudoku, mazes en programmeertaken) zijn rijk aan verifiers: er is een enorme ruimte aan mogelijke antwoorden, maar de correctheid van een oplossing kan snel en deterministisch worden gecontroleerd. Bestaande methoden voor Large Language Models (LLMs), zoals Chain-of-Thought of test-time compute-strategieën (bijv. beam search), verbeteren vaak de prestaties, maar laten de onderliggende modelarchitectuur onveranderd (next-token prediction). Dit leidt tot kwetsbaarheden waarbij één fout stap een hele oplossing ongeldig maakt.

Recursieve modellen zoals de Hierarchical Reasoning Model (HRM) en de Tiny Recursive Model (TRM) tonen aan dat kleine, gewichts-gedeelde netwerken complexe puzzels kunnen oplossen door latent states iteratief te verfijnen. Echter, deze modellen hebben twee grote beperkingen:

Trainingskosten: Ze vertrouwen vaak op "deep supervision" (verlies op elke stap) of lange "unrolls" (doorlopen van de hele geschiedenis), wat de rekentijd (wall-clock cost) enorm verhoogt en het model kan biasen naar kortzichtige, "greedy" tussenstappen.
Stabiliteit: Het trainen van diepe recursie leidt vaak tot instabiliteit en verdwijnende gradiënten.

2. Methodologie: De Recursive Stem Model (RSM)

De RSM behoudt de kern van TRM/HRM (een kleine, recursieve transition operator) maar verandert het trainingscontract fundamenteel om een stabiele, diepte-agnostische operator te leren.

A. Architectuur

Het model onderhoudt twee latent states tijdens elke recursiestap:

$z_L$ (Fast/Inner): Een snelle computationele staat voor "denken" en het verkennen van hypotheses (innerlijke cyclus, $L$ stappen).
$z_H$ (Slow/Outer): Een langzamere, stabiliserende staat die fungeert als een "scratchpad" of antwoordruimte (buitenste cyclus, $H$ stappen).
Shared Operator: Een enkele, gewichts-gedeelde module ( $F_\theta$ ) wordt herhaaldelijk toegepast op beide states. De architectuur kan worden geïmplementeerd met Attention (voor Maze) of MLP-token-mixing (voor Sudoku).

B. Trainingsstrategie: Detached Warm-up & Terminal Loss

Dit is het belangrijkste onderscheidende kenmerk ten opzichte van eerdere werken:

Volledige Detachering: Tijdens het trainen wordt de geschiedenis van de hidden states volledig losgekoppeld (detached) van de computationele grafiek. De eerdere iteraties fungeren als "warm-up" stappen die de staat vormgeven, maar ontvangen geen gradiënten.
Terminal Loss: Het verlies wordt alleen berekend op de laatste stap van de buitenste cyclus. Het model wordt niet beloond voor het correct zijn op tussenstappen, maar alleen voor het bereiken van een correct eindpunt.
Stochastische Diepte (Stochastic Depth): Om instabiliteit te voorkomen bij het vergroten van de recursiediepte ( $H$ ), wordt stochastisch beslist of de gradiënt door de voorlaatste stap ( $H-1$ ) mag stromen. Dit voorkomt dat de optimizer vastloopt in een specifieke, broze tijdsdiepte.

C. Curricula en Schaalbaarheid

Onafhankelijke Groei: De buitenste diepte ( $H$ ) en binnenste diepte ( $L$ ) worden onafhankelijk van elkaar opgevoerd via een curriculum tijdens het trainen.
Test-time Scaling: Omdat het model een stabiele operator leert in plaats van een specifieke traject, kan de inferentie diepte ( $H_{test}$ ) willekeurig worden vergroot, ver boven de trainingsdiepte ( $H_{train}$ ), zonder hertraining. Dit stelt het model in staat om "nadenken" (thinking) toe te voegen bij inferentie.

3. Belangrijkste Bijdragen

Nieuw Trainingsparadigma: De introductie van een strikte "terminal loss" met volledige detachering van de geschiedenis. Dit dwingt het model om een stabiele transitie-operator te leren die werkt na willekeurige warm-up, in plaats van een traject te memoriseren.
Efficiëntie en Snelheid: RSM bereikt >20x snellere training dan TRM door het vermijden van lange backpropagation-through-time (BPTT) en deep supervision.
Test-time Compute: Het vermogen om de rekentijd bij inferentie onbeperkt te verhogen ( $H_{test} \gg H_{train}$ ) om moeilijkere problemen op te lossen, vergelijkbaar met het nemen van meer stappen in numerieke solvers.
Natuurlijke Betrouwbaarheidssignaal: Omdat het model een iteratief settling-proces doorloopt, fungeert convergentie (het stoppen van veranderingen in de output) als een intern signaal van betrouwbaarheid. Als het model niet "settles", is de oplossing waarschijnlijk onvolledig of fout.

4. Resultaten

De RSM is getest op uitdagende puzzel-domeinen:

Sudoku-Extreme: Bereikt 97,5% exacte nauwkeurigheid met test-time compute. Dit is bereikt binnen ongeveer 1 uur training op één A100 GPU.
- Vergelijking: De vorige SOTA (TRM) bereikte ~87% met 12 uur training. RSM verbetert de fout率 met een factor 5 en de trainingstijd met een factor 20+.
Maze-Hard (30x30): Bereikt ~80% exacte nauwkeurigheid in ~40 minuten training (met een attention-based instantiatie).
Schaalbaarheid: Figuur 2 in het paper toont aan dat het verhogen van de test-diepte ( $H$ ) de nauwkeurigheid verbetert zonder de prestaties te laten dalen, zelfs als de trainingsdiepte laag blijft.

5. Betekenis en Conclusie

De Recursive Stem Model vertegenwoordigt een verschuiving in hoe we redeneermodellen benaderen:

Van Traject naar Operator: In plaats van een model te trainen om een specifiek pad te volgen, trainen we een operator die convergentie garandeert. Dit sluit aan bij concepten uit vaste-punt-solvers (DEQs) en neurale ODEs.
Biologische Analogie: Het paper trekt een parallel met multicellulaire organismen en dissipatieve structuren. De scheiding tussen $z_L$ (snelle, entropische verkenning) en $z_H$ (stabilisatie en "cooling") lijkt op de dynamiek van celdifferentiatie en het handhaven van orde tegenover entropie.
Praktische Toepassing: RSM biedt een praktische route om "test-time compute" in te zetten voor moeilijke taken zonder de kosten van lange trainingsloops. De mogelijkheid om te detecteren of een model "vastloopt" (niet convergeert) biedt een krachtig mechanisme tegen hallucinaties in verifier-rijke domeinen.

Kortom, RSM bewijst dat kleine, slimme architecturale aanpassingen (detachering en terminal loss) in combinatie met recursie, leiden tot superieure prestaties, snellere training en robuustere redeneermodellen dan eerdere state-of-the-art benaderingen.