📊 statistics

Energy-guided Recursive Model

Het artikel introduceert het Energy-guided Recursive Model (ERM), dat expliciete Hopfield-energieën gebruikt om een principieel selectiemechanisme te bieden voor test-time scaling in recursieve redenering, waarmee het de state-of-the-art prestaties bereikt op benchmarks voor gestructureerde probleemoplossing zoals Sudoku en Mazes.

Oorspronkelijke auteurs: Yifei Zhao, Ying Tang

Gepubliceerd 2026-07-14

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Yifei Zhao, Ying Tang

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, lastige puzzel probeert op te lossen, zoals een Sudoku of een doolhof. Je hebt een super slimme robotvriend die heel goed is in denken. Maar hier is de crux: in plaats van je één antwoord te geven, gaat je vriend in een "denktrance" en genereert hij tegelijkertijd 128 verschillende mogelijke oplossingen.

De grote vraag is: Welke van die 128 antwoorden moet je vertrouwen?

Een lange tijd probeerden wetenschappers een winnaar te kiezen door de robot te vragen: "Hoe zeker ben je?" of door een stemming te houden onder de antwoorden. Maar het paper van Yifei Zhao en Ying Tang suggereert dat deze oude methoden een beetje zijn als het kiezen van een winnaar in een talentenjacht, puur omdat ze het meest glimlachen. Soms is de robot heel zelfverzekerd maar totaal fout, of er kan een perfect antwoord verborgen zitten in de menigte dat niemand opmerkt.

Het Nieuwe Idee: De "Energie"-magneet

De auteurs introduceren een nieuw systeem genaamd het Energy-guided Recursive Model (ERM). Denk er zo over na:

Stel je voor dat elk mogelijk antwoord dat de robot genereert een klein metalen balletje is. Stel je nu voor dat de regels van de puzzel (zoals "getallen mogen niet herhalen in een rij" of "het pad moet verbonden zijn") als reusachtige magneten op de tafel liggen.

Foute antwoorden zijn als balletjes van hout; de magneten trekken ze niet aan, of ze worden er juist van weggeduwd.
Goede antwoorden zijn als balletjes van ijzer; ze worden sterk naar de magneten toe getrokken.

In dit nieuwe systeem is "Energie" simpelweg een maatstaf voor hoe sterk een oplossing wordt aangetrokken door de regels van de puzzel. Hoe lager de energie, hoe dichter het balletje bij de magneet is, en hoe groter de kans dat het het juiste antwoord is.

In plaats van de robot te vragen: "Ben je zeker?", vraagt het systeem: "Hoe goed past dit antwoord bij de verborgen magneten van de puzzel?"

Hoe het werkt in de echte wereld

De onderzoekers testten dit op drie verschillende soorten puzzels:

Sudoku: Ze gebruikten magneten die de regels voor rijen, kolommen en blokken vertegenwoordigen.
Pencil Puzzles (PPBench): Een mix van verschillende logische spellen waarbij de magneten specifieke lokale aanwijzingen en globale patronen vertegenwoordigen.
Doolhoven: Ze gebruikten een speciale "globale magneet" die het kortste pad van het begin naar het einde vertegenwoordigt.

Ze lieten de robot 128 kandidaten genereren (K = 128) en lieten hem door 64 stappen van het denken gaan (D = 64). Vervolgens gebruikten ze hun nieuwe "Energie"-systeem om de winnaar te kiezen.

De Resultaten: Werkte het?

De resultaten suggereren dat deze "Energie"-aanpak een gamechanger is voor het kiezen van het juiste antwoord wanneer de robot al het harde werk heeft gedaan om opties te genereren.

Op Sudoku: De oude methoden (zoals stemmen of het controleren van de mate van zelfvertrouwen) kregen ongeveer 98,54% tot 98,58% van de puzzels goed. Het nieuwe Energie-systeem kreeg 98,83% goed. Het vond bijna in elk geval waarin een perfect antwoord in de groep aanwezig was, het perfecte antwoord.
Op Pencil Puzzles: Dit was de grootste overwinning. De oude methoden hadden moeite en kregen ongeveer 83,39% goed. Het Energie-systeem sprong naar 88,04%, wat overeenkomt met de absoluut beste score die je zou kunnen halen als je een toverstaf had om het perfecte antwoord uit de groep te kiezen.
Op Doolhoven: De oude methoden haalden ongeveer 97,30%. Het Energie-systeem bereikte 99,30%, wat de hoogst mogelijke score is voor deze opstelling.

De auteurs probeerden ook een slimme truc genaamd Parallel Tempering. Stel je een groep robots voor, waarvan sommigen in de kou werken (zeer strikt) en anderen in de hitte (zeer verkennend). Ze wisselen ideeën met elkaar uit. Dit hielp het systeem om zelfs méér correcte antwoorden te vinden, waardoor de score voor Sudoku steeg naar 98,97% en de score voor Doolhoven naar 99,30%.

Wat dit betekent (en wat het niet betekent)

Het paper suggereert dat het grootste probleem bij het beter maken van het redeneervermogen van AI niet alleen het genereren van meer ideeën is, maar het hebben van een betere manier om het juiste idee te selecteren. Door "Energie" te gebruiken (wat in feite een wiskundige manier is om te meten hoe goed een antwoord bij de regels past), kan het systeem de verborgen juiste antwoorden vinden die betrouwbaarheidsscores missen.

De auteurs wijzen echter voorzichtig op een paar zaken:

Het is nog geen magie: De "magneten" (geheugens) voor deze puzzels werden door mensen ontworpen. Voor Sudoku programmeerden ze de rij/kolom-regels. Voor Doolhoven programmeerden ze de kortste-pad-regel. Het systeem leert deze regels niet vanaf nul in dit experiment; het gebruikt ze om de antwoorden te controleren.
Het is een specifieke oplossing: Dit werkt geweldig voor puzzels met duidelijke regels. Het paper beweert niet dat dit elk type denkprobleem oplost, alleen deze gestructureerde problemen.
Het is een suggestie voor de toekomst: De auteurs suggereren dat de volgende stap is om de AI zijn eigen "magneten" te laten leren in plaats van dat mensen ze bouwen, maar dat is nog niet volledig opgelost.

Kortom, het paper laat zien dat als je een AI een heleboel gokjes geeft, je het beste antwoord veel beter kunt vinden door te controleren hoe goed het bij de regels van de puzzel past (Energie), in plaats van alleen maar te vragen hoe zelfverzekerd de AI zich voelt. Het is een kleine maar krachtige verschuiving van "vertrouw op het gevoel van de robot" naar "vertrouw op de fysica van de puzzel".

Technische Samenvatting: Energy-Guided Recursive Model (ERM)

1. Probleemstelling

Recursieve redeneermodellen, zoals het Hierarchical Reasoning Model (HRM), Tiny Recursive Model (TRM) en Equilibrium Reasoners (EqR), pakken gestructureerde problemen aan door herhaaldelijk de latente toestanden van kleine neurale netwerken bij te werken. Hoewel deze modellen meerdere kandidaat-trajecten kunnen genereren door de recursieve diepte ( $D$ ) of stochastische breedte ( $K$ ) te vergroten, ontbreekt het hen aan een principieel mechanisme voor het selecteren van het juiste antwoord tijdens de testfase.

Bestaande selectiemethoden vertrouwen op:

Getrainde halting heads (q-heads): Het voorspellen van betrouwbaarheid op basis van interne modelsignalen.
Betrouwbaarheidsscores (confidence scores): Het gebruik van token-niveau waarschijnlijkheden.
Heuristische stemming (voting): Meerderheidsstemming over gesamplede outputs.

De geïdentificeerde kernbeperking is dat deze methoden "model-interne zekerheid" meten in plaats van "taakcompatibiliteit". In latente iteratieve redenering genereert extra diepte of breedte verborgen trajecten zonder expliciete afleidingen. Bijgevolg kan een correcte kandidaat aanwezig zijn in de rollout-pool, maar wordt deze weggegooid omdat de selector niet beschikt over een criterium om de naleving van globale taakrestricties (bijv. Sudoku-regels of doolhof-connectiviteit) te verifiëren. Het artikel stelt dat de selectiekloof blijft bestaan omdat huidige selectors de compatibiliteit met geldige taakstructuren niet expliciet meten.

2. Methodologie: Energy-Guided Recursive Model (ERM)

De auteurs stellen het Energy-guided Recursive Model (ERM) voor, dat heuristische selectors vervangt door een intrinsiek selectieprincipe gebaseerd op expliciete Hopfield-energieën.

2.1 Kernframework

ERM behandelt selectie tijdens de testfase als een energie-gebaseerd selectieprobleem over een eindige kandidaat-pool $Y(x) = \{y_1, \dots, y_K\}$ . Het doel is om de kandidaat $\hat{y}$ te selecteren die de energie-functie $E(y_k; x)$ minimaliseert:
$\hat{y} = \arg \min_{k \in \{1, \dots, K\}} E(y_k; x)$
Lagere energie duidt op een hogere compatibiliteit met de taak. In tegenstelling tot standaard selectors die vertrouwen op negatieve log-waarschijnlijkheden of getrainde logits, construeert ERM energie uit taakgestructureerde geheugens.

2.2 Energieformulering

De energie-functie is afgeleid van de Modern Hopfield Network retrieval-dynamica. Een taak wordt gedecomposed in $J$ factoren (bijv. rijen, kolommen, lokale puzzelregels). Voor elke factor $j$ is er een input-geconditioneerde geheugenset $M_j(x)$ die geldige lokale of globale structuren bevat.

De totale energie $E_{ERM}$ wordt gedefinieerd als:
$E_{ERM}(y_k; x) = \mu G(y_k, x) - \sum_{j=1}^{J} \tau \log \sum_{m \in M_j(x)} \exp\left( \frac{-\beta d_j(y_k, m)}{\tau} \right)$

Waarbij:

$d_j(y_k, m)$ : De afstand tussen kandidaat $y_k$ en geheugen $m$ voor factor $j$ (nul indien overeenkomst).
$\beta$ : De strafsterkte voor geheugensafstand.
$\tau$ : De retrieval-temperatuur (die de zachtheid van de retrieval controleert).
$G(y_k, x)$ : Een globale schendingsstraf voor restricties die moeilijk lokaal te enumereren zijn (bijv. connectiviteit).
$\mu$ : Het gewicht voor de globale term.

Deze formulering stelt de selector in staat om "zacht te retourneren" naar het dichtstbijzijnde geldige geheugen voor elke factor. In het limiet van lage temperatuur fungeert het als een nearest-memory verifieerder.

2.3 Taakinstantiaties

Het artikel implementeert ERM voor drie specifieke domeinen:

Sudoku: Gebruikt permutatie-geheugens voor rijen, kolommen en $3\times3$ vakken. De energie wordt berekend via een log-permanent (dynamisch programmeren) over geldige cijferpermutaties.
Pencil Puzzle Bench (PPBench): Combineert lokale regel-geheugens (bijv. exacte aantallen voor Lightup, cyclische patronen voor Tapa) met globale afstandspotentialen voor connectiviteits- en dekkingsregels die niet lokaal te enumereren zijn.
Maze (Doolhof): Gebruikt een globaal, input-geconditioneerd kortste-pad-geheugen afgeleid via Breadth-First Search (BFS). De energie is de negatieve gelijkenis tussen het kandidaat-pad en het unieke kortste pad van start naar doel.

2.4 Parallel Tempering (PT)

Dezelfde energie-functie wordt gebruikt voor sampling, niet alleen voor herrangschikking (reranking). De auteurs maken gebruik van Parallel Tempering, waarbij replica's worden gedraaid op verschillende temperaturen ( $T_1 < \dots < T_R$ ). "Hete" replica's verkennen het energielandschap, terwijl "koude" replica's lage-energietoestanden exploiteren. Wisselingen tussen replica's worden geaccepteerd op basis van het Metropolis-criterium. Dit stelt het systeem in staat om lokale minima te ontsnappen en potentieel de correcte kandidaten te ontdekken die een eenvoudige greedige selectie zou missen.

3. Belangrijkste Bijdragen

Geprincipeerd Selectiemechanisme: Introduceert een selectielaag gebaseerd op expliciete Hopfield-energieën afgeleid van taakgeheugens, wat de afhankelijkheid van geleerde betrouwbaarheid of stemheuristieken vervangt.
Verenigde Interface: Toont aan dat energie-functies dienen als een gedeelde interface tussen attractor-dynamica, verifiers en test-time compute, waardoor een duidelijke scheiding ontstaat tussen kandidaat-generatie en selectie.
Diagnostisch Kader: Stelt een methodologie voor om de prestaties van redeneren te evalueren door onderscheid te maken tussen:
- Fouten in kandidaat-generatie: Wanneer de "Oracle" (beste mogelijke nauwkeurigheid in de pool) laag is.
- Selectiefouten: Wanneer de geselecteerde nauwkeurigheid significant lager is dan de Oracle.
- Sampling-fouten: Wanneer Parallel Tempering verbetering brengt ten opzichte van statische selectie.

4. Experimentele Resultaten

Experimenten werden uitgevoerd met een recursieve diepte $D=64$ en $K=128$ kandidaten over Sudoku, PPBench en Maze.

Sudoku: ERM bereikte een nauwkeurigheid van 98,97%, wat overeenkomt met de shared-candidate Oracle (98,97%). Dit verbeterde ten opzichte van de q-head (98,54%) en confidence (98,58%) baselines, en sloot effectief de selectiekloof.
PPBench: ERM bereikte 88,04% nauwkeurigheid, wat overeenkomt met de Oracle en de q-head (83,39%) en meerderheidsstemming (79,07%) aanzienlijk verslaat. Dit benadrukt het vermogen van de methode om om te gaan met heterogene regels waar betrouwbaarheidsscores falen.
Maze: ERM bereikte 99,30% nauwkeurigheid, wat overeenkomt met de Oracle. Dit toonde aan dat wanneer een globaal kortste-pad-geheugen wordt gebruikt, de correcte kandidaat kan worden geselecteerd zodra deze in de rollout-pool verschijnt.
Parallel Tempering: PT-ERM was consistent even goed als of beter dan statische selectie. Opvallend genoeg bereikte PT-ERM op Sudoku 98,97% (overeenkomend met de Oracle), wat aantoont dat het energie-landschap succesvol exploratie heeft gestuurd om de optimale oplossing te vinden.

5. Betekenis en Claims

Het artikel claimt dat het integreren van expliciete energie-functies in recursieve redenering een geprincipeerd pad biedt naar effectievere inferentie.

Het sluiten van de selectiekloof: De primaire bottleneck in latente redenering is vaak niet de generatie van kandidaten, maar het gebrek aan een scalaire principe om te beslissen welke kandidaat men moet vertrouwen. ERM sluit deze kloof door taakgeheugens te gebruiken om compatibiliteit te verifiëren.
Bescheidenheid over Generalisatie: De auteurs stellen expliciet dat de huidige energieën taakgestructureerd zijn (bijv. door gebruik te maken van handmatige permutatiematrices of BFS-paden) in plaats van universeel geleerd. De methode wordt gepresenteerd als een diagnostisch instrument en een gestructureerde verifier, niet als een volledig geleerde universele energie-functie.
Methodologische Verschuiving: Het werk suggereert dat test-time compute geëvalueerd moet worden door kandidaat-generatie te scheiden van energie-gebaseerde selectie. Het biedt een kader waar onderzoekers kunnen identificeren of verbeteringen nodig zijn in generatie (lage Oracle) of selectie (grote kloof tussen Oracle en ERM).

Samenvattend demonstreert ERM dat expliciete energie-functies gebaseerd op Hopfield-geheugens zeer effectieve, interpreteerbare selectors kunnen zijn voor latente iteratieve redenering, waarbij ze vaak de theoretische limiet van de prestaties bereiken die gegeven is door een set gegenereerde kandidaten.