🤖 machine learning

Equilibrium Reasoners: Learning Attractors Enables Scalable Reasoning

Het artikel introduceert Equilibrium Reasoners (EqR), een raamwerk dat schaalbaar en generaliseerbaar redeneren bereikt door taakgeconditioneerde attractoren te leren in latente dynamische systemen, waardoor adaptieve compute-toewijzing tijdens het testen mogelijk wordt die de nauwkeurigheid op complexe taken zoals Sudoku-Extreme verhoogt van 2,6% tot meer dan 99%.

Oorspronkelijke auteurs: Benhao Huang, Zhengyang Geng, Zico Kolter

Gepubliceerd 2026-05-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Benhao Huang, Zhengyang Geng, Zico Kolter

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Idee: Denken als een Magneet

Stel je voor dat je een zeer moeilijke puzzel probeert op te lossen, zoals een complexe Sudoku. Je hebt een slimme assistent (een AI-model) om je te helpen.

De Oude Manier (Feedforward-modellen):
Denk aan de oude manier van denken als een éénmalige gok. De assistent kijkt naar de puzzel, denkt een splitseconde na en roept direct een antwoord. Als het fout is, is het fout. Het krijgt geen tweede kans om harder na te denken, ongeacht hoeveel tijd je geeft. Het artikel toont aan dat voor moeilijke puzzels deze "éénmalige" assistenten verschrikkelijk zijn, met minder dan 3% van de antwoorden correct.

De Nieuwe Manier (Iteratief Redeneren):
De nieuwe methode, genaamd Equilibrium Reasoners (EqR), is als een magneet.
In plaats van direct een antwoord te roepen, begint de assistent met een gok en verfijnt deze vervolgens keer op keer.

Stap 1: Het maakt een gok.
Stap 2: Het controleert de gok, vindt een paar fouten en repareert ze.
Stap 3: Het controleert opnieuw, vindt meer kleine fouten en repareert ze.

Het artikel betoogt dat dit proces niet zomaar "langer nadenken" is. Het gaat erom dat de AI leert een "Magnetische Aantrekkingskracht" te vinden.

Wat is een "Aantrekkingskracht"?

Stel je een landschap vol heuvels en valleien voor.

De Heuvels: Dit zijn slechte gissen of verkeerde antwoorden.
De Valleien: Dit zijn goede, stabiele antwoorden.
De Aantrekkingskracht: Dit is de diepste, meest stabiele vallei waar het "correcte" antwoord woont.

Het artikel beweert dat een AI om echt goed te worden in redeneren, een kaart moet leren waar het "correcte" antwoord een diepe, brede vallei is (een sterke aantrekkingskracht). Wanneer de AI begint na te denken, rolt het de heuvel af. Als het landschap goed is gevormd, zal het vanzelf in de juiste vallei rollen en daar stoppen.

Als het landschap rommelig is, kan de AI vast komen te zitten in een klein, ondiep gat (een verkeerd antwoord) of voor altijd blijven rollen zonder zich te vestigen.

Hoe Ze Het Werkten: Twee Geheime Ingrediënten

De onderzoekers ontdekten dat het simpelweg laten "langer nadenken" van de AI niet genoeg was. Ze moesten de AI leren hoe het zijn eigen mentale landschap moest vormen zodat het de juiste vallei kon vinden. Ze deden dit met twee simpele trucs:

Willekeurige Startpunten (De "Fles Spinnen"-truc):
Normaal gesproken beginnen AI-modellen elke puzzel vanaf exact dezelfde plek. De onderzoekers lieten de AI elke keer vanaf een willekeurige plek beginnen.
- Analogie: Stel je voor dat je probeert een verborgen schat te vinden op een eiland. Als je altijd vanaf dezelfde kade begint, kun je vast komen te zitten in een moeras. Als je vanaf willekeurige stranden begint, heb je veel meer kans om het pad naar de schat te vinden. Dit helpt de AI om verschillende paden naar de oplossing te verkennen.
Een Beetje Ruis Toevoegen (De "Tafel Schudden"-truc):
Terwijl de AI nadenkt, voegden ze een klein beetje willekeurige "trilling" of ruis toe aan zijn gedachten.
- Analogie: Stel je voor dat je door een gang loopt om een deur te vinden. Als je perfect rechtdoor loopt, kun je achter een gordijn vast komen te zitten. Als je een beetje wiebelt (ruis toevoegt), kun je tegen het gordijn aan stoten, beseffen dat het niet de deur is, en in plaats daarvan de echte deur vinden. Dit voorkomt dat de AI vast komt te zitten in een "valse" vallei (een verkeerd antwoord dat stabiel lijkt).

De Resultaten: Van "Wegwijs" naar "Meester"

Het artikel testte dit op twee zeer moeilijke taken: Sudoku (een cijferpuzzel) en Labyrinten (een pad vinden door een rooster).

Voorheen: Standaard AI-modellen (de "éénmalige" gokkers) kregen bijna alles fout (ongeveer 2% nauwkeurigheid op moeilijke Sudoku's).
Hierna: Door de "Magneet"-aanpak te gebruiken met willekeurige starts en een beetje ruis, kon de AI zijn denken opschalen.
- Als ze het een paar stappen lieten nadenken, werd het beter.
- Als ze het enorme hoeveelheden tijd lieten nadenken (equivalent aan het uitrollen van 40.000 lagen van een neurale netwerk), werd het een meester.
- De Score: Op de moeilijkste Sudoku-puzzels steeg de nauwkeurigheid van 2,6% naar meer dan 99%.

De "Diepte versus Breedte"-Strategie

Het artikel ontdekte ook een coole regel over hoe je de "denktijd" van de AI moet besteden:

Diepte (Dieper Denken): Dit is als het maken van één lange, zorgvuldige wandeling langs een pad. Dit werkt goed als het pad duidelijk is.
Breedte (Breder Denken): Dit is als het uitsturen van 100 verschillende verkenners vanaf verschillende startpunten tegelijk.
De Regel: Je hebt eerst genoeg "Diepte" nodig om de verkenners in de juiste richting te krijgen. Zodra ze bewegen, helpt het toevoegen van "Breedte" (meer verkenners) om sneller het beste pad te vinden.

De "Stopknop" (Adaptieve Berekening)

Tot slot voegden de onderzoekers een "Stopknop" toe.

Het Probleem: Soms is een puzzel makkelijk en lost de AI het op in 5 seconden. Andere keren is het moeilijk en heeft het 5 minuten nodig. 5 minuten verspillen aan een makkelijk puzzel is inefficiënt.
De Oplossing: De AI leerde te luisteren naar zijn eigen "magneet". Als het voelt alsof het zich heeft gevestigd in een stabiele vallei (het antwoord is stevig), stopt het direct met denken. Als het nog steeds wiebelt, gaat het door.
Het Resultaat: Dit bespaarde een enorm hoeveelheid computerkracht (tot 11x minder energie) zonder nauwkeurigheid te verliezen.

Samenvatting

Het artikel leert ons dat we om AI beter te maken in redeneren, het model niet alleen groter moeten maken. In plaats daarvan moeten we het leren zijn interne denkproces te vormen zodat correcte antwoorden werken als diepe, stabiele magneten. Door een beetje willekeur toe te voegen en de AI te laten "nadenken" totdat het zich vestigt, kunnen we een onhandige gokker veranderen in een bijna perfecte probleemoplosser.

Technische Samenvatting: Evenwichtsredenaars (EqR)

1. Probleemstelling

Moderne AI-systemen vertrouwen steeds vaker op schaling van compute tijdens het testen om de redeneerprestaties te verbeteren, vaak via iteratieve updates van een latente toestand. De interne mechanismen die het mogelijk maken dat deze iteratieve modellen generaliseren buiten gememoriseerde patronen, blijven echter onduidelijk. Terwijl sommige modellen afnemende meeropbrengsten of zelfs prestatiedegradatie vertonen bij verhoogde compute, behalen andere aanzienlijke winsten. De centrale vraag is: Welke interne mechanismen maken schaalbaar en generaliseerbaar redeneren mogelijk?

Huidige iteratieve redeneermodellen (bijv. HRM, TRM) passen geleerde update-regels toe op latente toestanden, maar worstelen vaak met generalisatie naar taken die diep redeneren vereisen, of met effectieve schaling bij een verhoogd inferentiebudget. Het artikel stelt dat het falen om te schalen vaak voortkomt uit een misalignement tussen de interne dynamiek die het model heeft geleerd en de oplossingsruimte van de taak.

2. Methodologie: Evenwichtsredenaars (EqR)

De auteurs stellen Evenwichtsredenaars (EqR) voor, een raamwerk dat iteratief redeneren formaliseert als het leren van een taak-geconditioneerd attractorlandschap. In dit perspectief komen geldige oplossingen overeen met stabiele vaste punten (attractoren) in het latente dynamische systeem dat wordt gedefinieerd door de update-regel $z_{k+1} = f_\theta(z_k; x)$ .

Kernhypothese

Generaliseerbaar redeneren ontstaat wanneer het model een intern landschap leert waarbij:

Taak-Alignement: De stabiele attractoren overeenkomen met correcte taakoplossingen (basins met lage fout).
Bereikbaarheid: Deze correcte attractoren bereikbaar zijn vanuit diverse initiële toestanden.

Belangrijke Componenten en Interventies

Om dit landschap te vormen, introduceren de auteurs een gecontroleerd constructiepad van feedforward-modellen naar schaalbare iteratieve redenaars, met specifieke trainingsinterventies:

Gewicht-gekoppelde Iteratie: Het hergebruiken van parameters over lagen heen om een recurrent dynamisch systeem te definiëren, waardoor het model kan worden uitgerold tot willekeurige dieptes (bijv. equivalent aan 40.000 lagen) zonder het aantal parameters te verhogen.
Gestochastische Initialisatie van Toestand (RI): In plaats van een vaste initiële toestand $z_0$ te gebruiken, samplet het model $z_0 \sim \mu_0(\cdot|x)$ (bijv. Gaussisch ruis) voor elke traject. Dit aligneert training met schaling van breedte tijdens het testen (meerdere restarts) en moedigt pad-onafhankelijkheid aan.
Pad-stochasticiteit via Ruisinjectie (NI): Additieve ruis wordt bij elke iteratiestap geïnjecteerd ( $z_{k+1} = z_k + (1-\lambda)r_\theta(z_k; x) + \beta \epsilon_k$ ). Dit voorkomt voortijdige convergentie naar spuriële attractoren en verbreedt de verkenning van het landschap.
Gesegmenteerde Online Training (SOT): Een trainingschema dat lange trajecten splitst in segmenten, waarbij supervisie en parameterupdates worden toegepast na elk segment. Dit wisselt af tussen het verfijnen van de latente toestand en het herschikken van de update-operator, waardoor de mismatch van "verouderde trajecten" die voorkomt bij offline supervisie wordt voorkomen.
Adaptieve Berekeningstijd (ACT): Een geleerd halteringsmechanisme dat het model in staat stelt om vroegtijdig te stoppen bij makkelijke gevallen, waardoor meer compute wordt toegewezen aan moeilijke gevallen.

Schaling van Inferentie

EqR schaalt compute tijdens het testen langs twee assen:

Diepte ( $D$ ): Het verhogen van het aantal uitgerolde iteraties per traject om de oplossing binnen een basin te verfijnen.
Breedte ( $B$ ): Het aggregeren van outputs van meerdere onafhankelijke stochastische trajecten (restarts) om de dekking van het attractorlandschap te vergroten.

Convergentie-gebaseerde selectie (het kiezen van het traject met de laagste vaste-puntsresidu $\|f_\theta(z; x) - z\|$ ) wordt gebruikt om de beste voorspelling te selecteren, wat pas betrouwbaar wordt nadat het landschap correct is gevormd.

3. Belangrijkste Resultaten

De auteurs evalueren EqR op Sudoku-Extreme (een uitdagende 9x9 constraint satisfaction-taak) en Maze-Unique (een uniek oplosbare 30x30 padvindende taak).

Generalisatie versus Memoriseren: Standaard feedforward-modellen (zelfs met 64 lagen) behalen een nauwkeurigheid van bijna nul op Sudoku-Extreme (2,6%), terwijl gewicht-gekoppelde iteratieve modellen zonder landschapsvorming 32,6% bereiken.
Impact van Interventies: Het toepassen van Gestochastische Initialisatie (RI) en Ruisinjectie (NI) verbetert de prestaties aanzienlijk. Op Sudoku bereikt het baseline iteratieve model (TRM-stijl) 84,8% nauwkeurigheid; EqR (met RI+NI) bereikt 86,4% bij hetzelfde compute-budget.
Schaalbaarheid:
- Diepteschaling: Het verhogen van het aantal iteraties van 16 naar 64 verbetert de Sudoku-nauwkeurigheid van 86,4% naar 93,0%.
- Breedteschaling: Het combineren van diepte (64) met breedte (128 restarts) duwt de Sudoku-nauwkeurigheid naar 99,8% en de Maze-nauwkeurigheid naar 93,0%.
- Vaste-puntsresidu: Er is een strakke koppeling tussen lagere vaste-puntsresiduen en hogere taaknauwkeurigheid. Naarmate de diepte toeneemt, neemt het residu af en verbetert de nauwkeurigheid, wat de attractor-hypothese valideert.
Efficiëntie: Met Adaptieve Berekeningstijd (ACT) bereikt EqR overeenkomstige nauwkeurigheidsdoelen met aanzienlijk minder functievevaluaties (bijv. 11,34x minder NFE's dan het baseline op Sudoku-Lite) door vroegtijdig te stoppen bij makkelijke gevallen.

4. Betekenis en Claims

Het artikel claimt een mechanistisch inzicht te bieden in waarom iteratief redeneren schaalt. De primaire bijdragen zijn:

Het Attractor-perspectief: Het verschuiven van het beeld van iteratief redeneren van eenvoudige convergentie naar het leren van een taak-geconditioneerd attractorlandschap. Succes hangt af van het aligneren van de interne stabiele toestanden van het model met de correcte oplossingen van de taak.
Trainingsinterventies voor Schaalbaarheid: Het aantonen dat specifieke, taak-agnostische interventies (RI en NI) cruciaal zijn voor het vormen van dit landschap, waardoor correcte attractoren bereikbaar en stabiel worden. Zonder deze levert schaling van compute vaak afnemende meeropbrengsten of falen op.
Betrouwbare Convergentiesignalen: Het tonen dat, zodra het landschap is gevormd, het vaste-puntsresidu een betrouwbare proxy wordt voor taakcorrectheid, waardoor efficiënte selectiestrategieën (Top-1 convergentie) mogelijk worden die beter presteren dan meerderheidsstemming.
Schaalbaar Redeneren zonder Externe Verificators: EqR bereikt massale schaling (uitrollen equivalent aan 40.000 lagen) en bijna perfecte nauwkeurigheid op moeilijke taken zonder te vertrouwen op externe verificators of taak-specifieke priors, uitsluitend gebaseerd op interne dynamiek en compute tijdens het testen.

De auteurs concluderen dat iteratieve latente redeneermodellen, om te kunnen schalen, niet alleen moeten worden geëvalueerd op basis van de uiteindelijke nauwkeurigheid, maar ook op de vraag of hun interne dynamiek correcte oplossingen stabiel, bereikbaar en selecteerbaar maakt. Dit perspectief biedt een weg naar het begrijpen en verbeteren van de generalisatiecapaciteiten van iteratieve modellen.