💻 computer science

Recursive Inference Machines

Dit artikel introduceert Recursive Inference Machines (RIMs), een neuraal redeneerframework dat neurale backbones verenigt met klassieke recursieve inferentieschema's om de prestaties op complexe redeneerbenchmarks te verbeteren en de robuustheid en efficiëntie in tabulaire datastellingen te optimaliseren.

Oorspronkelijke auteurs: Mieszko Komisarczyk, Saurabh Mathur, Maurice Kraus, Sriraam Natarajan, Kristian Kersting

Gepubliceerd 2026-09-03

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Mieszko Komisarczyk, Saurabh Mathur, Maurice Kraus, Sriraam Natarajan, Kristian Kersting

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In de wereld van kunstmatige intelligentie is er een duidelijk onderscheid tussen systemen die patronen herkennen en systemen die erover redeneren. Patroonherkenning is waar moderne computers uit blinken: het bekijken van duizenden afbeeldingen van katten en leren een nieuwe te identificeren. Redeneren is echter het vermogen om een reeks feiten te nemen, stapsgewijs logica toe te passen en tot een conclusie te komen die niet expliciet aanwezig was in de oorspronkelijke gegevens. Decennialang hebben wetenschappers gestreden om machines te bouwen die dit betrouwbaar kunnen doen, vooral wanneer de problemen lange denkketens vereisen of wanneer de gegevens rommelig en imperfect zijn. Traditionele benaderingen vertrouwen vaak op rigide, handmatig geprogrammeerde regels, die broos zijn en falen wanneer de wereld ingewikkeld wordt. Nieuwere benaderingen maken gebruik van diepe neurale netwerken, die krachtig zijn maar vaak fungeren als "black boxes", waarbij ze antwoorden raden op basis van statistische waarschijnlijkheid in plaats van werkelijk begrip. Een grote uitdaging blijft: hoe kunnen deze flexibele, lerende systemen het zorgvuldige, meerstaps werk van een menselijke logicus uitvoeren zonder hun vermogen om van gegevens te leren te verliezen.

Onderzoekers aan de Technische Universiteit van Darmstadt en de University of Texas at Dallas hebben een nieuw framework voorgesteld genaamd Recursive Inference Machines om deze kloof te overbruggen. In plaats van redeneren te behandelen als één enkele, enorme sprong, hebben zij een systeem ontworpen dat complexe problemen afbreekt in een cyclus van kleine, herhaalbare stappen. Stel je een team van specialisten voor die werken aan een moeilijke puzzel. Eén specialist, de Solver, kijkt naar de huidige staat van de puzzel en stelt een kleine verbetering voor. Een andere, de Generator, gebruikt die suggesties om de algehele oplossing bij te werken. Een derde, de Reweighter, fungeert als een kritische redacteur en beslist welke suggesties het bewaren waard zijn en welke weggegooid moeten worden op basis van hoe goed ze passen bij de geschiedenis van de poging. Door deze drie rollen herhaaldelijk door het probleem te laten lopen, verfijnt de machine haar antwoord en corrigeert ze haar eigen fouten onderweg. Deze aanpak stelt het systeem in staat om taken aan te pakken die te complex zijn voor een enkele berekeningsronde, waardoor de AI effectief een manier krijgt om na te "denken" voordat ze spreekt.

De onderzoekers testten dit framework op enkele van de meest veeleisende redeneeruitdagingen van dit moment. Ze pasten het toe op geometrische puzzels die vereisen dat globale patronen worden gevisualiseerd, extreme versies van Sudoku die diepe logische deductie vereisen, en complexe doolhofnavigatie. In deze tests presteerde het nieuwe systeem consequent beter dan eerdere state-of-the-art modellen. Zo lost een verbeterde versie van hun machine op een moeilijke Sudoku-benchmark bijna 90 procent van de puzzels op, een significante sprong ten opzichte van de vorige beste prestatie. De sleutel tot dit succes was de inclusie van de Reweighter-component. Het team kwam tot de conclusie dat het simpelweg laten itereren van de machine op haar eigen ideeën niet genoeg was; het had een mechanisme nodig om de eigen voortgang te wegen, waarbij vroege fouten worden gedempt en correcte inzichten worden versterkt. Wanneer zij deze wegingstap verwijderden, daalde de prestatie van het systeem, wat suggereert dat het vermogen om het eigen redeneepad te evalueren en aan te passen cruciaal is voor het oplossen van moeilijke problemen.

Het framework bleek ook effectief in een zeer andere setting: medische diagnose met behulp van tabelgegevens. In de echte gezondheidszorg zijn gegevens vaak ruisig; een patiëntendossier kan typefouten, ontbrekende waarden of onjuiste vermeldingen bevatten. Standaardmodellen worstelen hier vaak mee, waardoor ze onbetrouwbare resultaten produceren wanneer de input imperfect is. De onderzoekers pasten hun machine aan om te fungeren als een denoising-agent (ruisonderdrukker). Het zou een ruisig medisch dossier nemen, meerdere mogelijke "schone" versies van de gegevens genereren, en vervolgens zijn wegingmechanisme gebruiken om te beslissen welke versie het meest waarschijnlijk waar is. Wanneer het werd getest op vier verschillende medische datasets waarbij 25 procent van de informatie willekeurig was gecorrumpeerd, verbeterde deze aanpak de nauwkeurigheid van diagnoses aanzienlijk vergeleken met bestaande methoden. Het toonde aan dat dezelfde logica die wordt gebruikt om een Sudoku-puzzel op te lossen, ook een computer kan helpen om zin te geven aan een rommelig patiëntendossier.

Naast nauwkeurigheid ontdekten de onderzoekers dat dit modulaire ontwerp AI-systemen ook sneller en efficiënter kan maken. Ze namen een groot, vooraf getraind model dat bekend staat om zijn vermogen om van kleine datasets te leren, en herstructureerden dit met behulp van hun framework. Door een gespecialiseerde component in te voegen die statusupdates efficiënter afhandelt, creëerden ze een hybride systeem dat hetzelfde hoge niveau van voorspellende nauwkeurigheid behield, maar 35 procent minder tijd nodig had om een antwoord te produceren. Deze bevinding suggereert dat de manier waarop we de interne logica van een AI structureren even belangrijk is als de omvang van het model zelf. Door het redeneerproces te organiseren in duidelijke, herbruikbare stappen, lieten de onderzoekers zien dat het mogelijk is om systemen te bouwen die niet alleen slimmer, maar ook slanker zijn.

Het werk dat in dit artikel wordt gepresenteerd, beweert niet alle redeneerproblemen te hebben opgelost, maar biedt een duidelijke, verenigde manier om te begrijpen hoe neurale netwerken worden gestuurd om dieper na te denken. Het gaat verder dan het idee om één enkel massaal netwerk te trainen om patronen te memoriseren, en stelt in plaats daarvan een gestructureerde architectuur voor waarbij verschillende onderdelen van het systeem specialiseren in het voorstellen, genereren en evalueren van oplossingen. De resultaten suggereren dat we, door expliciet mechanismen voor zelfcorrectie en iteratieve verfijning in te bouwen, kunstmatige intelligentie kunnen creëren die robuuster is tegen ruis, beter in staat is om lange logische ketens te verwerken en efficiënter in het gebruik van rekenkracht is. Terwijl het vakgebied zich blijft ontwikkelen, biedt dit framework een blauwdruk voor het ontwerpen van de volgende generatie machines die de complexe, onzekere en vaak rommelige realiteit van de wereld kunnen navigeren.

Technische Samenvatting: Recursive Inference Machines (RIMs)

Probleemstelling

Neurale redeneerders hebben indrukwekkende prestaties geleverd op redeneerbenchmarks door patronen in trainingsdata uit te buiten. Echter, standaard feedforward- en Transformer-architecturen worden beperkt door een vaste computationele diepte, waardoor ze moeite hebben met het generaliseren naar problemen die langere redeneerhorizonten of complexe algoritmische logica vereisen. Hoewel recente benaderingen voor schaling tijdens de testtijd (bijv. Chain-of-Thought, zelfverificatie) meerstapsredeneren mogelijk maken, missen deze vaak een verenigend formeel kader, wat ze moeilijk interpreteerbaar, composabel of systematisch uitbreidbaar maakt. Bovendien missen bestaande recursieve modellen zoals Tiny Recursive Models (TRMs) en Hierarchical Reasoning Models (HRMs) een systematische interpretatie van hun latente toestandsupdates, waarbij ze vaak cruciale componenten missen die aanwezig zijn in klassieke stochastische inferentie, zoals importance weighting.

Methodologie: Recursive Inference Machines (RIMs)

De auteurs introduceren Recursive Inference Machines (RIMs), een verenigd kader dat neurale redenering beschouwt als een expliciet, iteratief proces geïnspireerd door klassieke inferentie-engines en probabilistische inferentiemethoden zoals Sequential Monte Carlo (SMC) en Gibbs sampling.

Kernarchitectuur

Een RIM wordt gedefinieerd als een tupel $\langle S, G, R \rangle$ bestaande uit drie uitwisselbare componenten:

Solver ( $S$ ): Een mapping die kandidaat-toestandsupdates ( $\tilde{z}$ ) voorstelt op basis van de probleembeschrijving ( $x$ ), de huidige oplossing ( $y$ ) en de vorige staat ( $z'$ ). Het fungeert als het "proposal"-mechanisme in een SMC-context.
Generator ( $G$ ): Een mapping die kandidaat-oplossingsupdates ( $\tilde{y}$ ) produceert op basis van de sequentie van verfijnde toestanden gegenereerd door de Solver.
Reweighter ( $R$ ): Een mapping die de voorgestelde updates weegt tegenover historische toestanden en oplossingen om geaccepteerde updates ( $z, y$ ) te produceren. Deze component corrigeert voor proposal-bias, waardoor voorkomt dat redeneertrajecten afwijken van de doelverdeling.

De uitvoering omvat een binnenste lus (Solver) die een latente "scratchpad"-toestand $T$ keer verfijnt, gevolgd door een buitenste lus (Generator) die de globale oplossing bijwerkt. Dit proces herhaalt zich $N$ keer. Het kader verenigt bestaande modellen door ze te behandelen als specifieke instanties van deze componenten.

Instanties

Het artikel verkent verschillende specifieke architecturen binnen de RIM-ontwerpplek:

SimRIM: Een directe codering van HRMs en TRMs waarbij de Solver en Generator neurale netwerken zijn (vaak gedeeld) en de Reweighter een identiteitsfunctie is. Dit komt overeen met TRMs die een expliciet wegingsmechanisme missen.
RIMA: Verbetert SimRIM door de identiteits-Reweighter te vervangen door Exponential Moving Averages (EMA). Dit stelt het model in staat om informatie uit het verleden en het heden te balanceren, waarbij leerbare of vaste vervalparameters ( $\alpha$ ) de traagheid van toestandsupdates controleren.
RIMformer: Gebruikt een Transformer als de Reweighter. Door een $k$ -lookback mechanisme en self-attention te gebruiken, legt het expliciet afhankelijkheden vast over de gehele redeneergeschiedenis, wat complexe backtracking faciliteert.
TabRIM: Past het RIM-kader toe op tabelgegevens met behulp van TabPFN (een prior-fitted transformer). Hierbij verfijnt de Solver iteratief kenmerken via Gibbs sampling-achtige stappen (met gebruik van TabPFN voor volledige conditionalen), terwijl de Reweighter belang weights toekent op basis van de waarschijnlijkheid van geobserveerde ruisige bewijslast.
HybRIM: Een hybride architectuur die TabPFN behandelt als een onvolledige RIM (die Solver en Reweighter mist). Het voegt Hydra (een selectieve state space model) lagen in als de Solver om de staat efficiënt in lineaire tijd te propageren, afgewisseld met TabPFN Transformer-lagen (Generator).

Belangrijkste Bijdragen

Verenigd Kader: De introductie van RIMs als een algemeen, modulair kader voor neurale redenering, waarbij de rollen van state proposal (Solver), solution generation (Generator) en bias correctie (Reweighter) expliciet worden gescheiden.
Theoretische Uitbreiding van TRMs: Het aantonen dat TRMs een specifieke instantie zijn van RIMs met een identiteits-Reweighter. De auteurs tonen aan dat het toevoegen van een niet-triviale Reweighter (bijv. EMA of Transformer) TRMs uitbreidt om complexe redenering effectiever aan te kunnen.
Robuustheid tegen Ruis: Het aantonen dat RIMs de redenering onder observationele ruis in tabelgegevens kunnen verbeteren door het probleem te formuleren als een Gibbs sampling-taak, waarbij ze standaard TabPFN overtreffen op ruisige medische datasets.
Efficiëntieverbeteringen: Het aantonen dat het transformeren van een foundation model (TabPFN) tot een onvolledige RIM en het voltooien ervan met een gespecialiseerde Solver (Hydra) de inferentietijd met 35% vermindert terwijl de voorspellende prestaties behouden blijven.

Experimentele Resultaten

De auteurs evalueerden RIMs over symbolisch redeneren, tabel-redeneren onder ruis en architecturale efficiëntie:

Symbolisch Redeneren (ARC-AGI-1/2, Sudoku Extreme, Maze-Hard):
- RIMA en RIMformer (met niet-triviale Reweighters) presteerden over het algemeen beter dan de baseline SimRIM (identiteits-Reweighter).
- RIMA behaalde de sterkste resultaten, met name op Sudoku Extreme (89,39% nauwkeurigheid versus 87,16% voor SimRIM).
- Ablatiestudies gaven aan dat dynamische herweging (leerbare parameters) superieur is aan statische weging.
- Effecten van lookback grootte waren taakafhankelijk: grotere lookbacks (RIMformer) hielpen bij Maze-Hard maar verslechterden de prestaties op Sudoku Extreme, wat suggereert dat eenvoudigere taken profiteren van kleinere lookbacks als een regulariserende inductieve bias.
Tabel-Redeneren (Medische Datasets met 25% Ruis):
- TabRIM presteerde consequent beter dan directe TabPFN inferentie op alle vier de medische datasets (Cleveland, Ljubljana, Thyroid, Hepatitis) in termen van AUC-ROC en AUC-PR.
- De verbeteringen waren het meest significant op datasets waar kenmerkcorruptie het meest schadelijk was (Ljubljana, Thyroid).
Efficiëntie (OpenML CC-18):
- HybRIM kwam overeen met de voorspellende prestaties van TabPFN, maar bereikte een reductie van 35% in inferentietijd (4,71s vs. 7,22s) met minder parameters (16M vs. 25M).

Betekenis en Claims

Het artikel claimt dat RIMs een geprincieerd fundament bieden voor neurale redenering door "denkstappen" te interpreteren als samples die een posterior verdeling benaderen. Door de inferentie-dynamiek expliciet te maken, leggen RIMs impliciete ontwerpkeuzes bloot (zoals het gebrek aan weging in TRMs) en maken ze systematische verbeteringen mogelijk.

De auteurs stellen dat dit kader de kloof overbrugt tussen pure patroonherkenning en hoogwaardige symbolische manipulatie. Het staat de volgende zaken toe:

Modulariteit: Componenten (Solver, Generator, Reweighter) kunnen onafhankelijk worden verwisseld of verbeterd.
Composabiliteit: Bestaande methoden zoals TRMs kunnen worden gezien als onvolledige RIMs en kunnen worden "voltooid" met nieuwe componenten (bijv. het toevoegen van een Reweighter).
Interpreteerbaarheid: Het kader biedt een duidelijker semantisch begrip van hoe neurale redeneerders opereren, waarbij het verder gaat dan heuristische procedures naar formele inferentie-machines.

Het artikel concludeert dat hoewel RIMs momenteel bestaande architecturen overtreffen, de ontwerpplek open blijft voor verdere exploratie, zoals het gebruik van geavanceerde geheugenmechanismen (bijv. xLSTM) voor de Reweighter of het uitbreiden van het kader naar Tree-of-Thoughts opstellingen.