Recursive Inference Machines for Neural Reasoning

Deze paper introduceert Recursive Inference Machines (RIMs), een neuraal redeneerkader dat klassieke inferentiemechanismen integreert om bestaande modellen zoals TRMs te verbeteren en prestaties op complexe taken zoals ARC-AGI en Sudoku te verhogen.

De kern

De "Rekenmachine met een Gedachtenkrant": Een Simpele Uitleg van RIMs

Stel je voor dat je een heel moeilijk raadsel moet oplossen, zoals een Sudoku of een ingewikkeld legpuzzel. In het verleden probeerden computers dit op twee manieren:

1. De snelle, instinctieve manier: De computer kijkt naar het probleem en schiet direct een antwoord eruit, gebaseerd op wat hij eerder heeft gezien. Dit werkt goed voor simpele dingen, maar bij moeilijke raadsels maakt hij snel fouten.
2. De "dromerige" manier: De computer probeert te redeneren door langzaam na te denken, maar hij heeft geen goed systeem om zijn gedachten te ordenen. Hij raakt in de war of herhaalt fouten.

De auteurs van dit paper hebben een nieuwe manier bedacht om computers slimmer te maken. Ze noemen dit RIMs (Recursive Inference Machines). Laten we dit uitleggen met een paar leuke metaforen.

1. Het Probleem: De "Vaste" Computer

Stel je een computer voor als een kok die een recept probeert te volgen.

• De oude modellen (zoals de Tiny Recursive Models of TRM) zijn als een kok die elke stap van het recept in één keer probeert te doen. Hij kijkt naar de ingrediënten, roert even, en hoopt dat het lukt.
• Het probleem is dat hij geen tijd neemt om te controleren of hij de suiker niet per ongeluk met zout heeft verwisseld. Als hij een fout maakt in stap 3, blijft die fout zitten en wordt het hele gerecht (het antwoord) onbruikbaar.

2. De Oplossing: De RIM (De Kok met een Gedachtenkrant)

De RIM is als een kok die een gedachtenkrant (een "scratchpad") bijhoudt. Hij doet het niet in één keer, maar in een cyclus van drie stappen, net als een detective die een zaak oplost:

1. De Ontdekker (Solver): Deze kijkt naar het probleem en zegt: "Ik denk dat we dit stukje van de puzzel hier moeten leggen." Hij maakt een voorstel.
2. De Controleur (Reweighter): Dit is de sterkste nieuwe uitvinding in dit paper. De Controleur kijkt naar het voorstel van de Ontdekker en zegt: "Wacht even. Dit lijkt goed, maar kijk naar wat we gisteren dachten. Misschien is dit voorstel te ver weg van de waarheid?"
   • In de oude modellen negeerde de computer zijn eigen eerdere gedachten of nam hij ze 1-op-1 over.
   • De Controleur weegt de nieuwe gedachte af tegen de oude. Hij zegt: "We houden 80% van je oude idee en voegen 20% van je nieuwe idee toe." Of hij zegt: "Nee, dit nieuwe idee is te gek, we gooien het weg."
   • Dit zorgt ervoor dat de computer niet "doordraaft" in een fout, maar rustig en gestructureerd naar het juiste antwoord toe beweegt.
3. De Oplosser (Generator): Als de Controleur akkoord gaat, schrijft de Oplosser het nieuwe, verbeterde antwoord op in het notitieboekje.

Dit proces (Ontdekken -> Controleren -> Oplossen) herhaalt de computer zich keer op keer. Elke keer wordt het antwoord iets beter, net als wanneer je een beeld scherpstelt tot het helemaal helder is.

3. Waarom is dit zo slim? (De Analogie van de "Rekenmachine")

De auteurs vergelijken hun systeem met een stochastische rekenmachine (een wiskundige methode die al jaren bestaat voor het oplossen van complexe problemen).

• Vroeger: Computers deden alsof ze een wiskundig probleem oplosten, maar ze vergeten de "correctiefactor" (de weging). Het is alsof je een bal gooit en hoopt dat hij in het doel belandt, zonder te kijken of je te hard hebt gegooid.
• Nu (met RIM): De computer gebruikt de Controleur als een "rem en versneller". Hij past zijn gedachten continu aan.
  • Als de computer een nieuwe gedachte heeft die te gek klinkt, dempt hij deze (zoals een geluidsdemper).
  • Als de gedachte logisch is, versterkt hij deze.

4. Wat hebben ze bewezen?

De auteurs hebben hun nieuwe "Rekenmachine met Gedachtenkrant" getest op drie soorten moeilijke taken:

1. ARC-AGI (Visuele puzzels): Denk aan het vinden van patronen in plaatjes. De RIM kon beter redeneren dan de oude modellen, vooral bij de allerzwaarste puzzels.
2. Sudoku Extreme: Hier moest de computer een heel moeilijk Sudoku oplossen. De RIM haalde een hoger score omdat hij zijn fouten kon "terugdraaien" en corrigeren, in plaats van vast te lopen.
3. Medische diagnoses (Tabulaire data): Stel je voor dat je medische gegevens hebt, maar 25% van de cijfers is per ongeluk verkeerd ingevoerd (ruis).
   • Een oude model zou hierdoor een verkeerde diagnose stellen.
   • De TabRIM (een variant voor tabellen) gebruikt een methode die lijkt op het "dichtbijen" van een wazig beeld. Hij probeert steeds opnieuw te raden wat de juiste cijfers zouden moeten zijn, controleert ze, en gebruikt alleen de meest waarschijnlijke cijfers om de diagnose te stellen. Hierdoor was hij veel accurater, zelfs met slechte data.

Samenvatting in één zin

Deze paper introduceert een slimme manier om computers te laten "nadenken" door ze niet alleen te laten voorstellen wat ze denken, maar hen ook een slimme controleur te geven die die gedachten continu afweegt en corrigeert, waardoor ze veel beter zijn in het oplossen van moeilijke raadsels en het omgaan met fouten in de data.

Het is alsof je een student niet alleen laat leren, maar hem ook een studiegenoot geeft die elke stap controleert en zegt: "Zeker weten? Misschien moeten we dat nog eens overdenken." Dat maakt het eindresultaat veel betrouwbaarder.

Technische samenvatting

Probleemstelling

Neurale redeneerders (zoals Tiny Recursive Models of TRMs) hebben indrukwekkende prestaties geleverd op complexe redeneertaken door patronen in trainingsdata te exploiteren. Echter, deze modellen hebben fundamentele beperkingen:

1. Generalisatieprobleem: Ze worstelen om te generaliseren naar problemen die een langere "horizon" vereisen dan hun trainingsdata.
2. Architecturale beperkingen: Standaard feedforward- en Transformer-architecturen hebben een vaste computatiediepte, wat hen beperkt in het uitvoeren van complexe, meervoudige redeneerstappen.
3. Gebrek aan formalisme: Bestaande methoden voor "test-time scaling" (zoals Chain-of-Thought of zelfverificatie) worden vaak als heuristieken geïntroduceerd zonder een unificerend formeel raamwerk dat uitlegt waarom ze werken of hoe ze systematisch kunnen worden samengesteld.
4. Onzekerheid en Ruis: Bestaande neurale modellen hebben moeite om om te gaan met ruis in de invoer, vooral bij tabulaire data waar expliciete gradienten ontbreken (zoals bij TabPFN).

De auteurs stellen dat moderne neurale redeneerprocessen beter begrepen kunnen worden door ze te interpreteren als programma's in een stochastische programmeertaal, waarbij neurale componenten lokale inferentie-operatoren implementeren.

Methodologie: Recursive Inference Machines (RIMs)

De kern van het artikel is de introductie van Recursive Inference Machines (RIMs), een unificerend raamwerk dat neurale redenering expliciet maakt als een iteratief proces. RIMs baseren zich op concepten uit probabilistische inferentie (zoals Sequential Monte Carlo en Gibbs Sampling) en het "Inference Machine"-paradigma.

Een RIM wordt gedefinieerd als een tuple $\langle x, y^{(0)}, z^{(0)}, G, S, R \rangle$:

• $x$: Probleembeschrijving.
• $y^{(0)}, z^{(0)}$: Initiale oplossing en initiële staat.
• $S$ (Solver): Stelt een update voor aan de staat ($z$) op basis van de huidige oplossing, vorige staat en probleem.
• $G$ (Generator): Genereert een kandidaat-update voor de oplossing ($y$) op basis van de reeks staten.
• $R$ (Reweighter): Voert de daadwerkelijke updates uit door de voorgestelde kandidaten te wegen tegen hun huidige waarden. Dit is het cruciale nieuwe element dat ontbreekt in eerdere modellen.

Het Proces:
Het model werkt in een lus van $N$ iteraties. In elke iteratie wordt de staat $z$ recursief bijgewerkt $T$ keer door de Solver en de Reweighter. Vervolgens gebruikt de Generator deze staat om een nieuwe kandidaat-oplossing te maken, die weer door de Reweighter wordt verwerkt om de uiteindelijke oplossing $y^{(n)}$ te bepalen.

Varianten van RIMs:

1. SimRIM: Een instantiatie die bestaande modellen zoals HRM en TRM omvat. Hierbij is de Reweighter de identiteitsfunctie (geen weging).
2. RIMA: Introduceert een Exponential Moving Average (EMA) als Reweighter. Dit balanceert oude en nieuwe informatie, wat helpt bij het voorkomen van "reasoning drift" en bias-correctie.
3. RIMformer: Gebruikt een Transformer-blok als Reweighter met een "k-lookback" mechanisme. Dit stelt het model in staat om afhankelijkheden over de volledige geschiedenis van het redeneerproces te modelleren via self-attention.
4. TabRIM: Een toepassing voor tabulaire data die Gibbs Sampling simuleert. Het gebruikt TabPFN om "ruisvrije" hypothesen te genereren (Solver) en een Reweighter om deze te wegen op basis van de waargenomen ruis, waardoor het model robuust wordt tegen data-corruptie.

Belangrijkste Bijdragen

1. Unificerend Raamwerk: RIMs bieden een formele basis voor neurale redenering, waarbij latent states worden geïnterpreteerd als voldoende statistieken voor niet-genormaliseerde geloofsverdelingen.
2. De Rol van Reweighting: Het artikel toont aan dat de Reweighter een essentieel component is. Bestaande modellen (zoals TRM) missen dit en gebruiken een identiteitsfunctie, wat leidt tot suboptimale trajecten.
3. Uitbreiding van Bestaande Modellen: Het bewijst dat TRMs een speciaal geval zijn van RIMs (zonder Reweighter). Door een Reweighter toe te voegen (zoals EMA of Transformer), worden de prestaties aanzienlijk verbeterd.
4. Toepasbaarheid op Tabulaire Data: Het toont aan dat het RIM-raamwerk kan worden gebruikt om vooraf getrainde modellen (zoals TabPFN) robuust te maken voor ruis door ze te combineren met een Gibbs-sampling-achtig proces.

Resultaten

De auteurs hebben hun modellen geëvalueerd op diverse benchmarks:

• Symbolische Redenering (ARC-AGI-1, ARC-AGI-2, Sudoku Extreme, Maze-Hard):

  • RIMs met expressieve Reweighters (RIMA en RIMformer) presteerden consequent beter dan SimRIM (de basis TRM-versie zonder weging).
  • Op ARC-AGI-1 verbeterde RIMformer de pass@1 score van 40,5% naar 43,25%.
  • Op Sudoku Extreme steeg de nauwkeurigheid van 87,16% (SimRIM) naar 89,34% (RIMA).
  • Op Maze-Hard (waar backtracking cruciaal is) leverde de grotere lookback van RIMformer een verbetering op, terwijl dit op Sudoku minder effectief bleek (waarschijnlijk door overfitting op de eenvoudigere constraints).
  • Ablatiestudies toonden aan dat dynamische, neurale weging (leerbare parameters) superieur is aan statische weging of het weglaten van weging.

• Tabulaire Redenering (Medische Diagnoses):

  • Op datasets met zware ruis (25% vervanging van waarden) presteerde TabRIM beter dan de standaard TabPFN.
  • Op de Cleveland Heart Disease dataset steeg de AUC-ROC van 0,85 naar 0,87.
  • Op de Ljubljana Breast Cancer dataset steeg de AUC-ROC van 0,63 naar 0,74, wat aantoont dat het model effectief ruis kan filteren door iteratief te redeneren over de onderliggende schone toestand.

Betekenis en Conclusie

Het artikel introduceert een paradigmaverschuiving in neurale redenering: van het zien van recursie als een puur architecturale keuze naar het interpreteren ervan als een geleerde inferentiemachine.

• Interpreteerbaarheid: Door het proces te decomponeren in Solver, Generator en Reweighter, wordt het "denken" van het model transparanter en systematischer.
• Schaalbaarheid: Het raamwerk biedt een manier om bestaande, relatief kleine modellen (zoals TRM) te verbeteren zonder de basisarchitectuur volledig te vervangen, maar door de inferentiestrategie te verfijnen.
• Toekomstperspectief: De auteurs suggereren dat RIMs kunnen worden uitgebreid naar boom-achtige zoekstructuren (Tree-of-Thoughts) en het gebruik van geavanceerde geheugensystemen (zoals xLSTM) als Reweighter.

Kortom, RIMs bieden een modulaire, theoretisch onderbouwde route naar de volgende generatie efficiënte en interpreteerbare redeneermotoren die de kloof tussen patroonherkenning en symbolische manipulatie dichten.