💬 NLP

Loop, Think, & Generalize: Implicit Reasoning in Recurrent-Depth Transformers

Dit paper toont aan dat recurrent-depth transformers, in tegenstelling tot standaard transformers, effectief impliciete redenering en compositional generalization kunnen bereiken door iteratieve berekening over dezelfde lagen, hoewel dit proces gevoelig is voor een overmatig gebruik van recurrentie dat bekendstaat als "overthinking".

Oorspronkelijke auteurs: Harsh Kohli, Srinivasan Parthasarathy, Huan Sun, Yuekun Yao

Gepubliceerd 2026-04-10

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Harsh Kohli, Srinivasan Parthasarathy, Huan Sun, Yuekun Yao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Titel: De Slimme Loper: Hoe AI Eindelijk Kan "Nadenken" in plaats van alleen "Onthouden"

Stel je voor dat een kunstmatige intelligentie (zoals een chatbot) een enorme bibliotheek is. Deze bibliotheek zit vol met feiten: "John Lennon speelde Imagine" en "Yoko Ono is John Lennons vrouw".

Het probleem met de huidige generatie AI-modellen (de "standaard" modellen) is dat ze deze feiten vaak als losse boeken op een plank hebben staan. Als je ze vraagt: "Wie is de vrouw van de zanger van Imagine?", proberen ze het antwoord te vinden. Maar omdat de feiten verspreid zitten over verschillende lagen van hun hersenen, raken ze in de war. Ze weten het antwoord misschien wel, maar ze kunnen de twee feiten niet snel genoeg aan elkaar koppelen om het antwoord te geven. Ze "stappen" niet door de bibliotheek heen; ze proberen alles in één keer te zien, wat vaak mislukt.

De auteurs van dit paper hebben een oplossing bedacht: Recurrent-Depth Transformers. Laten we dit uitleggen met een paar creatieve metaforen.

1. Het Probleem: De "Eén-Slag" Bibliotheek

Stel je een standaard AI voor als een student die een examen moet doen. Hij heeft alle feiten geleerd, maar hij mag het boek niet openmaken. Hij moet het antwoord uit zijn hoofd halen.

Vraag: "Wie is de vrouw van de zanger van Imagine?"
De standaard AI: "Hmm, ik weet dat Lennon Imagine zong... en ik weet dat Yoko Ono zijn vrouw is... maar ik kan die twee gedachten niet tegelijk vasthouden. Ik raak de draad kwijt."
Resultaat: Ze falen bij complexe vragen die meerdere stappen vereisen (zoals een meerdelige zoektocht).

2. De Oplossing: De "Loopende" Denker

De auteurs hebben een nieuw type AI ontworpen dat herhaaldelijk door dezelfde "denkproces" gaat. In plaats van één keer door de bibliotheek te lopen, mag deze nieuwe AI dezelfde route meerdere keren afleggen.

De Metafoor: Stel je voor dat je een puzzel moet oplossen.
- De standaard AI kijkt één keer naar de puzzelstukjes en hoopt het antwoord te zien.
- De nieuwe AI (Loop-Think-Generalize) kijkt naar de puzzel, denkt na, en zegt: "Oké, ik heb dit stukje gevonden." Dan kijkt ze nogmaals naar de puzzel, maar nu met die nieuwe kennis, en zegt: "Ah, nu zie ik het volgende stukje!" Ze doet dit keer op keer, totdat de puzzel opgelost is.

Dit noemen ze "recurrent depth" (herhalende diepte). Het is alsof je een spiegel voor een spiegel zet; het beeld wordt steeds dieper en duidelijker.

3. Twee Grote Doorbraken

De paper toont aan dat deze nieuwe AI twee dingen kan doen waar de oude modellen faalden:

A. Systematisch Generaliseren (Het "Nieuwe Combineren")

Stel, je leert een kind twee regels:

Als je een appel hebt, krijg je een rode bal.
Als je een banaan hebt, krijg je een blauwe bal.

Je test het kind nooit op een combinatie. Maar als je het kind later vraagt: "Wat krijg je als je een appel en een banaan hebt?", kan een standaard AI vaak niet zeggen: "Een rode én een blauwe bal". Ze hebben de combinatie nooit gezien.

De nieuwe AI kan dit wel. Ze leren de regels (de logica) en niet alleen de specifieke voorbeelden.

De "Grokking" (Het Opeens Begrijpen): De paper beschrijft een fascinerend fenomeen. In het begin onthoudt de AI alleen de oefenvragen (memoriseren). Dan, na veel oefenen, gebeurt er plotseling iets magisch: de AI "snapt" het patroon. Het is alsof een kind dat maandenlang tafels uit het hoofd leert, plotseling de wiskundige logica erachter begrijpt en alle nieuwe sommen kan maken. Dit noemen ze grokking.

B. Diepere Redenering (Meer Stappen)

Stel, je traint de AI om 5 stappen vooruit te denken (bijvoorbeeld: A -> B -> C -> D -> E -> F).

Standaard AI: Als je vraagt om 10 stappen vooruit te denken, geeft ze op. Ze zijn getraind op 5 stappen en kunnen niet "extrapoleren".
Nieuwe AI: Als je haar vraagt om 10 stappen te doen, zeg je: "Gebruik je hersenen maar langer!" Je laat haar gewoon meer keren door de loop gaan.
- Stap 1-5: Ze doet de eerste ronde.
- Stap 6-10: Ze doet een tweede ronde met de uitkomst van de eerste.
- Resultaat: Ze kan tot 20 of 30 stappen vooruit denken, zolang je haar maar genoeg tijd (iteraties) geeft.

4. Het Nadeel: "Te Veel Nadenken" (Overthinking)

Er is echter een valkuil. Soms denkt de AI te veel na.

De Metafoor: Stel je voor dat je een simpele vraag stelt: "Wat is 2 + 2?".
- Als je 1 seconde nadenkt, weet je het antwoord (4).
- Als je 10 seconden nadenkt, begin je te twijfelen: "Misschien is het 3? Of 5? Of is het een raadsel?"
- Bij de nieuwe AI gebeurt dit ook. Als je haar te vaak door de loop stuurt, wordt haar antwoord onzeker en fout. Ze begint te "dwalen" in plaats van te vinden. Dit noemen ze overthinking. De kunst is dus om te weten wanneer je moet stoppen met nadenken.

Conclusie

Deze paper laat zien dat we AI-modellen niet alleen groter hoeven te maken, maar ze slimmer moeten laten "nadenken" door hen dezelfde stappen te laten herhalen.

Vroeger: AI was als een fotograaf die één foto maakt en hoopt dat het antwoord erop staat.
Nu: AI is als een detective die een dossier keer op keer doorleest, elke keer met nieuwe inzichten, totdat de dader wordt gevonden.

Dit is een enorme stap voorwaarts voor het maken van AI die echt kan redeneren, in plaats van alleen maar feiten te herhalen. Het betekent dat we in de toekomst AI kunnen vertrouwen op complexere vragen, zolang we haar maar de tijd geven om de juiste "loop" te doorlopen.

Probleemstelling

Grote Taalmodellen (LLMs) op basis van transformers hebben aanzienlijke feitelijke kennis opgeslagen in hun parameters, maar ze worstelen vaak met impliciete redenering. Dit is het vermogen om kennis of regels te combineren binnen één enkele forward pass, zonder gebruik te maken van expliciete chain-of-thought (CoT) prompts.

De kern van het probleem is een gebrek aan compositional generalization (samenstellende generalisatie):

Systeematische generalisatie: Het vermogen om kennis te combineren die tijdens het trainen nooit in combinatie is gezien (bijv. het combineren van twee losse feiten die niet samen in de trainingsdata voorkomen).
Diepte-extrapolatie: Het vermogen om redeneringen uit te voeren die dieper zijn dan de maximale diepte die tijdens het trainen is gezien (bijv. trainen op 5-hop redenering en testen op 10-hop).

Vanilla transformers (standaard transformers) falen hierin omdat kennis over verschillende lagen is verdeeld en er geen garantie is dat de juiste feiten op het juiste moment worden toegankelijk voor de volgende stap in de redenering.

Methodologie

De auteurs introduceren en bestuderen recurrent-depth transformers (ook wel "looped transformers" genoemd) als oplossing.

Architectuur: In plaats van een unieke reeks lagen voor elke stap, wordt dezelfde set transformer-blokken (met gedeelde gewichten) iteratief toegepast op de output van de vorige iteratie.
- Formeel: $h^{(r+1)} = f_\theta(h^{(r)})$ , waarbij $f_\theta$ de gedeelde lagen zijn en $r$ de recurrente iteratie.
- Dit zorgt voor een effectieve diepte van $D = L \times R$ (waarbij $L$ het aantal lagen is en $R$ het aantal iteraties).
Trainingstrategie:
- Zero-initialisatie: De output-projectiematrices worden op nul gezet om stabiliteit te garanderen bij het herhaaldelijk toepassen van gedeelde gewichten (identity mapping bij initiatie).
- Stopcondities: Er worden twee strategieën onderzocht: fixed iteration (vast aantal iteraties) en dynamic iteration (het aantal iteraties wordt per batch gesampled, bijvoorbeeld via een Poisson-verdeling).
- Curriculum Learning: Voor diepere taken wordt het model getraind met een "easy-to-hard" curriculum, waarbij eerst atomische feiten en 2-hop taken worden geleerd, gevolgd door steeds complexere taken.
Experimenteel Setup:
- Gebruik van synthetische datasets gebaseerd op gerichte kennisgrafieken (KG) met entiteiten en relaties.
- De taak is het voorspellen van het eindpunt (tail entity) van een keten van relaties (k-hop) op basis van een startpunt (head entity).
- Er wordt streng gecontroleerd op "shortcuts" (bijv. door permutaties in de data te forceren, zodat het model niet alleen op een suffix van de input kan vertrouwen).

Belangrijkste Bijdragen en Resultaten

1. Systeematische Generalisatie en "Grokking"

De auteurs tonen aan dat recurrent-depth transformers wel degelijk systeematische generalisatie kunnen bereiken, terwijl vanilla transformers hierin volledig falen.

Drie-staps "Grokking"-proces: De overgang naar systeematische generalisatie verloopt via een scherp dynamisch proces:
1. Memorisatie: Het model onthoudt de trainingsdata, maar faalt op nieuwe combinaties.
2. In-distribution generalisatie: Na langdurig trainen begint het model binnen de trainingsverdeling te generaliseren (het "grokking"-fenomeen).
3. Systeematische generalisatie: Pas na het bereiken van bijna perfecte in-distribution nauwkeurigheid, begint het model succesvol te presteren op Out-of-Distribution (OOD) data (combinaties die nooit zijn gezien).
Mechanistisch inzicht: Via "logit lens" analyse wordt aangetoond dat tijdens de grokking-fase het model eerst de brug-entiteiten (intermediate entities) correct kan decoderen, wat essentieel is voor de tweede stap van de redenering.

2. Diepte-extrapolatie door Schalen van Inference

Recurrent-depth transformers kunnen redeneren dieper dan de trainingsdiepte, mits er meer rekentijd wordt besteed tijdens de inferentie.

Inference-time Scaling: Door het aantal recurrente iteraties ( $R$ ) tijdens de inferentie te verhogen, kan het model taken oplossen die dieper zijn dan de maximale diepte tijdens het trainen.
Rol van Training: Het aantal iteraties tijdens het trainen bepaalt de range van extrapolatie. Dynamische trainingsstrategieën (waarbij het aantal iteraties varieert) presteren beter dan vaste strategieën, omdat ze een grotere leerbaarheid van recursie mogelijk maken.

3. De Beperking: "Overthinking"

Een cruciale bevinding is het fenomeen van overthinking.

Als het aantal inferentie-iteraties te groot wordt, neemt de prestatie af. De logit-marge (het verschil tussen de juiste en de sterkste verkeerde voorspelling) bereikt een piek en daalt vervolgens.
Dit betekent dat het model "te veel" nadenkt en de voorspelling verslechtert door extra iteraties, vooral bij complexe taken.
Oplossing: De auteurs stellen een adaptieve halting-methode voor die zowel de KL-divergentie (verandering in output) als de entropie (onzekerheid) van de output gebruikt. Dit voorkomt vroegtijdig stoppen (wanneer het model nog onzeker is) en te lang doorgaan (overthinking).

Significantie en Conclusie

Dit paper biedt een fundamenteel inzicht in hoe architecturale keuzes de redeneercapaciteiten van taalmodellen beïnvloeden:

Architecturale Innovatie: Het bewijst dat recurrent-depth transformers een veelbelovende architectuur zijn voor compositional reasoning over parametrische kennis, in tegenstelling tot standaard transformers.
Dynamiek van Leren: Het identificeert het "grokking"-proces als een noodzakelijke fase voor het bereiken van systeematische generalisatie, wat helpt bij het begrijpen van waarom sommige modellen plotseling "leren" redeneren.
Praktische Implicaties: Het paper biedt richtlijnen voor het trainen van dergelijke modellen (bijv. het gebruik van dynamische iteraties en adaptieve halting) en waarschuwt voor de valkuil van overthinking.
Toekomstperspectief: Hoewel de experimenten op synthetische data zijn uitgevoerd, suggereren de resultaten dat recurrente dieptestructuren essentieel kunnen zijn voor het oplossen van complexe, multi-hop redeneertaken in toekomstige LLM's zonder afhankelijk te zijn van expliciete chain-of-thought prompts.