🤖 machine learning

Thinking Deeper, Not Longer: Depth-Recurrent Transformers for Compositional Generalization

Deze paper introduceert een diepte-recurrente Transformer die door het iteratief toepassen van een gedeelde blok in de latente ruimte, de rekendiepte ontkoppelt van het aantal parameters en zo een stabiel 'stil denken' mogelijk maakt dat de prestaties op complexe compositional generalisatie-taken aanzienlijk verbetert naarmate het aantal denkstappen toeneemt.

Oorspronkelijke auteurs: Hung-Hsuan Chen

Gepubliceerd 2026-03-24

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Hung-Hsuan Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme, slimme robot hebt die heel goed is in het beantwoorden van vragen. Maar als je hem een heel lastig vraagstuk geeft, zoals een ingewikkelde puzzel of een lange reeks logische stappen, raakt hij in de war. Waarom? Omdat hij gewend is om "langer" na te denken in plaats van "dieper".

Dit artikel introduceert een nieuwe manier om die robot slimmer te maken. In plaats van dat hij steeds meer woorden op een rijtje zet (wat zijn geheugen volstopt), laten we hem in zijn hoofd "dieper" duiken.

Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:

1. Het oude probleem: De "Lange Lijst"

Stel je voor dat de robot een vraag krijgt: "Wie is de oom van mijn nicht?"
De huidige manier (die ze Horizontale Chain-of-Thought noemen) werkt zo: de robot schrijft elke stap op een stukje papier.

Stap 1: "Mijn nicht is de dochter van..."
Stap 2: "Die dochter heeft een broer..."
Stap 3: "Die broer is..."

Het probleem? Als de puzzel heel lang is, raakt het papier vol. De robot moet stoppen voordat hij klaar is. Bovendien maakt hij bij elke stap een kans op een foutje, en die foutjes stapelen zich op. Het is alsof je een lange tocht maakt, maar bij elke stap een nieuwe kaart moet tekenen. Als je de kaart verliest, ben je de weg kwijt.

2. De nieuwe oplossing: De "Diepe Lift"

De auteurs van dit paper hebben een nieuwe robot ontworpen die Verticale Chain-of-Thought gebruikt.
In plaats van een lange lijst te schrijven, laat je de robot in zijn eigen "geheugenruimte" (latente ruimte) blijven hangen. Hij gebruikt dezelfde "denk-machine" (een blokje code) keer op keer, maar hij doet het steeds dieper.

Vergelijking: Stel je voor dat je een lift hebt. De oude robot liep trappen op (één stap per woord). De nieuwe robot neemt de lift. Hij kan 20 verdiepingen omhoog gaan zonder dat de lift groter wordt of dat hij meer ruimte nodig heeft. Hij denkt gewoon dieper na over hetzelfde probleem, zonder extra papier te verspillen.

3. Hoe houden ze de lift stabiel? (De drie geheimen)

Als je een lift 20 keer laat bewegen, kan hij uit elkaar vallen of vastlopen. De auteurs hebben drie slimme trucjes bedacht om dit te voorkomen:

Truc 1: "Stil Denken" (Silent Thinking)
- Het probleem: Als je de robot bij elke stap controleert ("Is stap 1 goed?"), probeert hij de makkelijkste weg te nemen om die stap goed te krijgen, in plaats van de hele puzzel op te lossen. Hij leert een "snelkookpad".
- De oplossing: Je zegt tegen de robot: "Ik controleer je pas als je helemaal boven bent." Hij moet nu zelf de hele route uitdenken zonder tussentijdse beloningen. Hij leert echt na te denken, in plaats van te gissen.
- Vergelijking: Het is alsof je een kind leert fietsen. Als je bij elke traptrede zegt "Goed zo!", leert het kind niet balanceren. Als je pas zegt "Goed!" als hij bij de finish is, leert hij echt fietsen.
Truc 2: "De Veilige Veer" (LayerScale)
- Het probleem: In het begin is de robot nog een beetje slordig en kan hij zijn eigen gedachten verpesten.
- De oplossing: Ze zetten een heel kleine "veer" in de machine die de signalen in het begin heel zachtjes houdt. Pas als de robot leert, wordt de veer sterker. Dit zorgt ervoor dat de robot zijn gedachten niet per ongeluk verwijdert terwijl hij nog aan het leren is.
Truc 3: "De Identiteits-Brug" (Identity-Biased Recurrence)
- Het probleem: Als je te vaak door een machine gaat, verdwijnt het oorspronkelijke signaal (alsof je een verhaal 20 keer doorgeeft en er steeds iets verandert).
- De oplossing: Ze bouwen een brug die zorgt dat de robot 88% van zijn vorige gedachte behoudt en maar 12% aanpast. Zo blijft het oorspronkelijke idee veilig bewaard, zelfs na 20 rondes.

4. Wat hebben ze getest?

Ze hebben de robot getest op drie soorten puzzels, van makkelijk naar heel moeilijk:

Het Labyrint (Grafieken): De robot moet een weg vinden door een netwerk van punten. Hier werkt het perfect: als hij 5 stappen "denkt", kan hij 5 stappen in het labyrint afleggen. Geen stappen? Dan raakt hij vast.
De Russische Pop (Logica): De robot moet ingewikkelde logische zinnen oplossen (zoals "Niet (A en B)"). Hier is hij heel sterk en kan hij zelfs puzzels oplossen die langer zijn dan hij ooit heeft geoefend.
De Verwarde Familie (Tekst): Dit is het moeilijkst. De robot krijgt een hoop willekeurige zinnen over familieleden (bijv. "Alice is de moeder van Bob") die door elkaar staan. Er is geen kaartje. De robot moet zelf de connecties vinden. Zelfs hier slaagt hij erin om dieper na te denken en betere antwoorden te geven, zonder dat hij de structuur van de zinnen vooraf kent.

5. Het Grote Inzicht: De "Reken-Grens"

De belangrijkste ontdekking is iets dat ze de Computational Frontier noemen.
Stel je een kaart voor met twee assen: hoeveel de robot moet denken (diepte) en hoe moeilijk de puzzel is.
Er is een scherpe lijn. Als de robot net genoeg "denktijd" heeft, is hij perfect. Als hij net iets te weinig denkt, is hij volledig in de war (alsof hij een munt opgooit).
Dit laat zien dat de robot echt rekenen doet, niet zomaar gissen.

Conclusie

Dit paper zegt eigenlijk: "Denk dieper, niet langer."
In plaats van dat kunstmatige intelligentie steeds meer tekst genereert (wat duur en traag is), kunnen we ze laten "mediteren" in hun eigen hoofd. Ze kunnen dan veel complexere problemen oplossen zonder dat hun geheugen volloopt. Het is een stap in de richting van robots die echt kunnen redeneren, net als wij, in plaats van alleen maar woorden te voorspellen.

Probleemstelling

Bestaande Large Language Models (LLMs) en standaard Transformers hebben een fundamentele beperking: hun rekenkracht (diepte) is vast gekoppeld aan het aantal parameters en de contextlengte.

Horizontale beperking: Huidige modellen "denken" door tokens horizontaal te genereren (Chain-of-Thought of CoT). Dit verbruikt de beperkte contextwindow en leidt tot cumulatieve fouten (hallucinaties) bij elke gegenereerde stap.
Vaste diepte: Een Transformer met 32 lagen voert altijd precies 32 verwerkingen uit, ongeacht of de taak triviaal is of complexe, recursieve redenering vereist.
Generalisatieprobleem: Modellen worstelen met compositional generalization (het combineren van bekende elementen in nieuwe, complexere patronen), vooral bij taken die variabele diepte vereisen, zoals multi-hop graaftraversering of geneste logica.

Methodologie: Verticale Chain-of-Thought (VCoT)

De auteurs stellen een orthogonaal paradigma voor: Verticale Chain-of-Thought. In plaats van meer tokens te genereren, "denkt" het model dieper door een gedeelde Transformer-blok herhaaldelijk toe te passen in de latente ruimte (latent space).

Architectuur:
Het model bestaat uit twee delen:

Task-specifieke perceptie-interface: Codeert de ruwe input naar een initiële verborgen staat $H^{(0)}$ .
Invariant redeneringskern: Een enkele Transformer-blok met gedeelde gewichten die $T$ keer recursief wordt toegepast op de verborgen staat. De rekentijd $T$ kan tijdens inferentie flexibel worden aangepast zonder extra tokens te genereren.

Drie cruciale mechanismen voor stabiliteit:
Om stabiele recursie over 20+ stappen mogelijk te maken, introduceert het paper drie mechanismen:

Silent Thinking (Stille Denken):
- Supervisie (verliesfunctie) wordt alleen toegepast op de laatste stap ( $T$ ), niet op tussenstappen.
- Dit dwingt het model om echte multi-stap redeneringspaden te ontwikkelen in plaats van te vertrouwen op heuristische shortcuts die per-stap supervisie bevredigen. Tussenstappen worden niet bestraft, wat het model vrijheid geeft om complexe latente berekeningen uit te voeren.
LayerScale Initialisatie:
- Na elke sublaag (attention en feed-forward) wordt een leerbaar per-kanaal schalingsvector $\Gamma$ toegepast, geïnitieerd op $10^{-4}$ .
- Dit zorgt ervoor dat de output van de lagen in de vroege trainingsfase bijna een identiteitsmapping is. Dit beschermt fragile logische representaties tegen de destructieve ruis van willekeurig geïnitieerde gewichten.
Identiteits-bias Recurrente Poort (Identity-Biased Gated Recurrence):
- De nieuwe kandidaat-stand $\tilde{H}^{(t)}$ wordt gecombineerd met de vorige staat $H^{(t-1)}$ via een GRU-achtige poort.
- De poortbias $b_z$ wordt geïnitieerd op $-2.0$. Omdat $\sigma(-2.0) \approx 0.12$ , behoudt het model standaard 88% van zijn vorige staat.
- Dit creëert een "gradiënt-autobahn" die het signaal stabiel laat propageren door diepe temporele unraveling, voorkomend dat het signaal verdwijnt (vanishing gradients).

Perceptie-interfaces:
Het paper test drie niveaus van inductieve bias:

Topologische Maskering: Strikte adjacency-masks (voor graaftaken).
Relatieve Positie-encoding (RoPE): Voor geneste logica, afhankelijk van relatieve afstanden.
Standaard Sequentiële Attention: Voor ongestructureerde tekst, zonder taak-specifieke structurele hints.

Kernresultaten

De auteurs evalueren het model op drie taken met afnemende structurele bias:

Graafbereikbaarheid (Graph Reachability):
- Het model leert exact 1 stap per hop.
- Er ontstaat een scherpe "computational frontier": bij $N$ denkstappen is het model perfect op $N$ -hop queries, maar faalt het volledig (kansniveau) bij $N-1$ .
- Het toont perfecte OOD-generalisatie tot 8 hops (1.6x training), maar crasht abrupt bij 10 hops door de strikte topologische beperking.
Geneste Boolese Expressies:
- Hier is de frontier geleidelijker. Het model generaliseert soepel tot een diepte van 14 (1.75x training) met >90% nauwkeurigheid.
- Het model degradeert niet bij overmatige rekentijd (tot 24 stappen), wat de stabiliteit van de negatieve poortbias bevestigt.
Relationele Samenstelling in Ongestructureerde Tekst:
- De moeilijkste taak: geen graafmaskers, geen logische volgorde in de input (zinnen zijn geschud).
- Het invariant redeneringskern moet zelf pointer-chasing routes ontdekken.
- Resultaat: Het model toont robuuste OOD-generalisatie tot diepten 6-7 en verbetert consistent met meer denkstappen (tot 20), bewijzend dat het autonome latente routing kan vinden zonder structurele hints.

Belangrijke bevinding over Supervisie:
Een ablatiestudie toont aan dat tussenstap-supervisie (intermediate supervision) schadelijk is. Het leidt tot het leren van statistische shortcuts (bijv. graafdichtheid tellen) in plaats van echte algoritmen. Modellen met tussenstap-supervisie presteren goed op korte taken maar falen volledig bij OOD-taken, terwijl "Silent Thinking" echte generalisatie mogelijk maakt.

Bijdragen

Architectuur: Een diepte-recurrente Transformer met "Silent Thinking", LayerScale en identiteits-bias poorten, die stabiele recursie over 20+ stappen mogelijk maakt met <1M parameters.
Generalisatie: Sterke OOD-generalisatie op drie compositional taken, met extrapolatie naar rekendieptes die strikt langer zijn dan in de trainingsverdeling.
Concept: De identificatie van de "Computational Frontier": een diagonale grens in de nauwkeurigheids-heatmap waar prestaties scherp overgaan van kansniveau naar perfect bij schaling van denkstappen met taakcomplexiteit.
Inzicht: Het bewijs dat tussenstap-supervisie heuristische shortcuts bevordert die OOD-generalisatie ondermijnen, en dat een taak-invariant redeneringskern kan werken met verschillende perceptie-interfaces.

Betekenis

Dit paper biedt een mechanistisch perspectief op "verticale Chain-of-Thought" dat de heersende "horizontale" token-generatie benadering aanvult.

Efficiëntie: Het ontkoppelt rekenkracht van contextlengte en parameteraantal.
Schalbaarheid: Het stelt modellen in staat om meer rekenkracht te investeren in moeilijke gevallen zonder de contextwindow te vullen.
Toekomst: Het suggereert dat de volgende generatie taalmodellen niet alleen "langer" (meer tokens) moet denken, maar "dieper" (meer recursieve stappen in de latente ruimte) om complexe, sequentiële redeneringsproblemen op te lossen die vastzitten in de TC0-complexiteitsklasse van standaard Transformers.