💬 NLP

LoopFormer: Elastic-Depth Looped Transformers for Latent Reasoning via Shortcut Modulation

Het paper introduceert LoopFormer, een loopende Transformer die via een shortcut-consistentie trainingsmethode en adaptieve looplengte in staat is om onder verschillende rekenbudgetten robuust te redeneren en te modelleren.

Oorspronkelijke auteurs: Ahmadreza Jeddi, Marco Ciccone, Babak Taati

Gepubliceerd 2026-02-13

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Ahmadreza Jeddi, Marco Ciccone, Babak Taati

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een zeer slimme, maar soms wat stijve robot hebt die verhalen schrijft of vragen beantwoordt. Deze robot is een Transformer (het type model dat achter ChatGPT en andere AI's zit).

Normaal gesproken werkt deze robot als een lange fabrieksband: een tekst komt binnen, gaat door 24 verschillende werkstations (lagen), en komt aan de andere kant als een antwoord. Als je de robot sneller wilt laten werken, kun je werkstations weghalen, maar dan wordt het antwoord vaak slechter. Als je het antwoord beter wilt, moet je meer werkstations toevoegen, maar dan duurt het langer.

LoopFormer is een nieuwe, slimme manier om deze robot te bouwen. Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De "Loop" (De Lopen-techniek)

In plaats van een lange fabrieksband met 24 verschillende werkstations, heeft LoopFormer slechts 3 werkstations. Maar hier is de truc: deze 3 stations worden herhaald.

Stel je voor dat je een puzzel oplost.

De oude manier: Je hebt 24 verschillende mensen die elk één stukje doen.
LoopFormer: Je hebt 1 persoon die 8 keer langs de puzzel loopt. Bij elke ronde kijkt hij nog eens goed, denkt na, en verbetert zijn oplossing.

Dit heet een "looped" (gelopen) model. Het is efficiënter omdat je minder hardware nodig hebt, maar het kan net zo goed worden als de grote modellen.

2. Het Probleem: De "Stijve" Robot

Tot nu toe hadden deze loopende robots een probleem: ze waren stijf.

Als je ze trainde om 8 rondes te lopen, konden ze niet goed werken als je ze vroeg om maar 3 rondes te doen. Ze raakten in de war of gaven een slecht antwoord.
Het was alsof je iemand traint om een marathon te lopen, en dan vraagt je hem om een sprint te doen. Hij weet niet hoe hij moet starten of stoppen; hij blijft gewoon in zijn marathon-ritme lopen, wat niet werkt voor een korte afstand.

3. De Oplossing: LoopFormer en de "Sprong"

LoopFormer lost dit op met twee slimme ideeën, die we kunnen vergelijken met navigeren en tijdsreizen.

A. De "Tijds- en Sprong-Compass"

Elke keer dat de robot een ronde loopt, krijgt hij een speciaal kompas mee. Dit kompas vertelt hem twee dingen:

Hoe ver is hij al? (De tijd: ben ik net begonnen of bijna klaar?)
Hoe groot is mijn stap? (De sprong: loop ik langzaam en gedetailleerd, of maak ik een grote sprong?)

Dit is als een GPS die niet alleen zegt "je bent hier", maar ook "je hebt nog 10 minuten te gaan, dus maak een grote stap" of "je bent bijna klaar, loop nu heel voorzichtig". Hierdoor weet de robot precies wat hij moet doen, of hij nu 2 rondes doet of 20.

B. De "Korte Koppeling" (Shortcut Consistency)

Hoe leer je de robot dit? De onderzoekers gebruiken een slimme trainingsmethode.
Stel je voor dat je een leerling traint om een berg te beklimmen.

Je laat hem de hele berg beklimmen (de lange route).
Maar soms laat je hem ook een korte route nemen (bijvoorbeeld alleen de eerste helft).
De regel is: Het uitzicht aan het einde van de korte route moet lijken op het uitzicht dat je zou hebben gezien als je de lange route had gelopen.

De robot leert zo dat hij, zelfs als hij snel moet werken (weinig budget), al een goed antwoord moet hebben. Als hij meer tijd krijgt, kan hij het antwoord gewoon verfijnen, zonder dat het antwoord "instort" of verandert.

4. Waarom is dit geweldig? (Elastische Diepte)

Dit maakt de AI elastisch (rekbaar).

Je hebt weinig tijd of geld? De gebruiker zegt: "Gebruik maar 2 rondes." LoopFormer geeft direct een goed antwoord, zonder dat je de robot opnieuw hoeft te trainen.
Je hebt veel tijd? De gebruiker zegt: "Gebruik 10 rondes." LoopFormer gebruikt die extra tijd om het antwoord nog slimmer en nauwkeuriger te maken.

Het is alsof je een auto hebt die zowel perfect rijdt in de file (korte afstand, weinig brandstof) als op de snelweg (lange afstand, veel snelheid), zonder dat je de motor hoeft te vervangen.

Samenvatting in één zin

LoopFormer is een slimme AI die een enkele set van hersenen herhaaldelijk gebruikt om na te denken, en die door slimme "tijds- en stap-instructies" leert om zowel snel als langzaam te werken, afhankelijk van hoeveel tijd je hebt, zonder dat de kwaliteit van het antwoord daalt.

Dit opent de deur naar AI's die je kunt aansturen op basis van je budget: "Geef me een snel antwoord" of "Geef me het allerbeste antwoord", en de AI past zich automatisch aan.

Probleemstelling

Looped Transformers (ook wel recurrente Transformers genoemd) zijn een efficiënt alternatief voor diepe, niet-gedeelde Transformer-stacks. Ze delen parameters over meerdere iteraties (loops) en hebben aangetoond een sterke inductieve bias te hebben voor "latente redenering" (het internaliseren van redeneerprocessen in de verborgen staten). Echter, bestaande benaderingen hebben een fundamenteel nadeel: het aantal loops (iteraties) is tijdens training en inferentie vast.

Dit leidt tot twee belangrijke problemen:

Gebrek aan flexibiliteit: Als een model is getraind met een vast aantal loops (bijv. $L$ ), presteert het slecht als het wordt geëvalueerd met een ander aantal loops (korter of langer). De representaties "storten in" (collapse) of stagneren omdat ze buiten de verdeling van de training komen (off-distribution).
Verlies van rekenefficiëntie: In de praktijk gebruiken looped modellen vaak hetzelfde rekenbudget als niet-geloopde baselines, waardoor het potentiële voordeel van flexibele computatie (waarbij het model stopt zodra het antwoord bekend is) verloren gaat. Bestaande technieken voor dynamische compute (zoals early exiting of token-halting) werken niet goed in looped architecturen omdat ze vaak leiden tot stagnatie van de representaties.

De centrale vraag is: Kunnen looped Transformers flexibel worden getraind om effectief te presteren onder variabele rekenbudgetten zonder hertraining?

Methodologie: LoopFormer

Het paper introduceert LoopFormer, een looped Transformer-architectuur die is ontworpen voor "elastic depth" (elastische diepte). De kern van de methode bestaat uit drie componenten:

1. Architectuur: Shortcut-Modulatie

In plaats van alleen te vertrouwen op de loop-index, conditioneert LoopFormer elke iteratie expliciet op twee variabelen:

Normale tijd ( $t$ ): De cumulatieve genormaliseerde tijd (van 0 tot 1) in de trajectorie.
Stapgrootte ( $\Delta t$ ): De grootte van de stap in de huidige iteratie.

Deze variabelen worden geëncodeerd via sinus-cosinus frequentie-embeddings en geprojecteerd via kleine MLP's. Het resulterende signaal moduleren de RMSNorm-lagen en de gating-mechanismen (via AdaLN-stijl modulatie) van de Multi-Head Self-Attention (MHSA) en Feed-Forward Network (FFN) blokken. Hierdoor is elke loop zich bewust van zijn positie en de resolutie van de trajectorie, wat zorgt voor consistent gedrag ongeacht het aantal stappen.

2. Training: Shortcut-Consistency

Om te leren werken met variabele lengtes, gebruikt LoopFormer een speciaal trainingsdoel dat trajectoires van verschillende lengtes op elkaar afstemt:

Trajectoire-sampling: Tijdens training wordt er niet alleen een volledige trajectorie (lengte $L$ ) berekend, maar ook een willekeurige "shortcut" trajectorie (lengte $S < L$ ) met een andere stapverdeling.
Consistentieverlies ( $\mathcal{L}_{cons}$ ): Er wordt een stop-gradient loss toegevoegd die de logits van de kortere trajectorie afstemt op die van de langste trajectorie. Dit fungeert als een vorm van self-distillation binnen de loop.
Doelfunctie: Het totale verlies is een combinatie van het taalmodel-verlies voor de lange route, het verlies voor de korte route, en het consistentieverlies:
$\mathcal{L} = \mathcal{L}_L + \lambda_1 \mathcal{L}_S + \lambda_2 \mathcal{L}_{cons}$

3. Inferentie: Elastische Diepte

Tijdens inferentie kan een gebruiker een rekenbudget $M$ (aantal loops) specificeren. Het model gebruikt de getrainde parameters om een trajectorie van lengte $M$ te doorlopen. Omdat het model is getraind om korte routes te laten convergeren naar dezelfde eindpunt als lange routes, degradeert de prestatie niet bij lagere budgetten; de representaties blijven informatief en verfijnen zich soepel naarmate het budget toeneemt.

Kernbijdragen

Shortcut-Modulated Looped Transformers: Een nieuwe klasse van modellen die elke pass conditioneert op interne tijd en stapgroottes, in plaats van alleen op een vaste index.
Shortcut-Consistency Training: Een trainingsprotocol dat het mogelijk maakt om te infereren met willekeurige budgetten zonder hertraining, door trajectoires van verschillende lengtes consistent te houden.
Analyse van Representatiedynamiek: Het paper toont aan dat traditionele "early-exit" looped modellen leiden tot representatieve stagnatie (hoge CKA-similariteit, lage kromming), terwijl LoopFormer een continue evolutie van de verborgen staten behoudt.
Empirische Validatie: Demonstration van robuuste prestaties op taalmodellerings- en redeneerbenchmarks onder agressieve rekenbeperkingen, met een naadloze schaling bij extra budget.

Resultaten

De auteurs evalueren LoopFormer op een 1B-parameter model (GPT-achtig) getraind op een subset van The Pile. Ze vergelijken het met vaste diepte-baselines en andere dynamische methoden (zoals TMLT en Naive Early Exiting).

Perplexiteit: LoopFormer sluit de kloof met niet-geloopde baselines (iso-FLOP) aanzienlijk. Bij een budget van 12x (3 blokken x 4 loops) presteert het bijna even goed als een vaste 12-laags Transformer, terwijl andere looped varianten sterk achterblijven.
Redeneren (Zero-shot): Op 10 redeneerbenchmarks (zoals COPA, HellaSwag, ARC) presteert LoopFormer consistent beter dan andere looped modellen. Het vermogen om te redeneren schaalt soepel met het rekenbudget, zonder in te storten bij lagere budgetten.
Representatie-analyse: Metingen van kromming, anisotropie en entropie tonen aan dat LoopFormer de representaties blijft ontwikkelen tijdens de loops. In tegenstelling tot baselines die "vastlopen" in een statische toestand, toont LoopFormer een progressieve drift die nuttig is voor latente redenering.
Trajectoire-selectie: Het paper laat zien dat de keuze van de stapgrootte ( $\Delta t$ ) binnen een vast budget belangrijk is. De beste strategie is vaak om grotere stappen te nemen in het begin en fijnere stappen later in het trajectoire.

Betekenis en Conclusie

LoopFormer opent een nieuwe weg voor controleerbare en budget-bewuste Large Language Models. Het bewijst dat looped Transformers niet alleen geschikt zijn voor vaste inferentie, maar intrinsiek geschikt zijn voor adaptieve taalmodellerings taken.

De belangrijkste implicaties zijn:

Efficiëntie: Modellen kunnen nu dynamisch worden ingezet met variabele rekenkracht (bijv. snelle antwoorden voor eenvoudige vragen, meer diepgang voor complexe redenering) zonder dat er een nieuw model voor elk budget getraind hoeft te worden.
Latente Redenering: Het paper bevestigt dat looped architecturen een sterke inductieve bias hebben voor redeneren, mits ze correct worden getraind om representatieve stagnatie te voorkomen.
Toekomstperspectief: Dit werk legt de basis voor modellen die "denken" in een continuüm van diepte, waarbij de complexiteit van de berekening wordt afgestemd op de moeilijkheidsgraad van de taak, wat een cruciale stap is naar meer efficiënte AI-systemen.