How Much Is One Recurrence Worth? Iso-Depth Scaling Laws for Looped Language Models

Probleemstelling

Looped (of diepte-recurrente) taalmodellen hergebruiken een gedeelde laag van het transformer-architectuur meerdere keren ($r$ keer) in plaats van unieke lagen te gebruiken. Dit biedt voordelen zoals het ontkoppelen van het aantal unieke parameters van de effectieve diepte en het introduceren van een inductieve bias voor redeneren. Echter, de praktische implementatie van deze modellen heeft een onbekende kostprijs: het is niet gemeten hoeveel "waarde" één extra herhaling (recurrence) heeft in termen van unieke parameters.

De centrale vraag is: Kan een transformer-blok dat $r$ keer wordt geloopt, $r$ unieke blokken vervangen bij een gelijkblijvend rekenvermogen (compute)? Bestaande schaalwetten (zoals Chinchilla) passen zich niet direct toe omdat ze niet onderscheid maken tussen het effect van parameter-deling en effectieve diepte.

Methodologie

De auteurs voeren een iso-diepte schaalwettensweep uit om parameter-deling te isoleren van effectieve diepte.

1. Architectuur: Ze gebruiken een "prelude-recur-coda" template met een vaste effectieve diepte van 20 lagen ($L_{eff} = 20$).
   • $r=1$: Baseline (niet-gecirkeld).
   • $r \in \{2, 4, 8\}$: Gecirkelde varianten waarbij een gedeeld blok ($n_{recur}$) $r$ keer wordt uitgevoerd.
   • De breedte ($d_{model}$) wordt gevarieerd om de optimale configuratie te vinden.
2. Compute-budget: Er worden 116 pre-training runs uitgevoerd over 6 verschillende rekenbudgetten (van $4.64 \times 10^{17}$ tot $2.15 \times 10^{19}$ FLOPs, een factor ~50).
3. Iso-FLOPs: Alle varianten voeren per token exact hetzelfde aantal forward- en backward-passes uit (FLOPs), behalve een kleine correctie voor een invoer-injectie-laag. Dit zorgt ervoor dat de trainingstijd en inferentiekosten per token gelijk zijn, terwijl het aantal unieke parameters ($N$) afneemt naarmate $r$ toeneemt.
4. Schaalwet Formulering: De auteurs passen een gezamenlijke schaalwet toe die de validatieverlies ($L$) relateert aan unieke parameters ($N$), trainings-tokens ($D$) en het aantal herhalingen ($r$):
   $$L(N_{once}, N_{rec}, D, r) = E + A (N_{once} + r^\phi N_{rec})^{-\alpha} + B D^{-\beta}$$
   • $N_{once}$: Unieke parameters die slechts één keer worden uitgevoerd (prelude/coda).
   • $N_{rec}$: Unieke parameters van het gedeelde recurrente blok.
   • $\phi$: De recurrence-equivalence exponent. Dit is de kernparameter die meet hoe effectief een herhaling is.
     • $\phi = 1$: Volledige equivalentie (één herhaling = één uniek blok).
     • $\phi = 0$: Geen equivalentie (herhalingen voegen geen capaciteit toe).
     • $0 < \phi < 1$: Partiële equivalentie.

Belangrijkste Resultaten

1. De Recurrence-Equivalence Exponent ($\phi$):

   • De beste fit voor de data levert $\phi = 0.46$ op (met $R^2 = 0.997$).
   • Dit betekent dat een gedeeld blok dat $r$ keer wordt geloopt, slechts equivalent is aan $r^{0.46}$ unieke blokken.
   • Voorbeeld: Bij $r=4$ levert het gedeelde blok slechts $4^{0.46} \approx 1.86$ unieke blokken aan capaciteit op, in plaats van 4. Een looped model met 410M parameters presteert even goed als een niet-gecirkeld model van 580M parameters, maar kost evenveel training als een niet-gecirkeld model van 1 miljard parameters.

2. Compute-Optimale Allocatie:

   • Loopende modellen prefereren bij een gelijkblijvend compute-budget bredere modellen met minder trainings-tokens per parameter vergeleken met niet-gecirkelde modellen.
   • Er is een systematisch verlies in validatieverlies voor loopende modellen ten opzichte van de baseline, wat toeneemt met $r$ (bijv. 0.05 tot 0.08 nats verlies bij $r=4$).

3. Downstream Evaluatie (5 assen):

   • Parametrische kennis (gesloten boek): Hier is het verlies het grootst en volgt het de validatieverlies-ordening. Meer herhalingen = minder unieke capaciteit voor feitelijke kennis.
   • Leesbegrip & Compositorische symboliek: De kloof tussen modellen sluit hier. Loopende modellen presteren hier vergelijkbaar met de baseline.
   • Redenering (Reasoning): Op taken zoals wiskundige woordproblemen en primitieve redenering is het signaal bij hun rekenbudgetten te zwak om een duidelijk voordeel voor loopende modellen te detecteren. De prestaties vallen binnen de ruis.

Bijdragen

1. Gezamenlijke Schaalwet: De introductie van een nieuwe schaalwet met de exponent $\phi$ die het effect van parameter-deling kwantificeert. Dit biedt een enkele benchmark ($\phi=0.46$) om toekomstige verbeteringen te meten.
2. Iso-Diepte Sweep: De eerste schaalwettensweep voor loopende LMs die effectieve diepte constant houdt, waardoor de "kostprijs" van parameter-deling direct kan worden gemeten.
3. Evaluatie Suite: Een uitgebreide evaluatie die laat zien dat het verlies in validatieverlies een betrouwbare proxy is voor prestaties op development-schaal, terwijl redeneertaken nog niet goed opgelost kunnen worden met de huidige budgetten.

Betekenis en Conclusie

Het paper weerlegt het idee dat loopen een "gratis" manier is om diepte en redeneercapaciteit te vergroten zonder kosten. Elke extra herhaling heeft een voorspelbare kostprijs in validatieverlies omdat de gedeelde parameters niet volledig kunnen compenseren voor het ontbreken van unieke parameters.

• Voor onderzoekers: De waarde van een loop is momenteel $\phi \approx 0.46$. Om loopende modellen competitief te maken, moeten nieuwe technieken (zoals adaptieve compute, truncated backpropagation, of retrofitting) deze exponent verhogen boven 0.46, idealiter naar boven de 1.0.
• Voor de praktijk: Bij gelijke trainingkosten presteren loopende modellen slechter op feitelijke kennis dan hun niet-gecirkelde tegenhangers. Het grootste voordeel van loopende modellen (verbeterde redenering) is op dit moment nog niet meetbaar bij de huidige schaal, waardoor het minimaliseren van het validatieverlies de belangrijkste doelstelling blijft voor dit type architectuur.