How Much Is One Recurrence Worth? Iso-Depth Scaling Laws for Looped Language Models

1. Problemstellung und Motivation

Looped (oder tiefen-rekurrente) Transformer-Modelle wiederholen einen gemeinsamen Block von Schichten $r$-mal, anstatt $r$ einzigartige Schichten zu verwenden. Dieser Ansatz entkoppelt die Anzahl der einzigartigen Parameter von der effektiven Tiefe bei konstanten Inference-FLOPs pro Token und soll eine induktive Bias für Reasoning (Schlussfolgern) bieten.

Das zentrale Problem, das in diesem Paper untersucht wird, ist der Kosten-Nutzen-Faktor einer Wiederholung:

• Wie viel Leistung (gemessen an der Validierungsverlust) ist eine zusätzliche Wiederholung ($r$) im Vergleich zu $r$ einzigartigen Blöcken wert?
• Bietet das Wiederholen eines Blocks $r$-mal denselben Kapazitätsgewinn wie $r$ separate Blöcke, wenn die Rechenkosten (FLOPs) gleich gehalten werden?
• Bisherige Arbeiten haben oft die Parameteranzahl fixiert und die Tiefe variiert, wodurch sich Parameter-Sharing, effektive Tiefe und Inference-Kosten gleichzeitig ändern. Dies macht es unmöglich, den reinen „Sharing-Cost" (Kosten der Parameter-Wiederverwendung) zu isolieren.

2. Methodik: Iso-Depth Scaling Laws

Die Autoren führen eine systematische Studie durch, um den Effekt des Parameter-Sharing von der effektiven Tiefe zu isolieren.

Experimentelles Design:

• Architektur: Sie verwenden eine „Prelude-Recur-Coda"-Architektur (basierend auf Geiping et al.). Ein Transformer hat 20 effektive Schichten ($L_{eff}$).
  • $r=1$: Baseline (nicht-loopt, 20 einzigartige Schichten).
  • $r \in \{2, 4, 8\}$: Looping-Modelle. Die Schichten werden so aufgeteilt, dass $L_{eff} = n_{prelude} + r \cdot n_{recur} + n_{coda} = 20$ gilt.
  • Bei $r=4$ wird z.B. ein Block von 4 Schichten 4-mal ausgeführt.
• Iso-Depth & Iso-FLOPs: Alle Modelle haben bei gleichem Token-Input die gleiche Anzahl an Forward-Passes und damit gleiche Inference-FLOPs pro Token. Auch die Trainings-FLOPs pro Token sind (nahezu) identisch.
• Skalierung: Es werden 116 Pretraining-Läufe durchgeführt, die 4 Architekturen ($r \in \{1, 2, 4, 8\}$) über 6 verschiedene Rechenbudgets (von $\sim 4.6 \times 10^{17}$ bis $2.15 \times 10^{19}$ FLOPs, ca. 50-fache Spanne) abdecken.
• Optimierung: Bei jedem Budget wird die Modellbreite ($d_{model}$) variiert, um den rechenoptimalen Punkt (Minimum Validierungsverlust) zu finden.

Das gemeinsame Skalierungsgesetz:
Die Autoren passen ein neues Skalierungsgesetz an, das die Anzahl der einzigartigen Parameter ($N$) in einen einmal ausgeführten Teil ($N_{once}$) und einen geteilten rekurrenten Teil ($N_{rec}$) aufteilt.
Die Formel lautet:
$$L(N_{once}, N_{rec}, D, r) = E + A (N_{once} + r^{\phi} N_{rec})^{-\alpha} + B D^{-\beta}$$

• $L$: Validierungsverlust.
• $D$: Anzahl der Trainings-Tokens.
• $\phi$ (Phi): Der Rekurrenz-Äquivalenz-Exponent. Dies ist der Kernparameter der Studie.
  • $\phi = 1$: Vollständige Äquivalenz (eine Wiederholung ist so gut wie ein neuer Block).
  • $\phi = 0$: Keine Äquivalenz (Wiederholung bringt keinen Kapazitätsgewinn, reiner Sharing-Cost).
  • $0 < \phi < 1$: Teilweise Äquivalenz.

3. Wichtige Ergebnisse

A. Der Rekurrenz-Äquivalenz-Exponent ($\phi$)

Das Paper findet einen Wert von $\phi = 0.46$ (mit $R^2 = 0.997$).

• Interpretation: Eine Wiederholung eines Blocks ist nicht äquivalent zu einem neuen Block. Bei $r=4$ trägt der geteilte Block nur so viel bei wie $4^{0.46} \approx 1.86$ einzigartige Blöcke.
• Implikation: Looping-Modelle leiden unter einem signifikanten „Sharing-Cost". Um die gleiche Validierungsverlust wie ein nicht-looptes Modell zu erreichen, müsste ein looppes Modell deutlich mehr Rechenleistung (FLOPs) investieren, da es weniger einzigartige Parameter zur Verfügung hat.
• Beispiel: Ein looppes Modell mit $r=4$ und 410M Parametern erreicht die Leistung eines nicht-loopten Modells mit 580M Parametern, kostet aber im Training so viel wie ein nicht-looptes Modell mit 1 Milliarde Parametern.

B. Skalierungsverhalten

• Optimale Allokation: Loop-Modelle ($r > 1$) bevorzugen im rechenoptimalen Setting breitere Modelle (größere $d_{model}$) und trainieren mit weniger Tokens pro Parameter als das nicht-loopte Baseline-Modell.
• Verlust-Lücke: Trotz optimaler Anpassung der Breite und Token-Anzahl bleibt eine Lücke im Validierungsverlust bestehen. Diese Lücke wächst mit dem Rekurrenz-Faktor $r$ (bei $r=8$ ca. 0.09–0.12 Nats schlechter als $r=1$).

C. Downstream-Evaluation (5 Achsen)

Die Autoren evaluieren die Modelle auf fünf Aufgabenkategorien:

1. Parametrisches Wissen (Closed-Book QA): Hier zeigt sich die Lücke am deutlichsten. Die Leistung korreliert direkt mit dem Validierungsverlust; $r=1$ ist am besten, $r=8$ am schlechtesten. Looping reduziert die Kapazität zur Speicherung von Fakten.
2. Leseverständnis & Symbolische Zusammensetzung: Hier schließt sich die Lücke teilweise. Bei einfachen Aufgaben („Open-Book") hinken die Loop-Modelle nicht mehr signifikant hinterher.
3. Reasoning (Schlussfolgern): Aufgaben wie mathematische Wortprobleme oder Reasoning-Primitiven zeigen bei den aktuellen Rechenbudgets kein klares Signal zugunsten der Loop-Modelle. Die erwarteten Vorteile durch „Test-Time Compute" sind in diesem Maßstab nicht messbar (unterhalb des Rauschens).

4. Hauptbeiträge

1. Gemeinsames Skalierungsgesetz: Einführung eines skalierbaren Gesetzes mit dem Exponenten $\phi$, das es erlaubt, verschiedene Loop-Architekturen direkt zu vergleichen und den „Preis" einer Wiederholung in einer einzigen Zahl zu quantifizieren.
2. Iso-Depth Sweep: Erste umfassende Studie, die Parameter-Sharing von effektiver Tiefe isoliert, indem sie die FLOPs pro Token konstant hält, während die Parameteranzahl variiert wird.
3. Benchmark $\phi = 0.46$: Etablierung eines Baselines, gegen den zukünftige Verbesserungen (z.B. durch adaptive Berechnung, truncated Backpropagation oder Fine-Tuning) gemessen werden können. Um Looping-Modelle konkurrenzfähig zu machen, muss $\phi$ über 0.46 gehoben werden.
4. Downstream-Analyse: Klare Demonstration, dass Validierungsverlust ein zuverlässiger Proxy für die Leistung bei parametrischem Wissen ist, während Reasoning-Vorteile bei aktuellen Skalierungen noch nicht messbar sind.

5. Bedeutung und Ausblick

Das Paper widerlegt die naive Annahme, dass Looping einfach eine „kostenlose" Methode sei, um Tiefe und Reasoning-Fähigkeiten zu erhöhen. Es zeigt, dass es einen fundamentalen Kompromiss zwischen Parameter-Effizienz und Kapazität gibt.

• Für die Forschung: Der Wert $\phi = 0.46$ dient als Zielgröße. Neue Techniken (wie Adaptive Compute, Early Exiting oder Retrofitting von vortrainierten Modellen) müssen nachweisen, dass sie $\phi$ signifikant erhöhen können, um den Performance-Verlust auszugleichen.
• Für die Praxis: Loop-Modelle bieten Vorteile in der Speichereffizienz (weniger Parameter) und Flexibilität, aber auf Kosten der Trainingskosten und der absoluten Leistung bei wissensbasierten Aufgaben.
• Limitationen: Die Studie ist auf eine spezifische Architektur (Prelude-Recur-Coda) und einen bestimmten Trainingsbereich beschränkt. Es bleibt offen, ob sich das Verhältnis bei noch größeren Modellen oder anderen Architekturen ändert.

Zusammenfassend liefert das Paper eine rigorose quantitative Grundlage für das Design von Loop-Transformern und zeigt, dass der „Preis" für das Wiederholen von Blöcken derzeit hoch ist, aber durch zukünftige Architekturen und Trainingsmethoden gesenkt werden könnte.