How Much Is One Recurrence Worth? Iso-Depth Scaling Laws for Looped Language Models

Titre : Quelle est la valeur d'une récurrence ? Lois d'échelle iso-profondeur pour les modèles de langage en boucle

1. Problématique

Les modèles de langage en boucle (ou depth-recurrent) réitèrent un même bloc de couches transformeurs $r$ fois au lieu d'utiliser $r$ blocs uniques. Cette architecture permet de découpler le nombre de paramètres uniques de la profondeur effective, réduisant ainsi la mémoire et les coûts d'entraînement pour une profondeur donnée, tout en introduisant un biais inductif favorable au raisonnement.

Cependant, une question fondamentale reste sans réponse directe : combien de paramètres uniques une récurrence supplémentaire vaut-elle réellement ?

• Si la récurrence était parfaitement équivalente à des blocs uniques, une boucle de $r$ fois un bloc devrait égaler la performance de $r$ blocs distincts ($\phi = 1$).
• Si le partage de poids était totalement inefficace, la récurrence n'apporterait aucun gain de capacité ($\phi = 0$).

Les travaux précédents ne parvenaient pas à isoler l'effet du partage de paramètres de l'augmentation de la profondeur effective ou du coût d'inférence. Cet article vise à quantifier ce "coût de partage" via une loi d'échelle unifiée.

2. Méthodologie

Les auteurs proposent une approche rigoureuse basée sur une balayage iso-profondeur (iso-depth sweep) pour isoler les variables.

A. Configuration Expérimentale

• Architectures comparées : Quatre variantes d'un modèle Transformer de type prelude-recur-coda (préambule, bloc récurent, coda) avec une profondeur effective fixe de 20 couches.
  • $r=1$ : Modèle non bouclé (baseline).
  • $r \in \{2, 4, 8\}$ : Modèles bouclés où le bloc récurent est exécuté $r$ fois.
• Contraintes de calcul : Pour chaque budget de calcul (FLOPs), les quatre architectures exécutent le même nombre d'opérations par token (FLOPs d'entraînement et d'inférence).
• Échelle des données : 116 exécutions d'entraînement préliminaire couvrant 6 budgets de calcul (de $4,64 \times 10^{17}$ à $2,15 \times 10^{19}$ FLOPs), soit une variation d'environ 50x.

B. Loi d'Échelle Jointe

Les auteurs introduisent une nouvelle loi d'échelle combinant les paramètres uniques ($N$), les tokens d'entraînement ($D$) et le nombre de récurrences ($r$) :

$$L(N_{once}, N_{rec}, D, r) = E + A (N_{once} + r^\phi N_{rec})^{-\alpha} + B D^{-\beta}$$

Où :

• $N_{once}$ : Paramètres uniques des couches préambule et coda (exécutées une fois).
• $N_{rec}$ : Paramètres du bloc récurent partagé.
• $\phi$ (Exposant d'équivalence de récurrence) : Le paramètre clé à estimer. Il mesure l'efficacité du partage.
  • $\phi = 1$ : Équivalence totale (pas de coût de partage).
  • $\phi = 0$ : Aucun gain de capacité (coût de partage pur).
  • $0 < \phi < 1$ : Gain partiel.

3. Résultats Clés

A. L'Exposant $\phi = 0,46$

En ajustant la loi d'échelle sur les 116 exécutions, les auteurs obtiennent un exposant $\phi = 0,46$ avec un $R^2 = 0,997$.

• Interprétation : Une récurrence supplémentaire n'est pas équivalente à un bloc unique. À $r=4$, le bloc partagé contribue comme s'il s'agissait de $4^{0,46} \approx 1,86$ blocs uniques, et non de 4.
• Coût de performance : À budget de calcul égal, un modèle bouclé ($r=4$) de 410M de paramètres atteint une perte de validation équivalente à un modèle non bouclé de 580M, mais paie le coût d'entraînement d'un modèle non bouclé de 1 milliard de paramètres.

B. Comportement d'Allocation Optimale

Contrairement aux modèles standards (Chinchilla), les modèles bouclés optimaux préfèrent :

• Des largeurs de modèle plus grandes (plus de paramètres uniques par couche).
• Moins de tokens d'entraînement par paramètre.
  Cela compense partiellement la réduction de capacité due au partage, mais ne comble pas entièrement l'écart de performance.

C. Évaluation en Aval (Downstream)

Une évaluation sur cinq axes révèle des régimes distincts :

1. Connaissance paramétrique (QA fermé) : L'écart de performance suit strictement la perte de validation. Les modèles bouclés sont nettement inférieurs car ils ont moins de capacité unique pour stocker les faits.
2. Compréhension de lecture et symbolique : L'écart se réduit ou disparaît. Les modèles bouclés rattrapent les modèles non bouclés sur ces tâches "open-book".
3. Raisonnement : À l'échelle de calcul étudiée, aucun signal clair n'émerge pour les tâches de raisonnement complexe (primitives de raisonnement, problèmes mathématiques). Les bénéfices théoriques de la récurrence pour le raisonnement ne sont pas observables avec les budgets actuels.

4. Contributions Principales

1. Loi d'échelle jointe : Introduction d'une loi unifiée reliant la perte de validation aux paramètres uniques, aux tokens et au nombre de récurrences via un seul exposant $\phi$. Cela permet de comparer directement des architectures différentes.
2. Mesure du coût de partage : Détermination empirique que $\phi = 0,46$ pour l'architecture prelude-recur-coda standard. Cela établit une référence (benchmark) pour évaluer les futures améliorations (ex: rétrofitting, arrêt précoce adaptatif).
3. Analyse de l'allocation optimale : Démonstration que les modèles bouclés nécessitent une allocation différente (plus large, moins de données) pour être optimaux, invalidant les comparaisons directes basées sur un seul point $(N, D)$.
4. Cible de recherche : Identification de la perte de validation comme la métrique la plus fiable pour guider la recherche sur les modèles bouclés à l'échelle de développement, car les tâches de raisonnement restent trop coûteuses pour être résolues dans cette fenêtre de calcul.

5. Signification et Perspectives

Ce travail démontre que, bien que les modèles en boucle offrent une flexibilité intéressante pour l'inférence et le déploiement, ils ne sont pas encore une solution "gratuite" pour augmenter la profondeur. Le partage de poids impose un coût de capacité significatif ($\phi < 1$).

L'article suggère que pour que les modèles bouclés surpassent les modèles denses, les futures recherches doivent viser à augmenter $\phi$ au-delà de 0,46 (idéalement vers 1 ou plus) grâce à des techniques comme :

• La rétropropagation tronquée (truncated backpropagation).
• Le calcul adaptatif par token (adaptive compute).
• Le rétrofitting de modèles pré-entraînés.

Enfin, l'étude met en garde contre l'utilisation de benchmarks de raisonnement à petite échelle pour évaluer ces architectures, car le signal est actuellement noyé dans le bruit, rendant la perte de validation la métrique de référence la plus robuste.