🤖 machine learning

RecurrentGPT: Expressive Depth through Recurrent Modulation in Transformers

RecurrentGPT introduit une architecture de transformeur à profondeur récurrente qui itère une couche centrale partagée avec une modulation par porte, atteignant une précision et une efficacité mémoire supérieures par rapport aux transformeurs profonds standards en échangeant efficacement le nombre de paramètres contre une réutilisation adaptative de la profondeur.

Auteurs originaux : Amr Hegazy, Amr Alanwar, Mostafa Elhoushi

Publié 2026-08-18

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Amr Hegazy, Amr Alanwar, Mostafa Elhoushi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

L'intelligence artificielle moderne a atteint un point où rendre les modèles plus intelligents signifie souvent les rendre plus lourds. Pour comprendre une phrase ou écrire une histoire, ces systèmes s'appuient sur de vastes réseaux de connexions mathématiques, appelés paramètres. Dans les conceptions standards, chaque étape du processus de réflexion utilise un ensemble unique de ces connexions. Cette approche fonctionne bien, mais elle crée un fardeau important : pour ajouter de la profondeur au raisonnement, les ingénieurs doivent ajouter plus de mémoire, ce qui devient rapidement coûteux et difficile à gérer sur le matériel physique. Il existe une tension croissante entre le désir d'une pensée profonde et complexe et les limites physiques de la mémoire informatique.

Depuis des décennies, les scientifiques savent que répéter un même processus simple de nombreuses fois peut résoudre des problèmes incroyablement complexes. Cette idée, ancrée dans les travaux fondamentaux d'Alan Turing, suggère qu'un système n'a pas besoin d'une immense bibliothèque d'outils uniques pour penser ; il peut atteindre l'intelligence en appliquant de manière répétée un outil unique et raffiné. Bien que les modèles de langage modernes se soient largement détournés de ce style répétitif au profit de l'empilement de nombreuses couches différentes, une nouvelle approche cherche à ramener la puissance de la répétition, non pas en ralentissant le système, mais en rendant la répétition plus intelligente. L'objectif est de créer un modèle capable de « penser » plus profondément sans avoir besoin de stocker plus de pièces uniques.

Des chercheurs de l'Université allemande du Caire, de l'Université technique de Munich et de Cerebras Systems ont développé une nouvelle architecture appelée RecurrentGPT pour résoudre ce problème. Au lieu de construire une longue chaîne de couches uniques, ils ont conçu un système avec un petit ensemble fixe de couches qui sont réutilisées plusieurs fois. Imaginez une chaîne de montage d'usine où un seul ouvrier hautement qualifié effectue une tâche, puis se transmet le produit à lui-même pour le raffiner, puis se le transmet à nouveau. Dans ce nouveau système, l'« ouvrier » est un bloc partagé du cerveau du modèle. Il traite l'entrée, puis prend sa propre sortie et la traite à nouveau, encore et encore, un nombre déterminé de fois. Cela permet au modèle d'accomplir le travail d'un système beaucoup plus vaste tout en ne stockant qu'une fraction des pièces uniques.

Cependant, simplement répéter le même processus crée un nouveau problème : si l'ouvrier fait exactement la même chose à chaque fois, le produit ne change jamais vraiment. Les chercheurs ont découvert que sans un mécanisme pour varier le processus, les étapes répétées s'effondreraient en une transformation unique et inutile. Pour corriger cela, ils ont introduit une porte dynamique — un mécanisme de prise de décision appris qui contrôle la quantité d'informations nouvelles remplaçant les anciennes. Cette porte examine l'état actuel du modèle, l'entrée originale et une petite quantité de bruit aléatoire pour décider exactement ce qu'il faut garder et ce qu'il faut mettre à jour à chaque étape. Cela garantit que, même si les mêmes poids sont utilisés de manière répétée, le modèle se comporte différemment à chaque tour, lui permettant de spécialiser sa pensée à mesure qu'il s'approfondit.

Les résultats de cette approche sont frappants. Lorsqu'ils ont été testés sous des contraintes strictes où la quantité totale de puissance de calcul utilisée pour l'entraînement et l'exécution du modèle était égale à celle des modèles standards plus grands, le nouveau système a obtenu des performances tout aussi bonnes. Dans un test spécifique, un modèle possédant seulement trois couches de poids uniques, répétées dix fois, a égalé la précision d'un modèle standard de douze couches. Cela signifie que le nouveau design a atteint la même qualité tout en utilisant 64 % de paramètres uniques en moins. Lorsque les chercheurs ont permis au modèle d'utiliser plus de puissance de calcul pendant le processus de réflexion, tout en gardant le même nombre de parties stockées, le système répété a en fait surpassé le modèle standard, montrant que la profondeur et la répétition peuvent être un moyen puissant d'améliorer l'intelligence sans gonfler les coûts de mémoire.

Le système a également découvert un effet secondaire utile de lui-même. Parce que le modèle a été entraîné pour être capable de s'arrêter à n'importe quel point de son cycle de répétition, il a appris à produire des réponses de haute qualité même s'il s'arrête tôt. Cela permet au système de fonctionner comme un curseur entre vitesse et qualité : il peut donner une réponse rapide et sommaire en une fraction du temps, ou consacrer plus de cycles pour affiner cette réponse afin de la rendre plus précise, le tout à partir du même modèle entraîné. Cette flexibilité est rare dans les systèmes actuels, qui nécessitent généralement des modèles distincts pour des vitesses différentes.

En termes pratiques, cela signifie qu'un appareil à mémoire limitée pourrait faire fonctionner un modèle de langage bien plus capable qu'il ne le peut actuellement. Les chercheurs ont mesuré que leur version à grande échelle nécessitait 59 % de mémoire de pointe en moins lors de la génération qu'un modèle standard de capacité similaire. Bien que le temps nécessaire pour générer du texte augmente légèrement en raison des étapes répétées, le compromis est significatif pour les environnements où la mémoire est le goulot d'étranglement. L'étude suggère que l'avenir d'une intelligence artificielle efficace ne réside peut-être pas dans la construction de cerveaux plus grands et plus lourds, mais dans l'apprentissage aux plus petits comment penser plus profondément en revisitant leurs propres pensées.

Résumé Technique : RecurrentGPT

Énoncé du Problème

Le passage à l'échelle des modèles de langage Transformer crée une tension fondamentale entre expressivité et efficacité mémoire. Les architectures standards couplent la profondeur et les paramètres de manière rigide ; chaque couche supplémentaire introduit un ensemble unique de poids, créant un goulot d'étranglement de mémoire qui limite la profondeur effective sous des budgets matériels fixes. Inversement, les stratégies de partage de poids standard (par exemple, le partage de toutes les couches sur la profondeur) imposent des transformations uniformes sur des représentations évolutives. Cette approche statique provoque l'effondrement de la diversité fonctionnelle qui fait la valeur de la profondeur, car l'état caché après la première récurrence diffère fondamentalement de l'état après la huitième, alors que les deux sont contraints par la même transformation statique.

L'article postule que la puissance d'un système de raisonnement ne réside pas dans l'étendue de ses paramètres, mais dans la profondeur de l'itération (citant Turing [2] et les paradigmes modernes de calcul au moment de l'inférence [3–5]). Le défi consiste à parvenir à un raffinement profond et itératif des représentations d'entrée sans le coût mémoire de poids uniques pour chaque couche, tout en évitant l'effondrement représentationnel causé par un simple partage de poids.

Méthodologie : Architecture RecurrentGPT

Les auteurs proposent RecurrentGPT, un transformer à profondeur récurrente qui découple la profondeur du modèle du nombre de paramètres en itérant un noyau partagé tout en l'encadrant par des blocs de prélude et de coda fixes.

1. Configuration de l'Architecture

Le modèle suit une configuration $n_{pre} + n_{rec} \times R + n_{coda}$ :

Prélude ( $n_{pre}$ blocs) : Appliqué une seule fois pour générer un signal de conditionnement stable et sensible au contexte ( $h^{(pre)}$ ) à partir de l'entrée.
Noyau Partagé ( $n_{rec}$ blocs) : Un ensemble de blocs transformer appliqués de manière récurrente $R$ fois. Contrairement au partage de poids standard, ce noyau n'est pas appliqué uniformément ; il est modulé à chaque étape.
Coda ( $n_{coda}$ blocs) : Traite l'état final raffiné pour produire les logits.

Le nombre total de paramètres uniques évolue en $\Theta((n_{pre} + n_{rec} + n_{coda}) \cdot d^2)$ , indépendamment du nombre de récurrences $R$ .

2. Gating Adaptatif et Projection Récurrente

Pour prévenir l'effondrement représentationnel et permettre à un tenseur de poids unique de se comporter comme plusieurs couches spécialisées, RecurrentGPT introduit un gating (porte) appris par élément et une projection récurrente.

À chaque étape de récurrence $r$ :

Préparation de l'Entrée : L'état caché précédent $h^{(r-1)}$ est projeté aux côtés du prélude fixe $h^{(pre)}$ et d'un bruit stochastique injecté $\epsilon_x$ .
$\tilde{h}^{(r)} = W_{proj} [h^{(r-1)} + \epsilon_x, h^{(pre)}]$
Transformation Partagée : Les blocs partagés ( $B_{shared}$ ) traitent cette entrée pour produire une proposition $o^{(r)}$ .
$o^{(r)} = B_{shared}(\tilde{h}^{(r)})$
Gating Élément par Élément : Une porte apprise $g^{(r)}$ détermine quelle part de la proposition remplace l'état actuel. La porte est conditionnée par l'état normalisé actuel, le prélude normalisé et le bruit injecté $\epsilon_g$ .
$g^{(r)} = \sigma(f_{gate}([LN(h^{(r-1)}), LN(h^{(pre)})]/\tau + \epsilon_g))$
$h^{(r)} = g^{(r)} \odot h^{(r-1)} + (1 - g^{(r)}) \odot o^{(r)}$

Choix de Conception Clés :

Initialisation : Le biais de la porte est initialisé à $+4$ , ce qui signifie que $g^{(r)} \approx 0,98$ au début de l'entraînement. Cela garantit que le flux résiduel passe presque inchangé initialement, permettant au modèle d'apprendre progressivement quels éléments écraser.
Bruit : Le bruit additif ( $\epsilon_x$ ) et le bruit de porte ( $\epsilon_g$ ) empêchent les motifs d'appariement exact et l'effondrement de la porte.
Échantillonnage de la Profondeur : Pendant l'entraînement, la profondeur de récurrence $r$ est échantillonnée uniformément dans $\{1, \dots, R\}$ . Cela entraîne implicitement chaque point de sortie, permettant une sortie précoce émergente lors de l'inférence sans pertes auxiliaires.

Contributions Clés

Architecture : RecurrentGPT utilise un gating par élément et des perturbations stochastiques pour prévenir l'effondrement représentationnel, permettant à un noyau partagé de se comporter de manière distincte à travers les étapes de récurrence.
Évaluation Unifiée : Le modèle est évalué sous deux régimes : isoFLOPS (correspondant au calcul, réduisant les paramètres) et isoPARAMS (correspondant aux paramètres, augmentant le calcul).
- isoFLOPS : RecurrentGPT surpasse Mixture-of-Recursions (MoR) et le sampling de profondeur à queue lourde (heavy-tail depth sampling) dans les neuf cellules de mise à l'échelle par budget. À petite échelle, il égale la base dense GPT-2 Small en utilisant 64 % de paramètres en moins. À des échelles moyenne et grande, il approche la qualité des modèles denses à mesure que le budget de jetons augmente.
- isoPARAMS : Une récurrence plus profonde produit des gains constants de perte de validation (ex: 2,76 contre 2,84 pour un homologue non récurrent à nombre de paramètres égal).
Sortie Précoce Émergente : Sans pertes auxiliaires, le modèle supporte naturellement la sortie précoce lors de l'inférence, conservant environ 92 % de sa précision en n'exécutant que la moitié de ses étapes de récurrence.

Résultats Expérimentaux

Performance : Sous contraintes isoFLOPS, un RecurrentGPT à 3 couches égale la précision d'une base GPT-2 Small à 12 couches. À échelle moyenne (équivalent 24 couches), il atteint une perte de validation de 2,89 contre 2,84 pour la base dense, tout en utilisant seulement 124M de paramètres contre 354M.
Efficacité : Sous isoFLOPS, le modèle ne stocke que 36–37 % des paramètres uniques de la base dense.
Tâches Aval : Sur les benchmarks à grande échelle, la variante isoPARAMS surpasse la base dense sur 8 des 9 tâches, avec une amélioration moyenne de +2,10 points. La variante isoFLOPS égale la performance moyenne de la base dense (42,08 contre 42,05) avec seulement 37 % des paramètres.
Latence et Mémoire : Sous torch.compile, RecurrentGPT-Large n'entraîne qu'une augmentation de 10 % de la latence de génération tout en réduisant la mémoire GPU de pointe de 59 % et les paramètres de 63 %.
Insights Mécanistes : L'analyse révèle une stratégie de calcul en deux phases :
- Étapes Précoces (Dominante d'Écriture) : La porte est plus ouverte, et le modèle effectue une restructuration rapide, résolvant environ 77 % de la réduction de la perte au cours des deux premières étapes.
- Étapes Tardives (Dominante de Copie) : La porte se resserre, et le modèle effectue des corrections ciblées.
- Routage de Jetons : Le modèle alloue implicitement plus de calcul aux jetons difficiles (ceux ayant une perte initiale élevée) sans signaux de routage explicites.

Signification et Revendications

L'article affirme que l'utilisation adaptative de la profondeur est une stratégie fondée sur des principes pour échanger des paramètres contre de la qualité. En conditionnant la récurrence sur l'état caché actuel, le prélude fixe et le bruit, le modèle atteint une diversité fonctionnelle sans poids uniques.

Les auteurs soulignent que RecurrentGPT résout la tension entre efficacité mémoire et expressivité en permettant à un tenseur de poids unique de se comporter comme plusieurs couches spécialisées. Les résultats démontrent que :

Efficacité des Paramètres : Des réductions de paramètres significatives (jusqu'à 63 %) peuvent être obtenues avec un surcoût de latence minime.
Compromis Calcul-Qualité : L'architecture permet un compromis continu entre vitesse d'inférence et qualité via la sortie précoce, un seul checkpoint servant de multiples points de fonctionnement.
Lois d'Échelle (Scaling Laws) : L'approche améliore les lois d'échelle pour la perte par rapport au nombre de paramètres et la perte par rapport aux FLOPs d'entraînement, montrant des gains constants à travers les petites, moyennes et grandes échelles.

L'article conclut que bien que l'implémentation actuelle utilise une profondeur de récurrence fixe lors de l'inférence, le mécanisme de gating appris fournit une base robuste pour des travaux futurs sur l'arrêt par jeton dynamique et la distillation de connaissances.