🤖 machine learning

Latent Recurrent Transformer: Architecture Exploration, Training Strategies, and Scaling Behavior

Ce papier présente le Transformer Récurrent Latent (LRT), une architecture légère qui améliore les modèles autoregressifs en réutilisant des états cachés de haut niveau comme mémoire récurrente sans augmenter la profondeur d'inférence, et propose une stratégie d'entraînement parallèle entrelacée pour mettre à l'échelle efficacement cette approche, ce qui se traduit par une amélioration de la modélisation du langage et des performances d'apprentissage en contexte avec une surcharge paramétrique minimale.

Auteurs originaux : Zeyi Huang, Xuehai He, LiLiang Ren, Yiping Wang, Baolin Peng, Hao Cheng, Shuohang Wang, Pengcheng He, Jianfeng Gao, Yong Jae Lee, Yelong Shen

Publié 2026-05-27

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Zeyi Huang, Xuehai He, LiLiang Ren, Yiping Wang, Baolin Peng, Hao Cheng, Shuohang Wang, Pengcheng He, Jianfeng Gao, Yong Jae Lee, Yelong Shen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseignez à un robot à écrire une histoire, mot par mot. Dans la méthode standard (appelée « Transformer autorégressif »), le robot examine les mots qu'il a déjà écrits, y réfléchit, puis choisit le mot suivant. Une fois ce mot choisi, il passe immédiatement à la suite. C'est comme une chaîne de montage : chaque objet subit un seul passage rapide dans la machine, puis c'est terminé.

L'article introduit une nouvelle idée appelée le Transformer récurrent latent (LRT). Voici comment cela fonctionne, en utilisant des analogies simples :

1. Le Problème : L'« Amnésie » de la chaîne de montage

Dans le robot standard, une fois qu'il a fini de traiter un mot, il oublie les pensées profondes et de haut niveau qu'il avait eues à son sujet. Il ne conserve qu'une « note » de base (l'état caché) pour l'aider avec le mot suivant. Si le robot doit se souvenir d'une idée complexe de quelques mots plus tôt pour comprendre la phrase actuelle, il doit fouiller dans un tas de notes basiques. C'est comme essayer de se souvenir d'un retournement de situation dans un film en ne regardant que les souches de billets, et non les scènes elles-mêmes.

2. La Solution : Le « Carnet intelligent » (LRT)

Le LRT offre au robot un carnet intelligent.

Fonctionnement : Lorsque le robot termine le traitement du mot n°1, il ne jette pas simplement ses pensées profondes. Au lieu de cela, il écrit un « résumé de haut niveau » de ces pensées dans son carnet.
La Magie : Lorsqu'il commence à travailler sur le mot n°2, il ouvre immédiatement ce carnet et lit le résumé du mot n°1. Il utilise ce résumé comme un « coup de pouce mémoire » pour aider au traitement du mot n°2.
Le Résultat : Le robot obtient un deuxième avis de sa version passée sans avoir à arrêter la chaîne de montage ou à effectuer un travail supplémentaire. C'est comme un chef qui, tout en hachant le prochain légume, jette un coup d'œil aux notes qu'il vient de prendre sur le légume précédent pour s'assurer que le profil aromatique reste cohérent.

3. L'astuce : Comment apprendre sans rester bloqué

Vous pourriez demander : « Si le robot doit lire le carnet du passé pour apprendre, cela ne signifie-t-il pas qu'il doit attendre que le passé soit terminé avant de commencer le futur ? Cela rendrait l'entraînement extrêmement lent ! »

Habituellement, oui. Si vous essayez d'enseigner à un robot d'apprendre étape par étape (mot 1, puis mot 2, puis mot 3), vous perdez la capacité de tout faire simultanément (parallélisme), ce qui fait que l'entraînement prend une éternité.

Les auteurs ont inventé une astuce d'entraînement ingénieuse appelée Entraînement parallèle entrelacé. Imaginez cela comme un relais avec une surprise :

Étape 1 (L'échauffement) : Le robot parcourt toute la course (toute la phrase) à vitesse normale juste pour obtenir un brouillon grossier des notes.
Étape 2 (Le relais) : Au lieu de refaire toute la course, le robot divise la course en deux groupes de coureurs : les coureurs « Pairs » et les coureurs « Impairs ».
- D'abord, les coureurs « Pairs » ont la chance de consulter les notes des coureurs « Impairs » (qui ont terminé l'échauffement) et d'améliorer leur propre performance.
- Ensuite, les coureurs « Impairs » consultent les notes améliorées des coureurs « Pairs » et améliorent les leurs.
Le Bénéfice : De cette manière, chaque mot a la chance d'apprendre de ses voisins, mais l'ordinateur peut toujours effectuer une grande partie du travail en même temps. C'est comme un groupe d'étudiants qui étudient ensemble : ils n'attendent pas qu'une personne ait fini tout le livre ; ils échangent des notes en petits groupes pour apprendre plus vite.

4. Les Résultats : Plus intelligent pour moins de coût

L'article a testé ce nouveau robot contre l'ancien robot standard.

Efficacité : Le nouveau robot (LRT) a appris à mieux écrire (taux d'erreur plus faibles) et a mieux compris le contexte (meilleure capacité à répondre aux questions) que l'ancien robot, même lorsqu'ils disposaient de la même quantité de « puissance cérébrale » (temps de calcul).
Mise à niveau minuscule : Le nouveau robot n'a eu besoin d'ajouter qu'une infime quantité de mémoire supplémentaire (environ 0,3 % de taille en plus) pour obtenir ces grandes améliorations. C'est comme ajouter un petit GPS puissant à une voiture plutôt que d'acheter un tout nouveau moteur.
Le point idéal : Ils ont découvert que le meilleur « carnet » n'était pas la toute dernière pensée du robot (qui était trop focalisée uniquement sur le mot suivant), mais une pensée issue du milieu de son cerveau. Elle était suffisamment de haut niveau pour être utile, mais pas trop spécialisée.

Résumé

Le Transformer récurrent latent est une méthode pour rendre les modèles d'IA plus intelligents en leur permettant de réutiliser leurs propres « pensées de haut niveau » du mot précédent pour aider au traitement du mot suivant. Ils y sont parvenus sans ralentir le processus d'entraînement en utilisant une astuce ingénieuse de « relais » pour enseigner au modèle. Le résultat est un modèle qui apprend plus vite et performe mieux sans avoir besoin d'être beaucoup plus grand.

Résumé technique : Transformer récurrent latent (LRT)

Énoncé du problème

Les transformers autoregressifs sont la norme pour la modélisation du langage, mais ils reposent sur des calculs feedforward de profondeur fixe pour chaque token généré. Bien que la récurrence puisse théoriquement augmenter la capacité de calcul pour un raffinement itératif, les approches existantes introduisent des coûts d'inférence significatifs. Les méthodes qui ajoutent de la récurrence en profondeur (application répétée de blocs au même token) ou dans le temps (insertion de tokens de pause ou de réflexion) augmentent la latence d'inférence via des étapes de décodage supplémentaires ou des applications de blocs.

Les auteurs observent que le décodage autoregressif calcule déjà « gratuitement » des signaux récurrents de haut niveau : les états cachés du token précédent. Plus précisément, les états des couches supérieures, entraînés pour la prédiction du token suivant, contiennent un contexte latent utile. La question de recherche centrale est de savoir si ces représentations de haut niveau déjà calculées à partir du token précédent peuvent être réutilisées comme mémoire récurrente pour le token suivant sans ajouter d'étapes de décodage supplémentaires.

Méthodologie

Architecture : Transformer récurrent latent (LRT)

Le LRT est une augmentation légère des transformers autoregressifs standards qui introduit une voie latente inter-couche et inter-token.

Mécanisme : À la position du token $t$ , le LRT réutilise un état caché de la couche source de la position précédente, $m_{t-1} = h^{\ell_{src}}_{t-1}$ , comme mémoire récurrente. Ici, $\ell_{src}$ est une couche source sélectionnée (généralement une couche supérieure-moyenne).
Injection : La mémoire $m_{t-1}$ $m_{t - 1}$ est injectée dans les couches du transformer du token courant $t$ $t$ via deux mécanismes complémentaires :
1. Projection KV : Projette la mémoire dans les espaces clés-valeurs de l'attention ( $\tilde{k}_{rec}, \tilde{v}_{rec}$ ) et les combine avec les clés/valeurs locales à l'aide de portes dépendantes de l'entrée. Cela fournit une voie directe pour la représentation du token précédent dans le mécanisme d'attention.
2. Injection résiduelle : Ajoute la mémoire directement au flux résiduel ( $\bar{x}^{(\ell)}_t = \alpha_\ell x^{(\ell)}_t + \gamma_\ell m_{t-1}$ ), exposant l'ensemble du bloc au signal récurrent.
Efficacité d'inférence : Crucialement, le LRT préserve l'épine dorsale standard dédiée au décodage, le mécanisme d'attention et l'interface de cache KV. Il n'insère ni tokens de mémoire, ni tokens de pause, ni boucles de profondeur. Chaque token généré utilise toujours exactement un seul passage avant normal du transformer, l'état récurrent étant simplement mis à jour et transmis à l'étape suivante. La variante par défaut ajoute seulement 0,3 % de paramètres.

Stratégie d'entraînement : Entraînement parallèle entrelacé

Un défi majeur est l'entraînement de cette récurrence à grande échelle. Un entraînement exact nécessiterait le déroulement séquentiel du transformer sur toute la séquence (rétropropagation dans le temps), détruisant le parallélisme essentiel à l'entraînement efficace des transformers. L'entraînement par blocs (traitement de blocs contigus de manière séquentielle) préserve un certain parallélisme mais ne propage la mémoire qu'aux frontières des blocs, offrant une approximation grossière.

Les auteurs introduisent l'Entraînement parallèle entrelacé pour approximer la récurrence au niveau du token tout en conservant le calcul parallèle :

Passage d'initialisation : Un seul passage avant sur la séquence complète construit un tampon partagé contenant les clés, les valeurs et les états récurrents de la couche source pour toutes les positions.
Passages de raffinement : Les positions de la séquence sont partitionnées en $S$ sous-ensembles disjoints (par exemple, des partitions espacées). Ces sous-ensembles sont affinés en parallèle.
Écriture en retour : Les états mis à jour d'un sous-ensemble sont réécrits dans le tampon partagé. Les sous-ensembles subséquents peuvent consommer la mémoire affinée des sous-ensembles précédents.
Objectif : La perte est la moyenne de la perte d'initialisation et des pertes de raffinement pour chaque sous-ensemble.

Cette stratégie garantit que chaque token reçoit une étape de supervision consciente de la mémoire récurrente. En termes de calcul, cela coûte environ 2× une mise à jour standard de transformer (une initialisation + un raffinement effectif), mais cela imite la récurrence au niveau du token plus étroitement que l'entraînement par blocs.

Contributions clés

Architecture LRT : Une extension récurrente légère qui réutilise les états cachés de haut niveau de la couche source du token précédent comme mémoire, permettant une récurrence inter-couche sans étapes de décodage supplémentaires ni modifications architecturales de l'interface de cache KV.
Entraînement parallèle entrelacé : Une approximation d'entraînement parallèle qui affine des sous-ensembles disjoints de tokens pour imiter la récurrence au niveau du token sous un budget d'entraînement fixe, évitant le déroulement séquentiel requis par l'entraînement de style RNN standard.
Validation empirique : Démonstration que le LRT améliore le compromis calcul-qualité à travers diverses tailles de modèles et budgets de tokens par paramètre, la variante par défaut à projection partagée ajoutant une surcharge de paramètres minimale (0,3 %).

Résultats

Des expériences ont été menées sur des épine dorsales GPT de style nanochat (20L et 24L couches) préentraînées sur FineWeb-Edu.

Comportement d'échelle : Sous un calcul d'entraînement équivalent à la ligne de base (tenant compte du coût 2× de l'entraînement entrelacé), le LRT déplace les courbes d'échelle vers des Bits par Octet (BPB) plus faibles et un CORE plus élevé (une métrique pour l'apprentissage en contexte sur 22 tâches).
Gains de performance :
- Sur l'épine dorsale 24L avec un calcul équivalent à la ligne de base de 80, le LRT-partagé a atteint 0,695 BPB contre 0,699 pour la ligne de base.
- L'apprentissage en contexte (CORE) s'est également amélioré ; sur l'épine dorsale 20L avec un calcul de 80, le LRT-partagé a atteint 0,274 contre 0,271 pour la ligne de base.
Résultats d'ablation :
- Couche source : Une couche supérieure-moyenne (par exemple, la couche 12 dans un modèle 20L) fonctionne mieux que la dernière couche, suggérant que la mémoire utile doit être de haut niveau mais pas trop spécialisée pour les logits.
- Source temporelle : L'état immédiatement précédent ( $m_{t-1}$ ) est la source de mémoire unique la plus forte qui préserve la contrainte d'un seul passage avant.
- Injection : La projection KV et l'injection résiduelle sont complémentaires ; l'utilisation des deux donne les meilleurs résultats.
- Entraînement : L'entraînement parallèle entrelacé surpasse significativement l'entraînement par blocs, qui fournit une approximation plus grossière de la récurrence.

Importance et affirmations

L'article affirme que le LRT déplace avec succès le compromis calcul-qualité pour les transformers autoregressifs. En réutilisant des signaux de haut niveau « gratuits » du token précédent et en les entraînant via une approximation parallèle, le LRT permet un raffinement itératif et une meilleure utilisation du contexte sans les pénalités de latence d'inférence des méthodes à récurrence en profondeur ou à tokens de pause.

Les auteurs soulignent que le LRT est une augmentation légère qui préserve l'interface standard du transformer. Les gains sont attribués au mécanisme de mémoire récurrente lui-même plutôt qu'à l'ajout simple de paramètres ou de portes supplémentaires, car des ajouts architecturaux génériques (comme l'attention à portes ou la mise à l'échelle des couches) sur la même ligne de base forte n'ont produit que des améliorations négligeables. Ce travail suggère que la mémoire récurrente utile doit être de haut niveau mais pas la couche finale spécialisée pour les logits, et que la récurrence au niveau du token peut être efficacement approximée en parallèle lors du préentraînement.