💬 NLP

T^2MLR: Transformer with Temporal Middle-Layer Recurrence

Le papier introduit T^2MLR, une architecture Transformer qui améliore le raisonnement latent en fusionnant des représentations de couches intermédiaires mises en cache provenant de jetons précédents dans les couches précoces du jeton actuel, une approche ciblée qui surpasse les bases de référence standards et la récurrence sur l'ensemble des couches tout en permettant un ajustement efficace de modèles préentraînés existants.

Auteurs originaux : Ziyang Cai, Xingyu Zhu, Yihe Dong, Yinghui He, Sanjeev Arora

Publié 2026-07-17

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ziyang Cai, Xingyu Zhu, Yihe Dong, Yinghui He, Sanjeev Arora

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayiez d'apprendre à un robot super intelligent comment résoudre un casse-tête complexe. Dans le monde de l'intelligence artificielle, les robots les plus populaires aujourd'hui sont construits sur une conception appelée « Transformer ». Considérez le Transformer comme un lecteur très rapide et très enthousiaste qui traite une histoire mot après mot. Chaque fois qu'il lit un nouveau mot, il doit oublier presque tout ce qu'il savait de ses pensées profondes et complexes du mot précédent et repartir de zéro, en compressant toute cette réflexion riche en une petite note simple avant de passer au mot suivant. C'est comme essayer de résoudre un problème de mathématiques tout en effaçant constamment votre brouillon et en n'écrivant que la réponse finale avant de passer à l'étape suivante. Cela fonctionne assez bien pour des tâches simples, mais quand le robot doit maintenir une longue chaîne de logique dans sa tête — comme suivre un code secret ou résoudre une énigme à plusieurs étapes — il se perd souvent car il ne peut pas maintenir ses « pensées » vivantes entre les étapes.

Les scientifiques ont essayé de corriger cela en laissant le robot garder un « carnet de notes caché » pour ses pensées, mais la plupart des tentatives rendent soit le robot incroyablement lent (car il doit relire tout son carnet à chaque fois), soit le forcent à écrire ses pensées dans un langage étrange et invisible, difficile à enseigner. La grande question est : pouvons-nous donner au robot un moyen de garder sa pensée profonde et abstraite vivante d'un mot à l'autre sans le ralentir ou le rendre impossible à enseigner ? Ce document introduit une nouvelle astuce ingénieuse appelée T2MLR (Transformers with Temporal Middle-Layer Recurrence) qui suggère que la réponse est oui, mais seulement si nous changeons l'endroit où le robot garde ses pensées.

Les chercheurs proposent une nouvelle façon pour ces modèles d'IA de « se souvenir » de leur processus de réflexion. Au lieu de forcer le robot à écrire ses pensées profondes dans une petite note au tout début ou à la toute fin de son traitement, ils laissent le robot transmettre un « message secret » du milieu de son cerveau directement au milieu de son cerveau pour le mot suivant. Imaginez une course de relais où, au lieu de passer le témoin uniquement à la ligne de départ ou d'arrivée, les coureurs se passent une note spéciale en plein milieu de la piste. Cela permet au raisonnement complexe et abstrait qui se déroule dans les « couches intermédiaires » de l'IA de persister et d'évoluer au fur et à mesure que le robot lit, sans avoir à tout recalculer de zéro.

L'article conclut que cette approche par « couche intermédiaire » fonctionne étonnamment bien. Lorsqu'ils ont testé cela sur des tâches qui nécessitent de suivre des états (comme se souvenir d'une séquence de mouvements dans un jeu) ou de résoudre des problèmes mathématiques à plusieurs étapes, le nouveau modèle T2MLR a systématiquement battu les modèles standards de même taille. De manière intéressante, ils ont découvert qu'il n'est pas nécessaire que l'ensemble du robot se souvienne de tout ; le simple fait de laisser un petit segment des couches intermédiaires (environ 20 % du réseau) transmettre ces notes d'un côté à l'autre était souvent plus efficace que de faire boucler l'intégralité du robot sur ses propres pensées. Plus excitant encore pour le monde réel, ils ont montré qu'il n'est pas nécessaire de construire un nouveau robot de zéro pour l'utiliser. Ils ont pris un robot pré-entraîé existant (un modèle de 1,7 milliard de paramètres) et ont simplement « greffé » ce nouveau système de mémoire à couche intermédiaire dessus. Après un peu d'entraînement supplémentaire sur des problèmes mathématiques, ce robot amélioré est devenu nettement meilleur pour les résoudre, passant d'un taux de réussite de 35,8 % à près de 40 % sur un test, et de 12,8 % à 18 % sur un autre.

Les auteurs suggèrent que cela fonctionne parce que le « milieu » d'un Transformer est l'endroit où le raisonnement le plus abstrait a lieu, et qu'en permettant à ces pensées spécifiques de persister dans le temps, le modèle peut mieux effectuer un « raisonnement latent » (penser sans tout écrire). Cependant, ils précisent avec prudence que cela s'accompagne d'un compromis : bien que le robot ne ralentisse pas beaucoup lorsqu'il répond à des questions (cela n'ajoute qu'environ 8 % de travail supplémentaire par mot), il prend plus de temps pour être entraîné car l'ordinateur doit effectuer des calculs supplémentaires pour comprendre comment ces notes de mémoire doivent fonctionner. Malgré ce coût d'entraînement, les résultats suggèrent qu'un raisonnement efficace en IA ne nécessite pas de faire boucler chaque couche du cerveau ; au contraire, un système de mémoire ciblé dans les couches intermédiaires pourrait être la clé pour débloquer une pensée plus intelligente et plus persistante.

Résumé Technique : T2MLR : Transformer avec Récurrence Temporelle dans les Couches Intermédiaires

Énoncé du Problème

Les auteurs identifient une limitation fondamentale des architectures Transformer standards concernant les capacités de raisonnement. Bien que les Transformers excellent dans la récupération contextuelle (in-context retrieval), leur mécanisme de décodage autorégressif crée un goulot d'étranglement informationnel. À chaque étape de décodage, les représentations latentes riches et de haute dimension sont répétitivement compressées en un espace de tokens parc (vecteurs one-hot) avant d'être injectées comme entrée à l'étape suivante. Ce processus empêche les états de raisonnement abstrait intermédiaires de persister à travers le temps, forçant le modèle à reconstruire indirectement les informations nécessaires via l'attention ou par des plongements de tokens (embeddings) hautement compressés.

Les approches existantes tentant le raisonnement latent cherchent à atténuer ce problème soit en effectuant le raisonnement entièrement dans l'espace continu (souvent à la couche finale), soit en propageant l'incertitude par des combinaisons linéaires d'embeddings de tokens. Cependant, ces méthodes injectent généralement les signaux récurrents par l'embedding d'entrée, contournant ainsi les couches intermédiaires où le raisonnement abstrait est censé se produire. Alternativement, les architectures Transformer « en boucle » (looped) augmentent la profondeur effective en itérant sur l'ensemble des couches, mais cela entraîne des coûts d'inférence qui augmentent linéairement avec le nombre de boucles, ce qui les rend peu pratiques pour le déploiement.

Méthodologie

Le papier introduit T2MLR (Transformers with Temporal Middle-Layer Recurrence), une nouvelle architecture conçue pour permettre aux représentations abstraites intermédiaires de persister et d'évoluer à travers les étapes de décodage sans augmenter la profondeur lors de l'inférence.

Conception Architecturale

T2MLR modifie un décodeur Transformer standard de $L$ couches en introduisant une voie récurrente à porte (gated) qui connecte une couche profonde du token précédent à une couche précoce du token actuel.

Limites de Récurrence : L'architecture est paramétrée par deux indices de couche, $\ell_{start}$ et $\ell_{end}$ , définissant un bloc de couches « intermédiaire ».
Cache Récurrent ( $R_t$ ) : Un vecteur de cache de taille constante est maintenu pour chaque étape de décodage $t$ . Il stocke la représentation après la couche $\ell_{end}$ de l'étape précédente.
Module de Fusion ( $\Phi$ ) : Avant de traiter le token actuel à la couche $\ell_{start}$ , le modèle fusionne la représentation du token actuel ( $h^{(\ell_{start}-1)}_t$ ) avec le cache récurrent ( $R_{t-1}$ ) du token précédent. La fusion est régie par un mécanisme de porte apprenable :
$\Phi(h, R) = h + \tanh(\gamma_{cur}) \sigma(f_{cur}([h, R])) \odot h + \tanh(\gamma_{rec}) \sigma(f_{rec}([h, R])) \odot W_{rec}R$
Cette conception permet au modèle d'apprendre quand s'appuyer sur le flux du token actuel par rapport à l'état latent accumulé temporellement.
Mise à jour du Cache : Après le passage par la couche $\ell_{end}$ , le cache récurrent est mis à jour en utilisant la nouvelle représentation et le cache précédent via une connexion résiduelle et une RMSNorm.

Stratégie d'Entraînement : Parallélisme Temporel

Un défi majeur pour les architectures de raisonnement latent est que l'entraînement standard en parallèle de séquences (par token) est rompu lorsque des dépendances existent entre les étapes temporelles. Pour y remédier, les auteurs proposent un schéma d'entraînement par parallélisme temporel approximé utilisant des itérations de point fixe de Jacobi :

Au lieu d'un traitement séquentiel des tokens, le modèle effectue $d_{forward}$ itérations de raffinement en parallèle.
Il commence par un cache initial dérivé d'une passe avant (forward pass) standard, puis fusionne de manière itérative ce cache avec la représentation du token actuel, raffine le bloc intermédiaire et met à jour le cache.
Les gradients sont rétropropagés à travers ces itérations avec une profondeur tronquée ( $d_{backward}$ ), de manière analogue à la rétropropagation à travers le temps tronquée (TBPTT).
Cette approche permet d'entraîner le modèle avec un forcing de l'enseignant (teacher forcing) dense et un parallélisme de séquence, une capacité que les auteurs affirment être unique parmi les variantes de chaîne de pensée continue (continuous chain-of-thought).

Contributions Clés

Innovation Architecturale : T2MLR introduit une voie récurrente ciblée spécifiquement dans les couches intermédiaires du Transformer, plutôt qu'au niveau de l'embedding d'entrée ou de la sortie finale. Cela préserve l'interface autorégressive standard tout en permettant la persistance de l'état latent.
Entraînement Scalable : Les auteurs démontrent une méthode pour entraîner ces dépendances récurrentes en utilisant le parallélisme temporel approximatif, permettant le pré-entraînement et l'ajustement fin (fine-tuning) sur de grands jeux de données sans sacrifier la scalabilité.
Capacité de Rétrofit (Retrofitting) : Le papier montre que T2MLR ne nécessite pas d'entraînement à partir de zéro. La voie récurrente peut être insérée dans un modèle pré-entraîné existant (ex: SmolLM2-1.7B) et ajustée pour obtenir des améliorations significatives du raisonnement.
Efficacité : Contrairement aux Transformers en boucle, T2MLR ajoute un surcoût négligeable lors de l'inférence (au maximum ~8 % par token) car la récurrence est gérée via un cache de taille constante et une seule passe avant lors de l'inférence.

Résultats Expérimentaux

Les auteurs évaluent T2MLR à travers des benchmarks synthétiques, le pré-entraînement en langage naturel et des tâches de raisonnement en aval.

Raisonnement Synthétique (S5-Retrieval) : T2MLR surpasse significativement les Transformers standards et les LSTM sur une tâche nécessitant simultanément le suivi d'état et la récupération contextuelle. Alors que les Transformers échouent sur de longues séquences en raison des contraintes de profondeur et que les LSTM échouent sur la récupération en raison de la compression de l'état fixe, T2MLR maintient une précision élevée.
Pré-entraînement (FineWeb-Edu) : Sur des modèles de 135M de paramètres, les variantes T2MLR égalent ou dépassent systématiquement les bases de comparaison (baselines) de même nombre de paramètres sur les benchmarks NLP zero-shot (ARC, HellaSwag, etc.). Notamment, la récurrence en couche intermédiaire (bouclage sur environ 20 % des couches, ex: couches 13–18) surpasse souvent la récurrence sur l'ensemble des couches.
Raisonnement en Aval : Sur des tâches comme GSM-Aug (mathématiques), HotPotQA (QA multi-sauts) et Variable Assignment, T2MLR montre des gains constants par rapport aux baselines. Les variantes de récurrence en couche intermédiaire surpassent à nouveau les variantes de récurrence globale, suggérant qu'une récurrence ciblée est plus efficace qu'un bouclage global.
Scalabilité : Les gains de performance persistent et croissent lors du passage à 361M et 1B de paramètres et de l'extension du pré-entraînement à 50B de tokens.
Rétrofit : L'application de T2MLR à un modèle pré-entraîné SmolLM2-1.7B-Instruct et son ajustement sur des données mathématiques ont amélioré la précision GSM8K de 35,8 % à 39,9 % et MATH500 de 12,8 % à 18,0 %, démontant une applicabilité pratique sans pré-entraînement complet.

Signification et Revendications

Le papier pose que le raisonnement latent efficace dans les Transformers ne nécessite pas de boucler sur toutes les couches (ce qui augmente le coût d'inférence) ni de confiner la récurrence à l'embedding d'entrée (ce qui contourne le calcul abstrait). Au lieu de cela, les auteurs affirment que la récurrence ciblée dans les couches intermédiaires est suffisante pour débloquer des capacités de raisonnement significatives.

La portée de T2MLR réside dans sa capacité à :

Découpler la Profondeur de Raisonnement du Coût d'Inférence : Il introduit une voie latente temporelle qui persiste à travers les étapes de temps sans la pénalité linéaire d'inférence associée aux architectures en boucle.
Réduire la Barrière à l'Adoption : En démontrant que l'architecture peut être rétro-ajustée sur des modèles pré-entraînés existants, les auteurs soutiennent que des capacités de raisonnement avancées peuvent être ajoutées aux modèles actuels pour une fraction du coût d'un pré-entraînement complet.
Valider les Biais Inductifs : Les résultats suggèrent que le « point idéal » (sweet spot) pour la récurrence dans les Transformers se situe dans les couches intermédiaires, là où le calcul abstrait a lieu, plutôt qu'aux interfaces d'entrée ou de sortie.

Les auteurs reconnaissent que T2MLR induit un surcoût lors de l'entraînement (2 à 4 fois le temps de calcul réel selon la taille du bloc récurrent) dû aux étapes d'approximation de Jacobi. Ils présentent cela comme un arbitrage : T2MLR sacrifie du calcul à l'entraînement pour gagner une architecture d'inférence à faible coût et haute performance pour les tâches de raisonnement.