🤖 AI

Full-bandwidth transformer

Cet article introduit le transformer à pleine bande passante (full-bandwidth transformer), une architecture novatrice qui améliore le décodage autorégressif en réinjectant l'état caché de la couche supérieure précédente dans le modèle via une rétroaction latente, améliorant ainsi les performances à travers diverses tâches tout en maintenant l'efficacité standard et en nécessitant nettement moins de données d'entraînement que les transformers conventionnels.

Auteurs originaux : Xi Wang, Ziyang Cai, Zheng Zhan, Harry Dong, Ying Fan, Gustavo de Rosa, Tim Pearce, John Langford

Publié 2026-08-11

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Xi Wang, Ziyang Cai, Zheng Zhan, Harry Dong, Ying Fan, Gustavo de Rosa, Tim Pearce, John Langford

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de résoudre un puzzle vraiment difficile, mais avec une règle très stricte : vous ne pouvez murmurer qu'un seul mot à la fois à votre futur moi. Si vous déterminez une étape complexe de votre plan, vous devez l'écrire sous forme de mot, attendre que votre futur moi le lise, puis recommencer à zéro. C'est ainsi que fonctionnent la plupart des chatbots d'IA modernes aujourd'hui. Ils sont brillants pour lire et écrire, mais lorsqu'ils réfléchissent, ils sont forcés de « dire » leurs pensées à voix haute, un seul mot à la fois, même si ces pensées sont des idées complexes. C'est comme essayer de transporter un sac à dos lourd d'informations, mais que vous ne puissiez donner à votre futur moi qu'une seule carte postale du sac à chaque étape.

Les scientifiques appellent ces modèles d'IA des « transformers ». Ce sont les moteurs qui se cachent derrière les chatbots intelligents que nous utilisons chaque jour. Ces modèles travaillent dans deux directions : ils lisent les mots sur une page (horizontalement) et ils traitent l'information à travers de nombreuses couches de « neurones » empilées les unes sur les autres (verticalement). Le problème est que, bien qu'ils puissent voir tous les mots qu'ils ont déjà écrits, ils ne peuvent pas facilement renvoyer leurs pensées internes profondes et complexes vers le bas de leur cerveau pour être retraitées. Une fois qu'une pensée est transformée en mot, les détails riches et cachés de cette pensée sont en grande partie perdus, laissant l'IA soit écrire une explication longue et verbeuse, soit tout recalculer à partir de zéro. Les chercheurs veulent savoir : pouvons-nous permettre à l'IA de garder ses « notes secrètes » et de les renvoyer au début de son cerveau sans avoir à les écrire sous forme de mots ? Si nous pouvions, l'IA pourrait penser plus vite, plus intelligemment et avec moins de mots.

Ce document présente un nouveau type d'IA appelé le « transformer à bande passante complète » (full-bandwidth transformer). Les chercheurs, travaillant chez Microsoft et dans de grandes universités, ont trouvé un moyen d'élargir ce canal de « murmure » étroit. Au lieu de simplement renvoyer un seul mot au début, ils permettent à l'IA d'envoyer son « état caché » complet — un résumé massif et complexe de tout ce qu'elle a pensé jusqu'à présent — vers le bas de son cerveau. Ils font cela grâce à une astuce ingénieuse appelée « rétroaction latente » (latent feedback). Imaginez que, au lieu de tendre une carte postale à votre futur moi, vous puissiez instantanément téléporter tout votre sac à dos de notes vers votre point de départ, tout en gardant la carte postale comme trace de ce que vous avez dit. L'IA fusionne son résumé interne profond avec le nouveau mot qu'elle vient de générer, créant ainsi une entrée surpuissante pour l'étape suivante.

L'équipe a entraîné ces nouveaux modèles en utilisant un calendrier spécial qui introduit progressivement cette capacité de « téléportation » durant leur phase d'apprentissage. Ils ont testé des modèles de 1 milliard de paramètres sur une quantité massive de texte (jusqu'à 400 milliards de tokens). Les résultats suggèrent que cette méthode fonctionne étonnamment bien. L'IA n'est pas seulement devenue meilleure en mathématiques et en codage ; elle a aussi commencé à penser de manière plus courte et plus efficace. Dans de nombreux tests, le transformer à bande passante complète a obtenu des performances aussi bonnes que les modèles standards qui avaient été entraînés sur deux fois plus de données, et a parfois même égalé des modèles entraînés sur cinq fois plus de données. Le plus enthousiasmant, peut-être, c'est que lors de la résolution de problèmes mathématiques, ces nouveaux modèles produisaient souvent des réponses beaucoup plus courtes tout en obtenant le bon résultat, ce qui suggère qu'ils faisaient le travail difficile dans leur « tête » plutôt que de gaspiller des mots pour l'expliquer. Les chercheurs ont constaté que cette approche n'ajoute presque aucun coût supplémentaire à la vitesse de l'IA, ce qui en fait une voie prometteuse pour construire des IA plus intelligentes et plus efficaces sans avoir besoin de quantités infinies de nouvelles données.

Résumé Technique : Transformer à Bande Passante Complète (Full-Bandwidth Transformer)

Énoncé du Problème

Les transformers autorégressifs calculent selon deux axes : horizontalement à travers les jetons générés et verticalement à travers la profondeur du modèle. Si l'attention dense offre un large accès horizontal aux jetons passés, le canal de rétroaction verticale entre les étapes de décodage reste étroit. Dans un décodage standard, le modèle compresse l'intégralité de son état caché de la couche supérieure de dimension $D$ en un seul jeton discret (transportant au plus $\log_2 |V|$ bits) pour servir d'entrée à l'étape suivante. Par conséquent, le calcul non verbalisé (états intermédiaires, incertitude, plans partiels) est « gelé dans la profondeur » dans le cache KV ; il reste accessible aux couches supérieures à son point de production, mais ne peut pas revenir au bas de la pile pour un traitement ultérieur. Cela force le modèle à soit verbaliser ses états intermédiaires jeton par jeton, soit à les recalculer de zéro, ceant ainsi la profondeur effective du raisonnement par jeton.

Méthodologie : Décodage par Rétroaction Latente

Les auteurs proposent le Transformer à Bande Passante Complète, qui élargit le canal de rétroaction inter-étapes en réinjectant l'état caché de la couche supérieure précédente dans l'entrée, aux côtés de l'embedding du jeton échantillonné.

1. Mécanisme de Rétroaction Latente

À chaque étape de décodage $t$ , l'entrée $u_t$ est formée par la fusion de l'embedding du jeton échantillonné $e_t$ avec l'état caché de la couche supérieure précédente $h^L_{t-1}$ :
$u_t = e_t \otimes h^L_{t-1}$
L'opérateur de fusion $\otimes$ est une Unité Linéaire à Porte (GLU) :
$e_t \otimes h^L_{t-1} = (W_U h^L_{t-1}) \odot \sigma(W_G e_t)$

Asymétrie : L'état caché occupe la voie de la valeur, tandis que le jeton agit comme une porte multiplicative. Cette conception empêche le modèle d'apprendre à ignorer la voie de l'état (un raccourci potentiel dans une fusion symétrique), le forçant à utiliser l'intégralité de l'état caché.
Architecture : Cela n'ajoute que deux multiplications de matrices $D \times D$ par jeton. L'architecture standard du transformer, la disposition du cache KV et la pile de service restent inchangées.
Effet : Cela permet aux états non verbalisés de réintégrer le bas de la pile avec un budget de profondeur renouvelé. Chaque couche, y compris la plus superficielle, peut désormais accéder à l'historique complet tel qu'il a été traité par l'ensemble de la pile, plutôt que de se limiter aux couches situées en dessous d'elle.

2. Stratégie d'Entraînement Parallèle

L'entraînement direct de cette récurrence ferait perdre le parallélisme du "teacher forcing", car l'entrée à la position $t$ dépend de la sortie à $t-1$ . Les auteurs introduisent un objectif multi-passes pour résoudre cela :

Parallélisme Temporel : Au lieu de dérouler séquentiellement sur les jetons, le modèle exécute $K$ $K$ passes avant parallèles sur la séquence.
- Passe 1 : Passe avant standard avec des embeddings de jetons simples.
- Passe $k$ ( $k > 1$ ) : Les états cachés de la Passe $k-1$ sont décalés d'une position vers la droite, fusionnés avec les embeddings des jetons, et réinjectés dans la pile en parallèle.
Fonction de Perte : L'objectif combine la perte standard de Prédiction du Prochain Jeton (NTP) de la première passe avec les pertes NTP auxiliaires des passes suivantes. Les gradients des passes ultérieures rétropropagent vers les états latents antérieurs, encourageant ces derniers à être des entrées réutilisables.
Planification (Scheduling) : Pour assurer la stabilité et gérer les coûts de calcul, les auteurs utilisent un programme progressif :
- L'entraînement commence par des objectifs à passe unique standard.
- La rétroaction latente est introduite à mi-entraînement (ex: lots à 2 passes).
- Une petite fraction (ex: 3 %) de lots avec des passes plus élevées (ex: 3 passes) est mélangée. Empiriquement, cette petite fraction stabilise la carte de rétroaction apprise, la faisant tendre vers un point fixe qui reste stable même lors d'une extrapolation à de longs horizons (des centaines de passes) pendant l'inférence.
Mixage de Préfixe : Pour gérer le décalage de distribution entre l'entraînement (entrées entièrement fusionnées) et l'inférence (préfixe simple + génération fusionnée), le processus d'entraînement randomise la longueur du préfixe où les entrées fusionnées commencent, correspondant à la structure "prompt-puis-génération" de l'inférence.

3. Techniques de Stabilité

Pour éviter la divergence lors d'une inférence à long horizon, les auteurs emploient :

Mise à l'échelle de la Profondeur (Depth Scaling) : S'assurer que la norme de l'état de la couche supérieure reste $O(1)$ plutôt que de croître avec la profondeur.
Partage de Poids (Weight Tying) : Partager les poids de la couche d'embedding et de la couche de lecture pour assurer la compatibilité entre les entrées de jetons simples et les états fusionnés.
Régularisation par Bruit : Ajouter un léger bruit de jitter à l'état caché transporté pour améliorer la robustesse.

Résultats Clés

Les auteurs ont entraîné des modèles de 1 milliard de paramètres jusqu'à 400 milliards de jetons et les ont évalués par rapport à des transformers standards entraînés avec 100 milliards à 1 billion de jetons.

Efficacité des Données : Les transformers à bande passante complète égalent ou approchent les performances des transformers standards entraînés avec environ 1,5× à 2× plus de jetons. Par exemple, un modèle à bande passante complète de 200 milliards de jetons approche la performance d'une base standard de 400 milliards de jetons.
Gains de Performance :
- Perte de Validation : Améliorée à toutes les échelles.
- Raisonnement et Codage : Sur les tâches de génération libre (GSM8K, Math500, HumanEval, MBPP), le décodage par rétroaction latente (régimes SOFT et FUSED) surpasse systématiquement le décodage standard avec les mêmes poids.
  - SOFT (Rétroaction Latente) : Meilleur pour les tâches mathématiques, suggérant que l'état caché transporte mieux le raisonnement que les jetons verbalisés.
  - FUSED (Pré-remplissage Multi-passes) : Meilleur pour les tâches de codage, suggérant que des représentations de prompt raffinées sont cruciales.
- Ajustement d'Instruction (Instruction Tuning) : Les gains persistent après l'extension du contexte long et l'ajustement d'instruction.
Concision : Sur les modèles de base (pré-ajustement d'instruction), la rétroaction latente produit des traces de raisonnement nettement plus courtes pour une précision égale ou supérieure. Le modèle effectue le calcul "silencieusement" dans l'état caché plutôt que de le narrer jeton par jeton. Cet effet diminue après l'ajustement d'instruction, probablement parce que les données d'ajustement imitent un raisonnement verbeux.
Accessibilité de l'État : Les expériences de sondage confirment que le pré-remplissage récurrent expose les informations d'état global aux couches superficielles (Couche 0) bien plus efficacement que le pré-remplissage standard, validant ainsi l'affirmation de "bande passante complète".

Signification et Revendications

L'article affirme que le Transformer à Bande Passante Complète offre un nouvel axe de mise à l'échelle pour les Grands Modèles de Langage : allouer plus de calcul par jeton plutôt que simplement plus de jetons ou de paramètres.

Révision de la Mise à l'Échelle (Scaling) : Alors que l'accès à des données uniques de haute qualité devient une contrainte, les auteurs plaident pour extraire plus de signal d'apprentissage de chaque jeton. La rétroaction latente atteint cet objectif en permettant au modèle d'itérer sur son état interne sans le goulot d'étranglement de la verbalisation.
Efficacité de l'Inférence : L'approche offre des gains de performance avec un surcoût de décodage par jeton négligeable (seulement deux multiplications de matrices). Le calcul supplémentaire est principalement supporté lors du pré-remplissage multi-passes optionnel ou de l'entraînement, et non lors de la génération séquentielle de chaque jeton.
Minimalisme Architectural : La méthode préserve l'architecture standard du transformer et le cache KV, ne nécessant qu'un changement dans la construction de l'entrée et un programme d'entraînement spécifique.
Stabilité : Ce travail démontre que les boucles de rétroaction récurrentes peuvent être entraînées efficacement dans les transformers en utilisant des objectifs multi-passes parallèles, surmontant l'instabilité souvent associée à l'entraînement des réseaux récurrents.

Les auteurs concluent que les transformers à bande passante complète représentent un passage d'une dépendance exclusive à l'échelle des données vers l'exploitation d'un calcul récurrent basé sur la rétroaction pour améliorer la qualité des représentations et l'efficacité du raisonnement.