💬 NLP

Hidden Decoding at Scale: Latent Computation Scaling for Large Language Models

Ce document introduit le Décodage Caché (Hidden Decoding), une nouvelle méthode de mise à l'échelle qui améliore les grands modèles de langage en étendant le calcul des jetons le long de la dimension de la longueur de séquence par factorisation de flux, permettant des gains de performance significatifs aux échelles frontières sans modifier l'architecture fixe du Transformer ni engendrer de coûts d'entraînement prohibitifs.

Auteurs originaux : Aiwei Liu, Cheng Shi, Chuhan Wu, Ci Lei, Di Lu, Donald He, Fan Zhang, Fanhao Kong, Feifei Zhang, Guan Wang, Haicheng Wang, Haoyu Liu, Houjin Yu, Jiachen Ding, Jiayi Feng, Jie Zhou, Jijun Chi, Jindi Sh

Publié 2026-07-10

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Aiwei Liu, Cheng Shi, Chuhan Wu, Ci Lei, Di Lu, Donald He, Fan Zhang, Fanhao Kong, Feifei Zhang, Guan Wang, Haicheng Wang, Haoyu Liu, Houjin Yu, Jiachen Ding, Jiayi Feng, Jie Zhou, Jijun Chi, Jindi Shi, Jing Lei, Junjie Zhang, Laiyi Li, Le Tian, Linhao Zhang, Miao Fan, Sijun Zhang, Wei Jia, Weiwei Shi, Wenhan Li, Wentao Zhao, Wenteng Liang, Xiao Zhou, Xiaojin Zhou, Xihuai Wang, Xinyu Gao, Xuanliang Wang, Xuyang Ao, Yang Yu, Yangxiu You, Yinuo Zhao, Yufei Kuang, Yufei Wang, Yuan Liu, Yuan Liu, Yuwen Chen, Zhencong Tian, Zhongyin Zhao, Zilin Yu, Zitao Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez un cerveau de robot super intelligent (un grand modèle de langage) qui est déjà assez incroyable. Habituellement, pour le rendre encore plus intelligent, les scientifiques essaient d'agrandir le cerveau — en ajoutant plus de couches, plus de neurones, plus de tout. Mais c'est comme essayer de construire un gratte-ciel sur un gratte-ciel : cela coûte une fortune, cela prend un temps infini, et parfois l'équipe de construction (les ordinateurs d'entraînement) ne peut tout simplement pas gérer une telle taille.

L'équipe IA de WeChat a posé une question différente : Et si nous gardions le cerveau exactement de la même taille, mais que nous lui donnions plus de temps pour réfléchir à chaque mot ?

Le problème de la « boucle »

Certains chercheurs ont essayé de résoudre cela en faisant « boucler » la réflexion du robot. Imaginez un étudiant lisant une phrase, puis la relisant, puis encore une fois, utilisant les mêmes cellules cérébrales encore et encore pour obtenir une meilleure réponse. C'est ce qu'on appelle un modèle « bouclé » ou « récurrent ».

Mais voici le hic : quand vous essayez d'entraîner les plus gros robots (ceux qui possèdent des centaines de milliards de paramètres), cette idée de boucle casse la chaîne de montage. Les ordinateurs qui entraînent ces modèles fonctionnent selon un pipeline, où chaque partie du cerveau fait son travail une seule fois et passe le témoin. Si vous faites en sorte que le robot s'arrête et relise la même phrase, toute la ligne s'immobilise, et les ordinateurs coûteux restent inactifs. C'est comme une usine dont le tapis roulant s'arrêterait sans cesse pour laisser un ouvrier refaire la même vis ; l'usine s'arrête net.

La solution : le « Décodage Caché » (La chaîne de montage secrète)

L'équipe de WeChat a trouvé une astuce ingénieuse appelée Décodage Caché (Hidden Decoding). Au lieu de faire lire le mot au robot plusieurs fois en boucle, ils font lire le mot plusieurs fois à la fois, mais dans des voies secrètes parallèles.

Pensez à une équipe de course automobile. Au lieu d'envoyer une seule voiture faire trois tours de piste pour obtenir le meilleur temps, ils envoient quatre voitures identiques (des flux) sur la piste simultanément.

La configuration : Quand le robot voit un mot (comme « pomme »), il ne le transforme pas seulement en un code. Il le transforme en quatre codes différents, chacun allant dans sa propre voie secète.
Le travail secret : Ces quatre voies traversent les couches du cerveau. Les trois premières voies sont « cachées ». Elles font tout le gros du travail, de la réflexion et du raisonnement, mais elles n'ont pas encore le droit de donner la réponse. Elles sont comme l'équipe de réflexion dans la salle arrière.
Le dernier mot : Seule la quatrième voie (le flux final) est autorisée à crier le mot suivant. Le cerveau n'est évalué que sur cette réponse finale.
La mémoire : Crucialement, le cerveau se souvient de ce que les trois premières voies ont pensé. Il conserve leurs notes (appelées « caches Clé-Valeur ») afin que le mot suivant puisse lire les notes de réflexion du mot précédent.

De cette façon, le robot obtient quatre fois plus de puissance de réflexion pour chaque mot, mais il n'a pas besoin de construire un cerveau plus grand ni d'arrêter la chaîne de montage. Il traite simplement une séquence de données plus longue en une seule fois.

Rendre cela abordable : l'astuce de la « Factorisation par Flux »

Vous pourriez penser : « Attendez, si j'ai quatre voies qui se parlent, est-ce que les mathématiques ne vont pas devenir incroyablement compliquées ? » Si chaque voie essayait de parler à toutes les autres à chaque étape, le coût exploserait (il serait multiplié par 16 !).

Pour correr cela, l'équipe a utilisé une méthode appelée Attention Factorisée par Flux (Stream-Factorized Attention).

La plupart du temps : Les voies restent dans leurs propres bulles. La voie 1 parle à la voie 1, la voie 2 à la voie 2. Elles ne se dérangent pas.
Parfois : Seules quelques couches spécifiques permettent aux voies d'échanger des notes et de mélanger leurs idées.

Cela permet de maintenir un coût bas. Au lieu que le coût ne soit multiplié par 16, il n'augmente que d'environ 4,4 à 5,1 fois (ce qui est proche de l'augmentation de 4x des voies). Cela rend possible l'entraînement de ces modèles super-grands sans se ruiner.

Est-ce que ça a marché ?

L'équipe a testé cela sur deux modèles massifs : un avec 80 milliards de paramètres et un géant de 617 milliards. Ils n'ont pas changé la taille du cerveau ; ils ont simplement activé le mode « 4 voies ».

Les résultats : Les modèles sont devenus plus intelligents. Sur des tests difficiles de mathématiques et de sciences, le modèle de 617 milliards a amélioré son score au test « GPQA Diamond » de 89,1 à 91,2. Sur le test de physique « PHYBench », il est passé de 75,3 à 76,3.
La tendance : Ils ont également testé avec 2 voies, 4 voies et 8 voies. À mesure qu'ils ajoutaient des voies, les scores continuaient de grimper. Cela suggère que l'ajout de « voies de réflexion » est un véritable moyen de rendre les modèles plus intelligents sans reconstruire de nouveaux modèles.

Ce qu'ils ont écarté

L'équipe a pris soin de vérifier s'il ne s'agissait pas d'un simple coup de chance. Ils ont testé d'autres façons d'utiliser les voies supplémentaires :

Forcer chaque voie à deviner : S'ils forçaient les trois premières voies à prédire aussi la réponse (au lieu de seulement la dernière), le modèle devenait en fait moins bon.
Mélanger les réponses : S'ils faisaient simplement la moyenne des pensées des quatre voies, cela ne fonctionnait pas aussi bien que de laisser la voie finale décider.
Partager les notes : S'ils faisaient en sorte que les voies partagent les mêmes notes de mémoire au lieu de garder leurs propres notes, le modèle était légèrement moins précis.

Cela prouve que la recette secrète consiste à laisser les premières voies effectuer une réflexion silencieuse et privée et à garder leurs notes séparées, afin que la voie finale puisse utiliser cette sagesse profonde et accumulée pour faire la meilleure supposition.

L'essentiel

Le Décodage Caché montre que vous n'avez pas toujours besoin d'un cerveau plus gros pour être plus intelligent. Parfois, vous avez juste besoin de donner au cerveau plus de temps pour réfléchir en parallèle. En transformant un seul mot en une chaîne de montage secrète de pensées, l'équipe de WeChat a trouvé un moyen d'augmenter l'intelligence des modèles de pointe sans le coût massif de la construction d'un nouveau cerveau plus grand. C'est une manière pratique et adaptée à l'ingénierie d'extraire plus d'intelligence des modèles que nous possédons déjà.

Résumé Technique : Hidden Decoding à l'Échelle

Énoncé du Problème

Le passage à l'échelle des grands modèles de langage (LLM) a traditionnellement reposé sur l'élargissement de l'architecture Transformer, ce qui nécessite des cycles de pré-entraînement coûteux et augmente les coûts de service. Pour les modèles de fondation déjà performants, l'expansion de l'architecture est souvent impraticable. Bien que des travaux récents suggèrent qu'allouer plus de calcul par jeton (même avec un nombre de paramètres fixe) peut améliorer le raisonnement et la précision, les approches existantes font face à des obstacles de scalabilité importants :

Transformers à profondeur récurrente (en boucle) : Ils réutilisent les mêmes blocs Transformer plusieurs fois par jeton pour augmenter le calcul. Cependant, ils sont difficiles à porter à l'échelle des modèles de pointe (ex: 100B+ paramètres) car la nature itérative du calcul en boucle brise les hypothèses de parallélisme de pipeline utilisées pour entraîner les plus grands modèles, entraînant une oisiveté des GPU.
Expansion de la longueur de séquence : L'injection de séquences plus longues est compatible avec les pipelines d'entraînement standards, mais nécessite une méthode pour étendre le calcul sans simplement augmenter la fenêtre de contexte pour le même jeton.

Le papier traite du défi consistant à améliorer une architecture Transformer existante en augmentant le calcul par jeton sans modifier la profondeur ou la largeur de l'architecture, tout en maintenant la compatibilité avec le parallélisme de pipeline et les infrastructures d'entraînement à grande échelle.

Méthodologie : Hidden Decoding

Les auteurs proposent le Hidden Decoding, une méthode d'expansion de la longueur de séquence appliquée lors du pré-entraînement continu (CPT). Le mécanisme central étend chaque jeton d'entrée en $n$ flux parallèles traités au sein d'une seule passe directe (forward pass).

1. Expansion de Jetons Multi-Flux

Expansion de l'Embedding : Au lieu d'une table d'embeddings de vocabulaire unique, le modèle utilise $n$ tables d'embeddings indépendantes ( $E_1, \dots, E_n$ ). Un jeton d'entrée $x_i$ est étendu en une séquence de $n$ représentations : $(E_1(x_i), E_2(x_i), \dots, E_n(x_i))$ .
Construction de la Séquence : Ces représentations sont entrelacées pour former une séquence étendue de longueur $nL $(où$ L$ est la longueur de la séquence originale).
Objectif d'Entraînement : Seul le flux final ( $E_n$ ) est supervisé. Le modèle prédit le jeton suivant $x_{i+1}$ en se basant sur l'état caché de la position du flux final. Les $n-1$ premiers flux agissent comme des "états de calcul latents" sans perte directe, leur permettant d'affiner la représentation en interne avant la prédiction finale.

2. Attention Factorisée par Flux

Pour éviter que le coût de l'attention ne croisse de manière quadratique ( $O(n^2 L^2)$ ) avec la longueur de la séquence étendue, les auteurs introduisent l'Attention Factorisée par Flux (Stream-Factorized Attention) :

Couches Intra-Flux : La plupart des couches restreignent l'attention aux positions au sein du même flux. Cela réduit la complexité à environ $O(nL^2)$ .
Couches Cross-Stream : Un sous-ensemble limité de couches (par exemple, l'attention complète ou les couches à fenêtre glissante du modèle de base) permet le mélange entre les flux.
Efficacité : Cette conception maintient le coût de l'attention ajouté proche de la linéarité en $n$ plutôt que de la croissance quadratique, rendant la méthode entraînable pour des modèles de plus de 100B paramètres.

3. Expansion Progressive et Initialisation

Pour gérer l'entraînement de facteurs d'expansion importants, les auteurs utilisent une Expansion Progressive (ex: $n=1 \to 2 \to 4 \to 8$ ). Ils utilisent une Initialisation par Réplication Cyclique, où les nouvelles tables d'embeddings sont initialisées en copiant les existantes (ex: $E_{n+k} \leftarrow E_k$ ). Cela permet au modèle de reproduire initialement le comportement de la configuration plus petite, puis de s'adapter de manière fluide.

4. Optimisations Architecturales (Spécifiques à WeLM)

Pour l'architecture WeLM, les auteurs exploitent une conception KV-Mirror. Puisque les flux intermédiaires ne portent aucune perte et ne contribuent au contexte que via les Clés et les Valeurs (KV), les couches miroirs (qui calculent le KV à partir des couches précédentes) peuvent ignorer totalement le traitement des flux intermédiaires. Cela réduit davantage le temps d'entraînement d'environ 20 % dans leur configuration de modèle 80B.

Contributions Clés

Scaling de l'Architecture Fixe à l'Échelle de Pointe : Le papier démontre la première application réussie de l'expansion de la longueur de séquence à l'échelle des MoE de 100B+. Ils ont entraîné WeLM-HD4-80B et WeLM-HD4-617B (avec $n=4$ ), atteignant des améliorations de performance par rapport à leurs homologues non-HD sans agrandir l'architecture Transformer.
Expansion de Longueur de Séquence Efficace : L'introduction de l'Attention Factorisée par Flux permet un entraînement avec des séquences étendues à un coût proche de la linéarité en $n$ (ex: une expansion de 4x coûte ~4,4x–5,1x par batch, bien loin du coût de 16x d'une attention dense).
Scaling du Facteur d'Expansion : Les expériences montrent que l'augmentation du facteur d'expansion $n$ (de 2 à 8) améliore systématiquement la perte de modélisation du langage et la précision sur les tâches en aval, validant $n$ comme un levier de scaling pratique pour les architectures fixes.

Résultats Expérimentaux

Les auteurs ont évalué le Hidden Decoding sur des modèles MoE de pointe et des bases denses :

Performance à l'Échelle de Pointe (WeLM-HD4-80B & 617B) :
- WeLM-HD4-80B a surpassé WeLM-80B sur les neuf benchmarks difficiles partagés, avec des gains significatifs sur SciCode (+4,2), PHYBench (+4,0) et FrontierMath (+3,2).
- WeLM-HD4-617B a amélioré WeLM-617B sur l'ensemble des neuf benchmarks, incluant GPQA Diamond (+2,1), HLE (+1,8) et FrontierMath (+2,0).
- Ces modèles ont été entraînés avec une recette de post-entraînement utilisant uniquement le SFT pour garantir une comparaison contrôlée, isolant ainsi l'effet du Hidden Decoding.
Scaling avec le Facteur d'Expansion ( $n$ ) :
- Sur le modèle dense Qwen3-8B-Base, l'augmentation de $n$ de 1 à 8 a entraîné une amélioration monotone de la précision moyenne (ex: MMLU est passé de 78,2 à 81,6).
- Sur le MoE 80B, l'augmentation de $n$ de 1 à 8 a fait passer le MMLU de 85,0 à 87,5 et a abaissé le Pile-test BPB de 0,386 à 0,378.
Études d'Ablation :
- Conception de la Supervision : Superviser uniquement le flux final a donné de meilleurs résultats que d'appliquer la perte à tous les flux ou de sommer les sorties des flux.
- Rétention de KV : Conserver des caches KV séparés pour chaque flux (plutôt que de les partager) a amélioré la précision, confirmant que les flux intermédiaires fournissent un contexte distinct et utile.
- Composition de l'Attention : Les modèles avec seulement quelques couches de mélange cross-stream complet (ex: 4 sur 27) ont presque aussi bien performé que les modèles avec un mélange cross-stream complet dans toutes les couches, validant l'efficacité de l'Attention Factorisée par Flux.
Débit d'Inférence :
- Le Hidden Decoding maintient un débit élevé dans les scénarios sensibles à la latence avec de petits batches (conservant 83–88 % du débit de base avec un batch size de 1).
- Le débit diminue dans les scénarios de long contexte et de gros batches (tombant à ~27 % avec un batch size de 32 et 32k d'entrée), reflétant l'augmentation du calcul par jeton.

Signification et Revendications

Le papier affirme que le Hidden Decoding offre une voie pratique et réaliste sur le plan de l'ingénierie pour scaler les LLM de pointe lorsque l'expansion ultérieure de l'architecture devient trop coûteuse.

Compatibilité : Contrairement aux Transformers en boucle, le Hidden Decoding s'intègre naturellement au parallélisme de pipeline et aux piles d'entraînement de grands modèles standards car le calcul supplémentaire se manifeste comme une séquence plus longue plutôt que comme une profondeur itérative.
Efficacité : C'est la première méthode démontrée capable de scaler l'expansion de la longueur de séquence au régime des MoE de plus de 100B, produisant des améliorations mesurables dans les benchmarks de raisonnement et de connaissance.
Scalabilité : La méthode prouve que le facteur d'expansion $n$ est un axe de scaling viable, offrant des gains de performance qui croissent avec $n$ sans nécessiter de nouvelles architectures ou un ré-entraînement massif de l'architecture de base.

Les auteurs positionnent ce travail comme une solution au "mur de scaling" auquel font face les modèles de fondation puissants, offrant un moyen d'extraire plus de capacités à partir des paramètres existants grâce à un calcul latent efficace.