💬 NLP

Efficient Pre-Training with Token Superposition

Ce papier présente l'entraînement par superposition de jetons (Token-Superposition Training, TST), une méthode plug-and-play qui améliore considérablement le débit des données de pré-entraînement et réduit le temps total d'entraînement jusqu'à 2,5 fois sans modifier l'architecture du modèle ni le parallélisme, en combinant initialement les jetons en sacs pour un entraînement efficace par entropie croisée multi-hot avant de revenir à l'entraînement standard.

Auteurs originaux : Bowen Peng, Théo Gigant, Jeffrey Quesnelle

Publié 2026-05-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Bowen Peng, Théo Gigant, Jeffrey Quesnelle

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Entraîner une IA, c'est comme courir un marathon dans le sable

Imaginez que vous essayez d'enseigner à un étudiant (un grand modèle de langage) à lire et à écrire. Pour ce faire, vous devez lui montrer des millions de livres. Cependant, la méthode actuelle d'enseignement est incroyablement lente et coûteuse. C'est comme demander à l'étudiant de lire chaque mot d'un livre, un par un, tout en portant un lourd sac à dos. Il se fatigue (coût computationnel élevé) et cela prend une éternité pour finir la bibliothèque.

Les chercheurs veulent accélérer ce processus sans changer le cerveau de l'étudiant (l'architecture du modèle) ni les livres qu'il lit (les données).

La Solution : « Token Superposition Training » (TST)

Les auteurs proposent une méthode d'entraînement astucieuse en deux phases appelée Token Superposition Training (TST). Imaginez cela comme une phase de « lecture rapide » suivie d'une phase de « réglage fin ».

Phase 1 : La Phase « Smoothie » (Superposition)

Dans un entraînement standard, l'IA apprend en regardant un mot à la fois (par exemple, « Le », puis « chat », puis « s'est assis »).

Dans la Phase de Superposition, on apprend à l'IA à regarder tout un « sac » de mots d'un coup.

L'Analogie : Imaginez qu'au lieu de lire la phrase « Le chat s'est assis sur le tapis », le professeur donne à l'étudiant un mixeur rempli de ces mots. L'étudiant ne voit pas les mots individuels ; il voit un « smoothie » fait de « Le + chat + s'est assis ».
Comment ça marche : L'ordinateur prend 8 mots (un « sac »), mélange leurs significations en un seul « super-mot », et demande à l'IA de prédire quel sera le prochain sac de 8 mots.
Le Bénéfice : Parce que l'IA traite 8 mots comme s'ils n'en faisaient qu'un, elle peut « lire » 8 fois plus vite à travers les données sans utiliser plus de puissance informatique. C'est comme si l'étudiant lisait maintenant 8 pages dans le temps qu'il lui fallait auparavant pour en lire 1.

Phase 2 : La Phase « Peigne à dents fines » (Récupération)

Si vous n'entraîniez l'IA que sur des « smoothies », elle serait terrible pour écrire des phrases normales. Elle ne connaîtrait pas l'ordre des mots, et sa production serait du charabia.

Aussi, après un certain temps (généralement environ 30 % de l'entraînement total), les chercheurs arrêtent la phase « smoothie ».

L'Analogie : Ils reviennent à la méthode standard. Ils prennent le cerveau de l'IA (qui a maintenant appris la structure générale du langage très rapidement) et le remettent dans une classe normale. Ils arrêtent d'utiliser le mixeur et recommencent à lui montrer des mots individuels.
Le Résultat : Parce que l'IA a déjà appris la « vue d'ensemble » si efficacement dans la Phase 1, elle récupère très vite. Elle rattrape et dépasse souvent les performances des modèles qui ont été entraînés « à l'ancienne » tout du long.

Pourquoi c'est une Grande Nouvelle

Le papier affirme que cette méthode est une solution « plug-and-play ». Vous n'avez pas besoin de changer le cerveau de l'IA, les puces informatiques ou les livres. Vous changez simplement la façon dont vous alimentez les données pendant la première partie de l'entraînement.

L'Accélération : Dans leurs tests avec un grand modèle (10 milliards de paramètres), cette méthode leur a permis d'atteindre le même niveau d'intelligence en la moitié du temps (une accélération de 2,5x) par rapport à un entraînement standard.
Le Compromis : Ils échangent la « consommation de données » contre la « vitesse ». L'IA lit plus de données dans le même laps de temps, mais parce qu'elle les lit par « sacs », elle apprend les motifs plus rapidement.

Ce que le Papier NE Prétend PAS

Il est important de s'en tenir à ce que les auteurs ont réellement dit :

Cela ne change pas le produit final : Une fois l'entraînement terminé, l'IA est exactement la même qu'une IA normale. Elle peut toujours écrire des phrases cohérentes, du code et des histoires. L'astuce du « smoothie » n'est utilisée que pendant le processus d'apprentissage.
Ce n'est pas une « pensée » plus rapide : Cela ne rend pas l'IA plus intelligente dans le raisonnement ou la résolution de problèmes mathématiques complexes pendant l'entraînement ; cela rend simplement le processus d'entraînement lui-même plus efficace.
Ce n'est pas une solution miracle pour tout : Les auteurs l'ont testé sur des modèles allant de petits (270 millions de paramètres) à grands (10 milliards). Cela a bien fonctionné dans l'ensemble, mais ils notent que si vous avez des données et du temps infinis, les avantages pourraient sembler différents.

Résumé

Pensez au TST comme à un cours de lecture rapide pour l'IA.

D'abord, vous lui apprenez à survoler : Vous lui montrez des blocs de texte mélangés afin qu'elle puisse absorber l'ambiance générale du langage très rapidement.
Ensuite, vous lui apprenez à lire normalement : Vous revenez à la lecture mot par mot pour affiner ses compétences.

Le résultat ? L'IA termine sa « scolarité » en un temps record, en utilisant la même quantité d'énergie, et finit tout aussi intelligente (ou plus) que ceux qui ont emprunté la voie lente et traditionnelle.

Résumé Technique : Pré-entraînement Efficace par Superposition de Tokens

Énoncé du Problème

Le pré-entraînement des Grands Modèles de Langage (LLM) devient de plus en plus prohibitif et inefficace à grande échelle. Les paradigmes actuels nécessitent souvent des modifications complexes et invasives des stratégies de parallélisme, des optimiseurs, des tokeniseurs ou des architectures de modèles pour atteindre un débit de données élevé. De plus, bien que la recherche récente se soit concentrée sur l'amélioration de l'efficacité au moment de l'inférence ou sur le découplage de l'efficacité entre l'entraînement et l'inférence, il manque des méthodes qui augmentent considérablement le débit pendant l'entraînement sans altérer l'architecture finale du modèle ni ses dynamiques d'inférence. Les approches existantes confondent souvent l'efficacité de l'entraînement et celle de l'inférence, ou s'appuient sur des pertes auxiliaires qui ajoutent des paramètres et des hyperparamètres sans nécessairement augmenter le taux brut de traitement de tokens par FLOP.

Méthodologie : Entraînement par Superposition de Tokens (TST)

Les auteurs proposent l'Entraînement par Superposition de Tokens (TST), une méthode de type "plug-and-play" conçue pour améliorer le débit de données par FLOP pendant le pré-entraînement, sans modifier le parallélisme, l'optimiseur, le tokeniseur, les données ou l'architecture du modèle. Le TST fonctionne en deux phases distinctes :

Phase 1 : Phase de Superposition

Dans cette phase, le modèle traite un "sac" de tokens contigus comme une seule unité latente, appelée "s-token".

Superposition d'Entrée : Une séquence contiguë de $s$ tokens est segmentée en sacs non chevauchants. Les embeddings de ces $s$ tokens sont moyennés pour créer un unique embedding latent de token superposé. Cela réduit la longueur de la séquence d'un facteur $s$ (de $L$ à $\lfloor L/s \rfloor$ ).
Mécanisme de Débit : Pour assurer une comparaison équitable avec l'entraînement de référence (FLOPs égaux), la longueur de la séquence de données $L$ est augmentée d'un facteur $s$ pendant cette phase. Par conséquent, le modèle ingère $s$ fois plus de tokens de données pour le même coût computationnel par étape.
Superposition de Sortie : Au lieu de prédire un seul token suivant, le modèle prédit le prochain "sac" de $s$ tokens. La perte standard de l'entropie croisée one-hot (CE) est remplacée par une perte d'Entropie Croisée Multi-Hot (MCE). L'objectif MCE traite le sac cible comme une étiquette multi-hot, poussant la probabilité de chaque token valide dans le sac vers $1/s$ . La perte est formulée comme la moyenne des pertes CE standard pour chaque token du sac, moins un terme constant ( $\log |y|$ ) qui n'affecte pas les gradients.
Causalité : Pour préserver la causalité, les étiquettes standard de prédiction du token suivant sont décalées vers la gauche de $s-1$ avant d'être divisées en sacs non chevauchants.

Phase 2 : Phase de Récupération

Un modèle entraîné exclusivement avec le TST produit des sorties incohérentes car il perd l'ordre des tokens au sein des sacs et manque de capacités d'échantillonnage auto-régressif standard. Pour remédier à cela :

L'entraînement revient à l'objectif standard de prédiction causale du token suivant.
Le modèle reprend l'entraînement à partir du point de contrôle sauvegardé à la fin de la phase de superposition.
Le code TST est entièrement supprimé pour garantir que l'architecture finale du modèle et ses dynamiques d'inférence soient identiques à celles de la référence.
Le ratio d'étapes passées dans la phase de superposition est noté $r$ (par exemple, $r=0.3$ signifie que 30 % des étapes sont en TST et 70 % en mode standard).

Contributions Clés

Paradigme d'Entraînement Novel : Introduction du TST, qui augmente le débit de tokens d'un facteur $s$ pendant un régime d'entraînement spécifique sans changer l'architecture finale du modèle ni son comportement d'inférence.
Conception en Deux Phases : Un mécanisme simple combinant la superposition d'entrée (moyenne des embeddings) et la superposition de sortie (prédiction multi-hot), suivie d'une phase de récupération pour réaligner le modèle sur un comportement auto-régressif standard.
Orthogonalité aux Méthodes Existantes : Les auteurs positionnent le TST comme orthogonal aux méthodes à pertes auxiliaires (comme la Prédiction Multi-Token). Alors que la MTP ajoute des paramètres et cible des tokens futurs sans augmenter les tokens par FLOP, le TST augmente strictement le débit et laisse l'architecture intacte.
Validation Empirique : Évaluation approfondie à travers différentes échelles de modèles (270M, 600M, 3B et 10B Mixture-of-Experts), démontrant une robustesse face à différents réglages d'hyperparamètres.

Résultats

L'article rapporte les constatations suivantes basées sur des expériences utilisant les jeux de données DCLM et FineWeb-Edu :

Réduction de la Perte : Le TST surpasse systématiquement les modèles de référence en termes de perte finale d'entraînement sous des contraintes de FLOPs égaux.
Performance en Aval : Les modèles entraînés avec le TST montrent une performance améliorée sur les benchmarks en aval (HellaSwag, ARC-E/C, MMLU, etc.) par rapport aux références entraînées pour le même nombre d'étapes ou le même coût computationnel.
Gains d'Efficacité :
- Dans des conditions de perte égale, le TST permet une réduction allant jusqu'à 2,5 fois du temps total de pré-entraînement à l'échelle de 10 milliards de paramètres.
- Dans l'expérience MoE 10B A1B (10B au total, 1B actif), le modèle TST a traité 2 billions de tokens de données contre 1,05 billion pour la référence, tout en atteignant une perte finale inférieure (2,236 contre 2,252) en un nombre significativement moindre d'heures B200 (4768 contre 12311).
Sensibilité aux Hyperparamètres : La méthode est robuste dans une plage raisonnable de tailles de sacs de superposition ( $s \in [4, 8]$ ) et de ratios d'étapes ( $r \in [0.2, 0.4]$ ).
Études d'Ablation :
- Entrée vs Sortie : La superposition uniquement en entrée et uniquement en sortie améliorent toutes deux les performances par rapport à la référence, mais la combinaison des deux produit les meilleurs résultats, suggérant qu'il s'agit de mécanismes orthogonaux.
- Alignement des Représentations : La réinitialisation aléatoire des embeddings d'entrée et des têtes LM de sortie entre les phases de superposition et de récupération élimine complètement les gains du TST, indiquant que le maintien de l'alignement des représentations entre les phases est critique.

Importance et Revendications

L'article affirme que le TST offre une amélioration significative de l'efficacité du pré-entraînement en maximisant le débit pendant l'entraînement, indépendamment de l'architecture d'inférence du modèle. Les auteurs soutiennent que cette approche remet en question le paradigme monolithique du pré-entraînement en démontrant qu'un calendrier de granularité "du grossier au fin" est un ingrédient réutilisable pour un pré-entraînement efficace.

Les revendications clés incluent :

Réduction des Coûts : Atteindre la même qualité de modèle (perte) à environ la moitié du coût computationnel.
Simplicité : La méthode ne nécessite aucune modification architecturale complexe, aucun nouvel optimiseur ni paramètres supplémentaires, ce qui en fait une solution pratique de type "plug-and-play".
Découplage de l'Efficacité : Elle découple avec succès l'efficacité de l'entraînement de celle de l'inférence, comblant un vide dans la littérature actuelle où de nombreuses méthodes confondent les deux.
Évolutivité : La méthode s'adapte efficacement des petits modèles denses (270M) aux grands modèles Mixture-of-Experts (10B), suggérant une applicabilité large.

Les auteurs restent modestes concernant les mécanismes sous-jacents, notant que bien qu'ils émettent l'hypothèse que la superposition d'entrée agit comme une forme de "pré-pré-entraînement" ou de régularisation implicite de la géométrie des embeddings, un travail supplémentaire en matière d'interprétabilité est nécessaire. Ils reconnaissent également des limites, telles que l'hypothèse selon laquelle le pré-entraînement est actuellement limité par la puissance de calcul plutôt que par les données, et l'absence d'ablations à grande échelle en raison des contraintes computationnelles.