💬 NLP

Scaling Embeddings Outperforms Scaling Experts in Language Models

Cette étude démontre que l'augmentation de la taille des plongements (embeddings) peut surpasser l'extension des experts (MoE) en termes d'efficacité et de performance, une approche illustrée par le modèle LongCat-Flash-Lite qui excelle particulièrement dans les tâches de codage et d'agentivité.

Auteurs originaux : Hong Liu, Jiaqi Zhang, Chao Wang, Xing Hu, Linkun Lyu, Jiaqi Sun, Xurui Yang, Bo Wang, Fengcun Li, Yulei Qian, Lingtong Si, Yerui Sun, Rumei Li, Peng Pei, Yuchen Xie, Xunliang Cai

Publié 2026-02-12

📖 3 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Hong Liu, Jiaqi Zhang, Chao Wang, Xing Hu, Linkun Lyu, Jiaqi Sun, Xurui Yang, Bo Wang, Fengcun Li, Yulei Qian, Lingtong Si, Yerui Sun, Rumei Li, Peng Pei, Yuchen Xie, Xunliang Cai

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Dilemme du Chef de Cuisine : Pourquoi "Mieux Connaître les Ingrédients" bat "Avoir Trop de Cuisiniers"

Imaginez que vous gérez un immense restaurant de luxe. Pour que ce restaurant soit le meilleur du monde, vous avez deux options pour grandir :

L'option "Experts" (Le modèle MoE classique) : Vous embauchez des centaines de chefs spécialisés. Un expert pour les pâtes, un pour les poissons, un pour les desserts, etc. Dès qu'une commande arrive, vous appelez le chef concerné. C'est ce que font les IA actuelles (le Mixture-of-Experts).
L'option "Ingrédients" (L'approche de ce papier) : Au lieu d'embaucher des centaines de chefs, vous investissez massivement dans une bibliothèque d'épices et de saveurs infinie. Vous apprenez par cœur chaque combinaison possible de saveurs (le sel avec le chocolat, le basilic avec la fraise, etc.).

Le problème de l'option 1 (Trop de chefs) : Plus vous avez de chefs, plus c'est le chaos. Il faut des couloirs immenses pour qu'ils circulent, des chefs passent leur temps à se parler pour se coordonner, et à un moment donné, recruter un nouveau chef ne change plus rien au goût du plat, mais ralentit tout le service.

La solution du papier (L'option 2) : Les chercheurs de Meituan disent : "Arrêtons de recruter des chefs à l'infini. Utilisons plutôt l'argent économisé pour créer un dictionnaire de saveurs ultra-puissant."

Les concepts clés expliqués simplement

1. Le "N-gram Embedding" : Le dictionnaire des associations

Au lieu de simplement connaître le mot "Pomme", l'IA utilise une technique appelée N-gram Embedding. C'est comme si, au lieu de connaître juste le mot "Pomme", elle connaissait instantanément les concepts de "Pomme de terre", "Pomme d'amour" ou "Pomme croquante". Elle ne voit pas juste des mots isolés, elle voit des blocs de sens. C'est comme si elle avait une mémoire photographique des associations de mots.

2. Le constat : La loi des rendements décroissants

Le papier démontre que si vous avez déjà un petit nombre de chefs, il est utile d'en ajouter. Mais dès que vous en avez beaucoup, ajouter un nouveau chef est une perte de temps et d'argent. À ce stade, il est bien plus efficace d'améliorer la "connaissance des ingrédients" (les embeddings).

3. LongCat-Flash-Lite : Le nouveau champion

Pour prouver leur théorie, ils ont créé un modèle appelé LongCat-Flash-Lite.

Il est énorme (68,5 milliards de paramètres).
Mais la grande majorité de sa "mémoire" (30 milliards !) est dédiée à ce dictionnaire de saveurs (les embeddings).
Résultat : Il est incroyablement doué pour le code informatique et les tâches d'agent (donner des ordres complexes), car il comprend les nuances et les contextes beaucoup plus finement qu'un modèle qui n'a que des "experts".

4. L'optimisation : Le service ultra-rapide

Ajouter un dictionnaire géant peut ralentir le service (l'IA met du temps à chercher dans ses livres). Les chercheurs ont donc créé des "raccourcis" technologiques (le N-gram Cache et des calculs optimisés) pour que la recherche de ces informations soit aussi rapide qu'un réflexe, sans perdre de temps.

En résumé (La morale de l'histoire)

Si vous voulez construire une intelligence supérieure, ne vous contentez pas de multiplier les spécialistes (les experts). Donnez-leur plutôt une compréhension profonde et ultra-détaillée du monde (les embeddings).

C'est la différence entre un chef qui sait faire 100 plats différents par cœur (MoE), et un chef qui comprend si bien la chimie des aliments qu'il peut improviser n'importe quel plat parfait avec une précision absolue (N-gram Embedding).

Résumé Technique : Scaling Embeddings vs. Scaling Experts

1. Problématique (Le Problème)

L'architecture Mixture-of-Experts (MoE) est devenue le standard pour augmenter la capacité des grands modèles de langage (LLM) tout en limitant le coût computationnel. Cependant, les auteurs identifient deux limites majeures à cette approche :

Rendements décroissants : À mesure que le nombre d'experts augmente, le gain de performance marginal diminue (saturation de l'efficacité).
Goulots d'étranglement système : L'expansion des experts entraîne une surcharge de communication (overhead) et une pression accrue sur la bande passante mémoire lors de l'entraînement et de l'inférence distribuée.

L'article pose la question suivante : existe-t-il une dimension de paramétrage alternative et orthogonale aux réseaux feed-forward (experts) pour augmenter la capacité du modèle sans exploser le coût de calcul ?

2. Méthodologie (L'Approche)

Les chercheurs explorent le "Scaling des Embeddings" (mise à l'échelle des plongements) via une technique appelée N-gram Embedding.

Mécanisme N-gram Embedding : Au lieu d'utiliser uniquement un tableau d'embedding de base pour chaque jeton (token), le modèle enrichit la représentation de chaque jeton en agrégeant les embeddings de n-grammes (séquences de $n$ jetons consécutifs). Cela utilise une fonction de hachage polynomiale pour mapper les n-grammes vers des sous-tables d'embeddings.
Optimisations architecturales : Pour maximiser l'efficacité, les auteurs introduisent :
- L'Amplification des Embeddings : Utilisation de facteurs d'échelle ou de la normalisation (LayerNorm) pour éviter que le signal des embeddings ne soit "noyé" par le signal des couches d'attention lors de la sommation résiduelle.
- Gestion des collisions : Choix de tailles de vocabulaire qui ne sont pas des multiples entiers du vocabulaire de base pour minimiser les collisions de hachage.
Optimisations Système : Pour l'inférence, ils développent un N-gram Cache (similaire au KV cache) et des noyaux CUDA fusionnés pour réduire la latence liée à la recherche (lookup) des embeddings étendus.

3. Contributions Clés

Identification de la frontière de Pareto : L'étude démontre que le scaling des embeddings est supérieur au scaling des experts dans des régimes de forte parcimonie (sparsity).
Principes de conception (Design Principles) :
1. L'intégration des N-gram embeddings est optimale lorsque le modèle atteint un certain seuil de nombre d'experts.
2. L'allocation des paramètres ne doit pas dépasser 50 % du budget total pour les embeddings.
3. L'avantage du scaling des embeddings est amplifié par l'augmentation de la largeur du modèle (hidden size) mais diminue avec l'augmentation de sa profondeur.
Présentation de LongCat-Flash-Lite : Un modèle de 68,5 milliards de paramètres (dont ~31,4B dédiés aux embeddings) qui n'active que 2,9B à 4,5B de paramètres par jeton.

4. Résultats

Performance de base : LongCat-Flash-Lite surpasse systématiquement les modèles MoE équivalents en termes de paramètres (baselines "Vanilla").
Domaines spécifiques : Le modèle montre une supériorité marquée dans les tâches agentiques (utilisation d'outils) et de codage (programmation).
- Exemple : Sur le benchmark SWE-Bench (résolution de problèmes de software engineering), il atteint 54,4 %, surpassant largement les modèles de taille comparable comme Gemini 2.5 Flash-Lite ou Qwen3.
Efficacité d'inférence : Grâce au speculative decoding et aux optimisations de noyaux, le modèle convertit sa parcimonie théorique en gains de vitesse réels (débit élevé malgré la taille massive des paramètres).

5. Signification et Impact

Ce travail change la perspective sur la croissance des LLM. Il suggère que l'expansion massive des couches de sortie (embeddings) est une voie plus efficace et moins coûteuse en ressources système que l'ajout massif d'experts MoE.

En démontrant qu'une part prépondérante des paramètres (près de la moitié dans leur modèle phare) peut être allouée aux embeddings sans pénaliser la latence d'inférence, les auteurs ouvrent une nouvelle dimension de recherche pour concevoir des modèles de plus en plus intelligents, capables de saisir des contextes locaux riches (via les n-grammes) tout en restant extrêmement rapides.