🤖 machine learning

Beyond Sunk Costs: Boosting LLM Pre-training Efficiency via Orthogonal Growth of Mixture-of-Experts

Ce papier présente une stratégie de « croissance orthogonale » qui recycle des points de contrôle existants de mélanges d'experts déjà convergés en augmentant leur profondeur et leur largeur, démontrant que cette approche surpasse nettement l'entraînement à partir de zéro sous des budgets de calcul identiques en exploitant les « coûts irrécupérables » antérieurs pour atteindre une précision supérieure.

Auteurs originaux : Ruizhe Wang, Yucheng Ding, Xiao Liu, Yaoxiang Wang, Peng Cheng, Baining Guo, Zhengjun Zha, Yeyun Gong

Publié 2026-05-18

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ruizhe Wang, Yucheng Ding, Xiao Liu, Yaoxiang Wang, Peng Cheng, Baining Guo, Zhengjun Zha, Yeyun Gong

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Le Piège des « Coûts Irrécupérables »

Imaginez que vous ayez passé des années et dépensé des millions de dollars pour construire une bibliothèque immense et hautement qualifiée de livres (un modèle d'IA pré-entraîné). Vous l'avez entraîné sur une quantité colossale de données, et il est excellent dans ce qu'il fait. Mais soudain, vous réalisez que vous avez besoin d'une bibliothèque plus grande pour répondre à des questions encore plus complexes.

L'ancienne méthode consistait à démolir votre bibliothèque existante pour en construire une nouvelle, plus grande, à partir de zéro. C'est incroyablement coûteux et gaspilleur, car vous jetez tout le travail déjà accompli. En termes d'affaires, il s'agit d'un « coût irrécupérable » (sunk cost) : de l'argent et des efforts déjà dépensés que vous ne pouvez pas récupérer.

Ce papier pose la question suivante : Pouvons-nous recycler cette vieille bibliothèque au lieu de la jeter ? Pouvons-nous prendre le modèle existant, bien entraîné, et le « faire grandir » en un modèle plus grand et meilleur sans repartir de zéro ?

La Solution : « Croissance Orthogonale »

Les auteurs proposent une méthode appelée Croissance Orthogonale. Considérez « orthogonal » comme signifiant « à angle droit » ou « indépendant ». Ils ont découvert deux manières distinctes d'agrandir le modèle qui n'interfèrent pas l'une avec l'autre. Elles peuvent être effectuées dans n'importe quel ordre, comme mettre ses chaussettes avant ses chaussures ou ses chaussures avant ses chaussettes : le résultat est le même.

1. Croissance en Profondeur : Ajouter Plus d'Étages (L'astuce de l'« Interposition »)

Imaginez que votre modèle est un gratte-ciel de 20 étages. Pour le rendre plus haut, vous pourriez simplement empiler un autre bâtiment de 20 étages au-dessus du premier.

L'ancienne méthode (Empilement) : Si vous empilez simplement un nouveau bâtiment au-dessus, l'ascenseur (le flux de données) doit sauter du dernier étage de l'ancien bâtiment directement au rez-de-chaussée du nouveau. Cela crée une rupture brutale. L'« ambiance » du bâtiment change soudainement.
La nouvelle méthode (Interposition) : Au lieu d'empiler, les auteurs suggèrent d'insérer des copies des étages existants entre les originaux.
- Analogie : Imaginez une gamme musicale. Si vous avez les notes Do, Ré, Mi, Fa, Sol... et que vous voulez allonger la chanson, vous ne répétez pas simplement toute la chanson à la fin. À la place, vous insérez un deuxième « Do » juste après le premier « Do », un deuxième « Ré » après le premier « Ré », et ainsi de suite. Cela maintient la mélodie fluide et continue.
- Pourquoi cela fonctionne : Le papier a révélé que les modèles bien entraînés possèdent un « rythme » spécifique dans le fonctionnement de leurs couches. Insérer des copies préserve ce rythme, tandis que l'empilement le brise. Cette méthode fonctionne mieux lorsque le modèle est déjà entièrement entraîné (convergent).

2. Croissance en Largeur : Ajouter Plus d'Experts (L'astuce du « Spécialiste »)

Imaginez maintenant que le modèle est un hôpital. Dans chaque pièce (couche), il y a quelques médecins (experts) spécialisés dans différentes choses. Le modèle possède un « routeur » qui décide quel médecin appeler pour un patient spécifique.

L'ancienne méthode : Si vous copiez simplement les médecins à l'identique, vous avez deux médecins identiques dans la pièce. Ils feront exactement la même chose, ce qui est redondant et confus.
La nouvelle méthode : Les auteurs suggèrent de copier les médecins mais d'ajouter une infime quantité de « statique » ou de « bruit » aux nouveaux.
- Analogie : Imaginez que vous avez un chef étoilé. Vous engagez un clone de ce chef, mais vous donnez au clone un râtelier d'épices légèrement différent ou une petite égratignure sur son tablier. Cette petite différence force le clone à développer son propre style unique et à se spécialiser dans des plats légèrement différents, au lieu de simplement copier le maître parfaitement.
- Pourquoi cela fonctionne : Ce tout petit peu de bruit aide les nouveaux experts à apprendre à faire des tâches différentes (spécialisation) sans détruire les connaissances que les experts originaux possédaient déjà.

Les Résultats : Plus de Rendement pour Votre Argent

Les chercheurs ont testé cela sur des modèles allant de 3 milliards à 70 milliards de paramètres. Voici ce qu'ils ont découvert :

Le Recyclage Fonctionne : Vous pouvez prendre un modèle plus petit, entièrement entraîné, et le faire grandir en un modèle massif.
Mieux que Repartir de Zéro : Lorsqu'ils ont comparé la croissance d'un modèle par rapport à l'entraînement d'un nouveau, grand modèle à partir de zéro en utilisant la même quantité de puissance de calcul supplémentaire, le modèle « grandi » était 10,6 % plus précis.
Plus d'Investissement = Meilleurs Résultats : Plus vous investissez de « coûts irrécupérables » (temps d'entraînement et données) dans le petit modèle original avant de le faire grandir, mieux le grand modèle final performe. C'est comme investir dans une fondation solide ; plus vous construisez haut dessus, mieux le bâtiment tient.
L'Ordre N'a Pas d'Importance : Vous pouvez ajouter des étages d'abord puis des experts, ou ajouter des experts d'abord puis des étages. Le résultat final est le même.

La Conclusion

Ce papier fournit un plan directeur pour un développement d'IA « durable ». Au lieu de brûler constamment de l'argent pour construire de nouveaux modèles à partir de zéro, nous pouvons prendre les modèles que nous avons déjà, les étendre soigneusement en utilisant ces deux astuces (insérer des couches et ajouter des experts bruyants), et obtenir un modèle plus grand et nettement plus intelligent pour moins d'argent. Cela transforme le « gaspillage » des coûts irrécupérables en un actif précieux.

Résumé technique : Au-delà des coûts irrécupérables : Amélioration de l'efficacité du pré-entraînement des LLM via une croissance orthogonale des mélanges d'experts

Énoncé du problème

Les besoins computationnels pour le pré-entraînement des grands modèles de langage (LLM) augmentent de façon spectaculaire, pourtant les points de contrôle pré-entraînés existants restent souvent sous-exploités en raison de limitations architecturales. Les stratégies actuelles de croissance des modèles se concentrent généralement sur l'expansion des modèles durant les premières étapes de l'entraînement, échouant à tirer parti des « coûts irrécupérables » substantiels (investissement computationnel antérieur) des points de contrôle bien convergés. De plus, l'application de la croissance des modèles aux architectures de mélange d'experts (MoE), qui deviennent de plus en plus dominantes dans les LLM à grande échelle, n'a pas été étudiée systématiquement. Le défi central consiste à déterminer comment « recycler » efficacement des modèles MoE convergés pour créer des modèles plus grands et plus performants sans rejeter les connaissances apprises et les paramètres optimisés du modèle de base.

Méthodologie

Les auteurs proposent un cadre de « croissance orthogonale » conçu pour étendre les modèles MoE convergés selon deux dimensions indépendantes : la Profondeur (augmentation du nombre de couches) et la Largeur (augmentation du nombre d'experts).

1. Croissance en profondeur : Interpositionnelle vs Empilement

L'article oppose deux méthodes pour étendre la profondeur du modèle :

Empilement : Concaténation de la séquence originale de couches $k$ fois ( $l_1, \dots, l_n, l_1, \dots, l_n$ ).
Croissance interpositionnelle : Duplication de chaque couche sur place ( $l_1, l_1, \dots, l_2, l_2, \dots$ ).

Insight clé : L'analyse des LLM pré-entraînés révèle une distribution caractéristique de la norme des poids au niveau des couches : les normes sont faibles dans les couches initiales, augmentent de manière monotone au milieu, et diminuent légèrement vers la fin. Ce motif est une signature structurelle d'une convergence saine.

L'Empilement perturbe cette tendance monotone en plaçant les normes des couches initiales après celles des couches tardives, créant des discontinuités abruptes qui obligent le modèle à « réparer » durant l'entraînement continu.
La Croissance interpositionnelle préserve la trajectoire des normes de poids apprise en dupliquant les couches sur place, maintenant la progression structurelle fluide.
Seuil : La supériorité de la croissance interpositionnelle devient critique une fois que le modèle de base a été entraîné au-delà des FLOPs optimaux en calcul définis par les lois d'échelle Chinchilla (environ $1\times F_c$ ).

2. Croissance en largeur : Duplication d'experts bruyante

Pour étendre la largeur du modèle, les auteurs doublent à la fois le nombre total d'experts ( $E \to 2E$ ) et le nombre d'experts activés ( $k \to 2k$ ).

Stratégie d'initialisation : Les nouveaux experts sont initialisés en copiant les poids des experts existants et en ajoutant une petite quantité de bruit gaussien ( $\epsilon \sim \mathcal{N}(0, (\alpha\sigma_{orig})^2)$ avec $\alpha \approx 0,01$ ).
Raison d'être : La duplication exacte crée une symétrie parfaite, empêchant la divergence fonctionnelle. Une petite perturbation brise cette symétrie juste assez pour permettre au routeur de différencier les experts durant l'entraînement continu, tout en préservant les représentations apprises. Cela contraste avec le « recyclage » à partir de modèles denses, qui nécessite souvent des niveaux de bruit élevés ( $\ge 50\%$ ) et une initialisation aléatoire du routeur.

3. Orthogonalité

L'article démontre que la croissance en profondeur et en largeur sont orthogonales.

Disjonction structurelle : La croissance en profondeur ajoute de nouvelles couches ; la croissance en largeur ajoute de nouveaux experts au sein des couches existantes. Elles opèrent sur des ensembles de paramètres non chevauchants.
Dynamiques d'optimisation : L'analyse des gradients montre que les directions d'optimisation pour les modèles ayant subi une croissance en profondeur et ceux ayant subi une croissance en largeur sont presque orthogonales à la direction pré-croissance et entre elles.
Indépendance de l'ordre : La performance finale est invariante à la séquence d'expansion (profondeur puis largeur vs largeur puis profondeur), confirmant que les stratégies peuvent être intégrées de manière flexible.

Résultats clés

Le cadre a été validé par des expériences extensives sur des modèles allant de 3 milliards à 70 milliards de paramètres, utilisant un jeu de données d'un billion de tokens.

Efficacité de la croissance en profondeur : Sur un modèle MoE de 3 milliards de paramètres étendu à 6 milliards, la méthode interpositionnelle a systématiquement surpassé l'empilement tant en perte d'entraînement qu'en précision en aval. L'écart de performance s'est élargi à mesure que le modèle de base devenait plus convergé.
Corrélation avec les coûts irrécupérables : Il existe une forte corrélation positive entre la quantité de « FLOPs irrécupérables » (étapes d'entraînement avant la croissance) et la précision finale du modèle étendu. Les modèles étendus à partir de points de contrôle plus tardifs et plus convergés ont atteint une performance finale supérieure à ceux étendus à partir de points de contrôle plus précoces, même avec des budgets de calcul supplémentaires identiques.
Comparaison avec l'entraînement à partir de zéro :
- Sous un budget de calcul supplémentaire fixe, la croissance des modèles a nettement surpassé l'entraînement d'un grand modèle à partir de zéro (par exemple, une amélioration de précision de 10,6 % dans l'expérience 70B).
- Sous un budget de calcul total fixe (irrécupérable + supplémentaire), la croissance des modèles a produit des résultats comparables ou légèrement supérieurs à l'entraînement à partir de zéro, à condition que la croissance ait été initiée à partir d'un point de contrôle avec un coût irrécupérable suffisant.
Évolutivité : La méthode a permis d'étendre avec succès un modèle MoE de 17 milliards de paramètres (entraîné sur ~600 milliards de tokens) à 70 milliards de paramètres (entraîné sur un total de 1 billion de tokens). Le modèle final de 70 milliards de paramètres a atteint une précision moyenne de 64,17 %, surpassant la base de 17 milliards de 5,62 points et la base de 70 milliards entraînée à partir de zéro de 10,6 % de gain relatif sous le même budget de FLOPs supplémentaires.

Signification et affirmations

L'article prétend fournir un plan directeur rentable pour le développement durable de LLM à grande échelle. Sa signification principale réside dans :

Recyclage des coûts irrécupérables : Démontrer que les points de contrôle pré-entraînés, souvent considérés comme des actifs intermédiaires jetables, peuvent être systématiquement exploités pour créer des modèles plus grands, préservant ainsi la valeur des investissements computationnels antérieurs.
Stratégies de croissance optimales : Établir que pour les modèles bien convergés, la copie de couches interpositionnelle et la duplication d'experts avec bruit minimal sont supérieures à l'empilement traditionnel et à l'initialisation aléatoire.
Mise à l'échelle orthogonale : Prouver que la profondeur et la largeur peuvent être étendues indépendamment et dans n'importe quel ordre sans interférence, offrant une flexibilité dans les scénarios de mise à l'échelle contraints par les ressources.
Efficacité : Montrer que la croissance peut atteindre des gains de performance dépassant l'entraînement à partir de zéro sous des budgets de calcul supplémentaires identiques, abaissant efficacement la barrière au pré-entraînement de modèles de pointe.

Les auteurs soulignent que ce travail n'introduit pas de nouveaux risques sociétaux au-delà de ceux inhérents aux LLM, mais vise à réduire l'empreinte environnementale du développement des modèles en améliorant l'efficacité de l'entraînement.