Résumé Technique : Quand le Warmstarting est-il Efficace pour la Mise à l'Échelle des Modèles de Langage ?

Énoncé du Problème

L'entraînement des modèles d'apprentissage profond les plus performants nécessite des ressources de calcul immenses. À mesure que les modèles passent de millions à des milliards de paramètres, une question critique se pose : peut-on réutiliser la puissance de calcul investie dans l'entraînement de modèles plus petits pour accélérer l'entraînement de modèles plus grands ? Cette technique, connue sous le nom de Warmstarting (WS) ou Croissance de Modèle (Model Growth), consiste à initialiser un modèle plus grand à partir d'un checkpoint entraîné plus petit. Malgré un intérêt de recherche significatif, le WS a connu une adoption limitée dans les pipelines de production.

Les auteurs attribuent ce manque d'adoption à trois obstacles principaux :

1. Complexité de Mise en Œuvre : Les méthodes existantes nécessitent souvent des adaptations spécifiques à l'architecture (par exemple, des règles de clonage spécifiques pour la préservation de la fonction) qui ne se généralisent pas aux composants modernes.
2. Limites de Croissance Floues : Les praticiens manquent de directives sur la mesure dans laquelle un checkpoint peut être agrandi avant que le WS ne devienne contre-productif par rapport à un entraînement à partir de zéro.
3. Opacité des Hyperparamètres : L'interaction entre les méthodes de WS, les hyperparamètres et les budgets de mise à l'échelle (taille du modèle vs. jetons de données) est peu explorée, créant une surcharge de réglage qui annule les gains d'efficacité.

De plus, la littérature antérieure met souvent l'accent sur la préservation exacte de la sortie du modèle de base à l'initialisation (Préservation de Fonction, ou FP), ce qui peut contraindre inutilement la conception des opérateurs.

Méthodologie

1. Cadre Théorique : Shrink-Zero-Perturb (SZP)

Les auteurs proposent une opération de croissance généralisée et agnostique à l'architecture appelée Shrink-Zero-Perturb (SZP). Ils étendent la formulation « Shrink-and-Perturb » (SnP) issue de l'apprentissage continu à la croissance de modèles. Les poids cibles $\theta_{target}$ sont dérivés comme suit :
$$\theta_{target} = \lambda_{shrink} \cdot G(\theta_{base}) + N(0, \sigma_{perturb}^2)$$
Où :

• $G$ est une fonction de croissance (par exemple, remplissage par zéro ou clonage) qui mappe les poids de base vers la forme cible plus grande.
• $\lambda_{shrink}$ réduit l'échelle des poids hérités pour diminuer la dominance de la représentation de base.
• $\sigma_{perturb}$ ajoute du bruit gaussien pour briser la symétrie et activer les neurones nouvellement ajoutés.

Les auteurs soutiennent que la Préservation de Fonction (FP) stricte — où la sortie initiale du modèle agrandi correspond exactement à celle du modèle de base — n'est pas requise pour un warmstarting efficace. Au lieu de cela, SZP offre une ligne de base fondée sur des principes qui équilibre la préservation du signal avec la flexibilité nécessaire pour exploiter la nouvelle capacité.

2. Configuration Expérimentale

L'étude emploie deux configurations expérimentales principales :

• Régression Synthétique (MLP) : Un banc d'essai contrôlé utilisant des Perceptrons Multicouches (MLP) mis à l'échelle en largeur sur une tâche de régression synthétique avec un spectre de Fourier en loi de puissance. Cela permet des balayages d'hyperparamètres denses pour analyser les stratégies de réglage et les limites de croissance.
• Modélisation du Langage (LLM) : Modèles de type GPT-2 uniquement décodeur (et de style LLaMA dans les ablations) entraînés sur le corpus SLIMPAJAMA. Les expériences couvrent des tailles de modèles allant de 14M à 1,2 milliard de paramètres.

Contrôles Expérimentaux Clés :

• Transfert d'Hyperparamètres : Les auteurs utilisent $\mu$P (Maximal Update Parameterization) pour transférer les hyperparamètres (taux d'apprentissage, taille de lot) du modèle de base au modèle cible, évitant ainsi le facteur de confusion lié aux coûts de nouveau réglage.
• Budgets d'Entraînement : Les modèles sont entraînés pour des budgets fixes de jetons par paramètre (10, 20 et 30 jetons/paramètre), avec 20 jetons/paramètre représentant la frontière optimale de calcul de Chinchilla.
• Comparaisons : SZP est comparé à l'entraînement à partir de Zéro (Scratch) et au standard Net2Net (une ligne de base de préservation de fonction).

Contributions Clés

1. Généralisation vers SZP : Les auteurs introduisent SZP comme une stratégie de croissance simple et agnostique à l'architecture. Ils démontrent que la préservation exacte de la fonction à l'initialisation n'est pas nécessaire pour de fortes performances finales ; en fait, SZP surpasse souvent des opérateurs complexes basés sur la FP comme Net2Net, en particulier dans les modèles de langage.
2. Limite Supérieure Empirique du Facteur de Croissance ($g_{upper}$) : L'article établit une limite supérieure empirique sur le facteur de croissance $g$ (rapport entre les paramètres cibles et de base). Au-delà de $g_{upper}$, l'entraînement du modèle agrandi à partir de zéro converge aussi vite (ou plus vite) que le warmstarting. Cette limite est cohérente à la fois pour les MLP et les LLM.
3. Prédictions de Lois d'Échelle : En ajustant des lois d'échelle sur les observations, les auteurs fournissent des directives prédictives sur le moment où le WS est efficace. Ils caractérisent la « fenêtre d'efficacité » où le WS produit des accélérations de convergence par rapport à l'entraînement à partir de zéro, montrant que ces gains sont plus prononcés sous des budgets spécifiques de jetons par paramètre.

Résultats Clés

1. SZP vs Net2Net vs Scratch

• Vitesse de Convergence : SZP converge systématiquement plus vite que l'entraînement à partir de zéro et surpasse Net2Net à travers diverses largeurs de modèles et facteurs de croissance.
• La Préservation de Fonction n'est Pas Requise : Bien que Net2Net (basé sur la FP) récupère rapidement la perte du modèle de base, il lutte souvent pour échapper au sous-espace initial dans les scénarios de croissance plus importants, conduisant à des rangs effectifs plus faibles et à une convergence à long terme plus lente par rapport à SZP.
• Robustesse : SZP est plus robuste aux facteurs de croissance et ne nécessite pas de règles spécifiques à l'architecture pour le clonage des poids ou l'injection de bruit.

2. La Limite du Facteur de Croissance ($g_{upper}$)

• Existence d'une Limite : Les auteurs identifient une $g_{upper}$ claire au-delà de laquelle le WS perd son avantage. Pour de nombreuses configurations, cette limite est d'environ $g = 2$.
• Rendements Décroissants : À mesure que le facteur de croissance augmente, le modèle de base occupe une fraction décroissante de l'architecture cible. L'initialisation ressemble de plus en plus à une initialisation aléatoire, et les contraintes de la structure héritée l'emportent sur les bénéfices.
• Dépendance au Budget : L'efficacité du WS est étroitement couplée au budget d'entraînement. Les gains du WS sont les plus significatifs pour des budgets $\le$ 20 jetons/paramètre. À mesure que le budget augmente (approchant ou dépassant la frontière optimale de Chinchilla), l'avantage du WS diminue, et l'entraînement à partir de zéro devient plus efficace.

3. Analyse de Lois d'Échelle

• Les auteurs ajustent des modèles en loi de puissance $L(N, D) = E + A N^{-\alpha} + B D^{-\beta}$ pour prédire la perte en fonction des paramètres ($N$) et des jetons ($D$).
• Contours Iso-Perte : La visualisation de la différence de perte entre WS et Scratch révèle une frontière. Pour une taille de modèle fixe, l'entraînement avec moins de jetons/paramètre favorise le WS, tandis que l'entraînement avec plus de jetons/paramètre favorise Scratch.
• Guidage Prédictif : Les lois ajustées permettent aux praticiens de prédire le point de croisement où le WS cesse d'être bénéfique pour un facteur de croissance et un budget donnés.

Importance et Directives Pratiques

L'article fournit une investigation systématique, fondée sur les premiers principes, de l'efficacité du warmstarting, allant au-delà des preuves anecdotiques pour fournir des limites empiriques et des directives. Les auteurs revendiquent les enseignements pratiques suivants :

• Mise à l'Échelle de Modèle : Si un seul run de modèle est réalisable, un facteur de croissance de 2$\times$ est la stratégie de mise à l'échelle la plus fiable pour le warmstarting.
• Fenêtre d'Efficacité : Le warmstarting devrait être priorisé par rapport à l'entraînement à partir de zéro lorsque le budget d'entraînement est inférieur ou égal à la mise à l'échelle optimale en calcul (environ 20 jetons/paramètre).
• Transfert d'Hyperparamètres : $\mu$P sert de stratégie fondée sur des principes pour transférer les hyperparamètres dans le warmstarting, en particulier lorsque les budgets de réglage pour des échelles plus grandes sont contraints.
• Rapport Standardisé : Les auteurs proposent que la littérature future rapporte explicitement la $g_{upper}$ empirique (le facteur de croissance où le WS correspond aux performances de Scratch) pour faciliter des comparaisons équitables et prévenir l'adoption de stratégies de croissance inefficaces.

L'étude conclut que, bien que le warmstarting offre des économies de ressources, son utilité est bornée. La méthode SZP proposée et les limites identifiées sur les facteurs de croissance fournissent un cadre permettant aux praticiens de décider quand et combien agrandir un modèle pour garantir de véritables gains d'efficacité.