Résumé Technique : Mélanger, Pas Ajuster : L'Entraînement Préliminaire Bilingue Surpasse la Recherche d'Hyperparamètres dans des Contextes Contraints par les Données

Énoncé du Problème

À mesure que les budgets de calcul s'étendent plus rapidement que les données textuelles disponibles, l'entraînement préliminaire des modèles de langage opère de plus en plus dans un régime contraint par les données. Dans ce régime, les modèles doivent répéter leurs données d'entraînement de nombreuses fois pour exploiter la puissance de calcul disponible, une pratique qui dégrade activement la généralisation en déplaçant la capacité du modèle vers la mémorisation plutôt que vers l'induction. Cette problématique est particulièrement aiguë pour les langues à ressources limitées (LRL), où les corpus à haute valeur sont trop petits pour remplir les budgets de calcul.

Les praticiens font actuellement face à deux leviers principaux pour atténuer cette dégradation :

1. Ajustement agressif des Hyperparamètres (HP) : Augmenter la régularisation (par exemple, la décroissance des poids) pour réduire les poids et restreindre la capacité du réseau, limitant ainsi le surapprentissage au corpus cible répété.
2. Mélange de données auxiliaires : Introduire des données provenant d'une langue à ressources abondantes (HRL) pour diversifier le signal d'entraînement et élargir la distribution d'entraînement.

Bien que les deux stratégies offrent des voies fondées sur des principes pour améliorer l'entraînement, leur efficacité relative, leur interaction et leur impact sur les performances en aval par rapport à la perte de validation restent flous. Plus précisément, il est inconnu si l'intégration de données auxiliaires apporte un bénéfice supérieur à un ajustement agressif des HP, dans quelle mesure le mélange compense la pénurie de données, et si la perte de validation en langue cible reflète fidèlement ces gains.

Méthodologie

Les auteurs ont mené une comparaison systématique à travers quatre échelles de modèles (150M, 380M, 600M et 1,43B de paramètres) en utilisant l'arabe comme cible à ressources limitées et l'anglais comme auxiliaire à ressources abondantes. L'étude a impliqué environ 1 000 exécutions d'entraînement préliminaire.

Configuration Expérimentale

• Données : Le corpus arabe a été sous-échantillonné à 200M de tokens uniques ($D_{LR}$) issus de FineWeb2, répétés jusqu'à 100 fois ($R_{max}=100$). Le corpus anglais était pratiquement illimité.
• Budget d'entraînement : Fixé à $D = 100 \times N_{nonemb}$ tokens. Dans les contextes bilingues, le budget se divise en une portion arabe ($\alpha D$) et une portion anglaise ($(1-\alpha)D$), où $\alpha$ est le ratio de mélange.
• Régimes d'Hyperparamètres :
  • HP de base : Les hyperparamètres (décroissance des poids $\lambda$, taux d'apprentissage $\eta$) ont été ajustés sur le modèle proxy de 150M et transférés vers des échelles supérieures en utilisant la Paramétrisation de Mise à Jour Maximale ($\mu$P).
  • HP Ajustés : Une recherche complète sur grille ($5 \times 5$ pour $\lambda, \eta$) a été effectuée à chaque échelle pour trouver la configuration optimale.
• Quatre Paradigmes : L'étude a traversé les stratégies de données (Monolingue vs Bilingue) et les régimes HP (Base vs Ajustés) pour isoler les effets.
• Évaluation :
  • Métrique Principale : Perte de Validation Arabe (VL).
  • Métrique en Aval : Précision ARC Easy (5 essais) en arabe et en anglais.
  • Analyse : La décomposition de la variance (ANOVA) a été utilisée pour quantifier la contribution des ratios de mélange par rapport aux hyperparamètres à la variance des performances.

Contributions et Résultats Clés

1. Le Mélange de Données Domine l'Ajustement des Hyperparamètres

L'étude révèle que mélanger une langue à ressources abondantes produit des améliorations significativement plus grandes que l'ajustement des hyperparamètres seul.

• Perte de Validation : À 1,43B de paramètres, l'entraînement bilingue a amélioré la perte de validation arabe de 12,9 % par rapport à la base monolingue, tandis que l'ajustement HP seul n'a produit que 3,1 %.
• Mise à l'échelle : L'écart de performance entre le mélange et l'ajustement s'élargit à mesure que la taille du modèle augmente. À 1,43B, un modèle bilingue avec des hyperparamètres $\mu$P de base a surpassé un modèle monolingue avec des hyperparamètres ajustés par échelle, bien qu'il soit 2,4 fois plus petit.
• Rendements décroissants de l'ajustement : Une fois des données diversifiées introduites via le mélange, le gain marginal d'un ajustement HP supplémentaire est négligeable (<1 % sur la perte de validation).

2. Quantification de la Valeur du Mélange (Le Multiplicateur de Données)

Les auteurs quantifient la quantité de données uniques en langue cible que le mélange remplace efficacement.

• Perte de Validation : Le mélange fournit un multiplicateur de 2–3 fois (par exemple, 200M de tokens arabes mélangés à l'anglais se comportent comme 500M–600M de tokens arabes uniques sur la VL).
• Précision en Aval : Le multiplicateur est beaucoup plus substantiel sur les benchmarks, variant de 2 fois à 13 fois. À 1,43B, l'entraînement bilingue sur 200M de tokens arabes a égalé la précision d'un modèle monolingue entraîné sur 2,7B de tokens arabes uniques (un multiplicateur de 13,4 fois).
• Divergence : Il existe une divergence systématique où la perte de validation sous-estime la valeur du mélange. La perte de validation capture l'effet de régularisation (diversification du signal) mais échoue à capturer le transfert de connaissances (capacités factuelles) que la langue auxiliaire fournit, ce qui est crucial pour les benchmarks en aval.

3. Sensibilité aux Hyperparamètres et Transfert $\mu$P

• Sensibilité : Le ratio de mélange optimal ($\alpha$) se déplace vers plus d'anglais à mesure que la taille du modèle augmente (par exemple, de $\alpha=0,33$ à 380M à $\alpha=0,10$ à 1,43B).
• Efficacité de $\mu$P : Le transfert d'hyperparamètres depuis un petit modèle proxy (150M) via $\mu$P est hautement efficace. L'écart entre les HP transférés par $\mu$P et les HP ajustés par échelle reste inférieur à 0,6 % sur la perte de validation pour les modèles bilingues jusqu'à 1,43B.
• Affinement du Paysage : À 1,43B, le paysage des hyperparamètres devient plus net et plus interactif (spécifiquement entre le taux d'apprentissage et la décroissance des poids), rendant les recherches sur grille larges risquées. Cependant, $\mu$P reste un « défaut sûr » robuste qui évite les coins pathologiques de l'espace des HP.

4. La Perte de Validation comme Proxy

Bien que la perte de validation soit un proxy fiable pour sélectionner des points de contrôle au sein d'une seule exécution (corrélation $r \approx 0,97$ avec la précision maximale), elle n'est pas une métrique fiable pour comparer les stratégies monolingues et bilingues. Se fier uniquement à la perte de validation conduirait les praticiens à sous-évaluer le mélange bilingue, car la métrique ne tient pas compte des gains de connaissances en aval fournis par la langue auxiliaire.

Importance et Recommandations Pratiques

L'article conclut que dans les contextes contraints par les données, le mélange est le levier principal d'amélioration, tandis que l'ajustement des hyperparamètres est secondaire. Les auteurs proposent une recette pratique pour les praticiens :

1. Mélanger une langue à ressources abondantes : Prioriser la recherche du ratio de mélange optimal plutôt qu'un ajustement agressif des hyperparamètres.
2. Utiliser $\mu$P pour le transfert : Transférer les hyperparamètres depuis un petit modèle proxy vers des échelles supérieures pour minimiser les coûts de recherche.
3. Réévaluer les métriques : Ne pas utiliser la perte de validation en langue cible seule pour comparer les stratégies monolingues et bilingues, car elle sous-estime systématiquement la valeur des données auxiliaires.

L'étude démontre que le coût de calcul du mélange est justifié car il remplace les répétitions gaspillées sur le surapprentissage par des connaissances précieuses et diversifiées, agissant efficacement comme un multiplicateur de données dont l'échelle augmente fortement avec la taille du modèle.