Résumé Technique : Augmentations de Données pour le Pré-entraînement de Modèles de Langage à Contraintes de Données

1. Énoncé du Problème

Le papier traite du régime émergent « à contrainte de données et abondance de calcul » dans le développement des Grands Modèles de Langage (LLM). Alors que le stock de textes publics de haute qualité sur Internet approche de l'épuisement, l'industrie fait face à un plafond où la capacité de calcul surpasse la disponibilité des données. Par conséquent, les modèles doivent subir un pré-entraînement multi-époques sur des corpus fixes.

Les auteurs identifient un mode de défaillance critique dans ce contexte : le pré-entraînement autorégressif (AR) standard souffre d'un surapprentissage sévère. Dans leurs expériences, un modèle de 150 millions de paramètres entraîné sur un corpus de 75 millions de tokens (environ 40 fois en dessous du budget optimal de Chinchilla) a atteint son minimum de perte de validation à l'époque 16 et s'est ensuite détérioré de manière continue, indiquant un passage de la généralisation à la mémorisation. Bien que des modèles de diffusion aient été proposés comme une alternative plus robuste, ils font actuellement face à des obstacles pratiques concernant les coûts d'inférence, la génération de longueurs dynamiques et la maturité de l'infrastructure. Le papier postule qu'une solution plus immédiate consiste à introduire une régularisation de type diffusion dans les modèles AR standards via l'augmentation de données lors de l'entraînement.

2. Méthodologie

Les auteurs introduisent trois catégories orthogonales d'augmentation de données conçues pour modifier les paires (entrée, étiquette) présentées au modèle pendant l'entraînement, sans modifier l'architecture du modèle ou la fonction de perte. Au moment de l'évaluation, toutes les augmentations sont désactivées, et le modèle est testé selon le cadre standard de prédiction du prochain token de gauche à droite (L2R).

Catégorie 1 : Bruit au niveau du Token

Inspirée par le processus de bruit des modèles de diffusion, cette catégorie corrompt les tokens d'entrée tout en exigeant que le modèle prédise la séquence originale non corrompue.

• Masquage (Masking) : Une fraction de tokens est remplacée par un token spécial ``.
• Remplacement Aléatoire (Random Replacement) : Une fraction de tokens est remplacée par un token tiré aléatoirement dans le vocabulaire. Cela crée un signal « sémantiquement plus difficile » que le masquage, car le remplacement est un token plausible mais incorrect.

Catégorie 2 : Permutations de Séquences

Cette catégorie réordonne les séquences d'entraînement pour altérer la direction ou la structure de la prédiction.

• Droite à Gauche (R2L) : La séquence est inversée, et le modèle prédit les tokens dans l'ordre inverse, guidé par un token de direction.
• Remplissage au Milieu (Fill-in-the-Middle - FIM) : La séquence est réordonnée en un format préfixe-suffixe-milieu (PSM) ou suffixe-préfixe-milieu (SPM). Le modèle doit prédire le segment central étant donné le préfixe et le suffixe.

Catégorie 3 : Prédiction de Décalage de Cible (Target Offset)

Au lieu de prédire le prochain token immédiat ($x_{t+1}$), le modèle est entraîné à prédire un futur token $x_{t+i}$ à un décalage échantillonné $i \ge 1$.

• Schémas de Pondération : Les auteurs explorent l'échantillonnage uniforme et la pondération à décroissance exponentielle sur l'horizon $i$. Le schéma exponentiel concentre la masse de probabilité sur de petits décalages (principalement $i=1$) tout en échantillonnant occasionnellement de plus grands horizons, agissant comme un curriculum implicite.
• Mécanisme : Un token spécial <next_i> est préfixé pour indiquer le décalage actif.

Ces catégories peuvent être appliquées simultanément dans un pipeline séquentiel : le bruit est appliqué en premier, suivi de la permutation (si active), puis de l'insertion des tokens de direction/décalage.

3. Configuration Expérimentale

• Modèle : Un modèle de langage causal de 150 millions de paramètres basé sur l'architecture Llama (20 couches, taille cachée de 512).
• Jeu de Données : 75 millions de tokens provenant de DCLM-RefinedWeb.
• Calendrier d'Entraînement : Calendrier de taux d'apprentissage Warmup-Stable-Decay (WSD). Les études d'ablation ont principalement utilisé la phase stable pour comparer efficacement les performances relatives, avec un sous-ensemble de passages subissant la phase de décroissance complète pour des vérifications de robustesse.
• Métriques : La métrique primaire est la perte de validation sur des données non vues sous la prédiction standard de prochain token L2R. La précision zero-shot sur cinq benchmarks en aval (HellaSwag, PIQA, ARC-Challenge, WinoGrande, COPA) sert de preuve corroborante.

4. Résultats Clés

Performance des Augmentations Individuelles

• Bruit de Token : Le remplacement aléatoire de tokens a systématiquement surpassé le masquage. La meilleure méthode individuelle était le Remplacement Aléatoire à 15%, atteignant une perte de validation minimale de 3,841 (contre 4,015 pour la référence). Le masquage à 15% a atteint 3,910. Des taux plus faibles (5%) offraient moins de régularisation, tandis que des taux plus élevés (30%) montraient des rendements décroissants.
• Permutations de Séquences : Le mélange R2L à 50% a été efficace (perte min 3,910), tandis que le FIM n'a apporté aucun bénéfice (perte min 3,947, identique à la référence) et a subi un surapprentissage au même rythme que la référence. Les auteurs attribuent l'échec du FIM à un décalage de distribution entre le format d'entraînement et le cadre d'évaluation.
• Décalage de Cible (Target Offset) : La pondération exponentielle sur les décalages $i \le 5$ a été l'augmentation individuelle la plus forte (perte min 3,870). La pondération uniforme n'a apporté aucun bénéfice. Un décalage uniforme borné ($i \le 2$) a offert une régularisation modérée (3,890) mais a convergé plus tôt.

Performance des Combinaisons

L'étude a révélé que les combinaisons sont hautement sensibles aux hyperparamètres et aux types d'interaction :

• Synergie : Combiner R2L et Décalage de Cible (exponentiel) a été synergique, atteignant une perte minimale de 3,841, égalant la meilleure méthode individuelle.
• Interférence : Combiner le Bruit de Token et le Décalage de Cible a provoqué une forte interférence, portant la perte minimale à des niveaux proches de la référence (par exemple, Random 15% + Offset $i \le 5$ exp. a résulté en 3,995). Les auteurs attribuent cela au fait que le bruit de token corrompt le contexte local nécessaire à la prédiction de décalage.
• Configuration Optimale : Les meilleurs résultats ont été obtenus en combinant les trois catégories avec un réglage minutieux. Plus précisément, le Remplacement Aléatoire à 5% (et non 15%) combiné avec R2L 50% et Offset $i \le 5$ (exponentiel) a obtenu la meilleure perte de validation minimale globale de 3,805. Cette configuration a réduit la perte de 0,210 par rapport à la référence.
• Robustesse : Les classements établis dans la phase stable ont été préservés après la phase de décroissance WSD. La meilleure combinaison des 3 catégories a atteint un minimum de phase de décroissance de 3,792.

Généralisation en Aval

Tous les modèles augmentés ont surpassé la référence en précision zero-shot sur cinq benchmarks. La meilleure combinaison des 3 catégories a atteint une précision moyenne de 42,9% (contre 41,0% pour la référence). Bien que la perte de validation ne corrèle pas parfaitement avec le rang de précision (probablement dû au bruit à l'échelle 150M), la tendance a confirmé qu'une perte de validation plus faible se traduit généralement par une meilleure généralisation.

5. Signification et Revendications

Le papier affirme que l'augmentation de données est une stratégie viable et légère pour atténuer l'inefficacité des données du pré-entraînement AR. Les points clés incluent :

1. Régularisation via l'Augmentation : Les augmentations permettent aux modèles d'extraire un signal significatif de la répétition des passages sur des données fixes, retardant ou empêchant l'effondrement par surapprentissage observé dans l'entraînement AR standard.
2. Remplacement Aléatoire > Masquage : Contrairement aux conventions de type BERT, le remplacement aléatoire de tokens est un régularisateur supérieur pour le pré-entraînement AR, probablement en raison de la difficulté accrue d'identifier des tokens plausibles mais erronés par rapport au signal d'absence explicite d'un masque.
3. Préservation du Format : Les augmentations qui préservent le contenu mais altèrent l'ordre (R2L) sont plus efficaces que celles qui changent radicalement le format de la séquence (FIM) par rapport à la distribution d'évaluation.
4. Sensibilité aux Hyperparamètres : Le succès des combinaisons dépend fortement des taux de bruit. Des taux de bruit élevés (15%) perturbent les objectifs de décalage, tandis que des taux plus faibles (5%) agissent comme des régularisateurs complémentaires.
5. Praticité : Contraênirement aux modèles de diffusion, cette approche ne nécessite aucun changement architectural ni nouvelle infrastructure d'inférence, ce qui en fait une solution immédiatement applicable aux pipelines d'entraînement de LLM actuels.

Les auteurs concluent que bien que l'augmentation de données pour le pré-entraînement des LLM ait été moins explorée que le filtrage de données ou les stratégies de mélange, elle mérite une attention sérieuse en tant que technique de premier rang pour naviguer vers le plafond de données approchant.