Era-Aware Language Modeling: Training a Decoder-Only Transformer on a Balanced Gutenberg Corpus

Résumé Technique : Modélisation de Langage Sensible à l'Époque sur un Corpus Gutenberg Équilibré

Énoncé du Problème
Les modèles de langage de grande taille (LLM) actuels sont principalement entraînés sur des corpus extraits du web (par exemple, Common Crawl) qui sont fortement biaisés en faveur de l'anglais contemporain. Ce biais temporel limite la capacité d'étudier comment la composition historique des données d'entraînement influence le style génératif d'un modèle. De plus, dans les corpus naturels du web, le contenu thématique et le registre stylistique sont entremêlés, ce qui rend difficile l'isolement de l'effet spécifique de « l'époque » (la période historique d'écriture) sur le comportement du modèle indépendamment du sujet traité.

Méthodologie
Les auteurs présentent GutenbergLM, un petit transformateur de type décodeur uniquement, entraîné de zéro sur un corpus équilibré par époque, dérivé entièrement de Project Gutenberg. La méthodologie est structurée en quatre étapes principales :

1. Construction et Équilibrage du Corpus :

   • Source : Les auteurs ont analysé l'intégralité du catalogue RDF de Project Gutenberg (78 672 enregistrements), en filtrant pour obtenir 62 497 livres en langue anglaise.
   • Classification par Époque : Les livres ont été stratifiés en trois époques basées sur l'année de naissance de l'auteur (ou la date de publication comme solution de repli) : Précoce (≤1800), Intermédiaire (1801–1900) et Moderne (>1900).
   • Échantillonnage Équilibré : Pour éviter la dominance naturelle de l'époque « Intermédiaire » (69,3 % du catalogue brut), les auteurs ont effectué un échantillonnage déterministe basé sur une graine (seed) pour sélectionner exactement 5 334 livres par époque, résultant en un corpus parfaitement équilibré de 16 002 livres.
   • Déduplication et Nettoyage : Les quasi-doublons ont été supprimés via MinHash avec un hachage sensible à la localité (LSH) à un seuil de Jaccard de 0,85, laissant 15 509 livres uniques. Le nettoyage du texte a consisté à supprimer les éléments de bas de page (boilerplate) de Project Gutenberg, à réparer les artefacts d'encodage et à normaliser les espaces blancs.
   • Division (Splitting) : Une division stratifiée au niveau du livre a été appliquée (90 % entraînement, 5 % validation, 5 % test) pour garantir l'absence de fuite stylistique entre les ensembles.

2. Tokeniseur :

   • Un tokeniseur BPE (Byte-Pair Encoding) SentencePiece avec un vocabulaire de 32 000 termes a été entraîné sur le corpus d'entraînement.
   • Il dispose d'un repli (fallback) au niveau des octets pour garantir l'absence de jetons hors vocabulaire et d'une segmentation des chiffres ajustée pour les formats de dates historiques.
   • Trois jetons de contrôle explicites (<ERA_EARLY>, <ERA_MIDDLE>, <ERA_MODERN>) ont été réservés pour permettre le conditionnement par époque.

3. Architecture du Modèle :

   • Échelle : Un transformateur décodeur uniquement de 109,5 millions de paramètres suivant les choix de conception de type LLaMA.
   • Composants : L'architecture comprend 12 couches, une dimension de modèle de 768, 12 têtes d'attention, RMSNorm, des réseaux de propagation avant (feed-forward) SwiGLU, et des plongements de position rotatifs (RoPE).
   • Optimisations : Le partage de poids (weight tying) entre les plongements (embeddings) et la tête de modélisation du langage, le checkpointing de gradient et des couches linéaires sans biais ont été implémentés.

4. Procédure d'Entraînement :

   • Matériel : Un seul GPU NVIDIA A10G (11 Go de VRAM) sur une instance AWS EC2.
   • Configuration : Le modèle a été entraîné pendant un époque sur 1,46 milliard de jetons (11 000 étapes d'optimiseur).
   • Techniques : Le pipeline a utilisé une optimisation en précision mixte (BF16), AdamW avec une décroissance de taux d'apprentissage cosinus, et des préréglages de lots adaptatifs au GPU (taille de lot effective de 128).

Résultats Clés

• Efficacité de l'Entraînement : La passe d'une époque s'est achevée en 13,12 heures, maintenant un débit de 31 405 jetons/seconde avec une utilisation de mémoire GPU de pointe de 14,4 Go.
• Perplexité : Le modèle a atteint une perte d'entraînement finale de 2,93, une perplexité de validation de 25,6 et une perplexité de test sur données non vues de 24,03. L'écart entre la perte d'entraînement et de validation (0,316 nats) suggère que le modèle n'est pas encore dans un régime de surapprentissage marqué.
• Métriques de Génération : Sur l'ensemble de test, le modèle a obtenu un BLEU-4 de 0,093, un ROUGE-L F1 de 0,189 et un BERTScore F1 de 0,837. Les auteurs notent que les faibles scores de chevauchement n-gramme sont typiques des tâches créatives ouvertes, tandis que le score élevé de BERTScore indique une plausibilité sémantique.
• Génération Qualitative : Les générations conditionnées par l'époque ont démontré que les jetons de contrôle orientaient avec succès le modèle vers un vocabulaire, une syntaxe et des sujets appropriés à la période, sans prompting thématique explicite. Par exemple, <ERA_EARLY> a généré des registres juridiques/bibliques archaïques, tandis que <ERA_MODERN> a produit des scènes sociales contemporaines.

Signification et Limites
L'article positionne GutenbergLM comme un point de référence reproductible pour étudier la relation entre la composition temporelle du corpus d'entraînement et le comportement stylistique, libre des confusions thématiques des données à l'échelle du web.

Les auteurs maintiennent un ton modeste concernant leurs affirmations :

• Granularité : La classification par époque repose sur une heuristique grossière (année de naissance de l'auteur), ce qui peut ne pas rendre compte des changements stylistiques de fin de carrière ou des œuvres traduites.
• Lacunes d'Évaluation : La décomposition quantitative de la perplexité spécifique à chaque époque n'a été enregistrée que pour le sous-ensemble Moderne ; les sous-ensembles Précoce et Intermédiaire manquent de métriques quantitatives spécifiques dans ce rapport.
• Portée de l'Entraînement : Le modèle a été entraîné pour une seule époque. Le calendrier du taux d'apprentissage était configuré pour un horizon plus long, ce qui implique un potentiel de réduction supplémentaire de la perplexité avec un entraînement prolongé.
• Échelle : L'étude est limitée à un environnement à GPU unique et à une échelle de moins de 100 millions de paramètres, bien que les auteurs notent que la marge de mémoire inutilisée suggère un potentiel pour des tailles de lots ou des longueurs de contexte plus grandes.

Le travail ne propose pas de nouvelles applications ou de changements architecturaux, mais établit plutôt un pipeline contrôlé pour isoler la variable de « l'époque » dans la modélisation du langage.