💬 NLP

Pretraining Language Models for Diachronic Linguistic Change Discovery

Cet article présente une méthode de préentraînement efficace permettant de créer des modèles linguistiques spécialisés par période historique pour découvrir des changements diachroniques, surpassant ainsi les approches par affinage en termes de rapidité et de précision temporelle.

Auteurs originaux : Elisabeth Fittschen, Sabrina Li, Tom Lippincott, Leshem Choshen, Craig Messner

Publié 2026-03-31

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Elisabeth Fittschen, Sabrina Li, Tom Lippincott, Leshem Choshen, Craig Messner

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🕰️ Le Problème : Le Grand Bibliothécaire Confus

Imaginez que vous voulez étudier comment le français a changé entre 1750 et 1940. Vous avez besoin de comprendre comment les mots évoluaient à chaque époque.

Le problème avec les grands modèles d'intelligence artificielle (les "LLM" comme ceux que vous utilisez aujourd'hui), c'est qu'ils sont comme un grand bibliothécaire omniscient qui a lu tous les livres de l'histoire, du Moyen Âge jusqu'à aujourd'hui, en une seule fois.

Si vous demandez à ce bibliothécaire : "Comment les gens parlaient-ils en 1800 ?", il risque de vous répondre avec des mots ou des expressions qu'ils n'ont inventés qu'en 1950, parce qu'il a tout lu d'un coup. C'est ce qu'on appelle un anachronisme. Pour les linguistes, c'est catastrophique : c'est comme si un historien mélangeait les costumes de la Renaissance avec ceux des années 80.

💡 La Solution : Créer de Petits "Chrono-Experts"

Au lieu d'utiliser ce bibliothécaire géant, les chercheurs de cet article ont eu une idée géniale : au lieu de l'adapter, ils ont créé de petits experts spécialisés.

Imaginez que vous ne prenez pas un seul bibliothécaire, mais que vous engagez cinq experts différents, chacun spécialisé dans une période précise :

L'expert 1750-1820.
L'expert 1820-1850.
L'expert 1850-1880.
L'expert 1880-1910.
L'expert 1910-1940.

Chaque expert n'a lu que les livres de sa propre époque. Il ne sait rien de ce qui s'est passé avant ou après.

🛠️ Comment ils l'ont fait ? (La Cuisine)

Pour créer ces experts, ils ont utilisé deux méthodes :

La méthode "Recette de Grand-Mère" (Fine-tuning) : Ils prennent un grand modèle existant (le bibliothécaire géant) et lui donnent un cours accéléré sur une période. C'est rapide, mais le bibliothécaire garde ses vieux souvenirs. Il risque encore de glisser un mot moderne dans une phrase du 18ème siècle.
La méthode "From Scratch" (À partir de zéro) : C'est la méthode gagnante de l'article. Ils ont pris une petite pâte à modeler vierge et ils l'ont entraînée uniquement avec les textes d'une période spécifique. C'est comme si on élevait un enfant uniquement avec des livres de 1800. Il ne connaît pas le mot "smartphone" ni "internet".

🧪 Le Test : Qui est le plus honnête ?

Pour vérifier qui fonctionne le mieux, ils ont posé des énigmes (des "trous" dans des phrases) basées sur le sens des mots.

Exemple : Le mot "pound" (boucherie pour animaux). En 1750, ce mot ne signifiait pas encore "voiture" (car les voitures n'existaient pas).
Le résultat :
- Le modèle géant (ou celui adapté) dit : "Ah oui, 'pound' c'est une voiture !" (Il triche avec son savoir futur).
- Le petit expert "From Scratch" dit : "Non, en 1750, 'pound' c'est juste un enclos pour les moutons." (Il respecte strictement son époque).

🚀 Les Avantages de cette Nouvelle Méthode

Pas de triche temporelle : Les petits experts ne "fuitent" pas d'informations du futur. Ils sont parfaitement honnêtes sur ce que les gens savaient à leur époque.
Plus rapides et moins chers : Entraîner ces petits experts prend deux fois moins de temps et coûte moins cher en énergie que d'essayer de réparer le grand modèle.
Une machine à hypothèses : Parce qu'ils sont si précis, on peut les utiliser pour découvrir des choses nouvelles. Par exemple, en regardant comment le mot "station" a changé de sens (d'un campement militaire à une gare de train), on peut voir exactement quand la technologie du train a commencé à influencer la langue.

🏁 En Résumé

Cette recherche nous dit : "Parfois, pour comprendre le passé, il ne faut pas un cerveau qui sait tout, mais plusieurs petits cerveaux qui ne savent que leur propre époque."

C'est une méthode plus propre, plus rapide et plus respectueuse de l'histoire pour étudier comment notre langage a évolué au fil du temps. C'est comme passer d'une photo floue et colorisée d'une époque à une série de photographies nettes et authentiques.

1. Problématique

Les disciplines humanistes, telles que la linguistique historique et les études littéraires, reposent souvent sur des distinctions temporelles strictes (périodes, genres) pour construire leurs arguments. Cependant, l'utilisation des Grands Modèles de Langage (LLM) préentraînés sur des corpus massifs et hétérogènes pose un problème fondamental : l'anachronisme.

Les LLM standards, par leur nature "omnivore", intègrent des connaissances de toutes les époques dans leurs poids. Cela entraîne une "fuite" d'information (leakage) où un modèle entraîné sur une période donnée peut utiliser des connaissances futures pour interpréter des textes anciens, faussant ainsi l'analyse des changements sémantiques réels. Les techniques d'ajustement fin (fine-tuning) sur des modèles existants ne résolvent pas ce problème car le modèle de base conserve ses connaissances anachroniques.

Objectif : Développer une méthode permettant de créer des modèles linguistiques qui respectent strictement les frontières temporelles, garantissant qu'un modèle ne possède que les connaissances linguistiques disponibles à une époque spécifique, afin d'étudier l'évolution du langage sans contamination.

2. Méthodologie

Les auteurs proposent une approche basée sur le préentraînement de modèles à partir de zéro (scratch) sur des corpus historiques restreints, plutôt que l'ajustement fin de modèles existants.

A. Préparation des Données

Corpus : Utilisation de la collection Project Gutenberg (1750–1940).
Attribution des dates : Un pipeline multi-étapes combine les métadonnées WikiData, le catalogue Project Gutenberg et l'inférence par LLM (Llama3.3-70B quantifié) pour dater précisément chaque document.
Découpage temporel : Le corpus est divisé en 5 tranches chronologiques (slices) de 10 millions de tokens chacune :
1. 1750–1820
2. 1820–1850
3. 1850–1880
4. 1880–1910
5. 1910–1940
Chaque tranche est réservée pour l'entraînement, avec des sous-ensembles pour la validation et le test.

B. Entraînement des Modèles

Deux approches sont comparées :

Modèles "Scratch" (À partir de zéro) : Entraînés sur chaque tranche temporelle en utilisant la recette BabyLlama-2 (une approche de distillation efficace conçue pour le BabyLM Challenge). Cela implique un préentraînement complet sur 10M de tokens par période.
Modèles "Fine-tuned" (Ajustés) : Basés sur un modèle Llama3-8B préentraîné, ajustés via des adaptateurs DoRA (Weight-Decomposed Low-Rank Adaptation) sur les mêmes tranches de données.

C. Évaluation

Les modèles sont évalués selon deux axes : la fluidité linguistique et la spécificité historique.

Perplexité : Mesurée sur les données de la période cible (fluidité) et sur les données des autres périodes (spécificité).
BLiMP : Évaluation des compétences linguistiques générales (grammaire, syntaxe) sur un ensemble filtré pour éviter les mots hors vocabulaire.
Nouvelle tâche "Cloze" (Complétion de mots) : Basée sur le Oxford English Dictionary (OED), cette tâche teste la capacité du modèle à prédire le sens d'un mot à une époque donnée.
- Métrique de "Leakage" (Fuite) : Mesure la capacité d'un modèle d'une période $t$ à deviner des sens de mots apparus après $t$ .
- Recall Normalized Leakage : Une métrique raffinée pour corriger les biais des modèles plus performants.

3. Résultats Clés

Efficacité et Performance

Vitesse : L'entraînement des modèles "scratch" est deux fois plus rapide que l'ajustement fin DoRA, tout en maintenant des performances suffisantes pour de nombreuses tâches.
Fluidité vs Spécificité :
- Les modèles fine-tuned sont plus fluides (perplexité globale plus faible) mais manquent de spécificité historique. Ils "fuient" les informations futures, réussissant trop bien à prédire des sens modernes dans des contextes anciens.
- Les modèles scratch sont légèrement moins fluides globalement mais montrent une spécificité historique exceptionnelle. Leur perplexité augmente de manière monotone lorsqu'ils sont testés sur des textes d'époques différentes (plus anciens ou plus récents), prouvant qu'ils n'ont pas "vu" ces données.

Analyse des Changements Linguistiques

Détection de l'anachronisme : Les modèles scratch rejettent correctement les sens futurs (ex: "pound" au sens de parc à voitures pour une période antérieure à l'invention du moteur à combustion), tandis que les modèles fine-tuned les acceptent.
Trajectoires sémantiques : L'approche permet de visualiser l'évolution des sens. Par exemple, l'analyse du mot "station" montre un basculement brutal de la perplexité entre 1820 et 1850, coïncidant avec l'adoption des chemins de fer.
Étude de cas ("Choléra") : Les modèles scratch capturent la transition sémantique du mot "choléra" (d'une maladie porcine générique à une maladie humaine spécifique liée au Vibrio cholerae), tandis que les modèles fine-tuned appliquent uniformément la définition moderne, masquant l'évolution historique.

4. Contributions Principales

Preuve de concept de l'efficacité du préentraînement restreint : Démontre que des modèles préentraînés sur de petits corpus (10M de tokens) avec des techniques efficaces (BabyLlama-2) sont supérieurs aux modèles ajustés pour l'analyse diachronique stricte.
Garantie épistémologique : Offre une méthode pour garantir qu'un modèle ne contient aucune information anachronique, répondant à un besoin critique des sciences humaines.
Nouvelles métriques d'évaluation : Introduction de la "Leakage" et du "Recall Normalized Leakage" pour quantifier la contamination temporelle des modèles.
Pipeline reproductible : Fournit une infrastructure complète (données, entraînement, évaluation) adaptable à d'autres phénomènes diachroniques.

5. Signification et Impact

Cette recherche offre une alternative viable aux LLM standards pour les chercheurs en humanités numériques. Elle permet de transformer les modèles de langage en outils d'hypothèse scientifique plutôt qu'en simples générateurs de texte. En sacrifiant une partie de la fluidité générale pour gagner en précision historique, les auteurs ouvrent la voie à une découverte de connaissances plus rigoureuse, capable de retracer l'évolution des concepts, des sens des mots et des structures grammaticales sans les biais induits par les données modernes.

L'approche suggère que pour des tâches nécessitant une délimitation épistémologique stricte (comme l'histoire, la littérature ou la sociolinguistique), le préentraînement "à partir de zéro" sur des corpus ciblés est souvent préférable à l'ajustement fin de modèles massifs.