DHPLT: large-scale multilingual diachronic corpora and word representations for semantic change modelling
Ce papier présente DHPLT, une ressource open source regroupant des corpus diachroniques multilingues dans 41 langues et des représentations vectorielles pré-calculées, conçue pour combler le manque de données permettant de modéliser l'évolution sémantique au-delà des langues à hautes ressources.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
🌍 DHPLT : Une Machine à Remonter le Temps pour 41 Langues
Imaginez que vous voulez comprendre comment les gens parlent et pensent aujourd'hui par rapport à il y a 10 ou 15 ans. Pour cela, il faut un journal de bord géant qui enregistre tout ce qui a été écrit à différentes époques. C'est exactement ce que les chercheurs appellent un "corpus diachronique".
Le problème ? Jusqu'à présent, on avait de très bons journaux de bord pour l'anglais ou l'allemand, mais pour la plupart des autres langues du monde, c'était comme chercher une aiguille dans une botte de foin : soit il n'y en avait pas, soit elles étaient trop petites ou trop compliquées à utiliser.
DHPLT (Diachronic HPLT) est la solution proposée par Mariia Fedorova, Andrey Kutuzov et Khonzoda Umarova. C'est une énorme bibliothèque numérique gratuite qui contient des millions de documents dans 41 langues différentes (du swahili au vietnamien, en passant par le russe et le finnois), couvrant trois époques clés :
- 2011-2015 (Le "vieux" internet).
- 2020-2021 (L'époque du confinement et du télétravail).
- 2024 à aujourd'hui (L'ère de l'IA générative).
🕵️♂️ Comment ont-ils fait ? (L'astuce du timbre-poste)
Normalement, pour savoir quand un texte a été écrit, il faut lire la date en bas de l'article. Mais sur internet, c'est souvent faux (un article de 2024 peut parler d'un événement de 2001).
Les chercheurs ont eu une idée géniale : au lieu de regarder la date de l'article, ils ont regardé la date où Google (ou d'autres robots) a visité la page.
- L'analogie : Imaginez que vous collectionnez des cartes postales. Vous ne savez pas exactement quand la carte a été écrite, mais vous savez qu'elle a été achetée et envoyée en 2015. Donc, elle a été écrite au plus tard en 2015.
- En utilisant ces "dates de visite" (les timestamps de navigation web), ils ont pu trier des milliards de pages web pour créer trois tranches de temps distinctes.
🧠 Ce que contient la boîte à outils
DHPLT n'est pas juste un tas de texte brut. C'est comme une boîte à outils complète pour les scientifiques qui veulent étudier comment le sens des mots change.
- Les Mots Cibles : Ils ont choisi environ 18 000 mots "intéressants" par langue (comme "chat", "liberté", "travail").
- Les Traducteurs de Sens : Ils ont déjà calculé pour vous comment ces mots sont compris par les ordinateurs à chaque époque.
- Analogie : C'est comme si on vous donnait déjà les photos de "l'ami" (le mot) à 30 ans, à 40 ans et à 50 ans, sans que vous ayez besoin de prendre les photos vous-même.
- Les Remplacements : Ils ont aussi listé les mots que l'on pourrait utiliser à la place de ces mots cibles à chaque époque.
🚀 Un exemple concret : Le mot "IA"
Pour montrer que ça marche, les chercheurs ont regardé l'évolution du mot "IA" (Intelligence Artificielle) en anglais et en espagnol.
- En 2011-2015 : Le mot "IA" était surtout associé aux jeux vidéo (des personnages de RPG, des robots dans des films). C'était de la science-fiction.
- En 2020-2021 : Le mot commence à parler de robots physiques, de voitures autonomes et d'Internet des objets.
- En 2024 : Le sens a totalement changé. Le mot "IA" est maintenant lié à ChatGPT, à la "générative" et aux grands modèles de langage.
C'est comme si le mot "IA" avait grandi : il est passé d'un jouet de jeu vidéo à un outil qui transforme notre société. DHPLT permet de voir cette transformation en accéléré, et ce, pour 41 langues différentes.
🌟 Pourquoi c'est important ?
Avant, les chercheurs ne pouvaient étudier l'évolution des mots que dans une douzaine de langues (souvent européennes). Avec DHPLT, c'est comme si on ouvrait les fenêtres sur le reste du monde.
- Pour les chercheurs : Ils peuvent enfin comparer comment le mot "démocratie" ou "amour" a changé en turc, en japonais ou en suédois, et voir si les tendances sont les mêmes partout.
- Pour vous : Cela nous aide à comprendre que le langage n'est pas figé. Il vit, il respire et il change avec nous, surtout à l'ère d'internet.
En résumé : DHPLT est une machine à remonter le temps gratuite, prête à l'emploi, qui permet d'observer la vie secrète des mots dans 41 langues, en utilisant l'historique de nos visites sur le web comme boussole.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.