Named Entity Recognition for Pre-Modern Serbian Cyrillic: Using Transformer-Based Models and Generative Data Augmentation

Dans les recoins silencieux de l'histoire numérique, une branche spécialisée de l'informatique connue sous le nom de traitement du langage naturel travaille à rendre le passé lisible pour les machines. Ce domaine enseigne aux ordinateurs à comprendre le langage humain, non pas seulement comme une suite de mots, mais comme un système structuré où des noms spécifiques — personnes, lieux et groupes — portent un sens distinct. Pour les langues modernes, cette tâche est devenue remarquablement précise, permettant aux logiciels de parcourir instantanément des articles de presse ou des flux de réseaux sociaux et d'extraire chaque mention d'une ville ou d'une personne spécifique. Cependant, cette même technologie peine lorsqu'elle est confrontée à des textes historiques. Ces documents utilisent souvent une orthographe et une grammaire disparues du langage quotidien, et ils existent en quantités bien moindres que l'écriture moderne. Lorsque la langue est rare et que les données sont rares, les ordinateurs qui excellent dans l'actualité d'aujourd'hui trébuchent sur les mots d'il y a plusieurs siècles. Cela crée une barrière pour les historiens et les archivistes qui souhaitent utiliser les outils numériques pour explorer leurs collections, car le logiciel ne peut pas distinguer de manière fiable le nom d'un roi d'un nom commun dans une charte médiévale.

Une équipe de chercheurs s'est donné pour mission de combler cet écart en apprenant à des modèles informatiques avancés à reconnaître les noms dans des textes en cyrillique serbe pré-modernes. Ils se sont concentrés sur un défi spécifique : comment rendre ces modèles assez robustes pour gérer des documents qu'ils n'ont jamais vus auparavant, qui pourraient différer par l'orthographe, le style ou la période par rapport aux exemples sur lesquels ils ont été entraînés. Pour ce faire, ils ont eu recours à une technique appelée augmentation de données générative. Au lieu d'attendre que les historiens étiquettent manuellement des milliers de nouveaux documents — un processus lent et coûteux — les chercheurs ont demandé à une intelligence artificielle puissante d'écrire de nouveaux exemples d'entraînement synthétiques. Ils ont guidé cette IA pour qu'elle imite le style des chartes médiévales et des documents juridiques, créant des milliers de phrases fictives qui ressemblaient et sonnaient comme les vraies, complètes avec les étiquettes correctes pour les noms et les lieux. Ils ont ensuite testé deux types différents de modèles de langage modernes, l'un spécialisé pour la région et l'autre entraîné sur de nombreuses langues, pour voir lequel pourrait le mieux apprendre de ce mélange de données réelles et synthétiques.

Les chercheurs ont commencé par une collection de documents médiévaux authentiques, comprenant des chartes royales et des lettres du XIVe siècle. Ces textes ont été soigneusement annotés par des experts humains qui ont marqué chaque instance du nom d'une personne, d'un lieu ou d'une référence à un groupe spécifique de personnes. Cette collection originale était petite, contenant un peu plus de trois mille phrases, ce qui est une quantité de matériel limitée pour entraîner un modèle informatique sophistiqué. Pour élargir cette fondation, l'équipe a utilisé un système d'IA générative pour créer de nouvelles phrases suivant les mêmes schémas que les textes originaux. Ils ont produit trois versions différentes des données d'entraînement : une où les phrases synthétiques constituaient trente pour cent du total, une autre où elles constituaient cinquante pour cent, et une troisième où les exemples synthétiques doublaient la taille du jeu de données original. Cela leur a permis de tester si le fait de nourrir l'ordinateur avec plus d'exemples, même si certains étaient générés artificiellement, l'aiderait à mieux comprendre les nuances de la langue historique.

Lorsque l'équipe a testé ces modèles sur le même type de documents sur lesquels ils avaient été entraînés, les résultats ont été impressionnants. Le modèle entraîné avec un mélange de données réelles et synthétiques, spécifiquement la version qui comprenait trente pour cent d'exemples synthétiques, a atteint un haut niveau de précision, identifiant correctement les noms et les lieux dans la vaste majorité des cas. Cette performance était nettement supérieure à celle d'un ancien style de modèle informatique qui reposait sur des structures mathématiques différentes. Cependant, le véritable test est venu lorsque les chercheurs ont demandé aux modèles de lire des documents historiques complètement nouveaux qui ne faisaient pas partie de leur entraînement. Ces nouveaux textes comprenaient un testament de l'an 1500, un manuscrit d'une église de Vienne écrit en 1778, et un ensemble de chartes royales du milieu du XIVe siècle. Ces documents représentaient des époques et des styles d'écriture différents, poussant les modèles à vérifier s'ils avaient réellement appris la langue ou s'ils avaient simplement mémorisé les exemples d'entraînement.

Les résultats ont montré que les modèles entraînés sur des données synthétiques étaient beaucoup plus adaptables que les anciens systèmes. Le modèle utilisant cinquante pour cent de données synthétiques s'est avéré être le plus fiable à travers tous les nouveaux documents, maintenant un haut niveau de précision même face aux textes les plus anciens et les plus stylistiquement différents. Bien que le modèle entraîné avec trente pour cent de données synthétiques ait été légèrement plus performant sur les textes familiers, la version à cinquante pour cent a géré les textes inconnus avec une plus grande cohérence. Cela suggère que l'ajout d'une quantité modérée d'exemples synthétiques aide l'ordinateur à construire une compréhension plus flexible de la langue, lui permettant de reconnaître des schémas même lorsque l'orthographe ou le contexte change. Les chercheurs ont constaté que les modèles étaient particulièrement doués pour identifier les noms de personnes, qui apparaissaient fréquemment dans les données d'entraînement, mais qu'ils éprouvaient encore de légères difficultés avec les noms de lieux et les références de groupes, qui étaient plus rares et plus variés.

L'étude conclut que la génération d'exemples synthétiques est un outil puissant pour apprendre aux ordinateurs à lire des textes historiques, mais qu'il ne s'agit pas d'une solution miracle universelle. La quantité de données synthétiques compte ; trop peu pourrait ne pas aider suffisamment, tandis que trop pourrait introduire du bruit qui confondrait le modèle. Les meilleurs résultats sont venus d'une approche équilibrée, où les données synthétiques complétaient les archives historiques réelles sans les submerger. En rendant leurs modèles entraînés et les données qu'ils utilisent accessibles au public, les chercheurs ont fourni un nouvel outil pour les humanités numériques. Ce travail démontre qu'avec la bonne combinaison d'expertise historique et d'intelligence artificielle moderne, nous pouvons commencer à déverrouiller les noms et les lieux cachés au sein de siècles de documents manuscrits, rendant le passé plus accessible tant aux chercheurs qu'au public curieux.