Tangut Word Segmentation under Extreme Resource Scarcity: Integrating Traditional Lexicons and Unlabeled Text

On considère souvent le langage comme un flux de sons, mais pour de nombreux systèmes d'écriture, il commence par un flux de symboles. Dans la plupart des écritures modernes, les espaces ou la ponctuation indiquent au lecteur où un mot se termine et où le suivant commence. Cependant, certaines écritures anciennes n'utilisent pas ces indices visuels. Au lieu de cela, elles présentent une ligne continue de caractères, laissant le lecteur deviner où se situent les unités de sens. C'est le défi auquel sont confrontés les chercheurs étudiant le tangut, une langue qui fut autrefois l'écriture officielle de la dynastie Xixia en Chine, mais qui est éteinte depuis des siècles. Les textes survivants sont des fenêtres précieuses sur un monde perdu d'histoire et de culture, pourtant ils restent difficiles à lire car les mots n'y sont pas séparés. Sans moyen d'identifier automatiquement ces frontières de mots, les ordinateurs ne peuvent pas efficacement rechercher, traduire ou analyser ces documents historiques.

Pendant des décennies, les chercheurs se sont concentrés sur la simple reconnaissance des caractères individuels dans les manuscrits tanguts, transformant les images d'encre sur papier en texte numérique. Mais reconnaître un caractère n'est que la première étape ; comprendre la langue nécessite de savoir quels caractères vont ensemble pour former un mot. Cette tâche est exceptionnellement difficile car il n'existe plus de locuteurs natifs à consulter, et les rares experts capables de lire le tangut doivent s'appuyer sur une combinaison de contexte, de prononciation reconstruite et de dictionnaires anciens pour deviner où les mots commencent et finissent. La rareté des connaissances expertes et l'absence de grandes bibliothèques numériques font de cela un problème de pénurie extrême de ressources, où les outils habituels de l'intelligence artificielle moderne échouent souvent car ils nécessitent de vastes quantités de données étiquetées pour apprendre.

Une équipe de chercheurs a maintenant pris la première étape systématique vers la résolution de cette énigme en apprenant à un ordinateur comment segmenter les mots tanguts en utilisant une guidance humaine très limitée. Ils ont commencé avec une petite collection soigneusement organisée de 2 750 segments de texte, totalisant près de 32 000 mots, qui ont été divisés manuellement par des spécialistes. Ce jeu de données, tiré d'une écriture bouddhique et d'une encyclopédie séculière, a servi de fondation pour leur entraînement. Cependant, s'appuyer uniquement sur cette infime quantité de données étiquetées ne suffirait pas à construire un système robuste. Pour surmonter cela, les chercheurs ont combiné trois sources distinctes de connaissances : les exemples étiquetés par des experts, un dictionnaire traditionnel de mots tanguts et une vaste collection de textes tanguts non étiquetés qui n'avaient jamais été divisés en mots.

Les chercheurs ont conçu un système qui traite le dictionnaire non pas comme un livre de règles rigide, mais comme une source d'indices. Dans de nombreux cas, un seul caractère peut faire partie de plusieurs entrées de dictionnaire différentes, créant un réseau de possibilités chevauchantes. Au lieu de forcer l'ordinateur à choisir immédiatement un seul chemin, le système préserve tous ces candidats potentiels. Il utilise ensuite une méthode de « calibration de fiabilité » pour pondérer ces indices. En observant la fréquence à laquelle une entrée de dictionnaire apparaît dans le texte et la fréquence à laquelle elle correspond aux limites définies par l'expert, le système apprend à accorder plus ou moins de confiance à certaines entrées du dictionnaire. Cela empêche l'ordinateur de suivre aveuglément une entrée de dictionnaire qui pourrait être incorrecte pour le contexte spécifique du manuscrit.

Pour améliorer davantage sa compréhension, le système a également appris à partir du texte non étiqueté, qui contenait des centaines de milliers de caractères mais aucune division de mots. En analysant la fréquence à laquelle les caractères apparaissaient les uns à côté des autres et la variété de leurs voisins, le système a construit une carte statistique de la langue. Il a appris que certaines combinaisons de caractères apparaissent fréquemment ensemble, suggérant qu'elles forment un seul mot, tandis que d'autres apparaissent de manière plus aléatoire, suggérant une frontière entre elles. Cette intuition statistique a été combinée avec un réseau neuronal moderne, un type de programme informatique conçu pour reconnaître des motifs, qui a été pré-entraîné sur le texte non étiqueté pour comprendre le contexte des caractères avant même d'avoir vu les exemples étiquetés.

Les résultats de cette approche ont été significatifs. Testé sur des portions de texte inédites, le système a atteint un haut niveau de précision, identifiant correctement les frontières de mots dans plus de 91 pour cent des cas. Cette performance était notablement supérieure aux systèmes qui ne reposaient que sur la petite quantité de données étiquetées ou uniquement sur le dictionnaire. L'étude a révélé que la combinaison de la connaissance experte, des indices du dictionnaire et des motifs statistiques issus du texte non étiqueté était essentielle ; supprimer l'un de ces composants entraînait une chute des performances du système. Le système s'est également avéré particulièrement efficace pour reconnaître des mots qui ne figuraient pas dans les exemples d'entraînement, un défi courant dans les langues à faibles ressources, en utilisant les motifs statistiques et les connaissances du dictionnaire pour faire des suppositions éclairées.

L'une des découvertes les plus importantes fut que la capacité de généralisation du système dépendait fortement du type de texte qu'il lisait. S'il performait exceptionnellement bien sur l'encyclopédie séculière, qui constituait la majorité des données, il était légèrement moins précis sur l'écriture religieuse. Cela suggère que le système est encore en train d'apprendre à s'adapter à différents styles et vocabulaires au sein de la langue. Les chercheurs ont également noté que, bien que le système puisse identifier les frontières de mots avec une grande précision, la tâche consistant à assigner des étiquettes grammaticales à ces mots reste une étape préliminaire, car l'inventaire des types de mots est encore en cours de raffinement par les experts.

Ce travail représente une fondation cruciale pour l'avenir des études sur le tangut. En intégrant avec succès les ressources linguistiques traditionnelles aux techniques modernes d'apprentissage automatique, les chercheurs ont créé un outil qui peut aider les érudits à traiter et analyser ces textes anciens plus efficacement. Le système ne remplace pas le besoin d'experts humains, mais il constitue une aide puissante capable de gérer la tâche répétitive de la segmentation, permettant aux chercheurs de se concentrer sur des questions historiques et linguistiques plus profondes. Tandis que l'équipe continue d'étendre ses données annotées et de raffiner ses modèles, elle espère pouvoir éventuellement appliquer ces méthodes à une gamme plus large de documents, rapprochant ainsi la langue perdue de la dynastie Xixia d'une compréhension moderne.