The Morphological Core of Dungan: A Two-Dialect Finite-State Model and a Multi-Genre Evaluation

Imaginez que vous êtes un détective tentant de résoudre un mystère, mais au lieu d'une scène de crime, votre scène de crime est une langue. Ce document vit dans le monde de la linguistique computationnelle, un domaine où les scientifiques construisent des outils numériques pour comprendre comment fonctionnent les langues humaines. Pour résoudre le mystère, ils utilisent un type spécifique d'outil appelé modèle à états finis. Considérez ce modèle comme un catalogue de bibliothèque extrêmement organisé ou un plan de station de métro. Il ne cherche pas à comprendre le sens d'une phrase comme le ferait un humain ; il vérifie simplement si un mot correspond à un motif spécifique. Il demande : « Est-ce que ce mot possède une racine (la partie principale) et un suffixe (un petit morceau ajouté à la fin) ? » Si le motif correspond, l'outil dit : « Compris ! » Sinon, il dit : « Je ne connais pas celui-là. »

Pourquoi est-ce que cela intéresse quelqu'un ? Parce que pour de nombreuses langues, nous avons des dictionnaires et des livres de grammaire, mais nous n'avons pas ces cartes numériques. Sans elles, les ordinateurs ne peuvent pas traduire, vérifier l'orthographe ou effectuer des recherches dans les textes de ces langues efficacement. La question que ce document aborde est simple mais délicate : quelle part d'une langue est réellement constituée de ces petits morceaux structurés, et quelle part est simplement une liste géante de mots uniques ? Si une langue est principalement faite de motifs, la « carte » peut être petite et ordonnée. Si elle est principalement faite de mots uniques, la « carte » doit être immense.

---

Le Mystère de la Langue Dungan

Rencontrez le Dungan, une langue parlée par une communauté de musulsans d'Asie centrale qui s'y sont installés il y a plus de cent ans. C'est un cousin du mandarin chinois, mais avec une particularité : au lieu d'utiliser les caractères chinois, ils l'écrivent en utilisant l'alphabet cyrillique (le même script utilisé pour le russe). Parce qu'ils ont abandonné les caractères et les tons musicaux qui aident habituellement à distinguer les mots, le dungan est un peu comme une partie de « Qui est-ce ? » où beaucoup de personnages se ressemblent exactement sur papier.

Les auteurs de ce document, Anton et Sergey, ont décidé de construire une « carte » numérique (un analyseur à états finis) pour le dungan afin de voir exactement comment sa grammaire fonctionne en réalité. Ils ne voulaient pas inventer de nouvelles règles ; ils voulaient prendre les règles déjà écrites dans les vieux livres de grammaire et les transformer en une machine fonctionnelle pour mesurer la langue. Ils ont construit cette carte pour deux dialectes principaux : la variété Gansu (la version littéraire standard) et la variété Shaanxi.

La Grande Découverte : Un Noyau Minuscule et un Lexique Immense

Lorsqu'ils ont passé leur carte sur des milliers de phrases provenant de trois types de textes différents (encyclopédies, contes populaires et récits religieux), ils ont découvert quelque chose de surprenant.

1. La Grammaire « Invisible »
Dans beaucoup de langues, les mots changent constamment de forme (comme « marcher » devenant « marchait », « marchant », « marche »). En dungan, cela arrive très rarement. Les auteurs ont découvert que dans le texte de l'encyclopédie, seulement 9,3 % des mots possédaient réellement un « suffixe » visible attaché à eux. Dans les contes populaires, c'était 13,4 %, et dans le récit religieux, c'était 27,1 %.

• L'analogie : Imaginez une ville où 90 % des bâtiments sont de simples blocs nus, sans décoration. Seuls quelques-uns possèdent des drapeaux ou des décorations sur le dessus. La « grammaire » du dungan, ce sont ces quelques drapeaux. La plupart du temps, les mots restent là, inchangés.

2. L'Ambiguïté des « Deux Clitiques »
Parce que si peu de mots changent, lorsqu'ils le font, cela peut devenir confus. Les auteurs ont découvert que 78,1 % des mots reconnus par l'outil n'avaient qu'un seul sens possible. C'est un signal très clair ! Cependant, le reste de la confusion était presque entièrement bloqué sur seulement deux petits morceaux de mots (clitiques) : -di et -ni.

• L'analogie : Imaginez un feu de signalisation qui fonctionne parfaitement 78 % du temps. Le seul moment où il devient déroutant, c'est quand la lumière reste bloquée sur « Jaune » ou « Rouge », et que personne ne sait si cela signifie « Arrêt » ou « Passage ». En dungan, le petit morceau -di peut signifier « appartenant à » (génitif) ou « en train de se passer » (progressif), et -ni peut signifier « dans un lieu » (locatif) ou « va bientôt arriver » (prospectif). L'ordinateur ne peut pas faire la distinction sans plus de contexte, mais au moins, il sait où se trouve la confusion.

3. Le Noyau « Fermé »
La découverte la plus importante concerne la « complétude » de leur carte. Ils ont demandé : « Quand l'ordinateur ne parvient pas à reconnaître un mot, est-ce parce que la règle grammaticale est manquante, ou parce que le mot lui-même est nouveau ? »
Ils ont découvert que entre 78 % et 95 % des mots que l'ordinateur n'a pas pu traiter étaient simplement absents du dictionnaire. Les règles grammaticales elles-mêmes étaient en fait « fermées » et complètes. Les éléments que le modèle n'incluait pas (comme certaines habitudes de passé rares ou des changements de sons spécifiques) ne représentaient au plus que 4,5 % des échecs.

• L'analogie : Imaginez que vous essayez d'identifier des animaux dans un zoo. Vous avez un guide parfait pour reconnaître un lion, un tigre ou un ours. Si vous voyez un animal que vous ne connaissez pas, c'est presque certainement parce qu'il s'agit d'une nouvelle espèce que vous n'avez jamais vue, et non parce que votre guide manque d'une règle sur la façon dont les lions marchent. La « frontière » du dungan n'est pas la grammaire, c'est le vocabulaire.

Ce que les Chiffres nous Disent

Les auteurs ont été très méticuleux pour mesurer exactement ce que leur outil pouvait faire.

• Couverture : Lorsqu'ils ont testé leur carte sur de nouveaux textes qu'elle n'avait jamais vus, elle a reconnu avec succès 80 à 85 % des mots.
• Le Pouvoir de la Morphologie : S'ils avaient simplement utilisé une liste de mots sans aucune règle grammaticale, ils auraient reconnu 67,4 % des mots. En ajoutant les règles de grammaire (la « morphologie »), ils ont augmenté ce chiffre à 72,6 %. Cela représente un gain de 5,2 points. C'est un coup de pouce utile, mais cela prouve que la grammaire est « mince » — le plus gros du travail est effectué par la liste de mots, pas par les règles.
• Précision : Pour les mots qu'ils ont reconnus, l'outil était très bon pour trouver le bon sens, bien qu'il se soit parfois bloqué sur ces pièces délicates que sont -di et -ni.

La Conclusion : Une Carte pour l'Avenir

Le document conclut que le « noyau morphologique » du dungan est compact, productif dans seulement quelques catégories, et effectivement fermé. La grammaire est simple et achevée ; le défi consiste simplement à apprendre tous les mots.

Les auteurs ont publié leur « carte » (l'analyseur), le code et les tests pour que quiconque puisse les utiliser. Ils admettent que leur travail est une hypothèse basée sur des livres et des dictionnaires écrits, et non un verdict final de locuteurs natifs. Ils ont même inclus une « feuille de travail » pour que les locuteurs natifs puissent intervenir et corriger d'éventuelles erreurs. C'est un point de départ, une fondation numérique construite pour aider les ordinateurs à enfin comprendre cette langue unique écrite en cyrillique. La frontière ouverte n'est pas la règle du jeu, mais les joueurs eux-mêmes.