The Morphological Core of Dungan: A Two-Dialect Finite-State Model and a Multi-Genre Evaluation

Stel je voor dat je een detective bent die een mysterie probeert op te lossen, maar in plaats van een plaats delict, is je plaats delict een taal. Dit artikel leeft in de wereld van de computationele taalkunde, een vakgebied waar wetenschappers digitale hulpmiddelen bouwen om te begrijpen hoe menselijke talen werken. Om het mysterie op te lossen, gebruiken ze een specif kind hulpmiddel dat een eindige-toestandsmodel (finite-state model) wordt genoemd. Denk aan dit model als een supergeorganiseerde bibliotheekkaart of een stationskaart. Het probeert niet de betekenis van een zin te begrijpen zoals een mens dat doet; het controleert alleen of een woord in een specifiek patroon past. Het vraat: "Heeft dit woord een stam (het hoofddeel) en een tag (een klein stukje dat aan het eind is toegevoegd)?" Als het patroon overeenkomt, zegt het hulpmiddel: "Begrepen!" Als dat niet zo is, zegt het: "Ik ken deze niet."

Waarom geeft iemand hierom? Omdat we voor veel talen wel woordenboeken en grammaticaboeken hebben, maar geen digitale kaarten zoals deze. Zonder deze kaarten kunnen computers niet effectief vertalen, spelling controleren of door teksten zoeken in die talen. De vraag die dit artikel aanpakt is simpel maar lastig: Hoeveel van een taal bestaat eigenlijk uit deze kleine, patroonmatige stukjes, en hoeveel is gewoon een enorme lijst met unieke woorden? Als een taal voornally uit unieke woorden bestaat, moet de "kaart" enorm zijn. Als het vooral uit patronen bestaat, kan de kaart klein en overzichtelijk zijn.

---

Het Mysterie van de Dungan-taal

Maak kennis met Dungan, een taal die wordt gesproken door een gemeenschap van Centraal-Aziatische moslims die daar meer dan honderd jaar geleden naartoe zijn verhuisd. Het is een neef van het Mandarijn Chinees, maar met een twist: in plaats van Chinese karakters gebruiken ze het Cyrillische alfabet (hetzelfde schrift als dat voor het Russisch). Omdat ze de karakters en de muzikale tonen die normaal gesproken helpen om woorden van elkaar te onderscheiden hebben losgelaten, is Dungan een beetje als een spelletje "Wie is het?" waarbij veel karakters op papier precies hetzelfde lijken.

De auteurs van dit artikel, Anton en Sergey, besloten een digitale "kaart" (een eindige-toestandsanalysator) voor Dungan te bouwen om precies te zien hoe de grammatica ervan in de praktijk werkt. Ze wilden geen nieuwe regels verzinnen; ze wilden de regels die al in oude grammaticaboeken stonden nemen en deze omzetten in een werkende machine om de taal te meten. Ze bouwden deze kaart voor twee belangrijke dialecten: de Gansu-variant (de standaard, literaire versie) en de Shaanxi-variant.

De Grote Ontdekking: Een Kleine Kern en een Enorm Lexicon

Toen ze hun kaart draaiden over duizenden zinnen uit drie verschillende soorten teksten (encylopediën, volksverhalen en religieuze narratieven), ontdekten ze iets verrassends.

1. De "Onzichtbare" Grammatica
In veel talen veranderen woorden constant van vorm (zoals "walk" dat "walked", "walking" of "walks" wordt). In het Dungan gebeurt dit zeer zelden. De auteurs ontdekten dat in de encyclopedietekst slechts 9,3% van de woorden daadwerkelijk een zichtbare "tag" aan zich had bevestigd. In volksverhalen was dit 13,4%, en in het religieuze narratief was het 27,1%.

• De Analogie: Stel je een stad voor waar 90% van de gebouwen gewoon kale, onversierde blokken zijn. Slechts enkelen hebben speciale vlaggen of decoraties bovenop. De "grammatica" van het Dungan zijn die enkele vlaggen. Meestal zitten de woorden er gewoon, onveranderd.

2. De "Twee-clitica" Ambiguïteit
Omdat zo weinig woorden veranderen, kan het verwarrend worden wanneer ze dat wél doen. De auteurs ontdekten dat 78,1% van de woorden die het hulpmiddel herkende, slechts één mogelijke betekenis had. Dat is een heel duidelijk signaal! Echter, de resterende verwarring zat bijna volledig vast aan slechts twee kleine woordstukjes (clitica): -di en -ni.

• De Analogie: Stel je een verkeerslicht voor dat 78% van de tijd perfect werkt. De enige keer dat het verwarrend wordt, is wanneer het licht op "Geel" of "Rood" blijft hangen, en niemand weet of het "Stop" of "Ga" betekent. In het Dungan kan het kleine stukje -di betekenen "behorend tot" (genitief) of "gebeurend op dit moment" (progressief), en -ni kan betekenen "in een plaats" (locatief) of "zal binnenkort gebeuren" (prospectief). De computer kan het verschil niet zien zonder meer context, maar het weet tenminste waar de verwarring zit.

3. De "Gesloten" Kern
De belangrijkste bevinding gaat over hoe "compleet" hun kaart is. Ze vroegen zich af: "Wanneer de computer een woord niet herkent, komt dat dan omdat de grammaticale regel ontbreekt, of omdat het woord zelf nieuw is?"
Ze ontdekten dat tussen de 78% en 95% van de woorden die de computer niet kon verwerken, simpelweg ontbraken in het woordenboek. De grammaticale regels zelf waren eigenlijk "gesloten" en compleet. De zaken die het model niet bevatte (zo zoals sommige zeldzame verleden tijd gewoontes of specifieke klankveranderingen) waren verantwoordelijk voor maximaal 4,5% van de fouten.

• De Analogie: Stel je voor dat je dieren probeert te identificeren in een dierentuin. Je hebt een perfecte gids voor hoe je een leeuw, een tijger of een beer herkent. Als je een dier ziet dat je niet kent, is dat bijna zeker omdat het een nieuwe soort is die je nog niet eerder hebt gezien, en niet omdat je gids een regel mist over hoe leeuwen lopen. De "grens" van het Dungan is niet de grammatica; het is de woordenschat.

Wat de Cijfers Ons Vertellen

De auteurs waren zeer zorgvuldig in het meten van wat hun hulpmiddel precies kon doen.

• Dekking: Toen ze hun kaart testten op nieuwe teksten die het nog nooit eerder had gezien, herkende het succesvol 80–85% van de woorden.
• De Kracht van Morfologie: Als ze alleen een lijst met woorden hadden gebruikt zonder enige grammaticale regels, zouden ze 67,4% van de woorden hebben herkend. Door de grammaticale regels (de "morfologie") toe te voegen, brachten ze dat aantal naar 72,6%. Dat is een winst van 5,2 procentpunt. Het is een nuttige boost, maar het bewijst dat de grammatica "dun" is—het zware werk wordt gedaan door de lijst met woorden, niet door de regels.
• Nauwkeurigheid: Voor de woorden die ze wel herkenden, was het hulpmiddel erg goed in het vinden van de juiste betekenis, hoewel het soms vastliep op die lastige -di en -ni stukjes.

De Conclusie: Een Kaart voor de Toekomst

Het artikel concludeert dat de "morfologische kern" van het Dungan compact, productief in slechts enkele categorieën en effectief gesloten is. De grammatica is eenvoudig en voltooid; de uitdaging is simpelweg het leren van alle woorden.

De auteurs hebben hun "kaart" (de analysator), de code en de tests vrijgegeven voor iedereen om te gebruiken. Ze geven toe dat hun werk een hypothese is gebaseerd op geschreven boeken en woordenboeken, en geen definitief oordeel van moedertaalsprekers. Ze hebben zelfs een "werkblad" opgenomen voor moedertaalsprekers om eventuele fouten te komen corrigeren. Het is een startpunt, een digitaal fundament dat is gebouwd om computers eindelijk dit unieke, in het Cyrillisch geschrevende taal te laten begrijpen. De open grens is niet de set regels van het spel; het zijn de spelers zelf.