The Morphological Core of Dungan: A Two-Dialect Finite-State Model and a Multi-Genre Evaluation

Immaginate di essere un detective che cerca di risolvere un mistero, ma invece di una scena del crimine, la vostra scena del crimine è una lingua. Questo articolo vive nel mondo della linguistica computazionale, un campo in cui gli scienziati costruiscono strumenti digitali per capire come funzionano le lingue umane. Per risolvere il mistero, usano un tipo specifico di strumento chiamato modello a stati finiti. Pensate a questo modello come a un catalogo di una biblioteca super organizzato o alla mappa di una stazione ferroviaria. Non cerca di capire il significato di una frase come farebbe un essere umano; si limita a controllare se una parola si adatta a un determinato schema. Chiede: "Questa parola ha una radice (la parte principale) e un suffisto (un piccolo pezzetto aggiunto alla fine)?" Se lo schema corrisponde, lo strumento dice: "Preso!" Se non corrisponde, dice: "Non conosco questa parola."

Perché dovrebbe interessare a qualcuno? Perché per molte lingue abbiamo dizionari e libri di grammatica, ma non abbiamo queste mappe digitali. Senza di esse, i computer non possono tradurre, correggere l'ortografia o cercare attraverso i testi in quelle lingue in modo efficace. La domanda che questo articolo affronta è semplice ma complicata: Quanto di una lingua è effettivamente composto da questi piccoli pezzi strutturati e quanto è invece un elenco gigante di parole uniche? Se una lingua è composta principalmente da schemi, la "mappa" può essere piccola e ordinata. Se è composta principalmente da parole uniche, la "mappa" deve essere enorme.

---

Il Mistero della Lingua Dungan

Incontrate il Dungan, una lingua parlata da una comunità di musulmani dell'Asia Centrale che si è trasferita lì oltre cento anni fa. È una cugina del mandarino cinese, ma con una variante: invece di usare i caratteri cinesi, la scrivono usando l'alfabeto cirillico (lo stesso script usato per il russo). Poiché hanno abbandonato i caratteri e i toni musicali che di solito aiutano a distinguere le parole, il Dungan è un po' come un gioco di "Indovina Chi?" dove molti personaggi appaiono esattamente uguali sulla carta.

Gli autori di questo articolo, Anton e Sergey, hanno deciso di costruire una "mappa" digitale (un analizzatore a stati finiti) per il Dungan per vedere esattamente come funziona la sua grammatica nella realtà. Non volevano inventare nuove regole; volevano prendere le regole già scritte nei vecchi libri di grammatica e trasformarle in una macchina funzionante per misurare la lingua. Hanno costruito questa mappa per due dialetti: la varietà di Gansu (la versione letteraria standard) e la varietà di Shaanxi.

La Grande Scoperta: Un Nucleo Minuscolo e un Lessico Enorme

Quando hanno fatto girare la loro mappa su migliaia di frasi provenienti da tre diversi tipi di testi (enciclopedie, racconti popolari e narrazioni religiose), hanno scoperto qualcosa di sorprendente.

1. La Grammatica "Invisibile"
In molte lingue, le parole cambiano forma costantemente (come "camminare" che diventa "camminato", "camminando", "cammina"). Nel Dungan, questo accade molto raramente. Gli autori hanno scoperto che nel testo dell'enciclopedia, solo il 9,3% delle parole aveva effettivamente un "suffisso" visibile attaccato. Nei racconti popolari era il 13,4%, e nella narrazione religiosa era il 27,1%.

• L'Analogia: Immaginate una città in cui il 90% degli edifici sono solo blocchi semplici e non decorati. Solo pochi hanno bandiere speciali o decorazioni sulla cima. La "grammatica" del Dungan sono quelle poche bandiere. La maggior parte del tempo, le parole restano lì, invariate.

2. L'Ambiguità dei "Due Clitici"
Poiché così poche parole cambiano, quando lo fanno, può crearsi confusione. Gli autori hanno scoperto che il 78,1% delle parole che lo strumento ha riconosciuto aveva un solo significato possibile. Questo è un segnale molto chiaro! Tuttavia, la confusione rimanente era quasi interamente bloccata su soli due piccoli pezzi di parola (clitici): -di e -ni.

• L'Analogia: Immaginate un semaforo che funziona perfettamente il 78% delle volte. L'unico momento in cui crea confusione è quando la luce rimane bloccata sul "Giallo" o sul "Rosso", e nessuno sa se significhi "Stop" o "Via". Nel Dungan, il piccolo pezzo -di può significare "appartenenza a" (genitivo) o "in corso di svolgimento" (progressivo), e -ni può significare "in un luogo" (locativo) o "accadrà presto" (prospettivo). Il computer non può distinguere la differenza senza più contesto, ma almeno sa dove risiede la confusione.

3. Il Nucleo "Chiuso"
La scoperta più importante riguarda quanto sia "completa" la loro mappa. Si sono chiesti: "Quando il computer non riesce a riconoscere una parola, è perché manca la regola grammaticale o perché la parola stessa è nuova?"
Hanno scoperto che tra il 78% e il 95% delle parole che il computer non riusciva a gestire erano semplicemente mancanti dal dizionario. Le regole grammaticali stesse erano in realtà "chiuse" e complete. Le cose che il modello non includeva (come alcune rare abitudini al passato o specifici cambiamenti fonetici) rappresentavano al massimo il 4,5% dei fallimenti.

• L'Analogia: Immaginate di cercare di identificare animali in uno zoo. Avete una guida perfetta su come riconoscere un leone, una tigre o un orso. Se vedete un animale che non conoscete, è quasi certamente perché si tratta di una nuova specie che non avete ancora visto, non perché la vostra guida stia mancando di una regola su come cammina un leone. La "frontiera" del Dungan non è la grammatica; è il vocabolario.

Cosa ci dicono i Numeri

Gli autori sono stati molto attenti a misurare esattamente ciò che il loro strumento poteva fare.

• Copertura: Quando hanno testato la loro mappa su nuovi testi che non aveva mai visto, ha riconosciuto con successo l'80–85% delle parole.
• Il Potere della Morfologia: Se avessero usato solo un elenco di parole senza alcuna regola grammaticale, avrebbero riconosciuto il 67,4% delle parole. Aggiungendo le regole grammaticali (la "morfologia"), hanno aumentato quel numero al 72,6%. Si tratta di un incremento di 5,2 punti. È un aumento utile, ma dimostra che la grammatica è "sottile": il lavoro pesante è svolto dall'elenco delle parole, non dalle regole.
• Accuratezza: Per le parole che hanno riconosciuto, lo strumento è stato molto bravo a trovare il significato corretto, anche se a volte si è incagliato su quei problematici pezzi -di e -ni.

Conclusione: Una Mappa per il Futuro

L'articolo conclude che il "nucleo morfologico" del Dungan è compatto, produttivo solo in poche categorie ed efficacemente chiuso. La grammatica è semplice e conclusa; la sfida è solo imparare tutte le parole.

Gli autori hanno rilasciato la loro "mappa" (l'analizzatore), il codice e i test affinché chiunque possa usarli. Ammettono che il loro lavoro è un'ipotesi basata su libri e dizionari scritti, non un verdetto finale da parte di madrelingua. Hanno persino incluso una "scheda di lavoro" per consentire ai madrelingua di partecipare e correggere eventuali errori. È un punto di partenza, una base digitale costruita per aiutare i computer a comprendere finalmente questa lingua unica scritta in cirillico. La frontiera aperta non è nelle regole del gioco; sono i giocatori stessi.