The Morphological Core of Dungan: A Two-Dialect Finite-State Model and a Multi-Genre Evaluation

Imagine que você é um detetive tentando resolver um mistério, mas em vez de uma cena de crime, sua cena de crime é uma língua. Este artigo vive no mundo da linguística computacional, um campo onde cientistas constroem ferramentas digitais para entender como as línguas humanas funcionam. Para resolver o mistério, eles usam um tipo específico de ferramenta chamado modelo de estados finitos. Pense neste modelo como um catálogo de fichas de uma biblioteca super organizada ou um mapa de uma estação de trem. Ele não tenta entender o sentido de uma frase como um humano faz; em vez disso, ele apenas verifica se uma palavra se encaixa em um padrão específico. Ele pergunta: "Esta palavra tem um radical (a parte principal) e uma etiqueta (um pequeno pedaço adicionado ao final)?" Se o padrão coincidir, a ferramenta diz: "Entendido!" Se não, ela diz: "Não conheço esta aqui."

Por que alguém se importa com isso? Porque para muitas línguas, temos dicionários e livros de gramática, mas não temos esses mapas digitais. Sem eles, os computadores não conseguem traduzir, verificar a ortografia ou pesquisar textos nessas línguas de forma eficaz. A questão que este artigo aborda é simples, mas complexa: Quanto de uma língua é realmente feito desses pequenos pedaços padronizados e quanto é apenas uma lista gigante de palavras únicas? Se uma língua é composta majoritariamente por palavras únicas, o "mapa" precisa ser enorme. Se for composta majoritariamente por padrões, o mapa pode ser pequeno e organizado.

---

O Mistério da Língua Dungan

Conheça o Dungan, uma língua falada por uma comunidade de muçulmanos da Ásia Central que se mudou para lá há mais de cem anos. É um "primo" do mandarim chinês, mas com um toque: em vez de usar caracteres chineses, eles a escrevem usando o alfabeto cirílico (o mesmo alfabeto usado no russo). Como eles abandonaram os caracteres e os tons musicais que geralmente ajudam a distinguir as palavras, o Dgan é um pouco como um jogo de "Quem é Quem?" onde muitos caracteres parecem exatamente iguais no papel.

Os autores deste artigo, Anton e Sergey, decidiram construir um "mapa" digital (um analisador de estados finitos) para o Dungan para ver exatamente como sua gramática funciona na vida real. Eles não queriam inventar novas regras; queriam pegar as regras já escritas em livros de gramática antigos e transformá-las em uma máquina funcional para medir a língua. Eles construíram este mapa para dois dialetos principais: a variedade Gansu (a versão literária padrão) e a variedade Shaanxi.

A Grande Descoberta: Um Núcleo Pequeno e um Léxico Gigante

Quando rodaram seu mapa sobre milhares de frases de três tipos diferentes de textos (enciclopédias, contos folclóricos e narrativas religiosas), eles descobriram algo surpreendente.

1. A Gramática "Invisível"
Em muitas línguas, as palavras mudam de forma constantemente (como "caminhar" tornando-se "caminhou", "caminhando", "caminha"). No Dungan, isso acontece muito raramente. Os autores descobriram que, no texto da enciclopédia, apenas 9,3% das palavras tinham de fato uma "etiqueta" visível anexada a elas. Nos contos folclóricos, era 13,4%, e na narrativa religiosa, era 27,1%.

• A Analogia: Imagine uma cidade onde 90% dos edifícios são apenas blocos simples e sem adornos. Apenas alguns têm bandeiras ou decorações especiais no topo. A "gramática" do Dungan são essas poucas bandeiras. Na maior parte do tempo, as palavras apenas ficam lá, inalteradas.

2. A Ambiguidade dos "Dois Clíticos"
Como poucas palavras mudam, quando elas realmente mudam, pode haver confusão. Os autores descobriram que 78,1% das palavras que a ferramenta reconheceu tinham apenas um significado possível. Esse é um sinal muito claro! No entanto, a confusão restante estava quase inteiramente presa em apenas dois pequenos pedaços de palavras (clíticos): -di e -ni.

• A Analogia: Imagine um semáforo que funciona perfeitamente 78% do tempo. A única vez que fica confuso é quando a luz trava no "Amarelo" ou no "Vermelho", e ninguém sabe se significa "Pare" ou "Siga". No Dungan, o pequeno pedaço -di pode significar "pertencente a" (genitivo) ou "acontecendo agora" (progressivo), e -ni pode significar "em um lugar" (locativo) ou "acontecerá em breve" (prospectivo). O computador não consegue distinguir a diferença sem mais contexto, mas pelo menos sabe onde está a confusão.

3. O Núcleo "Fechado"
A descoberta mais importante é sobre o quão "completo" é o mapa deles. Eles perguntaram: "Quando o computador falha em reconhecer uma palavra, é porque a regra gramatical está faltando ou porque a própria palavra é nova?"
Eles descobriram que entre 7% e 95% das palavras que o computador não conseguiu lidar eram simplesmente ausentes do dicionário. As próprias regras gramaticais eram, na verdade, "fechadas" e completas. As coisas que o modelo não incluiu (como alguns hábitos de passado raros ou mudanças sonoras específicas) representavam no máximo 4,5% das falhas.

• A Analogia: Imagine que você está tentando identificar animais em um zoológico. Você tem um guia perfeito de como identificar um leão, um tigre ou um urso. Se você vê um animal que não conhece, é quase certamente porque é uma nova espécie que você ainda não viu, não porque seu guia está faltando uma regra sobre como os leões caminham. A "fronteira" do Dungan não é a gramática; é o vocabulário.

O Que os Números Nos Dizem

Os autores foram muito cuidadosos ao medir exatamente o que sua ferramenta poderia fazer.

• Cobertura: Quando testaram seu mapa em novos textos que nunca tinha visto antes, ele reconheceu com sucesso 80–85% das palavras.
• O Poder da Morfologia: Se eles tivessem usado apenas uma lista de palavras sem quaisquer regras gramaticais, teriam reconhecido 67,4% das palavras. Ao adicionar as regras gramaticais (a "morfologia"), eles aumentaram esse número para 72,6%. Isso é um ganho de 5,2 pontos. É um aumento útil, mas prova que a gramática é "fina" — o trabalho pesado é feito pela lista de palavras, não pelas regras.
• Precisão: Para as palavras que eles realmente reconheceram, a ferramenta foi muito boa em encontrar o significado correto, embora às vezes tenha ficado presa naqueles complicados pedaços -di e -ni.

A Conclusão: Um Mapa para o Futuro

O artigo conclui que o "núcleo morfológico" do Dungan é compacto, produtivo em apenas algumas categorias e efetivamente fechado. A gramática é simples e terminada; o desafio é apenas aprender todas as palavras.

Os autores disponibilizaram seu "mapa" (o analisador), o código e os testes para que qualquer pessoa possa usar. Eles admitem que seu trabalho é uma hipótese baseada em livros e dicionários escritos, não um veredito final de falantes nativos. Eles até incluíram uma "planilha de trabalho" para que falantes nativos possam participar e corrigir quaisquer erros. É um ponto de partida, uma fundação digital construída para ajudar computadores a finalmente entender esta língua única, escrita em cirílico. A fronteira aberta não é o conjunto de regras do jogo; são os próprios jogadores.