Dzongkha Next Word Prediction System

Imagine que você está tentando digitar uma história em Dzongkha, a língua nacional do Butão. É um script lindo, mas digitar nele é como tentar construir uma casa com peças de Lego minúsculas e intrincadas, onde cada sílaba precisa de uma dúzia de diferentes pressões de teclas. É lento, frustrante e é fácil cometer um erro. Os autores deste artigo, uma equipe de estudantes do College of Science and Technology no Butão, fizeram uma pergunta simples: "Podemos construir um assistente digital que adivinhe a próxima palavra que você quer digitar, para que você não precise pressionar tantas teclas?"

Eles não apenas adivinharam; eles construíram um cére-digital para o computador aprender esta língua. Eles alimentaram o sistema com uma biblioteca massiva de 100.000 frases da Dzongkha Development Commission. Isso representa mais de 1,3 milhão de palavras e quase 28.000 palavras únicas que o computador teve que memorizar. Antes que o computador pudesse aprender, a equipe teve que limpar os dados, removendo números e símbolos especiais que não pertenciam às palavras, e decompondo as frases em pequenos pedaços chamados tokens, como transformar uma frase em uma sequência de números de identificação únicos.

Para ensinar o computador, eles testaram três tipos diferentes de "redes neurais", que são como diferentes estilos de cérebros de estudantes. Eles testaram um LSTM, um Bi-LSTM e um GRU. Pense nisso como três grupos de estudo diferentes. O LSTM era como um aluno que estudou muito, mas ficou um pouco confuso com o volume imenso de material. O Bi-LSTM foi um pouco melhor, olhando para a frase de ambas as direções, mas ainda lutava para acompanhar o enorme conjunto de dados.

A verdadeira estrela do show foi o GRU. Os autores descrevem o GRU como "leve", o que é como dizer que ele é um atleta ágil que consegue correr uma maratona sem ficar ofegante, ao contrário dos modelos mais pesados e lentos. Quando treinaram os três modelos no conjunto completo de dados de 100.000 frases, o GRU foi o desempenho de destaque. Embora os outros modelos tenham mostrado inicialmente uma precisão aceitável em conjuntos de dados menores (onde o LSTM atingiu 73,79%), eles enfrentaram problemas de overfitting à medida que o tamanho dos dados aumentava. Após o ajuste fino dos hiperparâmetros para o conjunto de dados de 100k, o LSTM caiu para 60% de precisão e o Bi-LSTM atingiu 70,79%. O GRU, no entanto, não apenas alcançou a maior precisidade de 74,03%, mas também resolveu o problema de overfitting especificamente dentro do contexto de treinamento neste grande conjunto de dados de 100k, o que significa que ele podia prever novas palavras que não tinha visto antes com muito mais confiabilidade do que seus equivalentes sob essas condições específicas.

Os resultados foram medidos com números frios e concretos. O LSTM conseguiu uma precisão de 60%, e o Bi-LSTM atingiu 70,79%. Mas o modelo GRU alcançou 74,03% de precisão. Isso pode não parecer uma pontuação perfeita, mas no mundo da previsão de linguagem, é uma vitória sólida. O artigo observa explicitamente que, enquanto os outros modelos lutavam contra o overfitting no conjunto de dados maior, o GRU resolveu esse problema, o que significa que ele podia prever novas palavras que não tinha visto antes com muito mais confiabilidade.

A equipe não parou apenas nos números. Eles construíram todo um sistema em torno deste modelo vencedor. Eles projetaram uma interface amigável (usando ferramentas como Figma e Django) para que, quando uma pessoa digita algumas palavras, o sistema possa sugerir a próxima, reduzindo o número de toques de teclas necessários. Eles até mencionam que tiveram que atualizar o hardware de seus computadores para uma GPU poderosa (uma Nvidia RTX 3090) apenas para lidar com o treinamento, porque os computadores menores com os quais começaram não conseguiam suportar o enorme conjunto de dados.

No final, o artigo sugere que este sistema baseado em GRU é uma solução promissora para tornar a digitação em Dzongkha mais rápida e menos propensa a erros. Não é uma varinha mágica que conserta tudo instantaneamente, mas é um passo significativo à frente. Os autores são cuidadosos ao dizer que este é um "resultado promissor" e que planejam transformar seu aplicativo web em um pacote de software para download no futuro para torná-lo ainda mais útil para escritores e falantes da língua. Eles provaram que, com o modelo certo e dados suficientes, um computador pode aprender a ajudar os humanos a falar sua língua nativa com mais facilidade.