Dzongkha Next Word Prediction System

Stel je voor dat je een verhaal probeert te typen in het Dzongkha, de nationale taal van Bhutan. Het is een prachtig schrift, maar typen is als het bouwen van een huis uit kleine, ingewikkelde Lego-steentjes waarbij elke enkele lettergreep een dozijn verschillende toetsaanslagen vereist. Het is traag, frustrerend en het is gemakkelijk om een fout te maken. De auteurs van dit artikel, een team studenten van het College of Science and Technology in Bhutan, stelden een eenvoudige vraag: "Kunnen we een digitale assistent bouwen die het volgende woord dat je wilt typen raadt, zodat je niet zoveel toetsen hoeft in te drukken?"

Ze raadden niet alleen maar; ze bouwden een brein voor een computer om deze taal te leren. Ze voerden het een enorme bibliotheek van 100.000 zinnen van de Dzongkha Development Commission. Dat zijn meer dan 1,3 miljoen woorden en bijna 28.000 unieke woorden die de computer moest onthouden. Voordat de computer kon leren, moest het team de data opschonen, door getallen en speciale symbolen die niet bij de woorden hoorden te verwijderen, en de zinnen op te delen in kleine stukjes genaamd tokens, alsof je een zin verandert in een reeks unieke ID-nummers.

Om de computer te onderwijzen, probeerden ze drie verschillende soorten "neurale netwerken", die als verschillende soorten studentenbreinen fungeren. Ze testten een LSTM, een Bi-LSTM en een GRU. Denk aan deze als drie verschillende studiegroepen. De LSTM was als een student die hard studeerde maar een beetje in de war raakte door de enorme hoeveelheid materiaal. De Bi-LSTM was iets beter, omdat deze de zin vanuit beide richtingen bekijkt, maar had nog steeds moeite om het tempo bij te houden met de enorme dataset.

De echte ster van de show was de GRU. De auteurs beschrijven de GRU als "lichtgewicht", wat zoiets is als zeggen dat het een behendige atleet is die een marathon kan rennen zonder buiten adem te raken, in tegen tegenstelling tot de zwaardere, tragere modellen. Toen ze alle drie de modellen trainden op de volledige dataset van 100.000 zinnen, was de GRU de uitblinkende presteerder. Terwijl de andere modellen aanvankelijk een aanvaardbare nauwkeurigheid vertoonden op kleinere datasets (waarbij de LSTM 73,79% bereikte), hadden ze problemen met overfitting wanneer de omvang van de data toenam. Na het verfijnen van de hyperparameters voor de 100k-dataset, daalde de nauwkeurigheid van de LSTM naar 60% en bereikte de Bi-LSTM 70,79%. De GRU bereikte echter niet alleen de hoogste nauwkeurigheid van 74,03%, maar loste ook het probleem van overfitting op specifiek binnen de context van het trainen op deze grote 100k-dataset, wat betekent dat het nieuwe woorden die het nog niet eerder had gezien met veel grotere betrouwbaarheid kon voorspellen dan zijn tegenhangers onder die specifieke omstandigheden.

De resultaten werden gemeten met kille, harde cijfers. De LSTM behaalde een nauwkeurigheid van 60%, en de Bi-LSTM bereikte 70,79%. Maar het GRU-model haalde een nauwkeurigheid van 74,03%. Dat klinkt misschien niet als een perfecte score, maar in de wereld van het voorspellen van taal is het een solide overwinning. Het artikel merkt expliciet op dat terwijl de andere modellen worstelden met overfitting op de grotere dataset, de GRU dit probleem oploste, wat betekent dat het nieuwe woorden die het nog niet eerder had gezien met veel grotere betrouwbaarheid kon voorspellen.

Het team stopte niet bij alleen de cijfers. Ze bouwden een heel systeem rondom dit winnende model. Ze ontwierpen een gebruiksvriendelijke interface (met behulp van tools zoals Figma en Django) zodat wanneer een persoon een paar woorden typt, het systeem het volgende woord kan suggeren, wat het aantal benodigde toetsaanslagen vermindert. Ze vermelden zelfs dat ze hun computerhardware moesten upgraden naar een krachtige GPU (een Nvidia RTX 3090) om de training aan te kunnen, omdat de kleinere computers waarmee ze begonnen de enorme dataset niet konden bevatten.

Uiteindelijk suggereert het artikel dat dit op GRU gebaseerde systeem een veelbelovende oplossing is om typen in het Dzongkha sneller en minder foutgevoelig te maken. Het is geen toverstaf die alles direct oplost, maar het is een belangrijke stap voorwaarts. De auteurs zijn voorzichtig in hun bewering dat dit een "veelbelovend resultaat" is en dat ze van plan zijn hun webapp in de toekomst om te zetten in een downloadbaar softwarepakket om het nog nuttiger te maken voor schrijvers en sprekers van de taal. Ze hebben bewezen dat een computer, met het juiste model en voldoende data, kan leren om mensen te helpen hun moedertaal gemakkelijker te spreken.