💻 computer science

Swa-bhasha Resource Hub: Romanized Sinhala to Sinhala Transliteration Systems and Data Resources

Dit artikel introduceert het Swa-bhasha Resource Hub, een publiek toegankelijk platform dat een uitgebreide verzameling data en algoritmen biedt voor de transliteratie van geromaniseerd Sinhala naar Sinhala, ontwikkeld tussen 2020 en 2025, vergezeld van een vergelijkende analyse van bestaande hulpmiddelen ter bevordering van de Sinhala Natural Language Processing.

Oorspronkelijke auteurs: Deshan Sumanathilaka, Sameera Perera, Sachithya Dharmasiri, Maneesha Athukorala, Anuja Dilrukshi Herath, Rukshan Dias, Pasindu Gamage, Ruvan Weerasinghe, Y. H. P. P. Priyadarshana

Gepubliceerd 2026-04-28

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Deshan Sumanathilaka, Sameera Perera, Sachithya Dharmasiri, Maneesha Athukorala, Anuja Dilrukshi Herath, Rukshan Dias, Pasindu Gamage, Ruvan Weerasinghe, Y. H. P. P. Priyadarshana

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je de Sinhala-taal voor als een prachtige, ingewikkelde tuin. Decennialang hebben mensen in Sri Lanka geprobeerd deze tuin binnen te komen met een andere set sleutels: het Engelse toetsenbord. Omdat ze geen Sinhala-toetsenbord bij de hand hadden, begonnen ze Sinhala-geluiden te typen met Engelse letters. Ze noemden dit "Singlish" (geromaniseerd Sinhala).

Denk aan Singlish als een geheime code of een dialect van typefouten. Het is snel en handig, maar het is rommelig. Een woord getypt als "Adaraya" kan "Liefde" of "Hulp" betekenen, afhankelijk van de context. Het is alsof je "bat" typt en het kan het dier, het sportgereedschap of een werkwoord betekenen, en de computer geen idee heeft welke je bedoelt zonder de hele zin te lezen.

Dit artikel is een rapportkaart en een gereedschapskist van een team onderzoekers (het Swa-bhasha-team) dat jarenlang een brug heeft gebouwd om computers te helpen deze rommelige code te begrijpen en terug te zetten naar de juiste, prachtige Sinhala.

Hier is wat ze hebben gebouwd, eenvoudig uitgelegd:

1. Het Probleem: Het "Verdwaald in Vertaling"-Spel

Het team merkte op dat terwijl computers goed zijn in het vertalen van Engels naar Frans, ze moeite hebben met het vertalen van "Singlish" naar Sinhala.

De Rommel: Mensen typen verschillend. Sommigen slaan klinkers over (door "klna" te schrijven in plaats van "kalana"), sommigen gebruiken Engelse spellingregels, en sommigen mengen Engelse en Sinhala-woorden in dezelfde zin.
De Dubbelzinnigheid: De grootste hoofdpijn is dat één getypt woord meerdere betekenissen kan hebben. De computer moet een detective zijn om uit te zoeken welke betekenis past bij het verhaal.

2. De Gereedschapskist: Hoe Ze Het Oplossen

Het team bouwde niet slechts één gereedschap; ze bouwden een hele werkplaats met verschillende machines, die met elke generatie slimmer werden.

De Regelboek-Robot (Swa Bhasha 1.0):
- Hoe het werkte: Stel je een robot voor die een strikt instructiehandboek volgt. Als het een "k" ziet, weet het dat er een klinker moet volgen. Het gebruikt een "vage" zoekopdracht (zoals een spellingscontrole die raadt) om de dichtstbijzijnde overeenkomst in een woordenboek te vinden.
- Het Resultaat: Het was acceptabel, maar het had moeite wanneer mensen de regels braken (zoals het overslaan van klinkers).
De Hybride Detective (Swa Bhasha 2.0 & Het N-gram Model):
- Hoe het werkte: Ze combineerden de Regelboek-Robot met een "Statistische Detective". Deze detective keek naar miljoenen zinnen om patronen te leren. Het gebruikte een "Trie" (een slimme boomstructuur) om woorden voor te stellen, zoals de automatische aanvulling op een telefoon, maar dan voor Sinhala.
- Het Resultaat: Veel beter in het raden van het juiste woord, maar nog steeds verward door zeer lastige zinnen.
De Superlezer (BERT & Transformers):
- Hoe het werkte: Dit is het "Superlezer"-model van het team. In plaats van alleen naar individuele woorden te kijken, leest het de hele zin tegelijk, en begrijpt de context zoals een mens dat doet. Ze gebruikten een krachtig AI-model genaamd BERT (dat als een brein is dat het hele internet van Sinhala-tekst heeft gelezen).
- De Truc: Wanneer de AI een verwarrend woord zag, zette het een "masker" eroverheen en vroeg: "Op basis van de woorden voor en na dit woord, welk woord past hier het beste?"
- Het Resultaat: Dit was de kampioen. Het loste de dubbelzinnigheidsproblemen beter op dan eerdere methoden, en bereikte bijna perfecte nauwkeurigheid in tests.
De Code-Mixing Specialist:
- Hoe het werkte: Mensen mengen vaak Engels en Sinhala in één zin (bijvoorbeeld: "Ik ging naar de kade [winkel]"). Het team bouwde een speciaal model dat fungeert als een vertaler die beide talen vloeiend spreekt, en de mix afhandelt zonder verward te raken.

3. De Bibliotheek: De Data Die Ze Verzamelden

Je kunt een kind niet leren lezen zonder boeken, en je kunt geen AI leren zonder data. Het team realiseerde zich dat er geen goede "leerboeken" waren voor Singlish, dus schreven ze hun eigen boeken.

De "Swa-Bhasha" Bibliotheek: Ze verzamelden meer dan 7 miljoen woorden en duizenden zinnen uit het echte leven (zoals YouTube-opmerkingen en sociale media). Dit is alsof je elke rommelige notitie verzamelt die ooit door een Sri Lankan is geschreven om de computer te leren hoe echte mensen daadwerkelijk typen.
De "Dubbelzinnigheid"-Test: Ze creëerden een speciale quiz waarbij één woord twee betekenissen heeft. Ze testten hun AI hierop om te zien of het de juiste betekenis kon kiezen op basis van het verhaal.
De "Code-Gemengde" Collectie: Ze verzamelden voorbeelden van mensen die Engels en Sinhala mengden, een zeer gebruikelijke gewoonte die eerder door onderzoekers werd genegeerd.

4. De Resultaten: Wie Won de Wedstrijd?

Het team testte hun gereedschappen tegen andere methoden (zoals Google's tools of oudere regelgebaseerde systemen).

De Oude Weg: De oude regelgebaseerde systemen waren als een stijve leraar; ze faalden wanneer studenten de regels braken.
De Nieuwe Weg: De nieuwe "Superlezer" (BERT-gebaseerde) modellen waren als een wijze mentor. Ze begrepen de context en kregen het antwoord bijna elke keer goed.
De Score: In tests behaalde hun beste model een score van 91% (BLEU-score) en maakte zeer weinig fouten, terwijl oudere modellen veel meer fouten maakten.

5. Wat Komt Er Vervolgens?

Het team werkt momenteel aan een voorspellende tekst functie. Stel je een toetsenbord voor dat niet alleen vertaalt wat je hebt getypt, maar ook raadt wat je als volgende gaat typen, zelfs als je in een rommelige, persoonlijke stijl typt. Ze gebruiken een speciale leertechniek (Meta-Learning) zodat het toetsenbord je specifieke typgewoonten snel kan leren, zonder dat het je privégegevens op een server hoeft op te slaan.

Samenvatting

Het Swa-bhasha-team bouwde een brug tussen de rommelige, informele manier waarop Sri Lankanners typen op Engelse toetsenborden en het formele, prachtige Sinhala-script. Ze begonnen met simpele regelboeken, gingen over naar statistische detectives, en bouwden uiteindelijk een "Superlezer"-AI die context begrijpt. Ze bouwden ook de enorme databibliotheken die nodig zijn om deze AI's te leren. Hun werk bewijst dat met de juiste tools, zelfs een taal met weinig bronnen zoals Sinhala perfect door computers kan worden begrepen, zelfs wanneer mensen het in haast typen.

Belangrijke Opmerking: Het artikel richt zich strikt op de technologie van het vertalen van tekst en de data die wordt gebruikt om deze te trainen. Het claimt geen medische toepassingen, klinisch gebruik of specifieke toekomstige producten buiten de onderzoekstools en de open-source code die ze hebben vrijgegeven.

1. Probleemstelling

Het artikel adresseert de kritieke uitdaging van Backward Transliteratie (het converteren van Romanized Sinhala, of "Singlish", terug naar het native Sinhala-script).

Context: Met de opkomst van Web 2.0 en sociale media gebruiken bijna 13 miljoen Sri Lankaanse burgers Romanized Sinhala vanwege het gemak van Engels toetsenborden.
Kernuitdagingen:
- Gebrek aan Standaardisatie: Singlish mist standaardisatie, wat leidt tot ad-hoc typpatronen, spellingvariaties en structurele inconsistenties (bijv. weglaten van klinkers).
- Lexicale Ambiguïteit: Een enkel Romanized woord kan corresponderen met meerdere verschillende Sinhala-woorden met verschillende betekenissen, afhankelijk van de context (bijv. "Adaraya" kan liefde of hulp betekenen).
- Laag-Resource Status: Sinhala mist toegewijde linguïstische bronnen, benchmarks en datasets die specifiek zijn ontworpen om deze contextuele ambiguïteiten op te lossen.
Doel: Het ontwikkelen van robuuste, contextbewuste systemen en het leveren van uitgebreide datasets om Natural Language Processing (NLP) voor laag-resource talen te bevorderen.

2. Methodologie en Systemen

Het Swa-bhasha-team hanteerde een hybride evolutie van benaderingen, gaande van regelgebaseerde systemen naar geavanceerde deep learning-modellen.

A. Algorithmische Benaderingen

Regelgebaseerd met Fuzzy Logic (Swa Bhasha v1):
- Gebruik van Python, NLTK en fuzzywuzzy voor string-matching.
- Implementatie van een tweestapsproces: Tokenisatie/Letter Mapping (het converteren van letters naar numerieke waarden) gevolgd door Rule Mapping.
- Toepassing van specifieke regels om ontbrekende klinkers af te leiden op basis van medeklinkeraantallen en fonetische patronen, waarna kandidaten werden vergeleken met een native Sinhala-dataset.
Hybride Statistisch & Kennisgebaseerd (Swa-Bhasha v2):
- Combinatie van statistische N-gram tagging (Unigram/Bigram/Trigram) met regelgebaseerde transformatie (60 klinker/medeklinker-regels, 18 hal-marker regels).
- Integratie van een Trie-datastructuur (binaire boom) voor efficiënte, contextbewuste woordsuggesties en ontmaskering.
- Gebruik van een post-processing-module om tokens op te lossen waar statistische tagging faalde.
Neurale Machine Vertaling (NMT) & Hybride (Swa Bhasha 2.0):
- Combinatie van regelgebaseerde fonetische codering met Seq2Seq-modellen met Gated Recurrent Units (GRUs) en attention-mechanismen.
- Integratie van een Suffix Tree voor een kennisgebaseerd suggestie-algoritme om woordkeuze-ambiguïteit aan te pakken.
Transformer-gebaseerde Contextuele Ontmaskering (BERT):
- Architectuur: Gebruik van een voorgeöorde Sinhala BERT-model (fine-tuned op de Dakshina-dataset).
- Mechanisme:
  - Invoer Singlish wordt gemapt naar kandidaten; ambiguïteitswoorden worden vervangen door een [MASK]-token.
  - Het systeem genereert alle mogelijke zinskandidaten door masks te vervangen door kandidaatwoorden.
  - Scoren: BERT scoort elke kandidaatzin op basis van contextuele waarschijnlijkheid (met softmax op logits). De hoogst gescoorde zin wordt geselecteerd.
- Optimalisatie: Om de rekenkosten van meerdere masks te hanteren, gebruikt het systeem kandidaatwoordreductie (filteren op tokenizer-vocabulaire) en chunking (het splitsen van lange zinnen in overlappende segmenten).
Code-Mixed Vertaling (LoRA & LLMs):
- Ontwikkeling van een hybride pijplijn voor Code-Mixed Romanized Sinhala (Singlish + Engels).
- Pijplijn: LoRA fine-tuned mBART50 model $\rightarrow$ Regex post-processing $\rightarrow$ LLM-gebaseerde post-editing (met Gemini-3 Flash) met woorduitlijning om complexe code-mixing en zero-width space-problemen op te lossen.

B. Data Bronnen

Het team creëerde verschillende hoogwaardige datasets om deze modellen te ondersteunen:

Swa-Bhasha Dataset: Bevat ~7,13 miljoen Romanized Sinhala-woorden afgeleid van 440.024 unieke Sinhala-wortels. Omvat zinsparen van sociale media en een specifieke Transliteration Disambiguation (WSD) subset.
IndoNLP Evaluation Dataset: Twee testsets (Algemeen en Ad-hoc typpatronen) gebruikt voor gedeelde taken.
Augmented Romanized Dataset: ~7,24 miljoen gestandaardiseerde zinsparen voor formeel taalmodelleren.
Transliteration Disambiguation (TD) Dataset: Een gespecialiseerde dataset met 660 zinsparen gericht op binaire ambiguïteit (één Romanized woord $\rightarrow$ twee verschillende Sinhala-betekenis).
SinMix2Mono Dataset: 25.000 rijen Code-Mixed Romanized Sinhala, verdeeld in training, gouden evaluatie en ambiguïteit subsets.

3. Belangrijkste Bijdragen

Open-Source Ecosysteem: Alle algoritmen, modellen en datasets (gehost op Hugging Face, Kaggle en GitHub) zijn vrijgegeven aan de onderzoeksgemeenschap.
State-of-the-Art Modellen: Ontwikkeling en fine-tuning van Transformer-gebaseerde modellen (BERT, mBART, XLM-R) die traditionele regelgebaseerde systemen aanzienlijk overtreffen.
Gespecialiseerde Datasets: Creëren van de eerste toegewijde datasets voor Transliteration Disambiguation en Code-Mixed Sinhala, waarmee een grote kloof in laag-resource NLP wordt gedicht.
Hybride Architecturen: Aantonen dat het combineren van regelgebaseerde fonetische logica met deep learning (NMT/Transformers) superieure resultaten oplevert voor het verwerken van informeel, ad-hoc typen.
Aangepaste Tokenisatie: Ontwikkeling van een aangepaste Byte-Pair Encoding (BPE) tokenizer (si_rom) specifiek voor Romanized Sinhala om modelprestaties te verbeteren.

4. Resultaten en Evaluatie

De systemen werden geëvalueerd met Word Error Rate (WER), Character Error Rate (CER), BLEU, F1 Score en BERTScore.

Transliteratie Nauwkeurigheid:
- Perera et al. (2025) [BERT-gebaseerd]: Bereikte de beste prestaties met WER ~0,09, CER ~0,02 en BLEU ~0,91 op de IndoNLP-dataset. Dit bevestigt dat Transformer-modellen uitblinken in contextuele nauwkeurigheid.
- Vergelijking: Regelgebaseerde systemen (bijv. De Mel et al.) hadden hoge foutpercentages (WER ~0,67), terwijl hybride N-gram modellen een matige verbetering toonden (WER ~0,23).
Ontmaskeringsprestaties:
- F1 Scores: Het Fine-tuned BERT-model behaalde een F1-score van 0,96 op de Disambiguation-dataset.
- Basislijn: Traditionele regelgebaseerde en hybride modellen hadden aanzienlijke moeite, met F1-scores variërend tussen 0,33 en 0,37, wat de noodzaak van contextuele embeddings voor ambiguïteitsoplossing onderstreept.
Code-Mixed Vertaling:
- Het SwaBhasha-mBART model (LoRA fine-tuned) behaalde de hoogste BLEU (49,70) en BERTScore (81,19) op de SinMix2Mono gouden dataset, beter dan zero-shot LLMs en andere fine-tuned modellen.

5. Betekenis en Toekomstig Werk

Betekenis: De Swa-bhasha Resource Hub biedt een fundamentele infrastructuur voor Sinhala NLP. Het bewijst dat laag-resource talen hoge nauwkeurigheid in transliteratie kunnen bereiken door de combinatie van verzorgde datasets, hybride methodologieën en moderne Transformer-architecturen.
Beperkingen: Transformer-gebaseerde modellen (zoals BERT) zijn rekenintensief, wat realtime mobiele implementatie uitdagend maakt voor lange, ambiguïteitsrijke zinnen.
Toekomstige Richtingen:
- Optimaliseren van inferentie-efficiëntie voor realtime mobiele toepassingen.
- Uitbreiden van onderzoek naar Code-Mixed invoer (Sinhala-Engels).
- Ontwikkelen van Meta-Learning benaderingen (MAML) voor gepersonaliseerde, privacy-bewakende woordvoorspelling in Singlish-toetsenborden.
- Integreren van transliteratie in bredere NLP-pijplijnen (sentimentanalyse, chatbots).

Concluderend stelt het artikel een nieuwe benchmark voor Romanized Sinhala transliteratie, waarbij het paradigma verschuift van rigide regelgebaseerde systemen naar contextbewuste, deep learning-gedreven oplossingen ondersteund door robuuste, open-source databronnen.