💻 computer science

Swa-bhasha Resource Hub: Romanized Sinhala to Sinhala Transliteration Systems and Data Resources

Questo articolo presenta lo Swa-bhasha Resource Hub, una piattaforma pubblicamente accessibile che offre una raccolta completa di dati e algoritmi per la traslitterazione dal singalese romanizzato al singalese, sviluppati tra il 2020 e il 2025, corredati da un'analisi comparativa degli strumenti esistenti per promuovere l'elaborazione del linguaggio naturale singalese.

Autori originali: Deshan Sumanathilaka, Sameera Perera, Sachithya Dharmasiri, Maneesha Athukorala, Anuja Dilrukshi Herath, Rukshan Dias, Pasindu Gamage, Ruvan Weerasinghe, Y. H. P. P. Priyadarshana

Pubblicato 2026-04-28

📖 6 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Deshan Sumanathilaka, Sameera Perera, Sachithya Dharmasiri, Maneesha Athukorala, Anuja Dilrukshi Herath, Rukshan Dias, Pasindu Gamage, Ruvan Weerasinghe, Y. H. P. P. Priyadarshana

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immaginate la lingua singalese come un giardino bello e intricato. Da decenni, le persone nello Sri Lanka cercano di entrare in questo giardino usando un diverso set di chiavi: la tastiera inglese. Poiché non avevano a portata di mano una tastiera singalese, hanno iniziato a digitare i suoni singalesi usando le lettere inglesi. Hanno chiamato questo "Singlish" (singalese romanizzato).

Pensate al Singlish come a un codice segreto o a un dialetto di errori di battitura. È veloce e comodo, ma è disordinato. Una parola digitata come "Adaraya" potrebbe significare "Amore" o "Aiuto", a seconda del contesto. È come se digitaste "bat" e potesse significare l'animale, l'attrezzo sportivo o un verbo, e il computer non sapesse quale intendeste senza leggere l'intera frase.

Questo documento è un pagellino e una cassetta degli attrezzi di un team di ricercatori (il team Swa-bhasha) che ha passato anni a costruire un ponte per aiutare i computer a comprendere questo codice disordinato e trasformarlo nuovamente in un singalese corretto e bello.

Ecco cosa hanno costruito, spiegato in modo semplice:

1. Il Problema: Il Gioco "Persi nella Traduzione"

Il team ha notato che, mentre i computer sono bravi a tradurre dall'inglese al francese, faticano a passare dal "Singlish" al singalese.

Il Disordine: Le persone digitano in modo diverso. Alcuni omettono le vocali (scrivendo "klna" invece di "kalana"), altri usano le regole di ortografia inglese e alcuni mescolano parole inglesi e singalesi nella stessa frase.
L'Ambiguità: Il problema più grande è che una parola digitata può avere molteplici significati. Il computer deve fare l'investigatore per capire quale significato si adatta alla storia.

2. La Cassetta degli Attrezzi: Come l'hanno Risolto

Il team non ha costruito un solo strumento; ha costruito un'intera officina con macchine diverse, diventando più intelligente con ogni generazione.

Il Robot del Manuale di Regole (Swa Bhasha 1.0):
- Come funzionava: Immaginate un robot che segue un manuale di istruzioni rigoroso. Se vede "k", sa che gli serve una vocale dopo. Usa una ricerca "fuzzy" (come un correttore ortografico che indovina) per trovare la corrispondenza più vicina in un dizionario.
- Il Risultato: Era accettabile, ma faticava quando le persone rompevano le regole (come omettere le vocali).
L'Investigatore Ibrido (Swa Bhasha 2.0 e il Modello N-gram):
- Come funzionava: Hanno combinato il Robot del Manuale di Regole con un "Investigatore Statistico". Questo investigatore ha analizzato milioni di frasi per imparare i modelli. Ha usato un "Trie" (una struttura ad albero intelligente) per suggerire parole, come l'autocompletamento di un telefono ma per il singalese.
- Il Risultato: Molto migliore nell'indovinare la parola giusta, ma si confondeva ancora con frasi molto complesse.
Il Super-Lettore (BERT e Transformers):
- Come funzionava: Questo è il "Super-Lettore" del team. Invece di guardare solo le singole parole, legge l'intera frase tutto in una volta, comprendendo il contesto come farebbe un umano. Hanno utilizzato un potente modello di intelligenza artificiale chiamato BERT (che è come un cervello che ha letto l'intero internet di testi in singalese).
- Il Trucco: Quando l'IA vedeva una parola confusa, le metteva una "maschera" sopra e chiedeva: "Basandosi sulle parole prima e dopo questa, quale parola si adatta meglio qui?"
- Il Risultato: Questo è stato il campione. Ha risolto i problemi di ambiguità meglio di qualsiasi metodo precedente, raggiungendo un'accuratezza quasi perfetta nei test.
Lo Specialista nel Code-Mixing:
- Come funzionava: Le persone spesso mescolano inglese e singalese in una singola frase (ad esempio, "I went to the kade [negozio]"). Il team ha costruito un modello speciale che agisce come un traduttore che parla fluentemente entrambe le lingue, gestendo il mix senza confondersi.

3. La Biblioteca: I Dati Raccolti

Non si può insegnare a un bambino a leggere senza libri, e non si può insegnare a un'IA senza dati. Il team ha realizzato che non esistevano buoni "libri di testo" per il Singlish, quindi ne hanno scritti di propri.

La Biblioteca "Swa-Bhasha": Hanno raccolto oltre 7 milioni di parole e migliaia di frasi dalla vita reale (come commenti su YouTube e social media). È come raccogliere ogni appunto disordinato mai scritto da uno Sri Lankese per insegnare al computer come le persone reali digitano effettivamente.
Il Test "Ambiguità": Hanno creato un quiz speciale in cui una parola ha due significati. Hanno testato la loro IA su questo per vedere se poteva scegliere il significato corretto basandosi sulla storia.
La Raccolta "Code-Mixed": Hanno raccolto esempi di persone che mescolano inglese e singalese, un'abitudine molto comune che in precedenza era ignorata dai ricercatori.

4. I Risultati: Chi ha Vinto la Gara?

Il team ha testato i propri strumenti contro altri metodi (come gli strumenti di Google o i vecchi sistemi basati su regole).

Il Vecchio Modo: I vecchi sistemi basati su regole erano come un insegnante rigido; fallivano quando gli studenti rompevano le regole.
Il Nuovo Modo: I nuovi modelli "Super-Lettore" (basati su BERT) erano come un saggio mentore. Comprendevano il contesto e ottenevano le risposte giuste quasi ogni volta.
Il Punteggio: Nei test, il loro miglior modello ha ottenuto un punteggio del 91% (punteggio BLEU) e ha commesso pochissimi errori, mentre i modelli più vecchi ne commettevano molti di più.

5. Cosa Succede Dopo?

Il team sta attualmente lavorando a una funzione di testo predittivo. Immaginate una tastiera che non si limita a tradurre ciò che avete digitato, ma indovina cosa state per digitare dopo, anche se state digitando in uno stile disordinato e personale. Stanno utilizzando una tecnica speciale di apprendimento (Meta-Learning) in modo che la tastiera possa imparare le vostre abitudini specifiche di digitazione rapidamente, senza bisogno di memorizzare i vostri dati privati su un server.

Riassunto

Il team Swa-bhasha ha costruito un ponte tra il modo disordinato e informale in cui gli Sri Lankesi digitano sulle tastiere inglesi e la scrittura formale e bella del singalese. Hanno iniziato con semplici manuali di regole, sono passati a investigatori statistici e infine hanno costruito un'IA "Super-Lettore" che comprende il contesto. Hanno anche costruito le immense biblioteche di dati necessarie per insegnare a queste IA. Il loro lavoro dimostra che, con gli strumenti giusti, anche una lingua a risorse limitate come il singalese può essere compresa perfettamente dai computer, anche quando le persone la digitano di fretta.

Nota Importante: Il documento si concentra rigorosamente sulla tecnologia di traduzione del testo e sui dati utilizzati per addestrarlo. Non rivendica applicazioni mediche, usi clinici o prodotti futuri specifici oltre agli strumenti di ricerca e al codice open-source che hanno rilasciato.

1. Enunciato del Problema

Il paper affronta la sfida critica della Traslitterazione Inversa (convertire il singalese romanizzato, o "Singlish", nuovamente nella scrittura singalese nativa).

Contesto: Con l'ascesa del Web 2.0 e dei social media, quasi 13 milioni di srilankesi utilizzano il singalese romanizzato a causa della comodità delle tastiere inglesi.
Sfide Principali:
- Mancanza di Standardizzazione: Il Singlish manca di standardizzazione, portando a pattern di digitazione ad hoc, variazioni ortografiche e incoerenze strutturali (ad esempio, omissioni di vocali).
- Ambiguità Lessicale: Una singola parola romanizzata può mapparsi su più parole singalesi distinte con significati diversi a seconda del contesto (ad esempio, "Adaraya" potrebbe significare amore o aiuto).
- Stato a Risorse Limitate: Il singalese manca di risorse linguistiche dedicate, benchmark e dataset progettati specificamente per risolvere queste ambiguità contestuali.
Obiettivo: Sviluppare sistemi robusti e consapevoli del contesto e fornire dataset completi per avanzare l'Elaborazione del Linguaggio Naturale (NLP) per le lingue a risorse limitate.

2. Metodologia e Sistemi

Il team Swa-bhasha ha adottato un'evoluzione ibrida di approcci, passando da sistemi basati su regole a modelli avanzati di deep learning.

A. Approcci Algoritmici

Basato su Regole con Logica Fuzzy (Swa Bhasha v1):
- Ha utilizzato Python, NLTK e fuzzywuzzy per il matching di stringhe.
- Ha implementato un processo in due fasi: Tokenizzazione/Mappatura delle Lettere (convertendo le lettere in valori numerici) seguito da Mappatura delle Regole.
- Ha utilizzato regole specifiche per inferire le vocali mancanti basandosi sul conteggio delle consonanti e sui pattern fonetici, quindi ha confrontato i candidati con un dataset nativo singalese.
Statistico Ibrido e Basato sulla Conoscenza (Swa-Bhasha v2):
- Ha combinato l'etichettatura statistica N-gram (Unigramma/Bigramma/Trigramma) con la trasformazione basata su regole (60 regole vocali/consonantiche, 18 regole per il marcatore hal).
- Ha integrato una struttura dati Trie (albero binario) per suggerimenti di parole efficienti, consapevoli del contesto e per la disambiguazione.
- Ha utilizzato un modulo di post-elaborazione per risolvere i token in cui l'etichettatura statistica falliva.
Traduzione Automatica Neurale (NMT) e Ibrida (Swa Bhasha 2.0):
- Ha combinato la codifica fonetica basata su regole con modelli Seq2Seq che utilizzano Unità Ricorrenti con Gate (GRU) e meccanismi di attenzione.
- Ha integrato un Albero dei Sufissi per un algoritmo di suggerimento basato sulla conoscenza per gestire l'ambiguità nella selezione delle parole.
Disambiguazione Contestale Basata su Transformer (BERT):
- Architettura: Ha utilizzato un modello Sinhala BERT pre-addestrato (fine-tuned sul dataset Dakshina).
- Meccanismo:
  - L'input Singlish viene mappato su candidati; le parole ambigue vengono sostituite con un token [MASK].
  - Il sistema genera tutti i possibili candidati di frase sostituendo le maschere con le parole candidate.
  - Punteggio: BERT assegna un punteggio a ogni frase candidata in base alla probabilità contestuale (utilizzando softmax sui logit). Viene selezionata la frase con il punteggio più alto.
- Ottimizzazione: Per gestire i costi computazionali di più maschere, il sistema utilizza la riduzione delle parole candidate (filtraggio tramite il vocabolario del tokenizzatore) e il chunking (suddivisione di frasi lunghe in segmenti sovrapposti).
Traduzione Code-Mixed (LoRA e LLM):
- Ha sviluppato una pipeline ibrida per il Singalese Romanizzato Code-Mixed (Singlish + Inglese).
- Pipeline: Modello mBART50 fine-tuned con LoRA $\rightarrow$ Post-elaborazione Regex $\rightarrow$ Post-modifica basata su LLM (utilizzando Gemini-3 Flash) con allineamento delle parole per risolvere complesse code-mixing e problemi di spazi a larghezza zero.

B. Risorse Dati

Il team ha creato diversi dataset di alta qualità per supportare questi modelli:

Dataset Swa-Bhasha: Contiene circa 7,13 milioni di parole singalesi romanizzate derivate da 440.024 radici singalesi uniche. Include coppie di frasi dai social media e un sottoinsieme specifico di Disambiguazione della Traslitterazione (WSD).
Dataset di Valutazione IndoNLP: Due set di test (Generale e Pattern di digitazione ad hoc) utilizzati per compiti condivisi.
Dataset Romanizzato Augmentato: Circa 7,24 milioni di coppie di frasi standardizzate per la modellazione linguistica formale.
Dataset di Disambiguazione della Traslitterazione (TD): Un dataset specializzato con 660 coppie di frasi focalizzato sull'ambiguità binaria (una parola romanizzata $\rightarrow$ due significati singalesi distinti).
Dataset SinMix2Mono: 25.000 righe di Singalese Romanizzato Code-Mixed, suddivise in sottoinsiemi di addestramento, valutazione golden e ambiguità.

3. Contributi Chiave

Ecosistema Open-Source: Ha rilasciato tutti gli algoritmi, i modelli e i dataset (ospitati su Hugging Face, Kaggle e GitHub) alla comunità di ricerca.
Modelli State-of-the-Art: Ha sviluppato e fine-tuned modelli basati su Transformer (BERT, mBART, XLM-R) che superano significativamente i sistemi tradizionali basati su regole.
Dataset Specializzati: Ha creato i primi dataset dedicati alla Disambiguazione della Traslitterazione e al Singalese Code-Mixed, colmando una lacuna maggiore nell'NLP a risorse limitate.
Architetture Ibride: Ha dimostrato che combinare la logica fonetica basata su regole con il deep learning (NMT/Transformer) produce risultati superiori per la gestione della digitazione informale e ad hoc.
Tokenizzazione Personalizzata: Ha sviluppato un tokenizzatore Byte-Pair Encoding (BPE) personalizzato (si_rom) specificamente per il Singalese Romanizzato per migliorare le prestazioni del modello.

4. Risultati e Valutazione

I sistemi sono stati valutati utilizzando Word Error Rate (WER), Character Error Rate (CER), BLEU, F1 Score e BERTScore.

Accuratezza della Traslitterazione:
- Perera et al. (2025) [Basato su BERT]: Ha ottenuto le migliori prestazioni con WER ~0,09, CER ~0,02 e BLEU ~0,91 sul dataset IndoNLP. Ciò conferma che i modelli Transformer eccellono nell'accuratezza contestuale.
- Confronto: I sistemi basati su regole (ad esempio, De Mel et al.) avevano alti tassi di errore (WER ~0,67), mentre i modelli N-gram ibridi mostravano un miglioramento moderato (WER ~0,23).
Prestazioni di Disambiguazione:
- Punteggi F1: Il modello BERT fine-tuned ha raggiunto un punteggio F1 di 0,96 sul dataset di Disambiguazione.
- Baseline: I modelli tradizionali basati su regole e ibridi hanno faticato significativamente, con punteggi F1 compresi tra 0,33 e 0,37, evidenziando la necessità di embedding contestuali per la risoluzione delle ambiguità.
Traduzione Code-Mixed:
- Il modello SwaBhasha-mBART (fine-tuned con LoRA) ha raggiunto il più alto BLEU (49,70) e BERTScore (81,19) sul dataset golden SinMix2Mono, superando gli LLM zero-shot e altri modelli fine-tuned.

5. Significato e Lavori Futuri

Significato: Il Swa-bhasha Resource Hub fornisce un'infrastruttura fondamentale per l'NLP singalese. Dimostra che le lingue a risorse limitate possono raggiungere un'alta accuratezza di traslitterazione attraverso la combinazione di dataset curati, metodologie ibride e moderne architetture Transformer.
Limitazioni: I modelli basati su Transformer (come BERT) sono computazionalmente costosi, rendendo difficile il deployment in tempo reale su mobile per frasi lunghe e ricche di ambiguità.
Direzioni Future:
- Ottimizzazione dell'efficienza di inferenza per applicazioni mobili in tempo reale.
- Espansione della ricerca sugli input Code-Mixed (Singalese-Inglese).
- Sviluppo di approcci Meta-Learning (MAML) per la previsione di parole personalizzata e che preserva la privacy nelle tastiere Singlish.
- Integrazione della traslitterazione in pipeline NLP più ampie (analisi del sentiment, chatbot).

In conclusione, il paper stabilisce un nuovo benchmark per la traslitterazione del singalese romanizzato, spostando il paradigma da sistemi rigidi basati su regole a soluzioni consapevoli del contesto e guidate dal deep learning, supportate da risorse dati robuste e open-source.