💻 computer science

Swa-bhasha Resource Hub: Romanized Sinhala to Sinhala Transliteration Systems and Data Resources

Este artigo apresenta o Swa-bhasha Resource Hub, uma plataforma de acesso público que oferece uma coleção abrangente de dados e algoritmos para transliteração do sinhala romanizado para o sinhala, desenvolvidos entre 2020 e 2025, juntamente com uma análise comparativa de ferramentas existentes para avançar o Processamento de Linguagem Natural em sinhala.

Autores originais: Deshan Sumanathilaka, Sameera Perera, Sachithya Dharmasiri, Maneesha Athukorala, Anuja Dilrukshi Herath, Rukshan Dias, Pasindu Gamage, Ruvan Weerasinghe, Y. H. P. P. Priyadarshana

Publicado 2026-04-28

📖 6 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Deshan Sumanathilaka, Sameera Perera, Sachithya Dharmasiri, Maneesha Athukorala, Anuja Dilrukshi Herath, Rukshan Dias, Pasindu Gamage, Ruvan Weerasinghe, Y. H. P. P. Priyadarshana

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine a língua cingalesa como um jardim belo e intrincado. Há décadas, as pessoas no Sri Lanka têm tentado entrar neste jardim usando um conjunto diferente de chaves: o teclado em inglês. Como não tinham um teclado cingalês à mão, começaram a digitar sons cingaleses usando letras inglesas. Chamaram isso de "Singlish" (cingalês romanizado).

Pense no Singlish como um código secreto ou um dialecto de erros de digitação. É rápido e conveniente, mas é desorganizado. Uma palavra digitada como "Adaraya" pode significar "Amor" ou "Ajuda", dependendo do contexto. É como se você digitasse "bat" e isso pudesse significar o animal, o equipamento esportivo ou um verbo, e o computador não soubesse qual você quis dizer sem ler a frase inteira.

Este artigo é um boletim de notas e uma caixa de ferramentas de uma equipe de pesquisadores (a equipe Swa-bhasha) que passou anos construindo uma ponte para ajudar os computadores a entenderem esse código desorganizado e transformá-lo de volta em cingalês adequado e belo.

Aqui está o que eles construído, explicado de forma simples:

1. O Problema: O Jogo "Perdido na Tradução"

A equipe notou que, embora os computadores sejam ótimos em traduzir inglês para francês, eles têm dificuldade com "Singlish" para cingalês.

A Bagunça: As pessoas digitam de formas diferentes. Algumas pulam vogais (escrevendo "klna" em vez de "kalana"), outras usam regras de ortografia inglesa e algumas misturam palavras em inglês e cingalês na mesma frase.
A Ambiguidade: A maior dor de cabeça é que uma palavra digitada pode ter múltiplos significados. O computador precisa ser um detetive para descobrir qual significado se encaixa na história.

2. A Caixa de Ferramentas: Como Eles Resolveram

A equipe não construiu apenas uma ferramenta; eles construíram uma oficina inteira com máquinas diferentes, ficando mais inteligentes a cada geração.

O Robô do Livro de Regras (Swa Bhasha 1.0):
- Como funcionava: Imagine um robô que segue um manual de instruções estrito. Se ele vê "k", sabe que precisa de uma vogal em seguida. Ele usa uma busca "difusa" (como um corretor ortográfico que chuta) para encontrar a correspondência mais próxima em um dicionário.
- O Resultado: Era aceitável, mas lutava quando as pessoas quebravam as regras (como pular vogais).
O Detetive Híbrido (Swa Bhasha 2.0 & O Modelo N-gram):
- Como funcionava: Eles combinaram o Robô do Livro de Regras com um "Detetive Estatístico". Este detetive analisou milhões de frases para aprender padrões. Ele usou uma "Trie" (uma estrutura de árvore inteligente) para sugerir palavras, como o preenchimento automático de um telefone, mas para cingalês.
- O Resultado: Muito melhor em adivinhar a palavra certa, mas ainda ficava confuso com frases muito complicadas.
O Super-Leitor (BERT & Transformers):
- Como funcionava: Este é o "Super-Leitor" da equipe. Em vez de olhar apenas para palavras individuais, ele lê a frase inteira de uma vez, entendendo o contexto como um humano. Eles usaram um modelo de IA poderoso chamado BERT (que é como um cérebro que leu toda a internet de texto cingalês).
- O Truque: Quando a IA via uma palavra confusa, ela colocava uma "máscara" sobre ela e perguntava: "Com base nas palavras antes e depois desta, qual palavra se encaixa melhor aqui?"
- O Resultado: Este foi o campeão. Resolveu os problemas de ambiguidade melhor do que qualquer método anterior, alcançando precisão quase perfeita nos testes.
O Especialista em Mistura de Códigos:
- Como funcionava: As pessoas frequentemente misturam inglês e cingalês em uma única frase (por exemplo, "I went to the kade [loja]"). A equipe construiu um modelo especial que age como um tradutor que fala fluentemente ambas as línguas, lidando com a mistura sem ficar confuso.

3. A Biblioteca: Os Dados que Eles Coletaram

Você não pode ensinar uma criança a ler sem livros, e não pode ensinar uma IA sem dados. A equipe percebeu que não havia bons "livros didáticos" para o Singlish, então eles escreveram os seus próprios.

A Biblioteca "Swa-Bhasha": Eles coletaram mais de 7 milhões de palavras e milhares de frases da vida real (como comentários do YouTube e redes sociais). Isso é como reunir cada nota desorganizada já escrita por um cingalês para ensinar ao computador como as pessoas reais realmente digitam.
O Teste de "Ambiguidade": Eles criaram um quiz especial onde uma palavra tem dois significados. Eles testaram sua IA nisso para ver se ela conseguia escolher o significado certo com base na história.
A Coleção "Mistura de Códigos": Eles reuniram exemplos de pessoas misturando inglês e cingalês, um hábito muito comum que anteriormente era ignorado pelos pesquisadores.

4. Os Resultados: Quem Venceu a Corrida?

A equipe testou suas ferramentas contra outros métodos (como as ferramentas do Google ou sistemas baseados em regras mais antigos).

O Jeito Antigo: Os antigos sistemas baseados em regras eram como um professor rígido; falhavam quando os alunos quebravam as regras.
O Novo Jeito: Os novos modelos "Super-Leitores" (baseados em BERT) eram como um mentor sábio. Eles entendiam o contexto e acertavam as respostas quase toda vez.
A Pontuação: Nos testes, seu melhor modelo obteve uma pontuação de 91% (pontuação BLEU) e cometeu muito poucos erros, enquanto modelos mais antigos cometiam muitos mais erros.

5. O Que Vem Por Aí?

A equipe está atualmente trabalhando em um recurso de texto preditivo. Imagine um teclado que não apenas traduz o que você digitou, mas adivinha o que você vai digitar a seguir, mesmo que você esteja digitando em um estilo desorganizado e pessoal. Eles estão usando uma técnica especial de aprendizado (Meta-Aprendizado) para que o teclado possa aprender seus hábitos específicos de digitação rapidamente, sem precisar armazenar seus dados privados em um servidor.

Resumo

A equipe Swa-bhasha construiu uma ponte entre a maneira desorganizada e informal como os cingaleses digitam em teclados em inglês e o script cingalês formal e belo. Eles começaram com simples livros de regras, avançaram para detetives estatísticos e, finalmente, construíram uma IA "Super-Leitora" que entende o contexto. Eles também construíram as vastas bibliotecas de dados necessárias para ensinar essas IAs. Seu trabalho prova que, com as ferramentas certas, até mesmo uma língua de poucos recursos como o cingalês pode ser perfeitamente compreendida por computadores, mesmo quando as pessoas a digitam às pressas.

Nota Importante: O artigo foca estritamente na tecnologia de tradução de texto e nos dados usados para treiná-lo. Não afirma ter aplicações médicas, usos clínicos ou produtos futuros específicos além das ferramentas de pesquisa e do código de código aberto que eles lançaram.

1. Declaração do Problema

O artigo aborda o desafio crítico da Transliteração Reversa (converter Singala Romanizada, ou "Singlish", de volta para o script nativo de Singala).

Contexto: Com o surgimento da Web 2.0 e das redes sociais, quase 13 milhões de srilankeses utilizam Singala Romanizada devido à conveniência dos teclados em inglês.
Desafios Centrais:
- Não Padronização: O Singlish carece de padronização, levando a padrões de digitação ad hoc, variações ortográficas e inconsistências estruturais (por exemplo, omissões de vogais).
- Ambiguidade Lexical: Uma única palavra romanizada pode mapear para múltiplas palavras distintas em Singala com significados diferentes dependendo do contexto (por exemplo, "Adaraya" pode significar amor ou auxílio).
- Status de Baixa Recurso: O Singala carece de recursos linguísticos dedicados, benchmarks e conjuntos de dados especificamente projetados para resolver essas ambiguidades contextuais.
Objetivo: Desenvolver sistemas robustos e conscientes do contexto e fornecer conjuntos de dados abrangentes para avançar o Processamento de Linguagem Natural (PLN) para línguas de baixo recurso.

2. Metodologia e Sistemas

A equipe Swa-bhasha empregou uma evolução híbrida de abordagens, passando de sistemas baseados em regras para modelos avançados de aprendizado profundo.

A. Abordagens Algorítmicas

Baseado em Regras com Lógica Fuzzy (Swa Bhasha v1):
- Utilizou Python, NLTK e fuzzywuzzy para correspondência de strings.
- Implementou um processo de duas etapas: Tokenização/Mapeamento de Letras (convertendo letras em valores numéricos) seguido de Mapeamento de Regras.
- Usou regras específicas para inferir vogais ausentes com base em contagens de consoantes e padrões fonéticos, depois combinou candidatos contra um conjunto de dados nativo de Singala.
Híbrido Estatístico e Baseado em Conhecimento (Swa-Bhasha v2):
- Combinou rotulagem estatística de N-gramas (Unigrama/Bigrama/Trigrama) com transformação baseada em regras (60 regras de vogais/consoantes, 18 regras de marcadores hal).
- Integrou uma estrutura de dados Trie (árvore binária) para sugestões de palavras eficientes e conscientes do contexto e desambiguação.
- Utilizou um módulo de pós-processamento para resolver tokens onde a rotulagem estatística falhou.
Tradução Automática Neural (TAN) e Híbrida (Swa Bhasha 2.0):
- Combinou codificação fonética baseada em regras com modelos Seq2Seq usando Unidades Recorrentes com Portas (GRUs) e mecanismos de atenção.
- Integrou uma Árvore de Sufixos para um algoritmo de sugestão baseado em conhecimento para lidar com ambiguidade na seleção de palavras.
Desambiguação Contextual Baseada em Transformer (BERT):
- Arquitetura: Utilizou um modelo BERT de Singala pré-treinado (ajustado fino no conjunto de dados Dakshina).
- Mecanismo:
  - O Singlish de entrada é mapeado para candidatos; palavras ambíguas são substituídas por um token [MASK].
  - O sistema gera todos os candidatos de sentença possíveis substituindo máscaras por palavras candidatas.
  - Avaliação: O BERT pontua cada sentença candidata com base na probabilidade contextual (usando softmax em logits). A sentença com maior pontuação é selecionada.
- Otimização: Para lidar com os custos computacionais de múltiplas máscaras, o sistema usa redução de palavras candidatas (filtragem pelo vocabulário do tokenizador) e fragmentação (dividindo sentenças longas em segmentos sobrepostos).
Tradução Code-Mixed (LoRA e LLMs):
- Desenvolveu um pipeline híbrido para Singala Romanizada Code-Mixed (Singlish + Inglês).
- Pipeline: Modelo mBART50 ajustado fino com LoRA $\rightarrow$ Pós-processamento Regex $\rightarrow$ Pós-edição baseada em LLM (usando Gemini-3 Flash) com alinhamento de palavras para resolver problemas complexos de code-mixing e espaços de largura zero.

B. Recursos de Dados

A equipe criou vários conjuntos de dados de alta qualidade para apoiar esses modelos:

Conjunto de Dados Swa-Bhasha: Contém ~7,13 milhões de palavras de Singala Romanizada derivadas de 440.024 raízes de Singala únicas. Inclui pares de sentenças de redes sociais e um subconjunto específico de Desambiguação de Transliteração (WSD).
Conjunto de Dados de Avaliação IndoNLP: Dois conjuntos de teste (Padrões Gerais e de Digitação Ad Hoc) usados para tarefas compartilhadas.
Conjunto de Dados Romanizado Aumentado: ~7,24 milhões de pares de sentenças padronizados para modelagem de linguagem formal.
Conjunto de Dados de Desambiguação de Transliteração (TD): Um conjunto de dados especializado com 660 pares de sentenças focando em ambiguidade binária (uma palavra romanizada $\rightarrow$ dois significados distintos em Singala).
Conjunto de Dados SinMix2Mono: 25.000 linhas de Singala Romanizada Code-Mixed, divididas em subconjuntos de treinamento, avaliação dourada e ambiguidade.

3. Contribuições Principais

Ecossistema de Código Aberto: Lançou todos os algoritmos, modelos e conjuntos de dados (hospedados no Hugging Face, Kaggle e GitHub) para a comunidade de pesquisa.
Modelos de Última Geração: Desenvolveu e ajustou finamente modelos baseados em Transformer (BERT, mBART, XLM-R) que superam significativamente os sistemas tradicionais baseados em regras.
Conjuntos de Dados Especializados: Criou os primeiros conjuntos de dados dedicados para Desambiguação de Transliteração e Singala Code-Mixed, abordando uma lacuna importante no PLN de baixo recurso.
Arquiteturas Híbridas: Demonstrou que combinar lógica fonética baseada em regras com aprendizado profundo (TAN/Transformers) produz resultados superiores para lidar com digitação informal e ad hoc.
Tokenização Personalizada: Desenvolveu um tokenizador BPE (Byte-Pair Encoding) personalizado (si_rom) especificamente para Singala Romanizada para melhorar o desempenho do modelo.

4. Resultados e Avaliação

Os sistemas foram avaliados usando Taxa de Erro de Palavras (WER), Taxa de Erro de Caracteres (CER), BLEU, Pontuação F1 e BERTScore.

Precisão de Transliteração:
- Perera et al. (2025) [Baseado em BERT]: Alcançou o melhor desempenho com WER ~0,09, CER ~0,02 e BLEU ~0,91 no conjunto de dados IndoNLP. Isso confirma que os modelos Transformer excel em precisão contextual.
- Comparação: Sistemas baseados em regras (por exemplo, De Mel et al.) tiveram altas taxas de erro (WER ~0,67), enquanto modelos N-gramas híbridos mostraram melhoria moderada (WER ~0,23).
Desempenho de Desambiguação:
- Pontuações F1: O modelo BERT ajustado fino alcançou uma pontuação F1 de 0,96 no conjunto de dados de Desambiguação.
- Linha de Base: Modelos tradicionais baseados em regras e híbridos lutaram significativamente, com pontuações F1 variando entre 0,33 e 0,37, destacando a necessidade de embeddings contextuais para resolução de ambiguidade.
Tradução Code-Mixed:
- O modelo SwaBhasha-mBART (ajustado fino com LoRA) alcançou o maior BLEU (49,70) e BERTScore (81,19) no conjunto de dados dourado SinMix2Mono, superando LLMs zero-shot e outros modelos ajustados finamente.

5. Significado e Trabalho Futuro

Significado: O Swa-bhasha Resource Hub fornece uma infraestrutura fundamental para o PLN de Singala. Prova que línguas de baixo recurso podem alcançar transliteração de alta precisão através da combinação de conjuntos de dados curados, metodologias híbridas e arquiteturas modernas de Transformer.
Limitações: Modelos baseados em Transformer (como BERT) são computacionalmente caros, tornando a implantação em tempo real em dispositivos móveis desafiadora para sentenças longas e ricas em ambiguidades.
Direções Futuras:
- Otimizar a eficiência de inferência para aplicações móveis em tempo real.
- Expandir a pesquisa para entradas Code-Mixed (Singala-Inglês).
- Desenvolver abordagens de Meta-Aprendizado (MAML) para previsão de palavras personalizada e que preserva a privacidade em teclados Singlish.
- Integrar transliteração em pipelines de PLN mais amplos (análise de sentimento, chatbots).

Em conclusão, o artigo estabelece um novo benchmark para transliteração de Singala Romanizada, mudando o paradigma de sistemas rígidos baseados em regras para soluções conscientes do contexto e impulsionadas por aprendizado profundo, apoiadas por recursos de dados robustos e de código aberto.