Swa-bhasha Resource Hub: Romanized Sinhala to Sinhala Transliteration Systems and Data Resources

Aquí se presenta un resumen técnico detallado del artículo "Swa-bhasha Resource Hub: Sistemas de Transliteración de Singlish a Sinhala y Recursos de Datos".

1. Enunciado del Problema

El artículo aborda el desafío crítico de la Transliteración Inversa (convertir el Sinhala romanizado, o "Singlish", de nuevo al script nativo Sinhala).

• Contexto: Con el auge de la Web 2.0 y las redes sociales, casi 13 millones de esrilanqueses utilizan Sinhala romanizado debido a la conveniencia de los teclados en inglés.
• Desafíos Principales:
  • Falta de Estandarización: El Singlish carece de estandarización, lo que conduce a patrones de escritura ad hoc, variaciones ortográficas e inconsistencias estructurales (por ejemplo, omisiones de vocales).
  • Ambigüedad Léxica: Una sola palabra romanizada puede mapearse a múltiples palabras Sinhala distintas con significados diferentes dependiendo del contexto (por ejemplo, "Adaraya" podría significar amor o ayuda).
  • Estado de Bajo Recurso: El Sinhala carece de recursos lingüísticos dedicados, puntos de referencia y conjuntos de datos diseñados específicamente para resolver estas ambigüedades contextuales.
• Objetivo: Desarrollar sistemas robustos y conscientes del contexto, y proporcionar conjuntos de datos integrales para avanzar en el Procesamiento del Lenguaje Natural (NLP) para lenguas de bajo recurso.

2. Metodología y Sistemas

El equipo de Swa-bhasha empleó una evolución híbrida de enfoques, pasando de sistemas basados en reglas a modelos avanzados de aprendizaje profundo.

A. Enfoques Algorítmicos

1. Basado en Reglas con Lógica Difusa (Swa Bhasha v1):
   • Utilizó Python, NLTK y fuzzywuzzy para la coincidencia de cadenas.
   • Implementó un proceso de dos etapas: Tokenización/Mapeo de Letras (convertir letras a valores numéricos) seguido de Mapeo de Reglas.
   • Usó reglas específicas para inferir vocales faltantes basándose en la cantidad de consonantes y patrones fonéticos, luego coincidió los candidatos contra un conjunto de datos nativo Sinhala.
2. Estadístico Híbrido y Basado en Conocimiento (Swa-Bhasha v2):
   • Combinó el etiquetado estadístico de N-gramas (Unigrama/Bigrama/Trigrama) con la transformación basada en reglas (60 reglas de vocales/consonantes, 18 reglas de marcadores hal).
   • Integró una estructura de datos Trie (árbol binario) para sugerencias de palabras eficientes y conscientes del contexto y desambiguación.
   • Utilizó un módulo de post-procesamiento para resolver tokens donde falló el etiquetado estadístico.
3. Traducción Automática Neuronal (NMT) e Híbrida (Swa Bhasha 2.0):
   • Combinó la codificación fonética basada en reglas con modelos Seq2Seq que utilizan Unidades Recurrentes Conmutadas (GRUs) y mecanismos de atención.
   • Integró un Árbol de Sufijos para un algoritmo de sugerencia basado en conocimiento para manejar la ambigüedad en la selección de palabras.
4. Desambiguación Contextual Basada en Transformadores (BERT):
   • Arquitectura: Utilizó un modelo BERT Sinhala preentrenado (ajustado finamente en el conjunto de datos Dakshina).
   • Mecanismo:
     • El Singlish de entrada se mapea a candidatos; las palabras ambiguas se reemplazan con un token [MASK].
     • El sistema genera todos los candidatos de oraciones posibles reemplazando las máscaras con palabras candidatas.
     • Puntuación: BERT puntúa cada oración candidata basada en la probabilidad contextual (usando softmax en logits). Se selecciona la oración con la puntuación más alta.
   • Optimización: Para manejar los costos computacionales de múltiples máscaras, el sistema utiliza reducción de palabras candidatas (filtrado por vocabulario del tokenizador) y fragmentación (dividir oraciones largas en segmentos superpuestos).
5. Traducción Code-Mixed (LoRA y LLMs):
   • Desarrolló una tubería híbrida para Singlish Code-Mixed (Singlish + Inglés).
   • Tubería: Modelo mBART50 ajustado finamente con LoRA $\rightarrow$ Post-procesamiento Regex $\rightarrow$ Post-edición basada en LLM (usando Gemini-3 Flash) con alineación de palabras para resolver problemas complejos de code-mixing y espacios de ancho cero.

B. Recursos de Datos

El equipo creó varios conjuntos de datos de alta calidad para apoyar estos modelos:

• Conjunto de Datos Swa-Bhasha: Contiene ~7.13 millones de palabras Sinhala romanizadas derivadas de 440,024 raíces Sinhala únicas. Incluye pares de oraciones de redes sociales y un subconjunto específico de Desambiguación de Transliteración (WSD).
• Conjunto de Datos de Evaluación IndoNLP: Dos conjuntos de prueba (General y patrones de escritura ad hoc) utilizados para tareas compartidas.
• Conjunto de Datos Romanizado Aumentado: ~7.24 millones de pares de oraciones estandarizados para modelado de lenguaje formal.
• Conjunto de Datos de Desambiguación de Transliteración (TD): Un conjunto de datos especializado con 660 pares de oraciones centrados en la ambigüedad binaria (una palabra romanizada $\rightarrow$ dos significados Sinhala distintos).
• Conjunto de Datos SinMix2Mono: 25,000 filas de Sinhala romanizado Code-Mixed, divididas en subconjuntos de entrenamiento, evaluación dorada y ambigüedad.

3. Contribuciones Clave

• Ecosistema de Código Abierto: Publicó todos los algoritmos, modelos y conjuntos de datos (alojados en Hugging Face, Kaggle y GitHub) para la comunidad de investigación.
• Modelos de Vanguardia: Desarrolló y ajustó finamente modelos basados en Transformadores (BERT, mBART, XLM-R) que superan significativamente a los sistemas tradicionales basados en reglas.
• Conjuntos de Datos Especializados: Creó los primeros conjuntos de datos dedicados para Desambiguación de Transliteración y Sinhala Code-Mixed, abordando una brecha importante en el NLP de bajo recurso.
• Arquitecturas Híbridas: Demostró que combinar la lógica fonética basada en reglas con el aprendizaje profundo (NMT/Transformadores) produce resultados superiores para manejar la escritura informal y ad hoc.
• Tokenización Personalizada: Desarrolló un tokenizador Byte-Pair Encoding (BPE) personalizado (si_rom) específicamente para Sinhala romanizado para mejorar el rendimiento del modelo.

4. Resultados y Evaluación

Los sistemas se evaluaron utilizando Tasa de Error de Palabra (WER), Tasa de Error de Caracteres (CER), BLEU, Puntuación F1 y BERTScore.

• Precisión de Transliteración:
  • Perera et al. (2025) [Basado en BERT]: Logró el mejor rendimiento con WER ~0.09, CER ~0.02 y BLEU ~0.91 en el conjunto de datos IndoNLP. Esto confirma que los modelos Transformadores sobresalen en precisión contextual.
  • Comparación: Los sistemas basados en reglas (por ejemplo, De Mel et al.) tenían altas tasas de error (WER ~0.67), mientras que los modelos híbridos de N-gramas mostraron una mejora moderada (WER ~0.23).
• Rendimiento de Desambiguación:
  • Puntuaciones F1: El modelo BERT ajustado finamente logró una puntuación F1 de 0.96 en el conjunto de datos de Desambiguación.
  • Línea Base: Los modelos tradicionales basados en reglas e híbridos lucharon significativamente, con puntuaciones F1 que oscilaban entre 0.33 y 0.37, destacando la necesidad de incrustaciones contextuales para la resolución de ambigüedades.
• Traducción Code-Mixed:
  • El modelo SwaBhasha-mBART (ajustado finamente con LoRA) logró el BLEU (49.70) y BERTScore (81.19) más altos en el conjunto de datos dorado SinMix2Mono, superando a los LLMs de cero disparos y a otros modelos ajustados finamente.

5. Significado y Trabajo Futuro

• Significado: El Swa-bhasha Resource Hub proporciona una infraestructura fundamental para el NLP Sinhala. Demuestra que las lenguas de bajo recurso pueden lograr una transliteración de alta precisión mediante la combinación de conjuntos de datos curados, metodologías híbridas y arquitecturas modernas de Transformadores.
• Limitaciones: Los modelos basados en Transformadores (como BERT) son computacionalmente costosos, lo que hace desafiante la implementación en tiempo real en móviles para oraciones largas y ricas en ambigüedades.
• Direcciones Futuras:
  • Optimizar la eficiencia de inferencia para aplicaciones móviles en tiempo real.
  • Expandir la investigación hacia entradas Code-Mixed (Sinhala-Inglés).
  • Desarrollar enfoques de Meta-Aprendizaje (MAML) para la predicción de palabras personalizada y que preserva la privacidad en teclados Singlish.
  • Integrar la transliteración en tuberías de NLP más amplias (análisis de sentimientos, chatbots).

En conclusión, el artículo establece un nuevo punto de referencia para la transliteración de Sinhala romanizado, cambiando el paradigma de sistemas rígidos basados en reglas a soluciones conscientes del contexto y guiadas por aprendizaje profundo, respaldadas por recursos de datos robustos y de código abierto.