Robust Language Identification for Romansh Varieties

Resumen Técnico: Identificación de Idiomas para las Variedades del Romansh

1. Planteamiento del Problema
El idioma romansh, hablado por aproximadamente 40.000 personas en el cantón de los Grisones (Suiza), presenta una alta diversidad lingüística compuesta por cinco variedades regionales históricas (idiomas): Sursilvan, Sutsilvan, Surmiran, Puter y Vallader. Además, existe una sexta variedad estandarizada, Rumantsch Grischun (RG), creada artificialmente en 1982 para la comunicación oficial, que combina elementos de varias de las otras variedades.

El problema central abordado es la falta de sistemas de identificación de idioma (LID, por sus siglas en inglés) capaces de distinguir entre estas variedades estrechamente relacionadas. A diferencia de idiomas no relacionados, las variedades del romansh comparten muchas características fonológicas, morfológicas y léxicas, lo que dificulta su diferenciación automática. Además, al ser un idioma de bajos recursos, la escasez de datos digitales diversos y anotados ha impedido el desarrollo de sistemas LID robustos. Los sistemas multilingües existentes suelen ignorar el romansh o tratarlo como una entidad monolítica, lo que limita aplicaciones downstream como la corrección ortográfica o la traducción automática adaptada al dialecto.

2. Metodología

• Recopilación y Preprocesamiento de Datos:
  Los autores curaron un nuevo conjunto de datos de referencia (benchmark) procedente de cinco fuentes diversas:

  1. Pledari Grond (PG): Un diccionario completo romansh-alemán.
  2. La Quotidiana (LQ): Un periódico con contenido anotado por idioma.
  3. Radiotelevisiun Svizra Rumantscha (RTR): Transcripciones validadas de emisiones.
  4. Notas de RTR Telesguard (TG): Notas pre-emisión escritas por periodistas (fuera de dominio de prueba).
  5. Libros de texto Mediomatix (TB): Material escolar paralelo.

  Se aplicó un preprocesamiento riguroso que incluyó la eliminación de duplicados, limpieza de HTML, normalización de espacios en blanco y corrección manual de etiquetas erróneas.

• Enmascaramiento de Entidades Nombradas (NER):
  Para evitar que los modelos memorizaran entidades geográficas específicas en lugar de aprender características lingüísticas, se crearon dos variantes de entrenamiento: una con entidades nombradas enmascaradas (reemplazadas por $NE$ usando un modelo SwissBERT) y otra sin enmascarar.

• Enfoque de Clasificación:
  El problema se formuló como una clasificación supervisada multiclase (6 clases). Se evaluaron varios clasificadores tradicionales (Regresión Logística, SVM, Naive Bayes) utilizando características de n-gramas de palabras y caracteres (unigramas de palabras y n-gramas de caracteres superpuestos de 1 a 4).

  • Las características se representaron mediante vectores TF-IDF con escalado sublineal de frecuencia de términos y normalización L2.
  • El modelo final seleccionado fue una Máquina de Vectores de Soporte (SVM) lineal, optimizada mediante búsqueda aleatoria de hiperparámetros y validación cruzada estratificada.

3. Contribuciones Clave

1. Nuevo Benchmark: Creación de un conjunto de datos de evaluación sistemático que abarca dos dominios (noticias y educación) y seis variedades del romansh.
2. Sistema LID de Alto Rendimiento: Desarrollo de un clasificador basado en SVM que logra una precisión promedio in-domain del 97%.
3. Análisis Cualitativo: Estudio detallado de las características discriminativas y el comportamiento del modelo en diferentes dominios, proporcionando una base para futuros trabajos en lenguas regionales en peligro.
4. Código Abierto: El clasificador y los datos están disponibles públicamente para la comunidad.

4. Resultados

• Rendimiento General: El modelo SVM optimizado alcanzó una precisión macro F1 de 98.1% en el conjunto de prueba equilibrado y in-domain (test-b). En el conjunto de prueba no equilibrado in-domain (test-a), la precisión fue del 96.8%.
• Desempeño Out-of-Domain: En datos de dominio externo (notas de redacción periodística, test-d), el rendimiento disminuyó significativamente, alcanzando un F1 macro de 69.1%, lo que indica dificultades con textos informales o ruidosos.
• Análisis por Variedad:
  • El modelo clasificó perfectamente las muestras de Sutsilvan en el conjunto equilibrado.
  • La variedad Puter mostró el mayor desafío en datos out-of-domain, siendo frecuentemente confundida con Rumantsch Grischun.
  • Las matrices de confusión revelaron que los errores a menudo se debían a artefactos de datos (entidades nombradas, texto en alemán, números o textos muy cortos) en lugar de fallos lingüísticos intrínsecos.
• Características Discriminativas:
  • Los n-gramas de caracteres resultaron ser más informativos que los unigramas de palabras.
  • Se identificaron patrones ortográficos específicos (como caracteres con puntos debajo en Puter y Vallader) y espacios en blanco como características clave.
  • El enmascaramiento de entidades nombradas tuvo un impacto negligible en el rendimiento (diferencia ≤ 0.1 en F1), confirmando que el modelo aprende características lingüísticas genuinas y no solo memoriza nombres propios.

5. Significado e Impacto
Este trabajo demuestra que es posible lograr una identificación de idioma efectiva para variedades lingüísticas estrechamente relacionadas y de bajos recursos mediante el diseño cuidadoso de características y el uso de datos de entrenamiento adecuados.

El sistema tiene aplicaciones prácticas inmediatas:

• Corrección ortográfica: Habilitar verificadores ortográficos sensibles al dialecto.
• Traducción automática: Enrutamiento automático de textos al modelo de traducción adecuado según la variedad detectada.
• Preservación lingüística: Establece un precedente metodológico para el desarrollo de herramientas NLP en otras lenguas regionales y en peligro de extinción.

A pesar de las limitaciones (desequilibrio de clases, degradación en dominios informales y falta de evaluación en habla), el sistema proporciona una herramienta robusta y un punto de referencia fundamental para el procesamiento del lenguaje natural en el contexto suizo y global de lenguas minoritarias.